基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法

基于actor-critic结构的汽车车身喷涂用环境数据分析方法
技术领域
1.本发明主要涉及汽车制造车身喷涂技术领域，具体涉及基于actor-critic结构的汽车车身喷涂用环境数据分析方法。


背景技术：

2.汽车整车制造过程需要消耗工业水、电、天然气、压缩空气等能源，涂装是整车制造很重要的工序和生产环节，涂装能耗在整车生产过程中(车身冲压、焊装、涂装和总装)占比最大，能源费用占比在70％以上，所以有效解决涂装能耗问题，是汽车生产制造节能降耗的关键和落脚点。因此，汽车制造行业中车身喷涂工艺是其核心工艺之一。
3.车身喷涂的功能原理是保障在相对恒定温度湿度下、按一定速度流动的空气中进行车身喷涂作业；温湿度稳定是为了车漆的有效附着，空气流动是要把含多余漆雾的空气有效排出。涂装车间常见的喷漆空调系统主要由入口风机、出口风机、燃烧器、热水盘管、冷水盘管、空调箱体、加湿装置、过滤装置等部分组成，各个部件之间由管网联系在一起。根据空调各功能段组合的不同，涂装车间空调温湿度控制系统主要分为4个控制段，分别为一次加热段、表冷段、加湿段和二次加热段，每个部件具有各自的特性。
4.因此，为保障喷涂效果和质量一致性，关键措施之一是用大型空调机组自动对喷漆室内温湿度进行有效调节，为此会采用天然气加热、热水加热、加湿泵加湿、表冷器降温、除湿，这些功能在使用时会消耗大量的动能，因此需要在开机准备阶段，尽快达到温湿度要求，在工作状态时，尽量减少温湿度波动。
5.同时喷涂工艺为了尽可能的节约能源，温度调节采用新风空调和循环风空调配合的方式，新风空调负责把外界自然环境的空气调节到工艺需求范围供喷漆室，用于弥补排出含漆雾空气的损失，循环风是把喷漆室中一部分不含漆雾工位的空气收集起来，处理后再循环。
6.但是，现有的控制系统往往存在开机准备时间长(1.5小时及以上)，在工作过程中制冷加热功能交替开启，各个自动执行单元提供加热、降温、加湿、除湿功能时，系统无法快速达到稳定状态等问题。


技术实现要素：

7.本发明主要提供了基于actor-critic结构的汽车车身喷涂用环境数据分析方法用以解决上述背景技术中提出的技术问题。
8.本发明解决上述技术问题采用的技术方案为：
9.基于actor-critic结构的汽车车身喷涂用环境数据分析方法，所述方法包括：
10.步骤一，数据处理，对数据进行审查和校验，以删除重复信息、纠正存在的错误；
11.步骤二，数据存储，通过kafka处理平台写入机器开机产生的实时数据，之后设定对机器开机的数据进行分区储存的频率；
12.步骤三，模型构建，采用了深度强化学习控制算法得到一个高效稳定的涂装空调
温湿度控制器，该所述深度强化学习控制算法为actor-critic结构的双深度强化学习解耦网络模型算法和pid算法；
13.再通过对比其他四种算法模型的控制方案，分析出了本控制方案的所具有的优势，该所述四种算数模型为：pid控制器模型、滑膜控制器模型、模糊控制器模型、mpc控制器模型；
14.步骤四，数据可视化，以多种色彩将各模块以及各模块内数据区分开来，并采用了数据流图的形式，从构建出的五种算法模型择优选择双深度强化学习解耦网络模型的构建过程展现出来，使用气泡云图将择优算法模型展现；
15.步骤五，wis3d可视化系统和智慧监控小程序，通过基于数字孪生的wis3d摩尔元素平台对喷漆室、新风空调、循环空调进行组装展示，数据同步上传至喷漆车间智慧监控小程序。
16.进一步的，所述数据处理的流程为：
17.step1：模型训练所需数据预处理；从空调机组运行数据从提取所需特征数据，并构造目标数据格式用于读取空调机组运行数据；
18.step2：空调机组bc1新风和bc1循环风的数据处理；当发现bc1新风空调机组的一列燃烧机阀值全为0，则当作无关因子直接删除；step3：异常数据处理；
19.step4：写好一个清洗相同时间序列数据模板，来对空调机组bc1新风和bc1循环风的时间列数据进行清洗，然后将上一步清洗好的数据按照所属日期一一对应的填充到目标csv文件中，每一个csv文件清洗过后对应导出一个新的csv文件，最后将导出的csv文件用于训练模型和测试模型。
20.进一步的，所述异常数据处理步骤分别为：异常数据检测、异常数据替换、缺失数据替换、数据平滑、数据归一化。
21.进一步的，所述数据存储的具体步骤为：
22.step1：将清洗分组后的文件存入到hdfs中namenode发送数据上传的请求，namenode收到客户端请求之后会进行一系列的检查工作；
23.step2：检查通过之后，namenode给客户端返回一个存储的节点信息返回的，该节点信息优先返回客户端所在节点，其次返回同机架的节点，最后返回不同机架的节点；
24.step3：客户端收到响应之后，会进行一次逻辑切块。
25.进一步的，所述模型构建前的流程为：整合好的数据由kafka处理平台收集，传入到flink处理引擎，然后flink处理引擎上传到hdfs分布式文件系统上，处理成hive格式的文件，最终存入到hive数据库中。
26.进一步的，所述数据可视化流程使用到两套系统，两套所述系统分别为：
27.数据可视化系统，可视化页面采用了springboot框架，ajax异步加载数据，html标记语言、css层叠样式表、js编程语言、echarts数据可视化图表库等开发；
28.喷漆车间智慧监控系统，监控系统的前端通过vue.js框架，后端通过springboot框架，mysql数据库以及云服务器搭建。
29.进一步的，所述智慧监控小程序的框架系统分为两部分：逻辑层和视图层，视图层与逻辑层间之间提供了数据传输和事件系统。
30.与现有技术相比，本发明的有益效果为：
以及类似的表述只是为了说明的目的。
49.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同，本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明，本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
50.实施例，请参照附图1-13，基于actor-critic结构的汽车车身喷涂用环境数据分析方法，所述方法包括：
51.步骤一，数据处理，对数据进行审查和校验，以删除重复信息、纠正存在的错误；
52.步骤二，数据存储，通过kafka处理平台写入机器开机产生的实时数据，之后设定对机器开机的数据进行分区储存的频率；
53.步骤三，模型构建，采用了深度强化学习控制算法得到一个高效稳定的涂装空调温湿度控制器，该所述深度强化学习控制算法为actor-critic结构的双深度强化学习解耦网络模型算法和pid算法；
54.再通过对比其他四种算法模型的控制方案，分析出了本控制方案的所具有的优势，该所述四种算数模型为：pid控制器模型、滑膜控制器模型、模糊控制器模型、mpc控制器模型；
55.步骤四，数据可视化，以多种色彩将各模块以及各模块内数据区分开来，并采用了数据流图的形式，从构建出的五种算法模型择优选择双深度强化学习解耦网络模型的构建过程展现出来，使用气泡云图将择优算法模型展现；
56.步骤五，wis3d可视化系统和智慧监控小程序，通过基于数字孪生的wis3d摩尔元素平台对喷漆室、新风空调、循环空调进行组装展示，数据同步上传至喷漆车间智慧监控小程序；
57.需要说明的是，在本实施例中，参考附图1和附图2，在系统运行中，对采集到的大量数据进行实时处理，并提取出相关的特征来预测温湿度的变化，通过深度强化学习模拟脑神经系统，对系统的温湿度实时数据做出及时正确的反馈，通过控制器来设定喷漆室的温度和湿度，各个参数的指标是通过传感器来回调数据，通过之前的数据(预处理、归一化)在深度强化学习网络模型进行了训练，模型迭代训练5000次左右，其loss损失函数收敛在数值10左右，模型无过拟合与欠拟合现象，然后在模型的预测下，可以较好的在设定的温湿度下，对各个参数进行调整，让整个喷漆作业的参数可以达到最优，以及在喷漆作业过程中，整个系统趋向于稳定性；
58.采用了一种基于actor-critic结构的双深度强化学习解耦网络模型，其包括两个深度强化学习网络模型以及一个温湿度解耦模块，如附图2所示。
59.模型构建原理如下：
60.在系统运行中，对采集到的大量数据进行实时处理，并提取出相关的特征来预测温湿度的变化，通过深度强化学习模拟脑神经系统，对系统的温湿度实时数据做出及时正确的反馈，通过控制器来设定喷漆室的温度和湿度，各个参数的指标是通过传感器来回调数据，通过之前的数据(预处理、归一化)在深度强化学习网络模型进行了训练，模型迭代训练5000次左右，其loss损失函数收敛在数值10左右，模型无过拟合与欠拟合现象，然后在模型的预测下，可以较好的在设定的温湿度下，对各个参数进行调整，让整个喷漆作业的参数
可以达到最优，以及在喷漆作业过程中，整个系统趋向于稳定性。
61.具体解释如下：
62.(1)a-c网络结构模型：参考附图3，两个深度强化学习网络模型分别针对湿度信息和温度信息作出实时的数据处理和决策输出。其包含了actor策略网络结构和critic评价网络结构。
63.策略网络结构包括三个隐含层，其中前两个层的激活函数为relu函数，第三个层的激活函数为tanh函数和softplus函数，每个隐含层的节点数为64。状态变量s
t
输入到策略网络中，最后得到均值mean和方差var两部分，通过采样得到动作a
t
。
64.评价网络包括三个隐含层，每个隐含层包含64个节点，其中前两个层的激活函数为relu函数。状态变量s
t
输入到评价网络中，最后输出状态值函数v
t
，表示当前的策略所获得的累积奖励值。
65.(2)奖励函数设计
66.奖励函数是深度强化学习的一个重要部分，其决定了深度强化学习的收敛性。在本系统中，为了达到温湿度控制器较快的控制响应、较低的超调以及稳定的控制效果这三个控制目标，定义奖励函数为：
[0067][0068]
r1～r3分别表示控制器响应速度，控制器超调量以及控制器的稳定性三个指标，k1～k3表示3个调整参数。那么当控制器的三个指标和理想值较为接近，奖励值r
s，a
(t)接近0，控制器的三个指标和理想值偏差较大，则奖励值r
s，a
(t)则接近-1。那么在实际控制过程中，深度学习网络为了获得更高的奖励值，则会朝着控制器快速响应，低超调以及控制输出的稳定性三个目标努力学习和调整。
[0069]
训练过程如下：
[0070]
通过归一化的操作，将奖励值控制在0.25范围内，如图4所示；当模型迭代5000次左右，损失函数值趋向于10的附近，如图5所示；
[0071]
(3)动作空间action-space设计
[0072]
请参考附图6所示，pid算法的执行流程：利用反馈来检测偏差信号，并通过偏差信号来控制被控量。而控制器本身为p比例、i积分、d微分三个环节；
[0073]
深度强化学习最终通过输出动作a
t
来调整pid控制器的三个控制参数，那么动作空间可以做如下的设置：
[0074]at
＝{δk
p
，δki，δkd}
[0075]
将动作空间的输出变量a
t
＝{δk
p
，δki，δkd}，作为控制器的三个调整参数，即：
[0076]kp
(t)＝k
p
(t-1)+δk
p
[0077]ki
(t)＝ki(t-1)+δki[0078]
kd(t)＝kd(t-1)+δkd[0079]
控制器包括pid控制器，滑膜控制器，模糊控制器，mpc控制器以及基于深度强化学习的涂装空调温湿度控制器。
[0080]
另外一方面，为了防止出现训练过程中，样本空间的局限性而导致动作输出值较大，对动作空间添加约束值：
[0081]
δk
p，min
≤δk
p
≤δk
p，max
[0082]
δk
i，min
≤δki≤δk
i，max
[0083]
δk
d，min
≤δkd≤δk
d，max
[0084]
(4)外部环境的信息交互设计
[0085]
那么在实际工作过程中，智能体与外部环境的信息交互步骤如下：
[0086]
第一、假设智能体在t时刻和t+1时刻的状态信息为s
t
和s
t+1
，那么状态信息为s
t
和s
t+1
满足如下关系式：
[0087]
p(s＝s
t+1
/s
t
)＝p(s
t
，a
t
，s
t+1
)
[0088]
第二、p(s
t
，a
t
，s
t+1
)表示强化学习模块在获得s
t
之后，通过决策网络和评价网络选择动作a
t
，并在动作a
t
作用下获得状态s
t+1
的概率。
[0089]
第三、根据t时刻智能体感知到的环境状态ba，智能体将根据当前的状态ba做出一个动作策略a
t
，并将该动作a
t
，通过控制单元作用到环境中。将动作策略作用到环境的过程定义为ba，那么环境状态的值可以表示为：
[0090]vπ
(s
t+1
)＝r[π(s
t+1
)]+γ∑p(s
t
，a
t
，s
t+1
)v
π
(s
t
)
[0091]
状态转换概率p(s
t
，a
t
，s
t+1
)与当前环境下的状态值v
π
(s
t
)的乘积和与当前状态s
t
的策略所产生的奖励值相加，作为下一时刻环境的状态值v
π
(s
t+1
)。
[0092]
第四、当环境接收到t时刻的动作a
t
时，外部的环境状态将发生更新，即s
t+1
＝s
t
。此时，环境将反馈给智能体奖励值r
t
。r
t
反应了t时刻的动作a
t
作用到环境后，环境通过评价函数给出的奖励。
[0093]
第五、智能体接收到奖励函数r
t
之后，将更新其知识储备，并调整策略，输出t+1时刻的动作a
t+1
。此时，决策网络和评价网络将根据s
t
，a
t
，r
t
计算损失函数并更新评价网络和决策网络的参数。
[0094]
这里，定义损失函数表达式如下：
[0095][0096]
是新旧策略的概率比；ε是超参数，取值范围始终在0.1到0.2之间；反映了新策略与旧策略的差异。当时，ppo算法的状态作用具有正优势，当时，ppo算法的状态作用具有负优势。
[0097]
(5)建模仿真过程
[0098]
请参考附图7和附图8所示，通过matlab当中的仿真功能对二种空调有进行相关的仿真，在基于actor-critic结构的双深度强化学习解耦网络模型中，可以作为指导来控制2种空调的运行的参数，有效的控制喷漆室的温湿度达到合适的数值。
[0099]
对比其他四种算法模型的控制方案，分析出了本控制方案的所具有的优势，该项举例：多种控制器温度控制对比：
[0100]
参考附图9，使用pid控制调节喷漆室温度在25.2℃的时候，其稳定性存在一些小范围波动，喷漆室温度在26℃的时候，波动非常的明显；
[0101]
参考附图10，使用滑膜控制调节喷漆室温度在25.2℃的时候，其稳定性存在一些
小范围波动，喷漆室温度在26℃的时候，波动非常的明显；
[0102]
参考附图11，使用模糊控制调节喷漆室温度在25.2℃的时候，其稳定性存在一些小范围波动，喷漆室温度在26℃的时候，波动非常的明显；
[0103]
参考附图12，使用mpc控制调节喷漆室温度在25.2℃的时候，其稳定性存在好转，喷漆室温度在26℃的时候，波比上面的控制器明显得到改进，但还存在小范围的波动；
[0104]
参考附图13，使用深度强化学习+pid控制调节喷漆室温度在24℃的时候，其稳定性最好；
[0105]
综合各项对比数据，深度强化学习+pid控制稳定性最好。
[0106]
进一步的，所述数据处理的流程为：
[0107]
step1：模型训练所需数据预处理；从空调机组运行数据从提取所需特征数据，并构造目标数据格式用于读取空调机组运行数据；
[0108]
step2：空调机组bc1新风和bc1循环风的数据处理；当发现bc1新风空调机组的一列燃烧机阀值全为0，则当作无关因子直接删除；
[0109]
step3：异常数据处理；
[0110]
step4：写好一个清洗相同时间序列数据模板，来对空调机组bc1新风和bc1循环风的时间列数据进行清洗，然后将上一步清洗好的数据按照所属日期一一对应的填充到目标csv文件中，每一个csv文件清洗过后对应导出一个新的csv文件，最后将导出的csv文件用于训练模型和测试模型；
[0111]
需要说明的是，在本实施例中，数据预处理过程中，通过pandas库来读取csv文件，然后将目标特征列(入口温度，出口温度，湿度，冷热水阀开度等)进行提取，然后清洗成目标格式，最终通过调用csv库的方法来导出csv文件，然后供下一步清洗操作使用。
[0112]
进一步的，所述异常数据处理步骤分别为：异常数据检测、异常数据替换、缺失数据替换、数据平滑、数据归一化；
[0113]
需要说明的是，在本实施例中，
[0114]
(1)异常数据检测：
[0115]
假设第i时刻的采集数据为yi，其均值和方差分别为和通过3σ理论，可以使用如下公式来进行异常判决：
[0116][0117]
将采集得到的相关数据和均值的差值绝对值和3σε对比，如果大于3σε，则表示当前的采集数据存在异常，如果小于3σε，表示当前的采集数据正；
[0118]
(2)异常数据替换：
[0119]
假设第i时刻的采集数据的替换值为那么其替换值可以表示为：
[0120][0121]
yi±1表示的是yi前后两个时刻的采集数据值；yi±2表示的是yi前后四个时刻的采集数据值。
[0122]
(3)缺失数据替换：
[0123]
假设第i时刻需要被填充的数据值为填充时刻的前后k个时刻的数据分别是yi-1
，y
i-2
，...，y
i-k
及y
i+1
，y
i+2
，...，y
i+k
；那么其填充值可以表示为：
[0124][0125]
(4)数据平滑：
[0126]
假设第i时刻需要被平滑处理的数据值为平滑时刻的前k个时刻的数据分别是y
i-1
，y
i-2
，...，y
i-k
；那么其可以表示为：
[0127][0128]
(5)数据归一化：
[0129]
在数据预处理之后，防止数据在建模训练阶段出现数据溢出或者训练过拟合的问题，需要将数据进行归一化处理。通过归一化处理，可将被处理数据映射到一个较小的取值范围内，防止后续处理出现数据溢出等异常。
[0130]
归一化方法，其主要通过计算数据y的最小值y
min
和最大值y
max
，其数学表达式为：
[0131][0132]
进一步的，所述数据存储的具体步骤为：
[0133]
step1：将清洗分组后的文件存入到hdfs中namenode发送数据上传的请求，namenode收到客户端请求之后会进行一系列的检查工作；
[0134]
step2：检查通过之后，namenode给客户端返回一个存储的节点信息返回的，该节点信息优先返回客户端所在节点，其次返回同机架的节点，最后返回不同机架的节点；
[0135]
step3：客户端收到响应之后，会进行一次逻辑切块；
[0136]
需要说明的是，在本实施例中，该实施例中的step1中的检查工作为查重处理，如果重复则报错，验证上传文件的目标目录是否存在，不存在报错，检查权限等；
[0137]
逻辑切块：可以理解为切分前的准备，每个块128m，计算出需要切分成几个块(切块规划)。然后将同一个块的所有存储节点构建成一个数据流通道，按照块的id依次构建通道，构建完成之后会逆序返回一个响应最后开始真正的文件上传，边上传边进行数据的物理切块，完成存储过程。
[0138]
进一步的，所述模型构建前的流程为：整合好的数据由kafka处理平台收集，传入到flink处理引擎，然后flink处理引擎上传到hdfs分布式文件系统上，处理成hive格式的文件，最终存入到hive数据库中。
[0139]
需要说明的是，在本实施例中，kafka处理平台是一款分布式、支持分区的、多副本，基于zookeeper服务软件协调的分布式消息系统，其最大的特性就是可以实时处理大量数据来满足需求。然后再使用flink处理引擎消费存储在kafka处理平台中的数据，flink处理引擎是一个分布式、高性能的框架和分布式处理引擎，它用于对无限制和有限制的数据流进行有状态的计算，flink处理引擎被设计为可在所有常见的集群环境中运行，以内存速度和任何规模执行计算，其特性十分符合企业对海量数据进行实时处理的需求。使用hdfs分布式文件系统暂时存储未处理的原始数据，因为hdfs分布式文件系统不仅能提供高吞吐量的数据访问，而且其高容错性的特征又可以避免数据丢失，之后可以根据实际的生产要
求编写对应的mapreduce程序来处理收集来的数据，最后将处理好的数据装载到hive数据库中，为数据操作提供良好的伸缩性和可扩展性。
[0140]
进一步的，所述数据可视化流程使用到两套系统，两套所述系统分别为：
[0141]
数据可视化系统，可视化页面采用了springboot框架，ajax异步加载数据，html标记语言、css层叠样式表、js编程语言、echarts数据可视化图表库等开发；
[0142]
喷漆车间智慧监控系统，监控系统的前端通过vue.js框架，后端通过springboot框架，mysql数据库以及云服务器搭建；
[0143]
需要说明的是，在本实施例中，喷漆车间智慧监控系统是一款无需按照在线可编辑的建模平台，对喷漆室、新风空调、循环空调进行监控，在该系统中可以监控每相隔一个小时的参数变化，动态更新新风空调的参数，包括入口温度、入口湿度、出口温度、出口湿度、当前的设定温度、设定湿度、冷水阀开度、热水阀开度、加湿泵频率、加湿泵电流。动态更新循环空调的参数，包括入口温度、入口湿度、出口温度、出口湿度、冷水阀开度。动态更新喷漆室的参数，包括当前的温度和湿度。当喷漆室的环境达到合适之后，会提示喷漆作业。
[0144]
进一步的，所述智慧监控小程序的框架系统分为两部分：逻辑层和视图层，视图层与逻辑层间之间提供了数据传输和事件系统；
[0145]
需要说明的是，在本实施例中，在该程序中可以监控每15分钟的参数变化，动态更新新风空调的参数，包括入口温度、入口湿度、出口温度、出口湿度、当前的设定温度、设定湿度、冷水阀开度、热水阀开度、加湿泵频率、加湿泵电流。动态更新循环空调的参数，包括入口温度、入口湿度、出口温度、出口湿度、冷水阀开度。动态更新喷漆室的参数，包括当前的温度和湿度，工作人员在手机上查看喷漆作业的相关参数。
[0146]
上述结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的这种非实质改进，或未经改进将本发明的构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。

技术特征：
1.基于actor-critic结构的汽车车身喷涂用环境数据分析方法，其特征在于，所述方法包括：步骤一，数据处理，对数据进行审查和校验，以删除重复信息、纠正存在的错误；步骤二，数据存储，通过kafka处理平台写入机器开机产生的实时数据，之后设定对机器开机的数据进行分区储存的频率；步骤三，模型构建，采用了深度强化学习控制算法得到一个高效稳定的涂装空调温湿度控制器，该所述深度强化学习控制算法为actor-critic结构的双深度强化学习解耦网络模型算法和pid算法；再通过对比其他四种算法模型的控制方案，分析出了本控制方案的所具有的优势，该所述四种算数模型为：pid控制器模型、滑膜控制器模型、模糊控制器模型、mpc控制器模型；步骤四，数据可视化，以多种色彩将各模块以及各模块内数据区分开来，并采用了数据流图的形式，从构建出的五种算法模型择优选择双深度强化学习解耦网络模型的构建过程展现出来，使用气泡云图将择优算法模型展现；步骤五，wis3d可视化系统和智慧监控小程序，通过基于数字孪生的wis3d摩尔元素平台对喷漆室、新风空调、循环空调进行组装展示，数据同步上传至喷漆车间智慧监控小程序。2.根据权利要求1所述的基于actor-critic结构的汽车车身喷涂用环境数据分析方法，其特征在于，所述数据处理的流程为：step1：模型训练所需数据预处理；从空调机组运行数据从提取所需特征数据，并构造目标数据格式用于读取空调机组运行数据；step2：空调机组bc1新风和bc1循环风的数据处理；当发现bc1新风空调机组的一列燃烧机阀值全为0，则当作无关因子直接删除；step3：异常数据处理；step4：写好一个清洗相同时间序列数据模板，来对空调机组bc1新风和bc1循环风的时间列数据进行清洗，然后将上一步清洗好的数据按照所属日期一一对应的填充到目标csv文件中，每一个csv文件清洗过后对应导出一个新的csv文件，最后将导出的csv文件用于训练模型和测试模型。3.根据权利要求2所述的基于actor-critic结构的汽车车身喷涂用环境数据分析方法，其特征在于，所述异常数据处理步骤分别为：异常数据检测、异常数据替换、缺失数据替换、数据平滑、数据归一化。4.根据权利要求2所述的基于actor-critic结构的汽车车身喷涂用环境数据分析方法，其特征在于，所述数据存储的具体步骤为：step1：将清洗分组后的文件存入到hdfs中namenode发送数据上传的请求，namenode收到客户端请求之后会进行一系列的检查工作；step2：检查通过之后，namenode给客户端返回一个存储的节点信息返回的，该节点信息优先返回客户端所在节点，其次返回同机架的节点，最后返回不同机架的节点；step3：客户端收到响应之后，会进行一次逻辑切块。5.根据权利要求3所述的基于actor-critic结构的汽车车身喷涂用环境数据分析方法，其特征在于，所述模型构建前的流程为：整合好的数据由kafka处理平台收集，传入到flink处理引擎，然后flink处理引擎上传到hdfs分布式文件系统上，处理成hive格式的文
件，最终存入到hive数据库中。6.根据权利要求1所述的基于actor-critic结构的汽车车身喷涂用环境数据分析方法，其特征在于，所述数据可视化流程使用到两套系统，两套所述系统分别为：数据可视化系统，可视化页面采用了springboot框架，ajax异步加载数据，html标记语言、css层叠样式表、js编程语言、echarts数据可视化图表库等开发；喷漆车间智慧监控系统，监控系统的前端通过vue.js框架，后端通过springboot框架，mysql数据库以及云服务器搭建。7.根据权利要求1所述的基于actor-critic结构的汽车车身喷涂用环境数据分析方法，其特征在于，所述智慧监控小程序的框架系统分为两部分：逻辑层和视图层，视图层与逻辑层间之间提供了数据传输和事件系统。

技术总结
本发明提供了基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法，属于汽车制造车身喷涂技术领域，方法包括：数据处理，数据存储，模型构建，数据可视化，Wis3D可视化系统和智慧监控小程序，模型构建采用了深度强化学习控制算法，该深度强化学习控制算法为Actor-Critic结构的双深度强化学习解耦网络模型算法和PID算法；再通过对比其他四种算法模型的控制方案；从而节约能量，且使大型空调机组自动对喷漆室内温湿度进行快速有效调节，同时在新风空调和循环风空调配合的方式下使车身喷涂的整个过程中节约更多的能源，同步减少开机准备时间，在工作过程中制冷加热功能交替开启，各个自动执行单元提供加热、降温、加湿、除湿功能时，系统可以快速达到稳定状态。系统可以快速达到稳定状态。系统可以快速达到稳定状态。


技术研发人员：方强龙 高旭 吴锦华
受保护的技术使用者：安徽信息工程学院
技术研发日：2023.04.03
技术公布日：2023/7/21