智能气缸及其控制方法与流程

1.本技术涉及智能控制领域，且更为具体地，涉及一种智能气缸及其控制方法。


背景技术：

2.气缸是指引导活塞在缸内进行直线往复运动的圆筒形金属机。气缸控制阀是气缸的自动控制系统中非常重要的一个终端元件，其用于调节通往气缸气体流量，通过调节气体流速的控制阀能够使得气缸输出轴伸出速率不同。
3.在新能源锂电池电芯生产过程中，需要通过气缸作为驱动件来执行涂胶工艺，具体地，通过气缸控制阀来进行涂胶控制。在现有的控制方案中，通过人工观测半自动化调控的方式来进行气缸气体的流量控制，但在实际使用时，由于工艺的不同需要每天调节节胶比例，甚至每小时都要关注胶状态，严重影响自动化生产效率。
4.因此，期望一种优化的智能气缸控制方案。


技术实现要素：

5.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种智能气缸及其控制方法。其通过对于各个时间点下的涂胶状态监控图像的分析来提取涂胶的状态变化特征信息，并建立气缸控制阀的阀门开度值的时序变化特征信息与所述涂胶状态的时序变化特征信息之间的映射关系，以使得基于涂胶状态变化来自适应地调整所述气缸控制阀的阀门开度值。通过这样的方式，保证涂胶的质量。
6.根据本技术的一个方面，提供了一种智能气缸，其包括：
7.数据采集模块，用于获取预定时间段内多个预定时间点的气缸控制阀的阀门开度值，以及，所述多个预定时间点的涂胶状态监控图像；
8.空间特征增强模块，用于将所述多个状态监控关键图像通过使用空间注意力机制的卷积神经网络模型以得到多个涂胶状态特征矩阵；
9.展开模块，用于将所述多个涂胶状态特征矩阵中的各个涂胶状态特征矩阵分别进行特征矩阵展开以得到多个涂胶状态特征向量；
10.第一尺度涂胶状态关联特征提取模块，用于将所述多个涂胶状态特征向量通过基于转换器的上下文编码器以得到第一尺度涂胶状态语义理解特征向量；
11.第二尺度涂胶状态关联特征提取模块，用于将所述多个涂胶状态特征向量通过双向长短期记忆神经网络模型以得到第二尺度涂胶状态语义理解特征向量；
12.多尺度涂胶状态关联特征融合模块，用于融合所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量以得到涂胶状态语义理解特征向量；
13.阀门开度变化模块，用于将所述多个预定时间点的气缸控制阀的阀门开度值按照时间维度排列为阀门开度输入向量后通过多尺度邻域特征提取模块以得到阀门开度多尺度特征向量；
14.关联性编码模块，用于计算所述涂胶状态语义理解特征向量相对于所述阀门开度
多尺度特征向量的响应性估计以得到分类特征矩阵；
15.优化模块，用于对所述分类特征矩阵进行特征分布约束以得到优化分类特征矩阵；以及
16.阀门开度控制模块，用于将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的气缸控制阀的阀门开度值应增大或减小。
17.在上述的智能气缸中，所述空间特征增强模块，用于：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
18.对输入数据进行卷积处理以生成卷积特征图；
19.对所述卷积特征图进行池化处理以生成池化特征图；
20.对所述池化特征图进行非线性激活以生成激活特征图；
21.计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；
22.计算所述空间特征矩阵中各个位置的类softmax函数值以获得空间得分矩阵；以及
23.计算所述空间特征矩阵和所述空间得分图的按位置点乘以获得特征矩阵；
24.其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个涂胶状态特征矩阵。
25.在上述的智能气缸中，所述第一尺度涂胶状态关联特征提取模块，包括：
26.上下文编码单元，用于使用所述基于转换器的上下文编码器对所述多个涂胶状态特征向量进行基于全局的上下文语义编码以得到多个上下文涂胶状态特征向量；以及
27.级联单元，用于将所述多个上下文涂胶状态特征向量进行级联以得到所述第一尺度涂胶状态语义理解特征向量。
28.在上述的智能气缸中，所述上下文编码单元，包括：
29.查询向量构造子单元，用于将所述多个涂胶状态特征向量进行一维排列以得到全局词序列特征向量；
30.自注意子单元，用于计算所述全局词序列特征向量与所述多个涂胶状态特征向量中各个涂胶状态特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；
31.标准化子单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；
32.关注度计算子单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分类函数以得到多个概率值；以及
33.注意力施加子单元，用于分别以所述多个概率值中各个概率值作为权重对所述多个涂胶状态特征向量中各个涂胶状态特征向量进行加权以得到所述多个上下文涂胶状态特征向量。
34.在上述的智能气缸中，所述第二尺度涂胶状态关联特征提取模块，用于：在每一个所述双向长短期记忆神经网络模型中，
35.通过所述双向长短期记忆神经网络模型的前向长短期记忆神经网络模型提取所述多个涂胶状态特征向量的序列中当前涂胶状态特征向量的前文特征；
36.通过所述双向长短期记忆神经网络模型的反向长短期记忆神经网络模型提取所述多个涂胶状态特征向量的序列中当前涂胶状态特征向量的后文特征；以及
37.基于每个涂胶状态特征向量的所述前文特征和所述后文特征获得所述多个涂胶状态特征向量的序列的中间特征向量，所述中间特征向量为下一层所述双向长短期记忆神经网络模型的输入。
38.在上述的智能气缸中，所述多尺度涂胶状态关联特征融合模块，用于：以如下公式融合所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量以得到所述涂胶状态语义理解特征向量；
39.其中，所述公式为：
[0040]vc
＝concat[v1，v2]
[0041]
其中，v1和v2表示所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量，concat[
·
]表示级联函数，vc表示所述涂胶状态语义理解特征向量。
[0042]
在上述的智能气缸中，所述优化模块，包括：
[0043]
特征矩阵展开单元，用于将所述分类特征矩阵展开为分类特征向量；
[0044]
结构优化单元，用于对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到优化分类特征向量；以及
[0045]
重构单元，用于将所述优化分类特征向量进行维度重构以得到所述优化分类特征矩阵。
[0046]
在上述的智能气缸中，所述结构优化单元，进一步用于：以如下公式对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到所述优化分类特征向量；
[0047]
其中，所述公式为：
[0048][0049]
其中，v是所述分类特征向量，v
t
是所述分类特征向量的转置向量，vi和vi′
分别是所述分类特征向量和所述优化分类特征向量的第i个位置的特征值，且v是行向量形式，μ和σ是所述分类特征向量的各个位置特征值集合的均值和方差，表示向量的二范数的平方，‖
·
‖f表示矩阵的frobenius范数，exp(
·
)表示计算以数值为幂的自然指数函数值。
[0050]
在上述的智能气缸中，所述阀门开度控制模块，包括：
[0051]
优化矩阵展开单元，用于将所述优化分类特征矩阵按照行向量展开为优化分类特征向量；
[0052]
全连接编码单元，用于使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到优化编码分类特征向量；以及
[0053]
分类单元，用于将所述优化编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
[0054]
根据本技术的另一个方面，提供了一种智能气缸的控制方法，其包括：
[0055]
获取预定时间段内多个预定时间点的气缸控制阀的阀门开度值，以及，所述多个预定时间点的涂胶状态监控图像；
[0056]
将所述多个状态监控关键图像通过使用空间注意力机制的卷积神经网络模型以得到多个涂胶状态特征矩阵；
[0057]
将所述多个涂胶状态特征矩阵中的各个涂胶状态特征矩阵分别进行特征矩阵展
开以得到多个涂胶状态特征向量；
[0058]
将所述多个涂胶状态特征向量通过基于转换器的上下文编码器以得到第一尺度涂胶状态语义理解特征向量；
[0059]
将所述多个涂胶状态特征向量通过双向长短期记忆神经网络模型以得到第二尺度涂胶状态语义理解特征向量；
[0060]
融合所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量以得到涂胶状态语义理解特征向量；
[0061]
将所述多个预定时间点的气缸控制阀的阀门开度值按照时间维度排列为阀门开度输入向量后通过多尺度邻域特征提取模块以得到阀门开度多尺度特征向量；
[0062]
计算所述涂胶状态语义理解特征向量相对于所述阀门开度多尺度特征向量的响应性估计以得到分类特征矩阵；
[0063]
对所述分类特征矩阵进行特征分布约束以得到优化分类特征矩阵；以及
[0064]
将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的气缸控制阀的阀门开度值应增大或减小。
[0065]
与现有技术相比，本技术提供的智能气缸及其控制方法，其通过对于各个时间点下的涂胶状态监控图像的分析来提取涂胶的状态变化特征信息，并建立气缸控制阀的阀门开度值的时序变化特征信息与所述涂胶状态的时序变化特征信息之间的映射关系，以使得基于涂胶状态变化来自适应地调整所述气缸控制阀的阀门开度值。通过这样的方式，保证涂胶的质量。
附图说明
[0066]
为了更清楚地说明本技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本技术的主旨。
[0067]
图1为根据本技术实施例的智能气缸的应用场景图。
[0068]
图2为根据本技术实施例的智能气缸的框图示意图。
[0069]
图3为根据本技术实施例的智能气缸中的所述第一尺度涂胶状态关联特征提取模块的框图示意图。
[0070]
图4为根据本技术实施例的智能气缸中的所述上下文编码单元的框图示意图。
[0071]
图5为根据本技术实施例的智能气缸中的所述优化模块的框图示意图。
[0072]
图6为根据本技术实施例的智能气缸中的所述阀门开度控制模块的框图示意图。
[0073]
图7为根据本技术实施例的智能气缸的控制方法的流程图。
[0074]
图8为根据本技术实施例的智能气缸的控制方法的系统架构的示意图。
具体实施方式
[0075]
下面将结合附图对本技术实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本技术的部分实施例，而不是全部的实施例。基于本技术实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于
本技术保护的范围。
[0076]
如本技术和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
[0077]
虽然本技术对根据本技术的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
[0078]
本技术中使用了流程图用来说明根据本技术的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
[0079]
下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
[0080]
如上所述，气缸是指引导活塞在缸内进行直线往复运动的圆筒形金属机。气缸控制阀是气缸的自动控制系统中非常重要的一个终端元件，其用于调节通往气缸气体流量，通过调节气体流速的控制阀能够使得气缸输出轴伸出速率不同。
[0081]
在新能源锂电池电芯生产过程中，需要通过气缸作为驱动件来执行涂胶工艺，具体地，通过气缸控制阀来进行涂胶控制。在现有的控制方案中，通过人工观测半自动化调控的方式来进行气缸气体的流量控制，但在实际使用时，由于工艺的不同需要每天调节节胶比例，甚至每小时都要关注胶状态，严重影响自动化生产效率。因此，期望一种优化的智能气缸控制方案。
[0082]
相应地，考虑到在实际通过气缸控制阀来进行涂胶控制时，由于工艺的不同需要每天调节节胶比例，甚至每小时都要关注胶状态，因此对于不同工艺下的涂胶情况也需要时刻进行关注。也就是，为了满足工艺的需求，需要基于涂胶的状态变化特征来自适应地控制气缸控制阀的阀门开度值变化，也就是说，气缸控制阀的阀门开度值的控制应适配于涂胶的状态变化情况，以此来保证涂胶的质量。考虑到对于涂胶的状态变化特征提取可以通过对于各个时间点下的涂胶状态监控图像的分析来实现，但是，由于图像中存在的信息量较大，并且涂胶状态在时间维度上具有着动态性的关联信息，难以对于涂胶状态的时序变化特征进行有效地捕捉提取。在此过程中，难点在于如何建立所述阀门开度值的时序变化特征信息与所述涂胶状态的时序变化特征信息之间的映射关系，以使得基于涂胶状态变化来自适应地调整所述气缸控制阀的阀门开度值，以保证涂胶的质量。
[0083]
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
[0084]
深度学习以及神经网络的发展为挖掘所述阀门开度值的时序变化特征信息与所述涂胶状态的时序变化特征信息之间的复杂映射关系提供了新的解决思路和方案。本领域普通技术人员应知晓，基于深度学习的深度神经网络模型可以通过适当的训练策略，例如
通过梯度下降的反向传播算法来调整所述深度神经网络模型的参数以使之能够模拟事物之间的复杂的非线性关联，而这显然适合于模拟并建立所述阀门开度值的时序变化特征信息与所述涂胶状态的时序变化特征信息之间的复杂映射关系。
[0085]
具体地，在本技术的技术方案中，首先，获取预定时间段内多个预定时间点的气缸控制阀的阀门开度值，以及，所述多个预定时间点的涂胶状态监控图像。接着，对于所述多个预定时间点的涂胶状态监控图像来说，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述多个状态监控关键图像的特征提取，特别地，考虑到在进行阀门开度值的自适应控制时，应关注于涂胶部分的空间位置上关于涂胶状态的隐含特征分布信息，而忽略与涂胶状态无关的干扰特征。鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。因此，在本技术的技术方案中，将所述多个状态监控关键图像分别通过使用空间注意力机制的卷积神经网络模型中进行处理，以提取出所述各个状态监控关键图像中聚焦于涂胶部分空间位置上的关于涂胶状态的隐含特征分布信息，从而得到多个涂胶状态特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于涂胶状态的特征信息。
[0086]
然后，考虑到由于所述每个预定时间点的涂胶状态特征矩阵中具有着不同空间位置上的关于涂胶状态的隐含特征信息，这些所述各个空间位置上关于涂胶状态的隐含特征信息间具有着关联性关系，并且所述各个预定时间点的涂胶状态隐含特征在时间维度上也具有着动态性的变化规律。因此，为了能够准确地对于涂胶状态在时间维度上的动态关联特征信息进行提取，以此来准确地进行涂胶状态的时序变化检测，在本技术的技术方案中，进一步将所述多个涂胶状态特征矩阵中的各个涂胶状态特征矩阵分别进行特征矩阵展开以得到多个涂胶状态特征向量。相应地，在本技术的一个具体示例中，可以将所述多个涂胶状态特征矩阵中的各个涂胶状态特征矩阵分别按照行向量或列向量进行特征矩阵展开来得到所述多个涂胶状态特征向量。
[0087]
接着，将所述多个涂胶状态特征向量通过基于转换器的上下文编码器中进行编码，以提取出所述涂胶状态监控图像中聚焦于空间位置上的关于涂胶状态关联特征基于时序全局的上下文关联特征分布信息，从而得到第一尺度涂胶状态语义理解特征向量。也就是，基于transformer思想，利用转换器能够捕捉长距离上下文依赖的特性，对所述多个涂胶状态特征向量中各个涂胶状态特征向量进行基于全局的上下文语义编码以得到以所述多个涂胶状态特征向量的整体语义关联为上下文背景的上下文语义关联特征表示，即，所述第一尺度涂胶状态语义理解特征向量。
[0088]
进一步地，考虑到由于所述基于转换器的上下文编码器能够对于所述涂胶监控图像中聚焦于空间位置上的涂胶时序状态基于全局的上下文语义关联特征进行有效地提取，但是，由于图像中关于涂胶状态特征在不同空间位置上和时间维度的局部区域上具有着特殊的关联性，而所述基于转换器的上下文编码器对于局部隐含关联特征提取的能力较弱。因此，为了能够准确地进行涂胶状态的时序变化特征提取，以实时准确地进行阀门开度控制，在本技术的技术方案中，将所述多个涂胶状态特征向量通过双向长短期记忆神经网络模型以得到第二尺度涂胶状态语义理解特征向量。应可以理解，所述双向长短期记忆神经网络模型(lstm，long short-term memory)通过增加输入门、输出门和遗忘门，使得神经网
络的权重能够自我更新，在网络模型参数固定的情况下，不同通道的权重尺度可以动态改变，从而能够避免梯度消失或者梯度膨胀的问题。特别地，所述双向长短期记忆神经网络模型是由前向lstm与后向lstm组合而成，前向lstm可以学习到前向局部区域的关于监控图像中涂胶状态的时序动态关联特征信息而后向lstm可以学习到后续局部区域的关于监控图像中涂胶状态的时序动态关联特征信息，因此，通过所述双向长短期记忆神经网络模型获得的所述第二尺度涂胶状态语义理解特征向量学习到了所述各个局部区域的基于中短距离依赖的关于涂胶状态的时序动态关联特征信息。特别地，所述双向长短期记忆神经网络模型是在原来rnn基础进行了改进，可以弥补rnn中存在的梯度消失与爆炸问题。
[0089]
接着，进一步融合所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量，以此来融合所述涂胶状态监控图像中关于涂胶状态在时间和空间上的动态变化基于长距离依赖和中短距离依赖的关联性特征分布信息，从而得到涂胶状态语义理解特征向量。
[0090]
然后，考虑到由于所述气缸控制阀的阀门开度值在时间维度上的不同时间周期跨度下具有着不同的变化规律，因此，为了能够充分地对于所述气缸控制阀的阀门开度值进行时序动态变化特征挖掘，在本技术的技术方案中，将所述多个预定时间点的气缸控制阀的阀门开度值按照时间维度排列为阀门开度输入向量后通过多尺度邻域特征提取模块中进行特征挖掘，以提取出所述气缸控制阀的阀门开度值在所述预定时间段内不同时间跨度下的动态多尺度邻域关联特征，从而得到阀门开度多尺度特征向量。
[0091]
进一步地，计算所述涂胶状态语义理解特征向量相对于所述阀门开度多尺度特征向量的响应性估计，以此来表示所述涂胶状态的时序动态关联特征和所述阀门开度值的多尺度动态变化特征间的关联性特征分布信息，并以此分类特征矩阵通过分类器中进行分类处理，以得到用于表示当前时间点的气缸控制阀的阀门开度值应增大或减小的分类结果。
[0092]
也就是，在本技术的技术方案中，所述分类器的标签包括当前时间点的气缸控制阀的阀门开度值应增大(第一标签)，以及，当前时间点的气缸控制阀的阀门开度值应减小(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征矩阵属于哪个分类标签。应可以理解，在本技术的技术方案中，所述分类器的分类标签为所述当前时间点的气缸控制阀的阀门开度值的控制策略标签，因此，在得到所述分类结果后，可基于所述分类结果来自适应地调整所述当前时间点的气缸控制阀的阀门开度值，以此来保证涂胶的质量。
[0093]
特别地，在本技术的技术方案中，在通过高斯密度图计算所述涂胶状态语义理解特征向量相对于所述阀门开度多尺度特征向量的响应性估计得到所述分类特征矩阵时，由于高斯离散化引入的随机特性，使得所述分类特征矩阵整体的特征分布可能存在相对于分类器的预定类标签收敛性差的问题，从而影响模型的训练速度和分类结果的准确性。
[0094]
因此，优选地，在将所述分类特征矩阵通过分类器进行分类时，将所述分类特征矩阵展开后得到的分类特征向量，例如记为v进行正定赋范空间的几何约束重参数化，表示为：
[0095][0096]
μ和σ是特征集合vi∈v的均值和方差，表示向量的二范数的平方，‖
·
‖f表示矩阵的frobenius范数，vi和vi′
分别是校正前和校正后的分类特征向量v的第i个位置的特征
值，且v是行向量形式。
[0097]
这里，所述分类特征向量v的正定赋范空间的几何约束重参数化可以基于贝塞尔不等式的投影模长度量关系，通过以内积形式表示的向量范数平方在向量自身的关联集合空间内的投影，来使得向量的分布集合在具有正定性的赋范空间的几何度量子空间内具有模长约束性，以基于特征分布的几何约束来将分布空间重参数化到具有闭子空间的有界正定赋范空间，这样，就提高所述分类特征向量整体的特征分布在预定类标签属性下的收敛性，从而提升了将其通过分类器进行分类时模型的训练速度和分类结果的准确性。这样，能够实时准确地基于涂胶状态变化情况来自适应地调整气缸控制阀的阀门开度值，以保证涂胶的质量。
[0098]
图1为根据本技术实施例的智能气缸的应用场景图。如图1所示，在该应用场景中，首先，获取预定时间段内多个预定时间点的气缸控制阀的阀门开度值(例如，图1中所示意的d1)，以及，所述多个预定时间点的涂胶状态监控图像(例如，图1中所示意的d2)，然后，将所述多个预定时间点的气缸控制阀的阀门开度值和所述多个预定时间点的涂胶状态监控图像输入至部署有智能气缸的控制算法的服务器中(例如，图1中所示意的s)，其中，所述服务器能够使用所述智能气缸的控制算法对所述多个预定时间点的气缸控制阀的阀门开度值和所述多个预定时间点的涂胶状态监控图像进行处理以得到用于表示当前时间点的气缸控制阀的阀门开度值应增大或减小的分类结果。
[0099]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0100]
图2为根据本技术实施例的智能气缸的框图示意图。如图2所示，根据本技术实施例的智能气缸100，包括：数据采集模块110，用于获取预定时间段内多个预定时间点的气缸控制阀的阀门开度值，以及，所述多个预定时间点的涂胶状态监控图像；空间特征增强模块120，用于将所述多个状态监控关键图像通过使用空间注意力机制的卷积神经网络模型以得到多个涂胶状态特征矩阵；展开模块130，用于将所述多个涂胶状态特征矩阵中的各个涂胶状态特征矩阵分别进行特征矩阵展开以得到多个涂胶状态特征向量；第一尺度涂胶状态关联特征提取模块140，用于将所述多个涂胶状态特征向量通过基于转换器的上下文编码器以得到第一尺度涂胶状态语义理解特征向量；第二尺度涂胶状态关联特征提取模块150，用于将所述多个涂胶状态特征向量通过双向长短期记忆神经网络模型以得到第二尺度涂胶状态语义理解特征向量；多尺度涂胶状态关联特征融合模块160，用于融合所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量以得到涂胶状态语义理解特征向量；阀门开度变化模块170，用于将所述多个预定时间点的气缸控制阀的阀门开度值按照时间维度排列为阀门开度输入向量后通过多尺度邻域特征提取模块以得到阀门开度多尺度特征向量；关联性编码模块180，用于计算所述涂胶状态语义理解特征向量相对于所述阀门开度多尺度特征向量的响应性估计以得到分类特征矩阵；优化模块190，用于对所述分类特征矩阵进行特征分布约束以得到优化分类特征矩阵；以及，阀门开度控制模块200，用于将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的气缸控制阀的阀门开度值应增大或减小。
[0101]
更具体地，在本技术实施例中，所述数据采集模块110，用于获取预定时间段内多个预定时间点的气缸控制阀的阀门开度值，以及，所述多个预定时间点的涂胶状态监控图
像。考虑到在实际通过气缸控制阀来进行涂胶控制时，由于工艺的不同需要每天调节节胶比例，甚至每小时都要关注胶状态，因此对于不同工艺下的涂胶情况也需要时刻进行关注。也就是，为了满足工艺的需求，需要基于涂胶的状态变化特征来自适应地控制气缸控制阀的阀门开度值变化，也就是说，气缸控制阀的阀门开度值的控制应适配于涂胶的状态变化情况，以此来保证涂胶的质量。因此，获取预定时间段内多个预定时间点的气缸控制阀的阀门开度值，以及，所述多个预定时间点的涂胶状态监控图像，建立所述阀门开度值的时序变化特征信息与所述涂胶状态的时序变化特征信息之间的映射关系，以使得基于涂胶状态变化来自适应地调整所述气缸控制阀的阀门开度值，以保证涂胶的质量。
[0102]
更具体地，在本技术实施例中，所述空间特征增强模块120，用于将所述多个状态监控关键图像通过使用空间注意力机制的卷积神经网络模型以得到多个涂胶状态特征矩阵。对于所述多个预定时间点的涂胶状态监控图像来说，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述多个状态监控关键图像的特征提取，特别地，考虑到在进行阀门开度值的自适应控制时，应关注于涂胶部分的空间位置上关于涂胶状态的隐含特征分布信息，而忽略与涂胶状态无关的干扰特征。注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，加入注意力模块后的特征会随着网络的加深产生适应性的改变。
[0103]
卷积神经网络模型利用卷积核作为特征过滤因子在图像局部特征提取方面具有非常优异的性能表现，且相较于传统的基于统计或者基于特征工程的图像特征提取算法，所述卷积神经网络模型具有更强的特征提取泛化能力和拟合能力。
[0104]
注意力机制是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。一方面，注意力机制就是希望网络能够自动学出来图片或者文字序列中的需要注意的地方；另一方面，注意力机制通过神经网络的操作生成一个掩码mask,mask上的值的权重。一般来说，空间注意力机制对于同一像素点不同通道求均值,再经过一些卷积和上采样的运算得到空间特征,空间特征每层的像素点就被赋予不同的权重。
[0105]
相应地，在一个具体示例中，所述空间特征增强模块120，用于：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分图的按位置点乘以获得特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个涂胶状态特征矩阵。
[0106]
更具体地，在本技术实施例中，所述展开模块130，用于将所述多个涂胶状态特征矩阵中的各个涂胶状态特征矩阵分别进行特征矩阵展开以得到多个涂胶状态特征向量。考虑到由于所述每个预定时间点的涂胶状态特征矩阵中具有着不同空间位置上的关于涂胶状态的隐含特征信息，这些所述各个空间位置上关于涂胶状态的隐含特征信息间具有着关联性关系，并且所述各个预定时间点的涂胶状态隐含特征在时间维度上也具有着动态性的变化规律。因此，为了能够准确地对于涂胶状态在时间维度上的动态关联特征信息进行提
取，以此来准确地进行涂胶状态的时序变化检测，在本技术的技术方案中，进一步将所述多个涂胶状态特征矩阵中的各个涂胶状态特征矩阵分别进行特征矩阵展开以得到多个涂胶状态特征向量。
[0107]
相应地，在本技术的一个具体示例中，可以将所述多个涂胶状态特征矩阵中的各个涂胶状态特征矩阵分别按照行向量或列向量进行特征矩阵展开来得到所述多个涂胶状态特征向量。
[0108]
更具体地，在本技术实施例中，所述第一尺度涂胶状态关联特征提取模块140，用于将所述多个涂胶状态特征向量通过基于转换器的上下文编码器以得到第一尺度涂胶状态语义理解特征向量。将所述多个涂胶状态特征向量通过基于转换器的上下文编码器中进行编码，以提取出所述涂胶状态监控图像中聚焦于空间位置上的关于涂胶状态关联特征基于时序全局的上下文关联特征分布信息。也就是，基于transformer思想，利用转换器能够捕捉长距离上下文依赖的特性，对所述多个涂胶状态特征向量中各个涂胶状态特征向量进行基于全局的上下文语义编码以得到以所述多个涂胶状态特征向量的整体语义关联为上下文背景的上下文语义关联特征表示，即，所述第一尺度涂胶状态语义理解特征向量。
[0109]
应可以理解，通过上下文编码器，可以分析向量表示序列中的某个分词与其他分词之间的关系，以得到相应的特征信息。上下文编码器旨在挖掘得到词序列中上下文之间的隐藏模式，可选地，编码器包括：cnn(convolutional neural network，卷积神经网络)、recursive nn(recursiveneural network，递归神经网络)、语言模型(language model)等。基于cnn的方法对于局部特征有比较好的提取效果，但其对于句子中的长程依赖(long-term dependency)问题效果欠佳，因此基于bi-lstm(long short-term memory，长短期记忆网络)的编码器被广泛使用。recursive nn把句子当作树状结构而非序列进行处理，从理论上而言具有更强的表示能力，但其存在样本标注难度大、深层易梯度消失、难以并行计算等弱点，因此在实际应用中使用较少。transformer是应用广泛的网络结构了，同时具有cnn和rnn的特性，对于全局特征有较好的提取效果，同时相较于rnn(recurrentneural network，循环神经网络)在并行计算上具有一定优势。
[0110]
相应地，在一个具体示例中，如图3所示，所述第一尺度涂胶状态关联特征提取模块140，包括：上下文编码单元141，用于使用所述基于转换器的上下文编码器对所述多个涂胶状态特征向量进行基于全局的上下文语义编码以得到多个上下文涂胶状态特征向量；以及，级联单元142，用于将所述多个上下文涂胶状态特征向量进行级联以得到所述第一尺度涂胶状态语义理解特征向量。
[0111]
相应地，在一个具体示例中，如图4所示，所述上下文编码单元141，包括：查询向量构造子单元1411，用于将所述多个涂胶状态特征向量进行一维排列以得到全局词序列特征向量；自注意子单元1412，用于计算所述全局词序列特征向量与所述多个涂胶状态特征向量中各个涂胶状态特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化子单元1413，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；关注度计算子单元1414，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分类函数以得到多个概率值；以及，注意力施加子单元1415，用于分别以所述多个概率值中各个概率值作为权重对所述多个涂胶状态特征向量中各个涂胶状态特征向量进行加权以得到所述多个上
下文涂胶状态特征向量。
[0112]
更具体地，在本技术实施例中，所述第二尺度涂胶状态关联特征提取模块150，用于将所述多个涂胶状态特征向量通过双向长短期记忆神经网络模型以得到第二尺度涂胶状态语义理解特征向量。考虑到由于所述基于转换器的上下文编码器能够对于所述涂胶监控图像中聚焦于空间位置上的涂胶时序状态基于全局的上下文语义关联特征进行有效地提取，但是，由于图像中关于涂胶状态特征在不同空间位置上和时间维度的局部区域上具有着特殊的关联性，而所述基于转换器的上下文编码器对于局部隐含关联特征提取的能力较弱。因此，为了能够准确地进行涂胶状态的时序变化特征提取，以实时准确地进行阀门开度控制，在本技术的技术方案中，将所述多个涂胶状态特征向量通过双向长短期记忆神经网络模型以得到第二尺度涂胶状态语义理解特征向量。
[0113]
应可以理解，所述双向长短期记忆神经网络模型(lstm，long short-term memory)通过增加输入门、输出门和遗忘门，使得神经网络的权重能够自我更新，在网络模型参数固定的情况下，不同通道的权重尺度可以动态改变，从而能够避免梯度消失或者梯度膨胀的问题。特别地，所述双向长短期记忆神经网络模型是由前向lstm与后向lstm组合而成，前向lstm可以学习到前向局部区域的关于监控图像中涂胶状态的时序动态关联特征信息而后向lstm可以学习到后续局部区域的关于监控图像中涂胶状态的时序动态关联特征信息，因此，通过所述双向长短期记忆神经网络模型获得的所述第二尺度涂胶状态语义理解特征向量学习到了所述各个局部区域的基于中短距离依赖的关于涂胶状态的时序动态关联特征信息。特别地，所述双向长短期记忆神经网络模型是在原来rnn基础进行了改进，可以弥补rnn中存在的梯度消失与爆炸问题。
[0114]
双向长短期记忆神经网络模型，即，长短期记忆神经网络(lstm)，是为了解决传统循环神经网络(rnn)的梯度消失问题而提出的，其基本单元是一种多组神经元的结构，称为细胞(cell)，分别称三个控制门f、i、o为遗忘门、输入门和输出门，对三个控制门的参数进行合理设置，就可以实现lstm的记忆功能，核心计算公式如下所示：
[0115]ft
＝σ(wf.[h
t-1
,x
t
]+bf)
[0116]it
＝σ(wi.[h
t-1
,x
t
]+bi)
[0117][0118][0119]ot
＝σ(w0.[h
t-1
,x
t
]+bo)
[0120]ht
＝o
t
.tanh(c
t
)
[0121]
其中，f、i、o、t、o、h、c、w、b分别表示遗忘、sigmoid激活函数、输入、时间步长、输出层、隐含层、单元状态、权重矩阵、偏差。为了满足提取信息的完整性，业内主流将细胞结构采用双向连接的形式，构成双向长短期记忆神经网络(bi-lstm)。
[0122]
相应地，在一个具体示例中，所述第二尺度涂胶状态关联特征提取模块150，用于：在每一个所述双向长短期记忆神经网络模型中，通过所述双向长短期记忆神经网络模型的前向长短期记忆神经网络模型提取所述多个涂胶状态特征向量的序列中当前涂胶状态特征向量的前文特征；通过所述双向长短期记忆神经网络模型的反向长短期记忆神经网络模型提取所述多个涂胶状态特征向量的序列中当前涂胶状态特征向量的后文特征；以及，基于每个涂胶状态特征向量的所述前文特征和所述后文特征获得所述多个涂胶状态特征向
量的序列的中间特征向量，所述中间特征向量为下一层所述双向长短期记忆神经网络模型的输入。
[0123]
更具体地，在本技术实施例中，所述多尺度涂胶状态关联特征融合模块160，用于融合所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量以得到涂胶状态语义理解特征向量。融合所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量，以此来融合所述涂胶状态监控图像中关于涂胶状态在时间和空间上的动态变化基于长距离依赖和中短距离依赖的关联性特征分布信息，从而得到涂胶状态语义理解特征向量。
[0124]
相应地，在一个具体示例中，所述多尺度涂胶状态关联特征融合模块160，用于：以如下公式融合所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量以得到所述涂胶状态语义理解特征向量；其中，所述公式为：
[0125]vc
＝concat[v1，v2]
[0126]
其中，v1和v2表示所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量，concat[
·
]表示级联函数，vc表示所述涂胶状态语义理解特征向量。
[0127]
更具体地，在本技术实施例中，所述阀门开度变化模块170，用于将所述多个预定时间点的气缸控制阀的阀门开度值按照时间维度排列为阀门开度输入向量后通过多尺度邻域特征提取模块以得到阀门开度多尺度特征向量。考虑到由于所述气缸控制阀的阀门开度值在时间维度上的不同时间周期跨度下具有着不同的变化规律，因此，为了能够充分地对于所述气缸控制阀的阀门开度值进行时序动态变化特征挖掘，在本技术的技术方案中，将所述多个预定时间点的气缸控制阀的阀门开度值按照时间维度排列为阀门开度输入向量后通过多尺度邻域特征提取模块中进行特征挖掘，以提取出所述气缸控制阀的阀门开度值在所述预定时间段内不同时间跨度下的动态多尺度邻域关联特征，从而得到阀门开度多尺度特征向量。
[0128]
更具体地，在本技术实施例中，所述关联性编码模块180，用于计算所述涂胶状态语义理解特征向量相对于所述阀门开度多尺度特征向量的响应性估计以得到分类特征矩阵。计算所述涂胶状态语义理解特征向量相对于所述阀门开度多尺度特征向量的响应性估计，以此来表示所述涂胶状态的时序动态关联特征和所述阀门开度值的多尺度动态变化特征间的关联性特征分布信息。
[0129]
更具体地，在本技术实施例中，所述优化模块190，用于对所述分类特征矩阵进行特征分布约束以得到优化分类特征矩阵。
[0130]
相应地，在一个具体示例中，如图5所示，所述优化模块190，包括：特征矩阵展开单元191，用于将所述分类特征矩阵展开为分类特征向量；结构优化单元192，用于对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到优化分类特征向量；以及，重构单元193，用于将所述优化分类特征向量进行维度重构以得到所述优化分类特征矩阵。
[0131]
特别地，在本技术的技术方案中，在通过高斯密度图计算所述涂胶状态语义理解特征向量相对于所述阀门开度多尺度特征向量的响应性估计得到所述分类特征矩阵时，由于高斯离散化引入的随机特性，使得所述分类特征矩阵整体的特征分布可能存在相对于分类器的预定类标签收敛性差的问题，从而影响模型的训练速度和分类结果的准确性。因此，优选地，在将所述分类特征矩阵通过分类器进行分类时，将所述分类特征矩阵展开后得到
的分类特征向量，例如记为v进行正定赋范空间的几何约束重参数化。
[0132]
相应地，在一个具体示例中，所述结构优化单元192，进一步用于：以如下公式对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到所述优化分类特征向量；其中，所述公式为：
[0133][0134]
其中，v是所述分类特征向量，v
t
是所述分类特征向量的转置向量，vi和vi′
分别是所述分类特征向量和所述优化分类特征向量的第i个位置的特征值，且v是行向量形式，μ和σ是所述分类特征向量的各个位置特征值集合的均值和方差，表示向量的二范数的平方，‖
·
‖f表示矩阵的frobenius范数，exp(
·
)表示计算以数值为幂的自然指数函数值。
[0135]
这里，所述分类特征向量v的正定赋范空间的几何约束重参数化可以基于贝塞尔不等式的投影模长度量关系，通过以内积形式表示的向量范数平方在向量自身的关联集合空间内的投影，来使得向量的分布集合在具有正定性的赋范空间的几何度量子空间内具有模长约束性，以基于特征分布的几何约束来将分布空间重参数化到具有闭子空间的有界正定赋范空间，这样，就提高所述分类特征向量整体的特征分布在预定类标签属性下的收敛性，从而提升了将其通过分类器进行分类时模型的训练速度和分类结果的准确性。这样，能够实时准确地基于涂胶状态变化情况来自适应地调整气缸控制阀的阀门开度值，以保证涂胶的质量。
[0136]
更具体地，在本技术实施例中，所述阀门开度控制模块200，用于将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的气缸控制阀的阀门开度值应增大或减小。也就是，在本技术的技术方案中，所述分类器的标签包括当前时间点的气缸控制阀的阀门开度值应增大(第一标签)，以及，当前时间点的气缸控制阀的阀门开度值应减小(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征矩阵属于哪个分类标签。应可以理解，在本技术的技术方案中，所述分类器的分类标签为所述当前时间点的气缸控制阀的阀门开度值的控制策略标签，因此，在得到所述分类结果后，可基于所述分类结果来自适应地调整所述当前时间点的气缸控制阀的阀门开度值，以此来保证涂胶的质量。
[0137]
相应地，在一个具体示例中，如图5所示，所述阀门开度控制模块200，包括：优化矩阵展开单元201，用于将所述优化分类特征矩阵按照行向量展开为优化分类特征向量；全连接编码单元202，用于使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到优化编码分类特征向量；以及，分类单元203，用于将所述优化编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
[0138]
综上，基于本技术实施例的智能气缸100被阐明，其通过对于各个时间点下的涂胶状态监控图像的分析来提取涂胶的状态变化特征信息，并建立气缸控制阀的阀门开度值的时序变化特征信息与所述涂胶状态的时序变化特征信息之间的映射关系，以使得基于涂胶状态变化来自适应地调整所述气缸控制阀的阀门开度值。通过这样的方式，保证涂胶的质量。
[0139]
如上所述，根据本技术实施例的所述智能气缸100可以实现在各种终端设备中，例
如具有智能气缸的控制算法的服务器等。在一个示例中，智能气缸100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该智能气缸100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该智能气缸100同样可以是该终端设备的众多硬件模块之一。
[0140]
替换地，在另一示例中，该智能气缸100与该终端设备也可以是分立的设备，并且该智能气缸100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0141]
图7为根据本技术实施例的智能气缸的控制方法的流程图。如图7所示，根据本技术实施例的智能气缸的控制方法，其包括：s110，获取预定时间段内多个预定时间点的气缸控制阀的阀门开度值，以及，所述多个预定时间点的涂胶状态监控图像；s120，将所述多个状态监控关键图像通过使用空间注意力机制的卷积神经网络模型以得到多个涂胶状态特征矩阵；s130，将所述多个涂胶状态特征矩阵中的各个涂胶状态特征矩阵分别进行特征矩阵展开以得到多个涂胶状态特征向量；s140，将所述多个涂胶状态特征向量通过基于转换器的上下文编码器以得到第一尺度涂胶状态语义理解特征向量；s150，将所述多个涂胶状态特征向量通过双向长短期记忆神经网络模型以得到第二尺度涂胶状态语义理解特征向量；s160，融合所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量以得到涂胶状态语义理解特征向量；s170，将所述多个预定时间点的气缸控制阀的阀门开度值按照时间维度排列为阀门开度输入向量后通过多尺度邻域特征提取模块以得到阀门开度多尺度特征向量；s180，计算所述涂胶状态语义理解特征向量相对于所述阀门开度多尺度特征向量的响应性估计以得到分类特征矩阵；s190，对所述分类特征矩阵进行特征分布约束以得到优化分类特征矩阵；以及，s200，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的气缸控制阀的阀门开度值应增大或减小。
[0142]
图8为根据本技术实施例的智能气缸的控制方法的系统架构的示意图。如图8所示，在所述智能气缸的控制方法的系统架构中，首先，获取预定时间段内多个预定时间点的气缸控制阀的阀门开度值，以及，所述多个预定时间点的涂胶状态监控图像；接着，将所述多个状态监控关键图像通过使用空间注意力机制的卷积神经网络模型以得到多个涂胶状态特征矩阵；然后，将所述多个涂胶状态特征矩阵中的各个涂胶状态特征矩阵分别进行特征矩阵展开以得到多个涂胶状态特征向量；接着，将所述多个涂胶状态特征向量通过基于转换器的上下文编码器以得到第一尺度涂胶状态语义理解特征向量；然后，将所述多个涂胶状态特征向量通过双向长短期记忆神经网络模型以得到第二尺度涂胶状态语义理解特征向量；接着，融合所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量以得到涂胶状态语义理解特征向量；然后，将所述多个预定时间点的气缸控制阀的阀门开度值按照时间维度排列为阀门开度输入向量后通过多尺度邻域特征提取模块以得到阀门开度多尺度特征向量；接着，计算所述涂胶状态语义理解特征向量相对于所述阀门开度多尺度特征向量的响应性估计以得到分类特征矩阵；然后，对所述分类特征矩阵进行特征分布约束以得到优化分类特征矩阵；最后，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的气缸控制阀的阀门开度值应增大或减小。
[0143]
在一个具体示例中，在上述智能气缸的控制方法中，将所述多个状态监控关键图像通过使用空间注意力机制的卷积神经网络模型以得到多个涂胶状态特征矩阵，包括：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分图的按位置点乘以获得特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个涂胶状态特征矩阵。
[0144]
在一个具体示例中，在上述智能气缸的控制方法中，将所述多个涂胶状态特征向量通过基于转换器的上下文编码器以得到第一尺度涂胶状态语义理解特征向量，包括：使用所述基于转换器的上下文编码器对所述多个涂胶状态特征向量进行基于全局的上下文语义编码以得到多个上下文涂胶状态特征向量；以及，将所述多个上下文涂胶状态特征向量进行级联以得到所述第一尺度涂胶状态语义理解特征向量。
[0145]
在一个具体示例中，在上述智能气缸的控制方法中，使用所述基于转换器的上下文编码器对所述多个涂胶状态特征向量进行基于全局的上下文语义编码以得到多个上下文涂胶状态特征向量，包括：将所述多个涂胶状态特征向量进行一维排列以得到全局词序列特征向量；计算所述全局词序列特征向量与所述多个涂胶状态特征向量中各个涂胶状态特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分类函数以得到多个概率值；以及，分别以所述多个概率值中各个概率值作为权重对所述多个涂胶状态特征向量中各个涂胶状态特征向量进行加权以得到所述多个上下文涂胶状态特征向量。
[0146]
在一个具体示例中，在上述智能气缸的控制方法中，将所述多个涂胶状态特征向量通过双向长短期记忆神经网络模型以得到第二尺度涂胶状态语义理解特征向量，包括：在每一个所述双向长短期记忆神经网络模型中，通过所述双向长短期记忆神经网络模型的前向长短期记忆神经网络模型提取所述多个涂胶状态特征向量的序列中当前涂胶状态特征向量的前文特征；通过所述双向长短期记忆神经网络模型的反向长短期记忆神经网络模型提取所述多个涂胶状态特征向量的序列中当前涂胶状态特征向量的后文特征；以及，基于每个涂胶状态特征向量的所述前文特征和所述后文特征获得所述多个涂胶状态特征向量的序列的中间特征向量，所述中间特征向量为下一层所述双向长短期记忆神经网络模型的输入。
[0147]
在一个具体示例中，在上述智能气缸的控制方法中，融合所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量以得到涂胶状态语义理解特征向量，包括：以如下公式融合所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量以得到所述涂胶状态语义理解特征向量；其中，所述公式为：
[0148]vc
＝concat[v1，v2]
[0149]
其中，v1和v2表示所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义
理解特征向量，concat[
·
]表示级联函数，vc表示所述涂胶状态语义理解特征向量。
[0150]
在一个具体示例中，在上述智能气缸的控制方法中，对所述分类特征矩阵进行特征分布约束以得到优化分类特征矩阵，包括：将所述分类特征矩阵展开为分类特征向量；对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到优化分类特征向量；以及，将所述优化分类特征向量进行维度重构以得到所述优化分类特征矩阵。
[0151]
在一个具体示例中，在上述智能气缸的控制方法中，对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到优化分类特征向量，进一步包括：以如下公式对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到所述优化分类特征向量；其中，所述公式为：
[0152][0153]
其中，v是所述分类特征向量，v
t
是所述分类特征向量的转置向量，vi和vi′
分别是所述分类特征向量和所述优化分类特征向量的第i个位置的特征值，且v是行向量形式，μ和σ是所述分类特征向量的各个位置特征值集合的均值和方差，表示向量的二范数的平方，‖
·
‖f表示矩阵的frobenius范数，exp(
·
)表示计算以数值为幂的自然指数函数值。
[0154]
在一个具体示例中，在上述智能气缸的控制方法中，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的气缸控制阀的阀门开度值应增大或减小，包括：将所述优化分类特征矩阵按照行向量展开为优化分类特征向量；使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到优化编码分类特征向量；以及，分将所述优化编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
[0155]
这里，本领域技术人员可以理解，上述智能气缸的控制方法中的各个步骤的具体操作已经在上面参考图1到图6的智能气缸的描述中得到了详细介绍，并因此，将省略其重复描述。
[0156]
根据本技术的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
[0157]
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
[0158]
所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现系统的计算机环境，或与提供目标检测所需要的信息相关的类似功能的系统。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
[0159]
本技术使用了特定词语来描述本技术的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本技术至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本技术的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
[0160]
此外，本领域技术人员可以理解，本技术的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本技术的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本技术的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
[0161]
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
[0162]
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

技术特征：
1.一种智能气缸，其特征在于，包括：数据采集模块，用于获取预定时间段内多个预定时间点的气缸控制阀的阀门开度值，以及，所述多个预定时间点的涂胶状态监控图像；空间特征增强模块，用于将所述多个状态监控关键图像通过使用空间注意力机制的卷积神经网络模型以得到多个涂胶状态特征矩阵；展开模块，用于将所述多个涂胶状态特征矩阵中的各个涂胶状态特征矩阵分别进行特征矩阵展开以得到多个涂胶状态特征向量；第一尺度涂胶状态关联特征提取模块，用于将所述多个涂胶状态特征向量通过基于转换器的上下文编码器以得到第一尺度涂胶状态语义理解特征向量；第二尺度涂胶状态关联特征提取模块，用于将所述多个涂胶状态特征向量通过双向长短期记忆神经网络模型以得到第二尺度涂胶状态语义理解特征向量；多尺度涂胶状态关联特征融合模块，用于融合所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量以得到涂胶状态语义理解特征向量；阀门开度变化模块，用于将所述多个预定时间点的气缸控制阀的阀门开度值按照时间维度排列为阀门开度输入向量后通过多尺度邻域特征提取模块以得到阀门开度多尺度特征向量；关联性编码模块，用于计算所述涂胶状态语义理解特征向量相对于所述阀门开度多尺度特征向量的响应性估计以得到分类特征矩阵；优化模块，用于对所述分类特征矩阵进行特征分布约束以得到优化分类特征矩阵；以及阀门开度控制模块，用于将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的气缸控制阀的阀门开度值应增大或减小。2.根据权利要求1所述的智能气缸，其特征在于，所述空间特征增强模块，用于：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类softmax函数值以获得空间得分矩阵；以及计算所述空间特征矩阵和所述空间得分图的按位置点乘以获得特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个涂胶状态特征矩阵。3.根据权利要求2所述的智能气缸，其特征在于，所述第一尺度涂胶状态关联特征提取模块，包括：上下文编码单元，用于使用所述基于转换器的上下文编码器对所述多个涂胶状态特征向量进行基于全局的上下文语义编码以得到多个上下文涂胶状态特征向量；以及级联单元，用于将所述多个上下文涂胶状态特征向量进行级联以得到所述第一尺度涂胶状态语义理解特征向量。
4.根据权利要求3所述的智能气缸，其特征在于，所述上下文编码单元，包括：查询向量构造子单元，用于将所述多个涂胶状态特征向量进行一维排列以得到全局词序列特征向量；自注意子单元，用于计算所述全局词序列特征向量与所述多个涂胶状态特征向量中各个涂胶状态特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化子单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；关注度计算子单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分类函数以得到多个概率值；以及注意力施加子单元，用于分别以所述多个概率值中各个概率值作为权重对所述多个涂胶状态特征向量中各个涂胶状态特征向量进行加权以得到所述多个上下文涂胶状态特征向量。5.根据权利要求4所述的智能气缸，其特征在于，所述第二尺度涂胶状态关联特征提取模块，用于：在每一个所述双向长短期记忆神经网络模型中，通过所述双向长短期记忆神经网络模型的前向长短期记忆神经网络模型提取所述多个涂胶状态特征向量的序列中当前涂胶状态特征向量的前文特征；通过所述双向长短期记忆神经网络模型的反向长短期记忆神经网络模型提取所述多个涂胶状态特征向量的序列中当前涂胶状态特征向量的后文特征；以及基于每个涂胶状态特征向量的所述前文特征和所述后文特征获得所述多个涂胶状态特征向量的序列的中间特征向量，所述中间特征向量为下一层所述双向长短期记忆神经网络模型的输入。6.根据权利要求5所述的智能气缸，其特征在于，所述多尺度涂胶状态关联特征融合模块，用于：以如下公式融合所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量以得到所述涂胶状态语义理解特征向量；其中，所述公式为：v
c
＝concat[v1，v2]其中，v1和v2表示所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量，concat[
·
]表示级联函数，v
c
表示所述涂胶状态语义理解特征向量。7.根据权利要求6所述的智能气缸，其特征在于，所述优化模块，包括：特征矩阵展开单元，用于将所述分类特征矩阵展开为分类特征向量；结构优化单元，用于对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到优化分类特征向量；以及重构单元，用于将所述优化分类特征向量进行维度重构以得到所述优化分类特征矩阵。8.根据权利要求7所述的智能气缸，其特征在于，所述结构优化单元，进一步用于：以如下公式对所述分类特征向量进行正定赋范空间的几何约束重参数化以得到所述优化分类特征向量；其中，所述公式为：
其中，v是所述分类特征向量，v
t
是所述分类特征向量的转置向量，v
i
和v
i
′
分别是所述分类特征向量和所述优化分类特征向量的第i个位置的特征值，且v是行向量形式，μ和σ是所述分类特征向量的各个位置特征值集合的均值和方差，表示向量的二范数的平方，‖
·
‖
f
表示矩阵的frobenius范数，exp(
·
)表示计算以数值为幂的自然指数函数值。9.根据权利要求8所述的智能气缸，其特征在于，所述阀门开度控制模块，包括：优化矩阵展开单元，用于将所述优化分类特征矩阵按照行向量展开为优化分类特征向量；全连接编码单元，用于使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到优化编码分类特征向量；以及分类单元，用于将所述优化编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。10.一种智能气缸的控制方法，其特征在于，包括：获取预定时间段内多个预定时间点的气缸控制阀的阀门开度值，以及，所述多个预定时间点的涂胶状态监控图像；将所述多个状态监控关键图像通过使用空间注意力机制的卷积神经网络模型以得到多个涂胶状态特征矩阵；将所述多个涂胶状态特征矩阵中的各个涂胶状态特征矩阵分别进行特征矩阵展开以得到多个涂胶状态特征向量；将所述多个涂胶状态特征向量通过基于转换器的上下文编码器以得到第一尺度涂胶状态语义理解特征向量；将所述多个涂胶状态特征向量通过双向长短期记忆神经网络模型以得到第二尺度涂胶状态语义理解特征向量；融合所述第一尺度涂胶语义理解特征向量和所述第二尺度涂胶语义理解特征向量以得到涂胶状态语义理解特征向量；将所述多个预定时间点的气缸控制阀的阀门开度值按照时间维度排列为阀门开度输入向量后通过多尺度邻域特征提取模块以得到阀门开度多尺度特征向量；计算所述涂胶状态语义理解特征向量相对于所述阀门开度多尺度特征向量的响应性估计以得到分类特征矩阵；对所述分类特征矩阵进行特征分布约束以得到优化分类特征矩阵；以及将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的气缸控制阀的阀门开度值应增大或减小。

技术总结
公开了一种智能气缸及其控制方法。其通过对于各个时间点下的涂胶状态监控图像的分析来提取涂胶的状态变化特征信息，并建立气缸控制阀的阀门开度值的时序变化特征信息与所述涂胶状态的时序变化特征信息之间的映射关系，以使得基于涂胶状态变化来自适应地调整所述气缸控制阀的阀门开度值。通过这样的方式，保证涂胶的质量。证涂胶的质量。证涂胶的质量。


技术研发人员：赵蔚波
受保护的技术使用者：上海弗雷西阀门有限公司
技术研发日：2023.03.09
技术公布日：2023/7/21