密集架的智能化生产工艺及其系统的制作方法

1.本技术涉及智能生产技术领域，且更为具体地，涉及一种密集架的智能化生产工艺及其系统。


背景技术：

2.密集架生产制造工艺流程关键为：定型焊接好的产品工件、碱洗除油、水洗、酸洗除锈、轻中和、水洗、碱中和、水洗、活化处理、水洗、磷化处理1、磷化处理2、水洗、钝化、水洗、烘干，以及粉末喷塑。密集架整个加工过程中最关键的是钢板处理，在密集架钢板处理工艺包括：表面除油、去锈处理工艺。
3.在实际进行密集架生产制造时，只有对钢板进行表面除油和去锈处理工艺合格之后才能进行下一步的磷化和喷塑，在钢板酸洗之后需要确保钢板的表面没有油污、锈迹，同时保证表面色泽基本匀称，而这通过人工观察太过费事费力，且容易出现错漏。
4.因此，期待一种密集架的智能化生产工艺，其能够对酸洗后的钢板进行检测，判断酸洗后的钢板是否合格。


技术实现要素：

5.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种密集架的智能化生产工艺及其系统，其通过采用基于深度学习的人工智能控制技术，使用作为特征提取器的卷积神经网络模型来获取钢板被酸洗后的检测图像，具体地，基于深度学习的图像处理技术，从钢板被酸洗后的检测图像中提取关于钢板表面状态的隐含关联特征信息，然后通过分类器以判断其表面状态是否符合预定标准。这样，在密集架的生产中，可以减少人工观察的时间和人力成本，降低生产成本。
6.相应地，根据本技术的一个方面，提供了一种密集架的智能化生产工艺，其包括：
7.获取由摄像头采集的钢板被酸洗后的检测图像；
8.将所述钢板被酸洗后的检测图像通过使用空间注意力的卷积神经网络模型以得到钢板表面状态特征图；
9.将所述钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个钢板表面状态局部特征向量；
10.将所述多个钢板表面状态局部特征向量通过基于转换器的上下文编码器以得到钢板表面状态全局特征向量；以及
11.将所述钢板表面状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示酸洗后的钢板的表面状态是否符合预定标准。
12.在上述密集架的智能化生产工艺中，将所述钢板被酸洗后的检测图像通过使用空间注意力的卷积神经网络模型以得到钢板表面状态特征图，包括：使用所述卷积神经网络模型的卷积编码部分对所述钢板被酸洗后的检测图像进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述卷积神经网络模型的空间注意力部分以得到空间
注意力图；将所述空间注意力图通过softmax激活函数以得到空间注意力特征图；以及，计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到钢板表面状态特征图。
13.在上述密集架的智能化生产工艺中，将所述多个钢板表面状态局部特征向量通过基于转换器的上下文编码器以得到钢板表面状态全局特征向量，包括：将所述多个钢板表面状态局部特征向量排列为输入向量；将所述输入向量通过可学习嵌入矩阵分别转化为查询向量和关键向量；计算所述查询向量和所述关键向量的转置向量之间的乘积以得到自注意关联矩阵；对所述自注意关联矩阵进行标准化处理以得到标准化自注意关联矩阵；将所述标准化自注意关联矩阵输入softmax激活函数进行激活以得到自注意力特征矩阵；将所述自注意力特征矩阵与以所述多个钢板表面状态局部特征向量中各个钢板表面状态局部特征向量作为值向量分别进行相乘以得到多个钢板表面状态上下文理解特征向量；以及，将所述多个钢板表面状态上下文理解特征向量进行级联以得到所述钢板表面状态全局特征向量。
14.在上述密集架的智能化生产工艺中，所述还包括训练步骤：对所述使用空间注意力的卷积神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练；其中，所述训练步骤包括：获取训练数据，所述训练数据包括由摄像头采集的钢板被酸洗后的训练检测图像，以及，酸洗后的钢板的表面状态是否符合预定标准的真实值；将所述钢板被酸洗后的训练检测图像通过所述使用空间注意力的卷积神经网络模型以得到训练钢板表面状态特征图；将所述训练钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个训练钢板表面状态局部特征向量；将所述多个训练钢板表面状态局部特征向量通过所述基于转换器的上下文编码器以得到训练钢板表面状态全局特征向量；对所述训练钢板表面状态全局特征向量进行耿贝尔正态周期性重参数化以得到优化钢板表面状态全局特征向量；将所述优化钢板表面状态全局特征向量通过所述分类器以得到分类损失函数值；以及，基于所述分类损失函数值并通过梯度下降的方向传播来对所述使用空间注意力的卷积神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练。
15.在上述密集架的智能化生产工艺中，将所述优化钢板表面状态全局特征向量通过所述分类器以得到分类损失函数值，包括：使用所述分类器以如下公式对所述优化钢板表面状态全局特征向量进行处理以生成训练分类结果，其中，所述公式为：softmax{(wn,bn):
…
:(w1,b1)|x},其中，w1到wn为权重矩阵，b1到bn为偏置向量，x为所述优化钢板表面状态全局特征向量；以及，计算所述训练分类结果与所述训练数据中所述酸洗后的钢板的表面状态是否符合预定标准的真实值之间的交叉熵值作为所述分类损失函数值。
16.在上述密集架的智能化生产工艺中，对所述训练钢板表面状态全局特征向量进行耿贝尔正态周期性重参数化以得到优化钢板表面状态全局特征向量，包括：以如下公式对所述钢板表面状态全局特征向量进行耿贝尔(gumbel)正态周期性重参数化，以获得优化钢板表面状态全局特征向量；其中，所述公式为：
[0017][0018]
其中，vi是所述钢板表面状态全局特征向量的各个位置的特征值，μ和σ分别是所述钢板表面状态全局特征向量中各个位置的特征值集合的均值和方差，arcsin(
·
)表示反
正弦函数函数，arccos(
·
)表示反余弦函数，log表示以2为底的对数函数值，vi'表示所述优化钢板表面状态全局特征向量中各个位置的特征值。
[0019]
根据本技术的另一方面，还提供了一种密集架的智能化生产系统，其包括：
[0020]
图像采集模块，用于获取由摄像头采集的钢板被酸洗后的检测图像；
[0021]
空间注意力模块，用于将所述钢板被酸洗后的检测图像通过使用空间注意力的卷积神经网络模型以得到钢板表面状态特征图；
[0022]
局部特征提取模块，用于将所述钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个钢板表面状态局部特征向量；
[0023]
上下文编码模块，用于将所述多个钢板表面状态局部特征向量通过基于转换器的上下文编码器以得到钢板表面状态全局特征向量；以及
[0024]
分类结果模块，用于将所述钢板表面状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示酸洗后的钢板的表面状态是否符合预定标准。
[0025]
在上述密集架的智能化生产系统中，所述空间注意力模块，包括：将所述多个钢板表面状态局部特征向量排列为输入向量；将所述输入向量通过可学习嵌入矩阵分别转化为查询向量和关键向量；计算所述查询向量和所述关键向量的转置向量之间的乘积以得到自注意关联矩阵；对所述自注意关联矩阵进行标准化处理以得到标准化自注意关联矩阵；将所述标准化自注意关联矩阵输入softmax激活函数进行激活以得到自注意力特征矩阵；以及，将所述自注意力特征矩阵与以所述多个钢板表面状态局部特征向量中各个钢板表面状态局部特征向量作为值向量分别进行相乘以得到所述钢板表面状态全局特征向量。
[0026]
在上述密集架的智能化生产系统中，局部特征提取模块，包括：用于对所述钢板表面状态特征图的沿通道维度的各个特征矩阵进行沿着行向量或者列向量进行展开以得到所述多个钢板表面状态局部特征向量。
[0027]
在上述密集架的智能化生产系统中，上下文编码模块，包括：将所述多个钢板表面状态局部特征向量排列为输入向量；将所述输入向量通过可学习嵌入矩阵分别转化为查询向量和关键向量；计算所述查询向量和所述关键向量的转置向量之间的乘积以得到自注意关联矩阵；对所述自注意关联矩阵进行标准化处理以得到标准化自注意关联矩阵；将所述标准化自注意关联矩阵输入softmax激活函数进行激活以得到自注意力特征矩阵；将所述自注意力特征矩阵与以所述多个钢板表面状态局部特征向量中各个钢板表面状态局部特征向量作为值向量分别进行相乘以得到多个钢板表面状态上下文理解特征向量；以及，将所述多个钢板表面状态上下文理解特征向量进行级联以得到所述钢板表面状态全局特征向量。
[0028]
在上述密集架的智能化生产系统中，还包括训练模块：对所述使用空间注意力的卷积神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练；其中，所述训练模块包括：训练数据采集单元，用于获取训练数据，所述训练数据包括由摄像头采集的钢板被酸洗后的训练检测图像，以及，酸洗后的钢板的表面状态是否符合预定标准的真实值；训练特征图提取单元，用于将所述钢板被酸洗后的训练检测图像通过所述使用空间注意力的卷积神经网络模型以得到训练钢板表面状态特征图；训练局部特征提取单元，用于将所述训练钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个训练钢板表面状态局部特征向量；训练全局特征提取单元，用于将所述多个训练钢板表面状
态局部特征向量通过所述基于转换器的上下文编码器以得到训练钢板表面状态全局特征向量；训练优化单元，用于对所述训练钢板表面状态全局特征向量进行耿贝尔正态周期性重参数化以得到优化钢板表面状态全局特征向量；分类损失单元，用于将所述优化钢板表面状态全局特征向量通过所述分类器以得到分类损失函数值；以及，训练单元，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述使用空间注意力的卷积神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练。
[0029]
在上述密集架的智能化生产系统中，分类损失单元，包括：使用所述分类器以如下公式对所述优化钢板表面状态全局特征向量进行处理以生成训练分类结果，其中，所述公式为：softmax{(wn,bn):
…
:(w1,b1)|x},其中，w1到wn为权重矩阵，b1到bn为偏置向量，x为所述优化钢板表面状态全局特征向量；以及，计算所述训练分类结果与所述训练数据中所述酸洗后的钢板的表面状态是否符合预定标准的真实值之间的交叉熵值作为所述分类损失函数值。
[0030]
在上述密集架的智能化生产系统中，训练优化单元，包括：以如下公式对所述钢板表面状态全局特征向量进行耿贝尔(gumbel)正态周期性重参数化，以获得优化钢板表面状态全局特征向量；其中，所述公式为：
[0031][0032]
其中，vi是所述钢板表面状态全局特征向量的各个位置的特征值，μ和σ分别是所述钢板表面状态全局特征向量中各个位置的特征值集合的均值和方差，arcsin(
·
)表示反正弦函数函数，arccos(
·
)表示反余弦函数，log表示以2为底的对数函数值，vi'表示所述优化钢板表面状态全局特征向量中各个位置的特征值。
[0033]
与现有技术相比，本技术提供的密集架的智能化生产工艺及其系统，其通过采用基于深度学习的人工智能控制技术，使用作为特征提取器的卷积神经网络模型来获取钢板被酸洗后的检测图像，具体地，基于深度学习的图像处理技术，从钢板被酸洗后的检测图像中提取关于钢板表面状态的隐含关联特征信息，然后通过分类器以判断其表面状态是否符合预定标准。这样，在密集架的生产中，可以减少人工观察的时间和人力成本，降低生产成本。
附图说明
[0034]
通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0035]
图1为根据本技术实施例的密集架的智能化生产工艺的场景示意图。
[0036]
图2为根据本技术实施例的密集架的智能化生产工艺的流程图。
[0037]
图3为根据本技术实施例的密集架的智能化生产工艺的架构图。
[0038]
图4为根据本技术实施例的密集架的智能化生产工艺中将所述钢板被酸洗后的检测图像通过使用空间注意力的卷积神经网络模型以得到钢板表面状态特征图的流程图。
[0039]
图5为根据本技术实施例的密集架的智能化生产工艺中对所述使用空间注意力的
卷积神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练的流程图。
[0040]
图6为根据本技术实施例的密集架的智能化生产系统的框图。
[0041]
图7为根据本技术实施例的电子设备的框图。
具体实施方式
[0042]
下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
[0043]
申请概述
[0044]
针对上述技术问题，本技术的技术构思为：基于深度学习的图像处理技术，从钢板被酸洗后的检测图像中提取关于钢板表面状态的隐含关联特征信息，然后通过分类器以判断其表面状态是否符合预定标准。
[0045]
具体地，在本技术的技术方案中，首先，获取由摄像头采集的钢板被酸洗后的检测图像。也就是，采用摄像头等图像采集设备来获取钢板被酸洗后的检测图像，可以实现非接触式的自动化检测，若钢板表面出现有油污、锈迹等问题，会在所述检测图像中有所呈现。
[0046]
接着，将所述钢板被酸洗后的检测图像通过使用空间注意力的卷积神经网络模型以得到钢板表面状态特征图。这里，卷积神经网络(cnn)能够对图像进行特征提取，以将钢板表面图像转化为具有代表性的特征图。但是，钢板表面图像通常具有较高的复杂性和多样性，具体来说，每个钢板的表面状态都可能会受到多种影响因素的影响，例如锈迹、油污、表面光泽度等等，这些因素在不同的区域可能会有不同的表现。也就是说，所述检测图像不同位置的特征对于最终分类结果的贡献可能是不同的，由此，在本技术方案中，使用空间注意力机制可以让卷积神经网络模型更加关注钢板表面图像中的重要区域，从而更加聚焦于一些重要的区域信息。
[0047]
虽然卷积神经网络在图像特征提取方面具有优异的性能表现，但受限于卷积编码的局限性，由上述卷积神经网络模型所提取的特征会具有相对较小的特征感受野，也就是说，所述钢板表面状态特征图表现较弱。
[0048]
基于此，在本技术的技术方案中，首先将所述钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个钢板表面状态局部特征向量，进而，将所述多个钢板表面状态局部特征向量通过基于转换器的上下文编码器以得到钢板表面状态全局特征向量。也就是，利用转换器思想来补偿卷积编码的局限性。具体地，所述基于转换器的上下文编码器使用自注意力机制对所述多个钢板表面状态局部特征向量(多个钢板表面局部特征)进行基于全局的上下文语义编码以得到所述钢板表面状态全局特征向量。
[0049]
在得到所述钢板表面状态全局特征向量后，将其通过分类器以得到分类结果，所述分类结果用于表示酸洗后的钢板的表面状态是否符合预定标准。其中，所述分类器可以将钢板表面状态全局特征向量转化为具体的分类结果，判断钢板表面状态是否符合预定标准。通过这样的方式，可以尽可能避免人工观察中出现的错误和漏检。在实际应用中，分类结果可以被用来指导生产过程中的进一步处理，例如对于不符合预定标准的钢板可以予以重新加工或者废弃，从而提高产品质量和生产效率。
[0050]
这里，在将所述钢板被酸洗后的检测图像通过使用空间注意力的卷积神经网络模
型得到所述钢板表面状态特征图时，所述钢板表面状态特征图的各个特征矩阵会由于施加了空间注意力机制具有较大的区分度，这样，在将所述各个特征矩阵展开为特征向量后通过基于转换器的上下文编码器时，所获得的多个上下文钢板表面状态局部特征向量会具有较大的显式差异，从而导致所述多个上下文钢板表面状态局部特征向量级联得到的所述钢板表面状态全局特征向量存在分布间隙(distribution gap)，使得所述钢板表面状态全局特征向量的整体特征分布的连续性差，影响模型训练时的训练效果，例如训练速度和收敛准确性。
[0051]
基于此，本技术的申请人对所述钢板表面状态全局特征向量v进行耿贝尔(gumbel)正态周期性重参数化，以获得优化钢板表面状态全局特征向量v'，具体表示为：
[0052][0053]
μ和σ分别是特征值集合vi∈v的均值和方差，且vi'∈v'。
[0054]
这里，所述耿贝尔正态周期性重参数化通过将所述钢板表面状态全局特征向量v的各个位置的特征值vi转换为其概率分布的角特征表达，来基于耿贝尔(gumbel)分布的随机性周期操作方式在特征值集合的正态分布中引入随机性的周期式分布，以获得原特征分布的具有随机性的周期式连续可微近似，从而通过特征的周期性重参数化来提高优化钢板表面状态全局特征向量v'在训练时损失函数的梯度在模型中反向传播的动态连续波动能力，以提高卷积核在训练过程中的动态应用性，从而补偿所述钢板表面状态全局特征向量的特征分布的不连续对训练效果的影响。
[0055]
基于本技术的技术构思构建的技术方案，有如下几点技术效果：
[0056]
1、提供了一种密集架的智能化生产工艺。
[0057]
2、该密集架的智能化生产工艺可以对酸洗后的钢板进行智能化检测，以减少人工观察的时间和人力成本，降低生产成本。
[0058]
基于此，本技术提供了一种密集架的智能化生产工艺，其包括：获取由摄像头采集的钢板被酸洗后的检测图像；将所述钢板被酸洗后的检测图像通过使用空间注意力的卷积神经网络模型以得到钢板表面状态特征图；将所述钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个钢板表面状态局部特征向量；将所述多个钢板表面状态局部特征向量通过基于转换器的上下文编码器以得到钢板表面状态全局特征向量；以及，将所述钢板表面状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示酸洗后的钢板的表面状态是否符合预定标准。
[0059]
图1为根据本技术实施例的密集架的智能化生产工艺的场景示意图。如图1所示，在该场景中，通过摄像头(例如，如图1中所示意的p)获取钢板(例如，如图1中所示意的e)被酸洗后的检测图像。接着，将上述信息输入至部署有密集架的智能化生产工艺算法的服务器(例如，如图1所示意的s)中，其中，所述服务器能够以所述密集架的智能化生产工艺算法对所述由摄像头采集的钢板被酸洗后的检测图像进行处理，以生成用于表示酸洗后的钢板的表面状态是否符合预定标准。
[0060]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0061]
示例性方法
[0062]
图2为根据本技术实施例的密集架的智能化生产工艺的流程图。如图2所示，根据本技术实施例的密集架的智能化生产工艺，包括：s110，获取由摄像头采集的钢板被酸洗后的检测图像；s120，将所述钢板被酸洗后的检测图像通过使用空间注意力的卷积神经网络模型以得到钢板表面状态特征图；s130，将所述钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个钢板表面状态局部特征向量；s140，将所述多个钢板表面状态局部特征向量通过基于转换器的上下文编码器以得到钢板表面状态全局特征向量；以及，s150，将所述钢板表面状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示酸洗后的钢板的表面状态是否符合预定标准。
[0063]
图3为根据本技术实施例的密集架的智能化生产工艺的架构图。如图3所示，在该架构中，首先，获取由摄像头采集的钢板被酸洗后的检测图像；接着，将所述钢板被酸洗后的检测图像通过使用空间注意力的卷积神经网络模型以得到钢板表面状态特征图；然后，将所述钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个钢板表面状态局部特征向量；接着，将所述多个钢板表面状态局部特征向量通过基于转换器的上下文编码器以得到钢板表面状态全局特征向量；最后，将所述钢板表面状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示酸洗后的钢板的表面状态是否符合预定标准。
[0064]
在步骤s110中，获取由摄像头采集的钢板被酸洗后的检测图像。也就是，采用摄像头等图像采集设备来获取钢板被酸洗后的检测图像，可以实现非接触式的自动化检测，若钢板表面出现有油污、锈迹等问题，会在所述检测图像中有所呈现。
[0065]
在步骤s120中，将所述钢板被酸洗后的检测图像通过使用空间注意力的卷积神经网络模型以得到钢板表面状态特征图。这里，卷积神经网络(cnn)能够对图像进行特征提取，以将钢板表面图像转化为具有代表性的特征图。但是，钢板表面图像通常具有较高的复杂性和多样性，具体来说，每个钢板的表面状态都可能会受到多种影响因素的影响，例如锈迹、油污、表面光泽度等等，这些因素在不同的区域可能会有不同的表现。也就是说，所述检测图像不同位置的特征对于最终分类结果的贡献可能是不同的，由此，在本技术方案中，使用空间注意力机制可以让卷积神经网络模型更加关注钢板表面图像中的重要区域，从而更加聚焦于一些重要的区域信息。
[0066]
图4为根据本技术实施例的密集架的智能化生产工艺中将所述钢板被酸洗后的检测图像通过使用空间注意力的卷积神经网络模型以得到钢板表面状态特征图的流程图。如图4所示，将所述钢板被酸洗后的检测图像通过使用空间注意力的卷积神经网络模型以得到钢板表面状态特征图，包括：s210，使用所述卷积神经网络模型的卷积编码部分对所述钢板被酸洗后的检测图像进行深度卷积编码以得到初始卷积特征图；s220，将所述初始卷积特征图输入所述卷积神经网络模型的空间注意力部分以得到空间注意力图；s230，将所述空间注意力图通过softmax激活函数以得到空间注意力特征图；以及，s240，计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到钢板表面状态特征图。
[0067]
在步骤s130中，将所述钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个钢板表面状态局部特征向量。基于此，在本技术的技术方案中，首先将所述钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个钢板表面状态局部特征向量。
[0068]
具体地，在本技术实施例中，将所述钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个钢板表面状态局部特征向量，包括：用于对所述钢板表面状态特征图的沿通道维度的各个特征矩阵进行沿着行向量或者列向量进行展开以得到所述多个钢板表面状态局部特征向量。
[0069]
在步骤s140中，将所述多个钢板表面状态局部特征向量通过基于转换器的上下文编码器以得到钢板表面状态全局特征向量。虽然卷积神经网络在图像特征提取方面具有优异的性能表现，但受限于卷积编码的局限性，由上述卷积神经网络模型所提取的特征会具有相对较小的特征感受野，也就是说，所述钢板表面状态特征图表现较弱。也就是，利用转换器思想来补偿卷积编码的局限性。具体地，所述基于转换器的上下文编码器使用自注意力机制对所述多个钢板表面状态局部特征向量(多个钢板表面局部特征)进行基于全局的上下文语义编码以得到所述钢板表面状态全局特征向量。
[0070]
具体地，在本技术实施例中，将所述多个钢板表面状态局部特征向量通过基于转换器的上下文编码器以得到钢板表面状态全局特征向量，包括：将所述多个钢板表面状态局部特征向量排列为输入向量；将所述输入向量通过可学习嵌入矩阵分别转化为查询向量和关键向量；计算所述查询向量和所述关键向量的转置向量之间的乘积以得到自注意关联矩阵；对所述自注意关联矩阵进行标准化处理以得到标准化自注意关联矩阵；将所述标准化自注意关联矩阵输入softmax激活函数进行激活以得到自注意力特征矩阵；将所述自注意力特征矩阵与以所述多个钢板表面状态局部特征向量中各个钢板表面状态局部特征向量作为值向量分别进行相乘以得到多个钢板表面状态上下文理解特征向量；以及，将所述多个钢板表面状态上下文理解特征向量进行级联以得到所述钢板表面状态全局特征向量。
[0071]
在步骤s150中，将所述钢板表面状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示酸洗后的钢板的表面状态是否符合预定标准。在得到所述钢板表面状态全局特征向量后，将其通过分类器以得到分类结果，所述分类结果用于表示酸洗后的钢板的表面状态是否符合预定标准。其中，所述分类器可以将钢板表面状态全局特征向量转化为具体的分类结果，判断钢板表面状态是否符合预定标准。通过这样的方式，可以尽可能避免人工观察中出现的错误和漏检。在实际应用中，分类结果可以被用来指导生产过程中的进一步处理，例如对于不符合预定标准的钢板可以予以重新加工或者废弃，从而提高产品质量和生产效率。
[0072]
值得一提的是，本领域普通技术人员应知晓，在应用深度神经网络模型进行推断之前，需先对深度神经网络模型进行训练以使得所述深度神经网络能够实现特定的函数功能。
[0073]
具体地，在本技术实施例中，还包括训练步骤：对所述使用空间注意力的卷积神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练。
[0074]
图5为根据本技术实施例的密集架的智能化生产工艺中对所述使用空间注意力的卷积神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练的流程图。如图5所示，所述训练步骤包括：s310，获取训练数据，所述训练数据包括由摄像头采集的钢板被酸洗后的训练检测图像，以及，酸洗后的钢板的表面状态是否符合预定标准的真实值；s320，将所述钢板被酸洗后的训练检测图像通过所述使用空间注意力的卷积神经网络模型以得到训练钢板表面状态特征图；s330，将所述训练钢板表面状态特征图的沿通道维度的
各个特征矩阵展开为特征向量以得到多个训练钢板表面状态局部特征向量；s340，将所述多个训练钢板表面状态局部特征向量通过所述基于转换器的上下文编码器以得到训练钢板表面状态全局特征向量；s350，对所述训练钢板表面状态全局特征向量进行耿贝尔正态周期性重参数化以得到优化钢板表面状态全局特征向量；s360，将所述优化钢板表面状态全局特征向量通过所述分类器以得到分类损失函数值；以及，s370，基于所述分类损失函数值并通过梯度下降的方向传播来对所述使用空间注意力的卷积神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练。
[0075]
具体地，在本技术实施例中，将所述优化钢板表面状态全局特征向量通过所述分类器以得到分类损失函数值，包括：使用所述分类器以如下公式对所述优化钢板表面状态全局特征向量进行处理以生成训练分类结果，其中，所述公式为：softmax{(wn,bn):
…
:(w1,b1)|x},其中，w1到wn为权重矩阵，b1到bn为偏置向量，x为所述优化钢板表面状态全局特征向量；以及，计算所述训练分类结果与所述训练数据中所述酸洗后的钢板的表面状态是否符合预定标准的真实值之间的交叉熵值作为所述分类损失函数值。
[0076]
特别地，在本技术的技术方案中，在融合所述空间增强液相色谱特征图和所述通道增强液相色谱特征图得到所述解码特征图时，由于所述空间增强液相色谱特征图和所述通道增强液相色谱特征图分别是在图像空间维度和模型通道维度对于特征关联给予了强化，因此其各自特征分布的收敛方向的不一致会导致融合后得到的所述解码特征图的整体特征分布的单调性差，从而导致所述解码特征图解码器进行解码回归的收敛效果差，影响解码器的解码值的准确性。由此，对所述解码特征图的各个特征矩阵进行平滑最大函数近似性调制。
[0077]
具体地，在本技术实施例中，对所述训练钢板表面状态全局特征向量进行耿贝尔正态周期性重参数化以得到优化钢板表面状态全局特征向量，包括：以如下公式对所述钢板表面状态全局特征向量进行耿贝尔(gumbel)正态周期性重参数化，以获得优化钢板表面状态全局特征向量；其中，所述公式为：
[0078][0079]
其中，vi是所述钢板表面状态全局特征向量的各个位置的特征值，μ和σ分别是所述钢板表面状态全局特征向量中各个位置的特征值集合的均值和方差，arcsin(
·
)表示反正弦函数函数，arccos(
·
)表示反余弦函数，log表示以2为底的对数函数值，vi'表示所述优化钢板表面状态全局特征向量中各个位置的特征值。
[0080]
综上，基于本技术实施例的密集架的智能化生产工艺被阐明，其通过采用基于深度学习的人工智能控制技术，使用作为特征提取器的卷积神经网络模型来获取钢板被酸洗后的检测图像，具体地，基于深度学习的图像处理技术，从钢板被酸洗后的检测图像中提取关于钢板表面状态的隐含关联特征信息，然后通过分类器以判断其表面状态是否符合预定标准。这样，在密集架的生产中，可以减少人工观察的时间和人力成本，降低生产成本。
[0081]
示例性系统
[0082]
图6为根据本技术实施例的密集架的智能化生产系统的框图。如图6所示，根据本技术实施例的密集架的智能化生产系统100，包括：图像采集模块110，用于获取由摄像头采集的钢板被酸洗后的检测图像；空间注意力模块120，用于将所述钢板被酸洗后的检测图像
通过使用空间注意力的卷积神经网络模型以得到钢板表面状态特征图；局部特征提取模块130，用于将所述钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个钢板表面状态局部特征向量；上下文编码模块140，用于将所述多个钢板表面状态局部特征向量通过基于转换器的上下文编码器以得到钢板表面状态全局特征向量；以及，分类结果模块150，用于将所述钢板表面状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示酸洗后的钢板的表面状态是否符合预定标准。
[0083]
在本技术实施例中，所述空间注意力模块，包括：使用所述卷积神经网络模型的卷积编码部分对所述钢板被酸洗后的检测图像进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述卷积神经网络模型的空间注意力部分以得到空间注意力图；将所述空间注意力图通过softmax激活函数以得到空间注意力特征图；以及，计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到钢板表面状态特征图。
[0084]
在本技术实施例中，所述局部特征提取模块，包括：用于对所述钢板表面状态特征图的沿通道维度的各个特征矩阵进行沿着行向量或者列向量进行展开以得到所述多个钢板表面状态局部特征向量。
[0085]
在本技术实施例中，所述上下文编码模块，包括：将所述多个钢板表面状态局部特征向量排列为输入向量；将所述输入向量通过可学习嵌入矩阵分别转化为查询向量和关键向量；计算所述查询向量和所述关键向量的转置向量之间的乘积以得到自注意关联矩阵；对所述自注意关联矩阵进行标准化处理以得到标准化自注意关联矩阵；将所述标准化自注意关联矩阵输入softmax激活函数进行激活以得到自注意力特征矩阵；将所述自注意力特征矩阵与以所述多个钢板表面状态局部特征向量中各个钢板表面状态局部特征向量作为值向量分别进行相乘以得到多个钢板表面状态上下文理解特征向量；以及，将所述多个钢板表面状态上下文理解特征向量进行级联以得到所述钢板表面状态全局特征向量。
[0086]
在本技术实施例中，还包括训练模块：对所述使用空间注意力的卷积神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练；其中，所述训练模块包括：训练数据采集单元，用于获取训练数据，所述训练数据包括由摄像头采集的钢板被酸洗后的训练检测图像，以及，酸洗后的钢板的表面状态是否符合预定标准的真实值；训练特征图提取单元，用于将所述钢板被酸洗后的训练检测图像通过所述使用空间注意力的卷积神经网络模型以得到训练钢板表面状态特征图；训练局部特征提取单元，用于将所述训练钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个训练钢板表面状态局部特征向量；训练全局特征提取单元，用于将所述多个训练钢板表面状态局部特征向量通过所述基于转换器的上下文编码器以得到训练钢板表面状态全局特征向量；训练优化单元，用于对所述训练钢板表面状态全局特征向量进行耿贝尔正态周期性重参数化以得到优化钢板表面状态全局特征向量；分类损失单元，用于将所述优化钢板表面状态全局特征向量通过所述分类器以得到分类损失函数值；以及，训练单元，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述使用空间注意力的卷积神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练。
[0087]
在本技术实施例中，分类损失单元，包括：使用所述分类器以如下公式对所述优化钢板表面状态全局特征向量进行处理以生成训练分类结果，其中，所述公式为：softmax{(wn,bn):
…
:(w1,b1)|x},其中，w1到wn为权重矩阵，b1到bn为偏置向量，x为所述优化钢板表
面状态全局特征向量；以及，计算所述训练分类结果与所述训练数据中所述酸洗后的钢板的表面状态是否符合预定标准的真实值之间的交叉熵值作为所述分类损失函数值。
[0088]
在本技术实施例中，训练优化单元，包括：以如下公式对所述钢板表面状态全局特征向量进行耿贝尔(gumbel)正态周期性重参数化，以获得优化钢板表面状态全局特征向量；其中，所述公式为：
[0089][0090]
其中，vi是所述钢板表面状态全局特征向量的各个位置的特征值，μ和σ分别是所述钢板表面状态全局特征向量中各个位置的特征值集合的均值和方差，arcsin(
·
)表示反正弦函数函数，arccos(
·
)表示反余弦函数，log表示以2为底的对数函数值，vi'表示所述优化钢板表面状态全局特征向量中各个位置的特征值。
[0091]
综上，基于本技术实施例的密集架的智能化生产系统被阐明，其通过采用基于深度学习的人工智能控制技术，使用作为特征提取器的卷积神经网络模型来获取钢板被酸洗后的检测图像，具体地，基于深度学习的图像处理技术，从钢板被酸洗后的检测图像中提取关于钢板表面状态的隐含关联特征信息，然后通过分类器以判断其表面状态是否符合预定标准。这样，在密集架的生产中，可以减少人工观察的时间和人力成本，降低生产成本。
[0092]
示例性电子设备
[0093]
下面，参考图7来描述根据本技术实施例的电子设备的框图。图7为根据本技术实施例的电子设备的框图。如图7所示，电子设备10包括一个或多个处理器11和存储器12。
[0094]
处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
[0095]
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本技术的各个实施例的密集架的智能化生产工艺及其系统中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如钢板被酸洗后的检测图像等各种内容。
[0096]
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0097]
该输入装置13可以包括例如键盘、鼠标等等。
[0098]
该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0099]
当然，为了简化，图7中仅示出了该电子设备10中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
[0100]
示例性计算机程序产品和计算机可读存储介质
[0101]
除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的密集架的智能化生产工艺及其系统中的功能中的步骤。
[0102]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0103]
此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的密集架的智能化生产工艺及其系统中的功能中的步骤。
[0104]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

技术特征：
1.一种密集架的智能化生产工艺，其特征在于，包括：获取由摄像头采集的钢板被酸洗后的检测图像；将所述钢板被酸洗后的检测图像通过使用空间注意力的卷积神经网络模型以得到钢板表面状态特征图；将所述钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个钢板表面状态局部特征向量；将所述多个钢板表面状态局部特征向量通过基于转换器的上下文编码器以得到钢板表面状态全局特征向量；以及将所述钢板表面状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示酸洗后的钢板的表面状态是否符合预定标准。2.根据权利要求1所述的密集架的智能化生产工艺，其特征在于，将所述钢板被酸洗后的检测图像通过使用空间注意力的卷积神经网络模型以得到钢板表面状态特征图，包括：使用所述卷积神经网络模型的卷积编码部分对所述钢板被酸洗后的检测图像进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述卷积神经网络模型的空间注意力部分以得到空间注意力图；将所述空间注意力图通过softmax激活函数以得到空间注意力特征图；计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到所述钢板表面状态特征图。3.根据权利要求2所述的密集架的智能化生产工艺，其特征在于，将所述钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个钢板表面状态局部特征向量，包括：用于对所述钢板表面状态特征图的沿通道维度的各个特征矩阵进行沿着行向量或者列向量进行展开以得到所述多个钢板表面状态局部特征向量。4.根据权利要求3所述的密集架的智能化生产工艺，其特征在于，将所述多个钢板表面状态局部特征向量通过基于转换器的上下文编码器以得到钢板表面状态全局特征向量，包括：将所述多个钢板表面状态局部特征向量排列为输入向量；将所述输入向量通过可学习嵌入矩阵分别转化为查询向量和关键向量；计算所述查询向量和所述关键向量的转置向量之间的乘积以得到自注意关联矩阵；对所述自注意关联矩阵进行标准化处理以得到标准化自注意关联矩阵；将所述标准化自注意关联矩阵输入softmax激活函数进行激活以得到自注意力特征矩阵；将所述自注意力特征矩阵与以所述多个钢板表面状态局部特征向量中各个钢板表面状态局部特征向量作为值向量分别进行相乘以得到多个钢板表面状态上下文理解特征向量；以及将所述多个钢板表面状态上下文理解特征向量进行级联以得到所述钢板表面状态全局特征向量。5.根据权利要求4所述的密集架的智能化生产工艺，其特征在于，还包括训练步骤：对所述使用空间注意力的卷积神经网络模型、所述基于转换器的上下文编码器和所述分类器
进行训练；其中，所述训练步骤包括：获取训练数据，所述训练数据包括由摄像头采集的钢板被酸洗后的训练检测图像，以及，酸洗后的钢板的表面状态是否符合预定标准的真实值；将所述钢板被酸洗后的训练检测图像通过所述使用空间注意力的卷积神经网络模型以得到训练钢板表面状态特征图；将所述训练钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个训练钢板表面状态局部特征向量；将所述多个训练钢板表面状态局部特征向量通过所述基于转换器的上下文编码器以得到训练钢板表面状态全局特征向量；以及对所述训练钢板表面状态全局特征向量进行耿贝尔正态周期性重参数化以得到优化钢板表面状态全局特征向量；将所述优化钢板表面状态全局特征向量通过所述分类器以得到分类损失函数值；以及基于所述分类损失函数值并通过梯度下降的方向传播来对所述使用空间注意力的卷积神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练。6.根据权利要求5所述的密集架的智能化生产工艺，其特征在于，对所述训练钢板表面状态全局特征向量进行耿贝尔正态周期性重参数化以得到优化钢板表面状态全局特征向量，包括：以如下公式对所述钢板表面状态全局特征向量进行耿贝尔正态周期性重参数化，以获得所述优化钢板表面状态全局特征向量；其中，所述公式为：其中，v
i
是所述钢板表面状态全局特征向量的各个位置的特征值，μ和σ分别是所述钢板表面状态全局特征向量中各个位置的特征值集合的均值和方差，arcsin(
·
)表示反正弦函数函数，arccos(
·
)表示反余弦函数，log表示以2为底的对数函数值，v
i
'表示所述优化钢板表面状态全局特征向量中各个位置的特征值。7.根据权利要求6所述的密集架的智能化生产工艺，其特征在于，将所述优化钢板表面状态全局特征向量通过所述分类器以得到分类损失函数值，包括：使用所述分类器以如下公式对所述优化钢板表面状态全局特征向量进行处理以生成训练分类结果，其中，所述公式为：softmax{(w
n
,b
n
):
…
:(w1,b1)|x},其中，w1到w
n
为权重矩阵，b1到b
n
为偏置向量，x为所述优化钢板表面状态全局特征向量，softmax表示归一化指数函数；以及计算所述训练分类结果与所述训练数据中所述酸洗后的钢板的表面状态是否符合预定标准的真实值之间的交叉熵值作为所述分类损失函数值。8.一种密集架的智能化生产系统,其特征在于，包括：图像采集模块，用于获取由摄像头采集的钢板被酸洗后的检测图像；空间注意力模块，用于将所述钢板被酸洗后的检测图像通过使用空间注意力的卷积神经网络模型以得到钢板表面状态特征图；
局部特征提取模块，用于将所述钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个钢板表面状态局部特征向量；上下文编码模块，用于将所述多个钢板表面状态局部特征向量通过基于转换器的上下文编码器以得到钢板表面状态全局特征向量；以及分类结果模块，用于将所述钢板表面状态全局特征向量通过分类器以得到分类结果，所述分类结果用于表示酸洗后的钢板的表面状态是否符合预定标准。9.根据权利要求8所述的密集架的智能化生产系统，其特征在于，还包括训练模块：用于对所述使用空间注意力的卷积神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练；其中，所述训练模块，包括：训练数据采集单元，用于获取训练数据，所述训练数据包括由摄像头采集的钢板被酸洗后的训练检测图像，以及，酸洗后的钢板的表面状态是否符合预定标准的真实值；训练特征图提取单元，用于将所述钢板被酸洗后的训练检测图像通过所述使用空间注意力的卷积神经网络模型以得到训练钢板表面状态特征图；训练局部特征提取单元，用于将所述训练钢板表面状态特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个训练钢板表面状态局部特征向量；训练全局特征提取单元，用于将所述多个训练钢板表面状态局部特征向量通过所述基于转换器的上下文编码器以得到训练钢板表面状态全局特征向量；训练优化单元，用于对所述训练钢板表面状态全局特征向量进行耿贝尔正态周期性重参数化以得到优化钢板表面状态全局特征向量；分类损失单元，用于将所述优化钢板表面状态全局特征向量通过所述分类器以得到分类损失函数值；以及训练单元，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述使用空间注意力的卷积神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练。10.根据权利要求9所述的密集架的智能化生产系统，其特征在于，所述训练优化单元，包括：以如下公式对所述钢板表面状态全局特征向量进行耿贝尔(gumbel)正态周期性重参数化，以获得优化钢板表面状态全局特征向量；其中，所述公式为：其中，v
i
是所述钢板表面状态全局特征向量的各个位置的特征值，μ和σ分别是所述钢板表面状态全局特征向量中各个位置的特征值集合的均值和方差，arcsin(
·
)表示反正弦函数函数，arccos(
·
)表示反余弦函数，log表示以2为底的对数函数值，v
i
'表示所述优化钢板表面状态全局特征向量中各个位置的特征值。

技术总结
本申请涉及智能生产领域，其具体地公开了一种密集架的智能化生产工艺及其系统，其通过采用基于深度学习的人工智能控制技术，使用作为特征提取器的卷积神经网络模型来获取钢板被酸洗后的检测图像，具体地，基于深度学习的图像处理技术，从钢板被酸洗后的检测图像中提取关于钢板表面状态的隐含关联特征信息，然后通过分类器以判断其表面状态是否符合预定标准。这样，在密集架的生产中，可以减少人工观察的时间和人力成本，降低生产成本。降低生产成本。降低生产成本。


技术研发人员：邹明才 熊涛
受保护的技术使用者：江西远大保险设备实业集团有限公司
技术研发日：2023.07.11
技术公布日：2023/10/15