铝合金铸造成品的质检管控系统及其方法与流程

1.本技术涉及智能检测领域，且更为具体地，涉及一种铝合金铸造成品的质检管控系统及其方法。


背景技术：

2.铝合金铸造成品是指采用砂型模或金属模将加热为液态的铝或铝合金浇入模腔，而得到的各种形状和尺寸的铝零件或铝合金零件。铝合金铸造成品具有美观、质量轻、耐腐蚀等优点，广泛应用于汽车、航空、航天、化工等领域。
3.在铝合金铸造成品的生产制备过程中，有可能会因过程控制不精准或者设备故障而使得铝合金铸造成品出现内部结构缺陷，包括但不限于：气孔、夹杂物、缩孔、组织非均匀等。这些内部结构缺陷无法通过产品的外观观察到，但是上述内部结构缺陷会引发重要的安全事故。
4.因此，为了保证铝合金铸造成品的内在质量，需要对其进行严格的质检管控。


技术实现要素：

5.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种铝合金铸造成品的质检管控系统及其方法。其首先将被检测铝合金铸造成品的超声波探测图像和超声波参考图像通过孪生网络模型以得到超声波参考特征图和超声波探测特征图，接着，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图，最后，将所述分类特征图通过分类器以得到用于表示被检测铝合金铸造成品的内部质量是否合格的分类结果。这样，可以对铝合金铸造成品的内部质量进行精准质控。
6.根据本技术的一个方面，提供了一种铝合金铸造成品的质检管控系统，其包括：图像获取模块，用于获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像；孪生编码模块，用于将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图；转移矩阵计算模块，用于计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图；通道注意力编码模块，用于将所述转移特征图通过通道注意力模块以得到分类特征图；以及分类模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格。
7.在上述的铝合金铸造成品的质检管控系统中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。
8.在上述的铝合金铸造成品的质检管控系统中，所述第一图像编码器和所述第二图像编码器为金字塔网络。
9.在上述的铝合金铸造成品的质检管控系统中，所述转移矩阵计算模块，用于：以如
下转移矩阵计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵；其中，所述转移矩阵计算公式为：其中，、分别表示所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵，表示所述转移矩阵，表示向量相乘；以及将所述多个转移矩阵进行排列以得到所述转移特征图。
10.在上述的铝合金铸造成品的质检管控系统中，所述通道注意力编码模块，包括：深度卷积编码单元，用于使用所述通道注意力模块对所述转移特征图进行显式空间编码以得到转移关联特征图；全局均值池化单元，用于计算所述转移关联特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；激活单元，用于将所述通道特征向量输入sigmoid激活函数以得到通道注意力加权特征向量；注意力优化单元，用于基于所述通道注意力加权特征向量的自协方差矩阵，对所述通道注意力加权特征向量中各个位置的特征值进行校正以得到优化通道注意力加权特征向量；以及通道注意力施加单元，用于以所述优化通道注意力加权特征向量中各个位置的特征值作为权重分别对所述转移关联特征图的沿通道维度的各个特征矩阵进行加权以得到所述分类特征图。
11.在上述的铝合金铸造成品的质检管控系统中，所述分类模块，包括：特征图展开单元，用于将所述分类特征图按照行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及分类单元，用于将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。
12.在上述的铝合金铸造成品的质检管控系统中，还包括用于对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练的训练模块，其中，所述训练模块，包括：训练图像获取模块，用于获取训练数据，所述训练数据包括被检测铝合金铸造成品的训练超声波探测图像和内部质量合格的铝合金铸造成品的训练超声波参考图像，以及，所述被检测铝合金铸造成品的内部质量是否合格的真实值；训练孪生编码模块，用于将所述训练超声波参考图像和所述训练超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到训练超声波参考特征图和训练超声波探测特征图；转移特征图模块，用于计算所述训练超声波参考特征图和所述训练超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的训练转移特征图；训练通道注意力编码模块，用于将所述训练转移特征图通过通道注意力模块以得到训练分类特征图；训练分类模块，用于将所述训练分类特征图通过分类器以得到分类损失函数值；模型训练模块，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代。
13.在上述的铝合金铸造成品的质检管控系统中，在所述训练的每一轮迭代中，以如下公式对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代；其中，所述公式为：其中是所述分类器的权重
矩阵，表示特征矩阵的转置矩阵，是矩阵的本征值组成的本征集合向量，和分别表示矩阵乘法和加法，表示迭代后的所述分类器的权重矩阵。
14.根据本技术的另一个方面，提供了一种铝合金铸造成品的质检管控方法，其包括：获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像；将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图；计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图；将所述转移特征图通过通道注意力模块以得到分类特征图；以及将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格。
15.在上述的铝合金铸造成品的质检管控方法中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。
16.在上述的铝合金铸造成品的质检管控方法中，所述第一图像编码器和所述第二图像编码器为金字塔网络。
17.与现有技术相比，本技术提供的铝合金铸造成品的质检管控系统及其方法，其首先将被检测铝合金铸造成品的超声波探测图像和超声波参考图像通过孪生网络模型以得到超声波参考特征图和超声波探测特征图，接着，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图，最后，将所述分类特征图通过分类器以得到用于表示被检测铝合金铸造成品的内部质量是否合格的分类结果。这样，可以对铝合金铸造成品的内部质量进行精准质控。
附图说明
18.为了更清楚地说明本技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本技术的主旨。
19.图1为根据本技术实施例的铝合金铸造成品的质检管控系统的应用场景图。
20.图2为根据本技术实施例的铝合金铸造成品的质检管控系统的框图示意图。
21.图3为根据本技术实施例的铝合金铸造成品的质检管控系统中的所述通道注意力编码模块的框图示意图。
22.图4为根据本技术实施例的铝合金铸造成品的质检管控系统中的所述分类模块的框图示意图。
23.图5为根据本技术实施例的铝合金铸造成品的质检管控系统中的所述训练模块的框图示意图。
24.图6为根据本技术实施例的铝合金铸造成品的质检管控方法的流程图。
25.图7为根据本技术实施例的铝合金铸造成品的质检管控方法的系统架构的示意图。
具体实施方式
26.下面将结合附图对本技术实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本技术的部分实施例，而不是全部的实施例。基于本技术实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本技术保护的范围。
27.如本技术和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
28.虽然本技术对根据本技术的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
29.本技术中使用了流程图用来说明根据本技术的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
30.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
31.针对上述技术问题，本技术的技术构思为通过超声波无损探伤技术来采集被检测铝合金铸造成品的内部结构的超声波探测图像，并通过所述被检测铝合金铸造成品的内部结构的超声波显示图像与内部质量合格的铝合金铸造成品的超声波参考图像之间的比对和分析来判断被检测铝合金铸造成品的内部质量是否合格，这样使用非破坏式探测方案来对铝合金铸造成品的内部质量进行精准质控。
32.具体地，首先获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像。如上所述，在铝合金铸造成品的生产制备过程中，可能会因为过程控制不精准或者设备故障等原因导致成品出现内部结构缺陷，这些内部结构缺陷无法通过产品的外观观察到。因此，为了保证铝合金铸造成品的内在质量，需要对其进行严格的质检管控。
33.超声波探测成像技术是一种有效的非损伤性检测方法，能够实时获取被检测对象内部结构的信息，包括气孔、夹杂物、缩孔、组织非均匀等缺陷信息。为了对铝合金铸造成品进行质检，需要获取被检测铝合金铸造成品的超声波探测图像，以及内部质量合格的铝合金铸造成品的超声波参考图像。通过将待检测的铝合金铸造成品与合格的铝合金铸造成品进行比较，可以判断样品是否存在内部结构缺陷。
34.接着，将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图。特别地，在本技术的技术方案中，所述第一图像编码器和所述第二图像编码器具有相同的神经网络结构。在本技术一个具体的示例中，所述第一图像编码器和所述第二图像编码器为金字塔网络模型。
35.应可以理解，因所述第一图像编码器和所述第二图像编码器具有相同的神经网络结构，因此，所述超声波参考图像和所述超声波探测图像之间的局部区域图像差异会被所述第一图像编码器和所述第二图像编码器所捕捉并放大。也就是，通过比较被检测铝合金铸造成品的超声波探测特征图和内部质量合格的铝合金铸造成品的超声波参考特征图，可以判断样品是否存在内部结构缺陷。
36.接着，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图。应注意到，在本技术的技术方案中，所述第一图像编码器和所述第二图像编码器为金字塔网络，所述金字塔网络是标准卷积神经网络模型的延伸拓展，其编码特性依然没有脱离卷积编码的特性，即，所述超声波参考特征图和所述超声波探测特征图的沿通道维度的各个特征矩阵为图像中的局部邻域特征。
37.因此，在本技术的技术方案中，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到多个转移矩阵，其中，所述各个转移矩阵用于表示超声波参考特征图和所述超声波探测特征图的沿通道维度的局部邻域特征之间的差异信息。通过计算超声波参考特征图和超声波探测特征图中每组对应的特征矩阵之间的转移矩阵来描述两幅图像局部特征之间的相似性，即反映在特征空间中的差异性，所述转移矩阵包含了铝合金铸造成品内部结构的差异信息，包括缺陷类型、位置、大小等。相应地，所述转移特征图能够从全局范围上描述铝合金铸造成品内部结构的差异信息，不同的转移矩阵表示了不同的缺陷类型和位置，因此可以有效地表达铝合金铸造成品的内部结构差异，基于这些特征，能够更加准确地判断被检测铝合金铸造成品是否存在内部结构缺陷。
38.这里，考虑到在所述转移特征图中，每个通道代表着一个不同的转移矩阵，即描述了不同的内部结构差异信息，这些信息对于铝合金铸造成品的质检非常重要。然而，在实际应用中，转移特征图可能存在大量冗余和无用的信息，会干扰分类器的判断，从而导致质检结果的不准确性和误判率的增加。因此，需要利用通道注意力模块，通过学习输入特征图的通道权重来区分哪些通道对分类任务更有帮助，并将其突出显示。具体而言，通道注意力模块能够根据样本特征的重要性，自适应地调整每个通道的权重，有效地压缩特征空间，提高分类器的精度和泛化性能。也就是说，在得到所述转移特征图后，将所述转移特征图通过通道注意力模块以得到分类特征图。
39.进一步地，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格。也就是，使用所述分类器来确定所述分类特征图的类概率标签，所述类概率标签用于表示被检测铝合金铸造成品的内部质量是否合格。
40.这里，由于所述转移特征图的每个转移特征矩阵表达所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的特征域转移，而所述孪生网络模型的第一图像编码器和第二图像编码器在进行独立的图像特征编码时，其沿通道维度的特征编码并不能保持完全一致，这就使得所述转移特征图的各个转移特征矩阵之间具有较大的数值差异。并且，在将所述转移特征图通过通道注意力模块时，由于通道注意力模块的加权机制，会进一步加大所述分类特征图的各个特征矩阵之间的数值差异，由此，当所述分类特征
图通过分类器进行分类时，所述分类特征图的各个特征矩阵的部分特征分布相对于分类器的权重矩阵对应的部分也会具有不同的权重拟合方向，这样，所述分类特征图的整体特征分布相对于分类器的权重矩阵就会具有收敛性差的问题，从而影响所述分类器的训练速度。
41.基于此，本技术的申请人在所述分类特征图展开后得到的分类特征向量，例如记为练过程中，在每次分类器的权重矩阵，例如记为的训练过程中，在每次分类器的权重矩阵，例如记为的迭代过程中，对权重矩阵进行权重本征支持的半空间结构化约束，具体表示为：其中，是矩阵的本征值组成的本征集合向量。
42.这里，所述权重本征支持的半空间结构化约束以所述分类器的权重矩阵的结构化矩阵的本征值集合与待分类的分类特征向量的关联性集成作为支持，来对所述权重矩阵表示的用于与所述待分类的分类特征向量的高维流形相耦合的半空间（half-space）进行作为决策边界的超平面的结构化支持约束，以使得所述待分类的分类特征向量的高维流形能够在所述权重矩阵表示的半空间开放域内相对于超平面有效收敛，从而改进所述分类器的训练速度。
43.图1为根据本技术实施例的铝合金铸造成品的质检管控系统的应用场景图。如图1所示，在该应用场景中，首先，获取被检测铝合金铸造成品（例如，图1中所示意的n）的超声波探测图像（例如，图1中所示意的d1），以及，内部质量合格的铝合金铸造成品的超声波参考图像（例如，图1中所示意的d2），然后，将所述超声波参考图像和所述超声波探测图像输入至部署有铝合金铸造成品的质检管控算法的服务器中（例如，图1中所示意的s），其中，所述服务器能够使用所述铝合金铸造成品的质检管控算法对所述超声波参考图像和所述超声波探测图像进行处理以得到用于表示被检测铝合金铸造成品的内部质量是否合格的分类结果。
44.在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
45.图2为根据本技术实施例的铝合金铸造成品的质检管控系统的框图示意图。如图2所示，根据本技术实施例的铝合金铸造成品的质检管控系统100，包括：图像获取模块110，用于获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像；孪生编码模块120，用于将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图；转移矩阵计算模块130，用于计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图；通道注意力编码模块140，用于将所述转移特征图通过通道注意力模块以得到分类特征图；以及，分类模块150，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格。
46.更具体地，在本技术实施例中，所述图像获取模块110，用于获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像。在铝合金铸造成品的生产制备过程中，可能会因为过程控制不精准或者设备故障等原因导致成
品出现内部结构缺陷，这些内部结构缺陷无法通过产品的外观观察到。因此，为了保证铝合金铸造成品的内在质量，需要对其进行严格的质检管控。超声波探测成像技术是一种有效的非损伤性检测方法，能够实时获取被检测对象内部结构的信息，包括气孔、夹杂物、缩孔、组织非均匀等缺陷信息。为了对铝合金铸造成品进行质检，需要获取被检测铝合金铸造成品的超声波探测图像，以及内部质量合格的铝合金铸造成品的超声波参考图像。通过将待检测的铝合金铸造成品与合格的铝合金铸造成品进行比较，可以判断样品是否存在内部结构缺陷。
47.更具体地，在本技术实施例中，所述孪生编码模块120，用于将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图。
48.相应地，在一个具体示例中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。所述第一图像编码器和所述第二图像编码器为金字塔网络。
49.应可以理解，因所述第一图像编码器和所述第二图像编码器具有相同的神经网络结构，因此，所述超声波参考图像和所述超声波探测图像之间的局部区域图像差异会被所述第一图像编码器和所述第二图像编码器所捕捉并放大。也就是，通过比较被检测铝合金铸造成品的超声波探测特征图和内部质量合格的铝合金铸造成品的超声波参考特征图，可以判断样品是否存在内部结构缺陷。
50.更具体地，在本技术实施例中，所述转移矩阵计算模块130，用于计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图。应注意到，在本技术的技术方案中，所述第一图像编码器和所述第二图像编码器为金字塔网络，所述金字塔网络是标准卷积神经网络模型的延伸拓展，其编码特性依然没有脱离卷积编码的特性，即，所述超声波参考特征图和所述超声波探测特征图的沿通道维度的各个特征矩阵为图像中的局部邻域特征。因此，在本技术的技术方案中，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到多个转移矩阵，其中，所述各个转移矩阵用于表示超声波参考特征图和所述超声波探测特征图的沿通道维度的局部邻域特征之间的差异信息。通过计算超声波参考特征图和超声波探测特征图中每组对应的特征矩阵之间的转移矩阵来描述两幅图像局部特征之间的相似性，即反映在特征空间中的差异性，所述转移矩阵包含了铝合金铸造成品内部结构的差异信息，包括缺陷类型、位置、大小等。相应地，所述转移特征图能够从全局范围上描述铝合金铸造成品内部结构的差异信息，不同的转移矩阵表示了不同的缺陷类型和位置，因此可以有效地表达铝合金铸造成品的内部结构差异，基于这些特征，能够更加准确地判断被检测铝合金铸造成品是否存在内部结构缺陷。
51.相应地，在一个具体示例中，所述转移矩阵计算模块130，用于：以如下转移矩阵计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵；其中，所述转移矩阵计算公式为：其中，、分别表示所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵，表示所述转移矩阵，表示向量相乘；以及将所述多个转移矩阵进行排列以得到所述转移特征图。
52.更具体地，在本技术实施例中，所述通道注意力编码模块140，用于将所述转移特
征图通过通道注意力模块以得到分类特征图。考虑到在所述转移特征图中，每个通道代表着一个不同的转移矩阵，即描述了不同的内部结构差异信息，这些信息对于铝合金铸造成品的质检非常重要。然而，在实际应用中，转移特征图可能存在大量冗余和无用的信息，会干扰分类器的判断，从而导致质检结果的不准确性和误判率的增加。因此，需要利用通道注意力模块，通过学习输入特征图的通道权重来区分哪些通道对分类任务更有帮助，并将其突出显示。具体而言，通道注意力模块能够根据样本特征的重要性，自适应地调整每个通道的权重，有效地压缩特征空间，提高分类器的精度和泛化性能。也就是说，在得到所述转移特征图后，将所述转移特征图通过通道注意力模块以得到分类特征图。
53.相应地，在一个具体示例中，如图3所示，所述通道注意力编码模块140，包括：深度卷积编码单元141，用于使用所述通道注意力模块对所述转移特征图进行显式空间编码以得到转移关联特征图；全局均值池化单元142，用于计算所述转移关联特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；激活单元143，用于将所述通道特征向量输入sigmoid激活函数以得到通道注意力加权特征向量；注意力优化单元144，用于基于所述通道注意力加权特征向量的自协方差矩阵，对所述通道注意力加权特征向量中各个位置的特征值进行校正以得到优化通道注意力加权特征向量；以及，通道注意力施加单元145，用于以所述优化通道注意力加权特征向量中各个位置的特征值作为权重分别对所述转移关联特征图的沿通道维度的各个特征矩阵进行加权以得到所述分类特征图。
54.更具体地，在本技术实施例中，所述分类模块150，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格。
55.也就是，在本技术的技术方案中，所述分类器的标签包括被检测铝合金铸造成品的内部质量合格(第一标签)，以及，被检测铝合金铸造成品的内部质量不合格(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“被检测铝合金铸造成品的内部质量是否合格”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，被检测铝合金铸造成品的内部质量是否合格的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“被检测铝合金铸造成品的内部质量是否合格”的语言文本意义。
56.应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、svm等常用于解决二分类问题，对于多分类问题（multi-class classification），同样也可以用逻辑回归或svm，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有softmax分类函数。
57.相应地，在一个具体示例中，如图4所示，所述分类模块150，包括：特征图展开单元151，用于将所述分类特征图按照行向量或列向量展开为分类特征向量；全连接编码单元152，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元153，用于将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。
58.图5为根据本技术实施例的铝合金铸造成品的质检管控系统中的所述训练模块的框图示意图。如图5所示，更具体地，在本技术实施例中，还包括用于对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练的训练模块，其中，所述训练模块200，包括：训练图像获取模块210，用于获取训练数据，所述训练数据包括被检测铝合金铸造成品的训练超声波探测图像和内部质量合格的铝合金铸造成品的训练超声波参考图像，以及，所述被检测铝合金铸造成品的内部质量是否合格的真实值；训练孪生编码模块220，用于将所述训练超声波参考图像和所述训练超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到训练超声波参考特征图和训练超声波探测特征图；转移特征图模块230，用于计算所述训练超声波参考特征图和所述训练超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的训练转移特征图；训练通道注意力编码模块240，用于将所述训练转移特征图通过通道注意力模块以得到训练分类特征图；训练分类模块250，用于将所述训练分类特征图通过分类器以得到分类损失函数值；模型训练模块260，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代。
59.特别地，由于所述转移特征图的每个转移特征矩阵表达所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的特征域转移，而所述孪生网络模型的第一图像编码器和第二图像编码器在进行独立的图像特征编码时，其沿通道维度的特征编码并不能保持完全一致，这就使得所述转移特征图的各个转移特征矩阵之间具有较大的数值差异。并且，在将所述转移特征图通过通道注意力模块时，由于通道注意力模块的加权机制，会进一步加大所述分类特征图的各个特征矩阵之间的数值差异，由此，当所述分类特征图通过分类器进行分类时，所述分类特征图的各个特征矩阵的部分特征分布相对于分类器的权重矩阵对应的部分也会具有不同的权重拟合方向，这样，所述分类特征图的整体特征分布相对于分类器的权重矩阵就会具有收敛性差的问题，从而影响所述分类器的训练速度。基于此，本技术的申请人在所述分类特征图展开后得到的分类特征向量，例如记为的训练过程中，在每次分类器的权重矩阵，例如记为迭代过程中，对权重矩阵进行权重本征支持的半空间结构化约束。
60.相应地，在一个具体示例中，在所述训练的每一轮迭代中，以如下公式对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代；其中，所述公式为：其中是所述分类器的权重矩阵，表示特征矩阵的转置矩阵，是矩阵的本征值组成的本征集合向量，和分别表示矩阵乘法和加法，表示迭代后的所述分类器的权重矩阵。
61.这里，所述权重本征支持的半空间结构化约束以所述分类器的权重矩阵的结构化矩阵的本征值集合与待分类的分类特征向量的关联性集成作为支持，来对所述权重矩阵表示的用于与所述待分类的分类特征向量的高维流形相耦合的半空间（half-space）进行作为决策边界的超平面的结构化支持约束，以使得所述待分类的分类特征向量
的高维流形能够在所述权重矩阵表示的半空间开放域内相对于超平面有效收敛，从而改进所述分类器的训练速度。
62.综上，基于本技术实施例的铝合金铸造成品的质检管控系统100被阐明，其首先将被检测铝合金铸造成品的超声波探测图像和超声波参考图像通过孪生网络模型以得到超声波参考特征图和超声波探测特征图，接着，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图，最后，将所述分类特征图通过分类器以得到用于表示被检测铝合金铸造成品的内部质量是否合格的分类结果。这样，可以对铝合金铸造成品的内部质量进行精准质控。
63.如上所述，根据本技术实施例的基于本技术实施例的铝合金铸造成品的质检管控系统100可以实现在各种终端设备中，例如具有基于本技术实施例的铝合金铸造成品的质检管控算法的服务器等。在一个示例中，基于本技术实施例的铝合金铸造成品的质检管控系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本技术实施例的铝合金铸造成品的质检管控系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本技术实施例的铝合金铸造成品的质检管控系统100同样可以是该终端设备的众多硬件模块之一。
64.替换地，在另一示例中，该基于本技术实施例的铝合金铸造成品的质检管控系统100与该终端设备也可以是分立的设备，并且该铝合金铸造成品的质检管控系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
65.图6为根据本技术实施例的铝合金铸造成品的质检管控方法的流程图。如图6所示，根据本技术实施例的铝合金铸造成品的质检管控方法，其包括：s110，获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像；s120，将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图；s130，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图；s140，将所述转移特征图通过通道注意力模块以得到分类特征图；以及，s150，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格。
66.图7为根据本技术实施例的铝合金铸造成品的质检管控方法的系统架构的示意图。如图7所示，在所述铝合金铸造成品的质检管控方法的系统架构中，首先，获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像；接着，将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图；然后，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图；接着，将所述转移特征图通过通道注意力模块以得到分类特征图；最后，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格。
67.在一个具体示例中，在上述铝合金铸造成品的质检管控方法中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。
68.在一个具体示例中，在上述铝合金铸造成品的质检管控方法中，所述第一图像编
码器和所述第二图像编码器为金字塔网络。
69.在一个具体示例中，在上述铝合金铸造成品的质检管控方法中，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图，包括：以如下转移矩阵计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵；其中，所述转移矩阵计算公式为：其中，、分别表示所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵，表示所述转移矩阵，表示向量相乘；以及，将所述多个转移矩阵进行排列以得到所述转移特征图。
70.在一个具体示例中，在上述铝合金铸造成品的质检管控方法中，将所述转移特征图通过通道注意力模块以得到分类特征图，包括：使用所述通道注意力模块对所述转移特征图进行显式空间编码以得到转移关联特征图；计算所述转移关联特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；将所述通道特征向量输入sigmoid激活函数以得到通道注意力加权特征向量；基于所述通道注意力加权特征向量的自协方差矩阵，对所述通道注意力加权特征向量中各个位置的特征值进行校正以得到优化通道注意力加权特征向量；以及，以所述优化通道注意力加权特征向量中各个位置的特征值作为权重分别对所述转移关联特征图的沿通道维度的各个特征矩阵进行加权以得到所述分类特征图。
71.在一个具体示例中，在上述铝合金铸造成品的质检管控方法中，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格，包括：将所述分类特征图按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。
72.在一个具体示例中，在上述铝合金铸造成品的质检管控方法中，还包括用于对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练的训练阶段，其中，所述训练阶段，包括：获取训练数据，所述训练数据包括被检测铝合金铸造成品的训练超声波探测图像和内部质量合格的铝合金铸造成品的训练超声波参考图像，以及，所述被检测铝合金铸造成品的内部质量是否合格的真实值；将所述训练超声波参考图像和所述训练超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到训练超声波参考特征图和训练超声波探测特征图；计算所述训练超声波参考特征图和所述训练超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的训练转移特征图；将所述训练转移特征图通过通道注意力模块以得到训练分类特征图；将所述训练分类特征图通过分类器以得到分类损失函数值；基于所述分类损失函数值并通过梯度下降的方向传播来对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代。
73.在一个具体示例中，在上述铝合金铸造成品的质检管控方法中，在所述训练的每一轮迭代中，以如下公式对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代；
其中，所述公式为：其中是所述分类器的权重矩阵，表示特征矩阵的转置矩阵，是矩阵的本征值组成的本征集合向量，和分别表示矩阵乘法和加法，表示迭代后的所述分类器的权重矩阵。
74.这里，本领域技术人员可以理解，上述铝合金铸造成品的质检管控方法中的各个步骤的具体操作已经在上面参考图1到图4的铝合金铸造成品的质检管控系统100的描述中得到了详细介绍，并因此，将省略其重复描述。
75.根据本技术的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
76.技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
77.所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现系统的计算机环境，或与提供目标检测所需要的信息相关的类似功能的系统。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
78.本技术使用了特定词语来描述本技术的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本技术至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本技术的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
79.此外，本领域技术人员可以理解，本技术的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本技术的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本技术的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
80.除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
81.上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前
提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

技术特征：
1.一种铝合金铸造成品的质检管控系统，其特征在于，包括：图像获取模块，用于获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像；孪生编码模块，用于将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图；转移矩阵计算模块，用于计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图；通道注意力编码模块，用于将所述转移特征图通过通道注意力模块以得到分类特征图；以及分类模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格。2.在根据权利要求1所述的铝合金铸造成品的质检管控系统，其特征在于，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。3.根据权利要求2所述的铝合金铸造成品的质检管控系统，其特征在于，所述第一图像编码器和所述第二图像编码器为金字塔网络。4.根据权利要求3所述的铝合金铸造成品的质检管控系统，其特征在于，所述转移矩阵计算模块，用于：以如下转移矩阵计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵；其中，所述转移矩阵计算公式为：其中，、分别表示所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵，表示所述转移矩阵，表示向量相乘；以及将所述多个转移矩阵进行排列以得到所述转移特征图。5.根据权利要求4所述的铝合金铸造成品的质检管控系统，其特征在于，所述通道注意力编码模块，包括：深度卷积编码单元，用于使用所述通道注意力模块对所述转移特征图进行显式空间编码以得到转移关联特征图；全局均值池化单元，用于计算所述转移关联特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；激活单元，用于将所述通道特征向量输入sigmoid激活函数以得到通道注意力加权特征向量；注意力优化单元，用于基于所述通道注意力加权特征向量的自协方差矩阵，对所述通道注意力加权特征向量中各个位置的特征值进行校正以得到优化通道注意力加权特征向量；以及通道注意力施加单元，用于以所述优化通道注意力加权特征向量中各个位置的特征值作为权重分别对所述转移关联特征图的沿通道维度的各个特征矩阵进行加权以得到所述分类特征图。6.根据权利要求5所述的铝合金铸造成品的质检管控系统，其特征在于，所述分类模块，包括：特征图展开单元，用于将所述分类特征图按照行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及分类单元，用于将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。7.根据权利要求6所述的铝合金铸造成品的质检管控系统，其特征在于，还包括用于对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练的训练模块，其中，所述训练模块，包括：训练图像获取模块，用于获取训练数据，所述训练数据包括被检测铝合金铸造成品的训练超声波探测图像和内部质量合格的铝合金铸造成品的训练超声波参考图像，以及，所述被检测铝合金铸造成品的内部质量是
否合格的真实值；训练孪生编码模块，用于将所述训练超声波参考图像和所述训练超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到训练超声波参考特征图和训练超声波探测特征图；转移特征图模块，用于计算所述训练超声波参考特征图和所述训练超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的训练转移特征图；训练通道注意力编码模块，用于将所述训练转移特征图通过通道注意力模块以得到训练分类特征图；训练分类模块，用于将所述训练分类特征图通过分类器以得到分类损失函数值；模型训练模块，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代。8.根据权利要求7所述的铝合金铸造成品的质检管控系统，其特征在于，在所述训练的每一轮迭代中，以如下公式对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代；其中，所述公式为：其中是所述分类器的权重矩阵，表示特征矩阵的转置矩阵，是矩阵的本征值组成的本征集合向量，和分别表示矩阵乘法和加法，表示迭代后的所述分类器的权重矩阵。9.一种铝合金铸造成品的质检管控方法，其特征在于，包括：获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像；将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图；计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图；将所述转移特征图通过通道注意力模块以得到分类特征图；以及将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格。10.根据权利要求9所述的铝合金铸造成品的质检管控方法，其特征在于，所述第一图像编码器和所述第二图像编码器为金字塔网络。

技术总结
公开了一种铝合金铸造成品的质检管控系统及其方法。其首先将被检测铝合金铸造成品的超声波探测图像和超声波参考图像通过孪生网络模型以得到超声波参考特征图和超声波探测特征图，接着，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图，最后，将所述分类特征图通过分类器以得到用于表示被检测铝合金铸造成品的内部质量是否合格的分类结果。这样，可以对铝合金铸造成品的内部质量进行精准质控。合金铸造成品的内部质量进行精准质控。合金铸造成品的内部质量进行精准质控。


技术研发人员：王承永
受保护的技术使用者：浙江海威汽车零件有限公司
技术研发日：2023.07.12
技术公布日：2023/8/13