一种基于神经网络的多零件智能装配方法

1.本发明涉及于工业智能装配技术领域，具体是一种基于神经网络的多零件智能装配方法。


背景技术：

2.多零件装配是指将许多零部件组合成为一个完整的产品。这是制造业中非常常见的一种生产方式，尤其是在汽车制造、电子产品制造和机械制造等领域。在多零件装配的过程中，需要考虑很多因素，例如零件的尺寸、形状、材料、工艺以及装配工具等。多零件装配的历史可以追溯到人类最早的制造活动。在古代，人们使用手工工具将不同的零部件组合成为一些基本的工具和机器。随着工业革命的到来，机械化生产和流水线生产开始成为主流。在流水线生产中，每个工人只需要完成其中的一个任务，然后将产品传递给下一个工人进行下一步操作。这种生产方式大大提高了生产效率和产品质量，同时也促进了多零件装配技术的发展。
3.多零件装配技术广泛应用于各种制造业领域，例如：汽车制造：汽车是一个典型的多零件装配产品，它由数千个零部件组成，包括引擎、车架、座椅、电器设备等。在汽车制造过程中，多零件装配技术被广泛应用，以确保所有的零部件都可以精确地组合在一起，从而保证汽车的性能和安全性。电子产品制造：电子产品也是一个需要多零件装配的产品类别，例如电视、计算机、手机等。这些产品由大量的电子元件和外壳组成，需要通过精密的装配工艺来确保产品的质量和性能。机械制造：在机械制造领域，多零件装配技术被广泛应用于各种机器和设备的制造和维修。例如，机床、发电机、泵等机械设备都需要进行多零件装配。多零件装配技术涉及到很多不同的技术和方法，包括：自动化装配：自动化装配是利用自动化设备和机器人来完成装配过程，以提高生产效率和降低成本。自动化装配可以实现高速、高精度和高效率的装配过程，同时还可以减少人工操作的错误和损失。精密装配技术：精密装配技术是一种可以实现高精度装配的技术，它包括利用高精度测量仪器、自动化设备和智能控制系统来实现高精度、高速度、高效率的装配过程。精密装配技术广泛应用于高端机械、电子产品和汽车等领域。智能装配技术：智能装配技术是一种利用人工智能技术和大数据技术来实现智能化装配的技术，它可以通过智能识别和预测来提高装配效率和质量，并实现智能化管理和优化。智能装配技术将会是未来多零件装配的发展趋势之一。总之，多零件装配技术是现代工业生产中不可或缺的一项技术，它可以实现高效率、高精度、高质量的产品生产，并为工业自动化和智能化发展奠定了基础。随着新技术的不断涌现和发展，多零件装配技术将会越来越成熟和完善，同时也将会逐步向着智能化、自动化和智能制造的方向发展。
4.现代装配技术已经相对成熟，但在高精度的要求下，仍然难以达到理想的精度水平，因为零件加工和配合精度、装配误差等因素都会影响到精度，在实际生产中，多零件装配仍然需要很多的人工干预，比如零件的取放、装配工具的更换和维护等。


技术实现要素：

5.为了解决现存技术装配精度低和需要大量人工干预的问题，本发明利用神经网络自动化地预测零件之间的连接关系和相对位姿，减少了手动干预的需要，从而提高了装配过程的自动化程度；通过预测具备连接关系的零件对之间的连接位置，可以有效的提高装配精度。本技术提出了一种基于神经网络的多零件智能装配方法，主要利用三维零件的b-rep实体构建零件图，通过连接关系推理模块和连接位姿预测模块预测构成装配体的零件之间的连接关系和相对位姿，完成三维零件的装配，具有较高的精度。
6.本发明提供一种基于神经网络的多零件智能装配方法，包括如下步骤：
7.步骤一，对目标装配体a的模型进行预处理，生成包含装配体零件的零件信息的json文件和零件p1,p2,......,pn的b-rep格式几何文件，以提供更加精确、便于处理的三维几何信息，其中，n代表构成装配体的零件数目；
8.步骤二，使用图模型对零件的b-rep格式文件进行表征，基于多类装配体生成图模型表征的多零件装配数据集g1,g2,
……
,gn；
9.步骤三，使用多层感知器mlp对每个零件图进行嵌入后，设计mpn网络对零件图表征进行信息聚合与迭代更新，更新零件节点特征；
10.步骤四，预测零件连接关系类型和连接位置；
11.步骤五，根据连接位置，提取相应节点的连接轴属性，对齐两零件的连接轴，获得两个零件间的初始装配位姿矩阵，获取所有零件对的相对位姿后，求解最终用于装配的最终零件位姿，将各个零件按照最终求解的零件位姿依次放置组装为目标装配体。
12.进一步的，步骤一中，零件信息包括连接关系、连接位置、连接轴和位姿矩阵标签，连接关系包括无连接、正向连接和反向连接，连接位置是两个零件相连接的面或边，连接轴joint_axis由连接原点origin和连接方向direction组成，装配位姿矩阵是零件处于装配状态的位姿矩阵。
13.进一步的，步骤二中，输入b-rep格式的几何文件，提取b-rep格式几何文件中的零件信息，创建反映零件形状等信息的零件图g，定义为：
14.g＝(v,e)
15.其中，v是零件图的节点集合，e所代表的是零件图所有边的集合，
[0016][0017]
节点集合中的集合元素vi的属性是构建零件的b-rep实体的类别、长度和反转标志信息，
[0018][0019]
边集合中的集合元素e
ij
的取值为0或1，表示节点vi和节点vj
是
否相连，1表示连接，0表示不连接。
[0020]
进一步的，步骤三中，使用多层感知器mlp将零件图中的面和边节点分别嵌入后相加获
[0021]
得零件的隐变量，即：
[0022]hi-face
＝mlp(v
i-face
)
[0023]hi-edge
＝mlp(v
i-edge
)
[0024]hi-part
＝h
i-face
+h
i-edge
[0025]
其中h
i-face
、h
i-edge
、h
i-part
分别表示零件的面、边和整体零件的隐变量，v
i-face
和v
i-edge
分别为表征零件面和边的节点信息，mlp为多层感知器神经网络，用来完成零件面和边的嵌入操作，
[0026]
对零件的隐变量使用基于图注意力的卷积操作更新节点特征：
[0027][0028]
其中是节点在第l层第i个节点的特征表示，表示节点i的邻居节点的集合，w
(l)
是第l层的权重矩阵，是节点i和j之间的注意力系数,b
(l)
表示第l层的偏置向量，elu表示指数线性单元激活函数。
[0029]
进一步，步骤四具体为：对任一零件gi，遍历其候选连接零件gj形成候选零件对(gi,gj)，设计连接关系推理模块f
ψ
预测零件对间的连接关系类型，预测出零件gi的连接零件g
i-c
，筛选出存在连接关系的连接对；将经过筛选的零件对(gi,g
i-c
)输入所设计的连接位姿预测模块预测零件间的连接位置,即零件对gi与g
i-c
所连接的面或边序号。
[0030]
进一步的，连接关系推理模块通过零件的几何信息预测零件对关于连接关系的概率分布p
connection
，如下：
[0031]
p
connection
＝softmax(mlp(stack(h
i-part
,h
l-part
)))
[0032]
其中，h
i-part
,h
l-part
表示经过嵌入和基于图注意力的卷积操作更新节点信息后获取零件的特征向量，stack表示将两个特征向量在拼接在一起，mlp表示多层感知器，在这里用于对零件连接关系的预测，softmax用于将输出转换为概率分布。
[0033]
优选的，将经过筛选的零件对(gi,g
i-c
)，输入由三层mlp构成的连接位姿预测模块如下：
[0034]zij
＝mlp([xi,xj])
[0035]
其中，xi,xj分别表示两零件图的第i个和第j个节点向量，z
ij
表示边缘的logit即表示用于预测每对节点之间是否存在边缘的一个实数值，这里的mlp表示使用1
×
1的卷积层的多层感知器，[xi,xj]表示将节点i,j的特征向量拼接起来。
[0036]
优选的，在连接位姿预测模块中使用两项损失函数来训练神经网络，如下：
[0037]
(1)第一项损失函数是边预测值和归一化为概率分布真值之间交叉熵损失：
[0038][0039]
其中表示交叉熵损失，ce表示对输入值进行交叉熵计算，j
uv
表示归一化为概率分布的真值，h
uv
表示网络输出的边预测，c是类别数量，qi是实际输出向量中第i个元素的值(0或1)，pi是预测输出概率分布向量中第i个元素的值。
[0040]
(2)第二项损失函数使用对称交叉熵损失：
[0041]
[0042][0043][0044]
其中表示对称交叉熵损失，softmax用于将网络输出映射为一组概率分布，softmax
row
和softmax
col
表示在单个轴上进行softmax操作，h
2d
和分别表示连接图边的预测值和真值的n
×
m的矩阵,和分别表示在单个轴上做softmax操作的结果。
[0045]
进一步的，步骤五中，根据所连接的面或边的序号，提取相应节点的连接轴属性，对齐两零件的连接轴，获得两个零件之间的相对旋转矩阵ri和相对平移向量ti，从而获得两个零件之间的初始相对位姿矩阵t：
[0046][0047]
基于成本函数搜索搜索偏移量offset，旋转角度rotation和镜像翻转flip对两个零件的初始相对位姿进行微调，提升装配精度。
[0048]
优选的，通过最小化成本函数确定offset,rotation,flip三个参数。
[0049]
与现有技术相比，本发明的有益效果：
[0050]
为了解决现存技术的装配精度低和需要大量人工干预的问题，本技术提出了一种基于神经网络的多零件智能装配方法，主要利用三维零件的b-rep实体构建零件图，通过连接关系推理模块和连接位姿预测模块预测构成装配体的零件之间的连接关系和相对位姿，完成三维零件的装配。
[0051]
1.本发明公开了一种使用b-rep表征法表征三维零件的图结构表征方法，并实现了该方法。该方法具有高准确性，能够精确地描述物体的形状、大小、边缘和曲率等几何特征。
[0052]
2.本发明具有高计算效率，可以在计算机中高效地存储和处理。通过对装配体中每个零件的b-rep几何信息和连接约束进行分析和处理，可以识别出每个零件与其他零件之间的连接关系。基于这些连接关系，可以预测相连接零件之间的相对位姿，即如何将它们装配在一起。在此基础上，可以解算出所有零件的装配位姿，包括每个零件的位置、方向和朝向。最终，可以按照预测的最终零件位姿放置所有零件，完成整个多零件的装配任务。这一过程既考验了图形识别和预测能力，又要求精确的几何计算和空间规划能力，同时也需要高效的算法和计算性能支持。
[0053]
3.本发明在连接位姿预测模块中使用了交叉熵损失函数和对称交叉熵损失函数，其中交叉熵损失函数可以使连接具有更高的预测值，同时抑制非连接，而对称交叉熵损失函数则可以让连接和非连接形成更好的对比。
[0054]
3.本发明通过预测所有零件对的连接关系和连接位姿，解算所有零件的最终位姿，相比于直接输出所有零件的最终位姿具有更高的装配精度。
[0055]
4.本发明基于三维零件的b-rep实体构建零件图，可以支持各种不同类型的零件，从而扩展了装配的应用领域。
[0056]
5.本发明利用神经网络自动化地预测零件之间的连接关系和相对位姿，减少了手动干预的需要，从而提高了装配过程的自动化程度。
附图说明
[0057]
图1是本发明的流程图；
[0058]
图2是本发明的结构框图；
[0059]
图3是本发明使用的零件面的类别；
[0060]
图4是本发明使用的零件边的类别；
[0061]
图5是本发明中不同b-rep实体所定义的连接位置和连接方向信息；
[0062]
图6是本发明训练所使用的装配体样图；
[0063]
图7是本发明训练所使用的某零件的b-rep图表征。
具体实施方式
[0064]
下面结合附图以及具体实施方法对本发明一种基于神经网络的多零件智能装配方法作进一步详细说明。
[0065]
如图1所示，基于图神经网络的多零件自动装配方法的主要流程，主要包括如下步骤：
[0066]
步骤一，输入.f3d类型的装配体cad文件，使用fusion 360python api解析cad文件为一个包含连接关系、连接位置、装配位姿矩阵的json文件和零件p1,p2,......,pn的b-rep格式几何文件。
[0067]
连接关系被分为三种，无连接、正向连接和反向连接。
[0068]
由于连接位姿预测模块是预测的零件对之间的相对位姿，而在相对位姿的描述中，零件一相对与零件二的相对位姿和零件二相对于零件一的相对位姿矩阵不一定相同，所以在这里的连接关系预测中使用了不同的连接关系标签。
[0069]
连接位置指的是两个零件相连接的面或边。
[0070]
连接轴joint_axis由连接原点：origin和连接方向:direction组成，即
[0071]
joint_axis＝[origin,direction]
[0072]
图5列出了不同类别的面和边的origin和direction，由于在预测连接面和边的时候很少遇到nurbssurface、infiniteline3dcurve、nurbscurve3dcurve和degenerate3dcurve类别的面或边定义的连接，因此使用基于b-rep的方法训练时只需要丢弃它们即可。
[0073]
装配位姿矩阵指的是零件处于装配状态的位姿矩阵。
[0074]
图6给出了数据集中的一个装配体样例。
[0075]
步骤二，输入步骤一解析cad文件获得的b-rep格式几何文件，如.smt,.step等b-rep格式的几何文件，提取b-rep格式几何文件中的零件信息，创建反映零件形状等信息的零件图g，如图7所示，定义为g＝(v,e)；v是零件图的节点集合，节点集合中的集合元素vi的属性是构建零件的b-rep实体的类别、长度和反转标志信息，rep实体的类别、长度和反转标志信息，e所代表的是零件图所有边的集合，边集合中的集合元素e
ij
的取值为0或1，表示节点vi和节点vj是否相连，1表示连接，0表示不连接。具体方法如下：遍历零件的面和边，并提取零件每个面的类别和反转标志作为一个面节点的节点特征，提取零件每个边的类别、反转标志和长度作为零件图的边节点特征，对存在邻接关系的面和边在对应的节点
之间设置连接边。图3和图4列出了面和边的类别。
[0076]
步骤三，将零件图输入网络，网络结构如图2所示，针对输入网络的零件图，使用mlp网络分别对零件图的面实体和边实体做嵌入，对完成嵌入的零件面和边的实体张量进行累加，得到可以完整表征一个零件的隐变量h
i-part
，如下：
[0077]hi-face
＝mlp(v
i-face
)
[0078]hi-edge
＝mlp(v
i-edge
)
[0079]hi-part
＝h
i-face
+h
i-edge
[0080]
其中h
i-face
、h
i-edge
、h
i-part
分别表示零件的面和边和整体零件的隐变量，v
i-face
和v
i-edge
分别为表征零件面和边的节点信息，mlp为多层感知器神经网络，在这里主要用来完成零件面和边的嵌入操作。
[0081]
当零件图表征进行了嵌入操作后，获取零件对的隐变量，再对零件对隐变量经过基于图注意力的卷积操作更新节点特征。
[0082][0083]
其中是节点在第l层第i个节点的特征表示，表示节点i的邻居节点的集合，w
(l)
是第l层的权重矩阵，是节点i和j之间的注意力系数,b
(l)
表示第l层的偏置向量，elu表示指数线性单元激活函数。
[0084]
步骤四，对每个零件gi，遍历其候选连接零件gj形成候选零件对(gi,gj)，经过由两层mlp构成的零件连接关系推理模块f
ψ
，获取零件的连接关系，由于零件是以零件图格式输入网络，保留了零件的几何信息，连接关系推理模块通过零件的几何信息预测零件对关于连接关系的概率分布，如下：
[0085]
p
connection
＝softmax(mlp(stack(h
i-part
,h
l-part
)))
[0086]
其中h
i-part
,h
l-part
表示经过嵌入和基于图注意力的卷积操作更新节点信息后获取零件的特征向量，stack表示将两个特征向量在拼接在一起，mlp表示多层感知器，在这里用于对零件连接关系的预测，softmax用于将输出转换为概率分布。
[0087]
在连接关系推理模块中，使用交叉熵损失函数训练神经网络，如下：
[0088][0089]
其中，表示交叉熵损失，c表示类别数量，yi表示实际输出向量中第i个元素的值(0或1)，pi表示预测输出概率分布向量中第i个元素的值。
[0090]
根据零件连接关系推理模块f
ψ
的输出，筛选出存在连接关系的连接对；将经过筛选的零件对(gi,g
i-c
)，输入由三层mlp构成的连接位姿预测模块针对输入的零件对，构建一个m
×
n的矩阵，其中m与n分别表示gi与g
i-c
的节点数目，矩阵中的每个元素表示gi的某个面或边与g
i-c
的某个面或边相连接的logit值，即对数概率。如下：
[0091]zij
＝mlp([xi,xj])
[0092]
其中xi,xj分别表示两零件图的第i个和第j个节点向量，z
ij
表示边缘的logit即表
示用于预测每对节点之间是否存在边缘的一个实数值，这里的mlp表示使用1
×
1的卷积层的多层感知器用于输出矩阵元素的预测值，[xi,xj]表示将节点i,j的特征向量拼接起来。
[0093]
在连接位姿预测模块中使用两项损失函数来训练神经网络，如下：
[0094]
(1)第一项损失函数是边预测值和归一化为概率分布真值之间交叉熵损失：
[0095][0096]
其中表示交叉熵损失，ce表示对输入值进行交叉熵计算，j
uv
表示归一化为概率分布的真值，h
uv
表示网络输出的边预测，c是类别数量，qi是实际输出向量中第i个元素的值(0或1)，pi是预测输出概率分布向量中第i个元素的值。
[0097]
(2)第二项损失函数使用对称交叉熵损失：
[0098][0099][0100][0101]
其中表示对称交叉熵损失，softmax用于将网络输出映射为一组概率分布，softmax
row
和softmax
col
表示在单个轴上进行softmax操作，h
2d
和分别表示连接图边的预测值和真值的n
×
m的矩阵,和分别表示在单个轴上做softmax操作的结果。
[0102]
通过上述方法可以获取两个零件图的邻接矩阵，矩阵的行和列分别表示两个零件的b-rep实体，邻接矩阵的元素值表示两零件之间每一对b-rep实体的连接权重，按照输出的logit值，确定零件对的两个相连的面或边的序号，根据这两个序号可以提取这两个序号对应的面或者面的joint_axis属性，完成零件对的joint_axis预测。
[0103]
步骤五，在完成连接轴预测之后，通过对齐两个零件的joint_axis获得两个零件之间的相对旋转矩阵ri和两个零件之间相对平移向量ti，其中
[0104]
ti＝ogigin
l-ogigin
l
[0105]
其中ogigini和ogigin
l
分别表示两个joint_axis中的origin分量。
[0106]
通过相对旋转矩阵ri和相对平移向量ti可以获得两个零件之间的初始相对位姿矩阵
[0107][0108]
获取两个零件的相对位姿矩阵t后，通过搜索偏移量：offset，旋转角度:rotation和镜像翻转:flip可以对两个零件的相对位置进行微调，使装配更精确。
[0109]
为了确定offset,rotation,flip三个参数，首先定义如下成本函数，然后在确定的搜索空间内搜索上述参数的最佳组合，以最小化成本函数：
[0110][0111]
上式定义了良好连接的两个通用标准：零件之间的重叠体积和接触面积，公式如下：
[0112][0113][0114]
式中v1,v2表示两个零件的体积，v
1∩2
表示两个零件的重叠体积，a1,a2表示两个零件的表面积，a
1∩2
表示零件的重叠面积，直观地说，为了使两个零件彼此紧密对齐，最小化成本函数应鼓励更大的接触面积，同时惩罚重叠体积以防止穿透。因此，如果设置λ＝-10，否则设置λ＝0以增加重叠惩罚。给定此成本函数，使用nelder-mead算法作为标准的无导数优化来搜索最佳关节姿态。
[0115]
关于offset,rotation,flip参数搜索空间的确定：flip是零件的翻转标志，仅包含0，1两种可能，所以可以在flip的两种情况下根据成本函数优化offset,rotation两个参数
[0116]
在多零件装配中存在一些旋转对称的特殊零件，对于这类零件，因为rotation不影响它的装配，所以无需进行rotation参数搜索。对于不存在旋转对称的零件，则rotation的参数搜索空间为(0,360)，最后确定offset参数搜索空间。
[0117]
关于offset参数空间的确定：将两个零件的原点分别置于各自零件包围盒外部，分别从原点沿预测的连接轴方向作一条射线，记该射线与各自包围盒相交的最大距离和最小距离之差为l1和l2(如果沿连接轴正方向与包围盒没有焦点，则沿连接轴反方向作射线)，则offset的参数搜索空间为(-(l1+l2),(l1+l2))，如果沿预测的连接轴方向与包围盒没有交点也就是l1或者l2为none或无穷则用该零件包围盒的最大分量代替。
[0118]
经过连接位姿预测模块输出的零件位姿为零件对间的相对位姿，将其转化为相对于世界坐标系的绝对位姿即为最终零件位姿。
[0119]
本发明提出一种基于神经网络的多零件智能装配方法，上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种基于神经网络的多零件智能装配方法，其特征在于，包括如下步骤：步骤一，对目标装配体a的模型进行预处理，生成包含装配体零件的零件信息的json文件和零件p1，p2，......，p
n
的b-rep格式几何文件，以提供更加精确、便于处理的三维几何信息，其中，n代表构成装配体的零件数目；步骤二，使用图模型对零件的b-rep格式文件进行表征，基于多类装配体生成图模型表征的多零件装配数据集g1，g2，......，g
n
；步骤三，使用多层感知器mlp对每个零件图进行嵌入后，设计mpn网络对零件图表征进行信息聚合与迭代更新，更新零件节点特征；步骤四，预测零件连接关系类型和连接位置；步骤五，根据连接位置，提取相应节点的连接轴属性，对齐两零件的连接轴，获得两个零件间的初始装配位姿矩阵，获取所有零件对的相对位姿后，求解最终用于装配的最终零件位姿，将各个零件按照最终求解的零件位姿依次放置组装为目标装配体。2.根据权利要求1所述的一种基于神经网络的多零件智能装配方法，其特征在于：步骤一中，零件信息包括连接关系、连接位置、连接轴和位姿矩阵标签，连接关系包括无连接、正向连接和反向连接，连接位置是两个零件相连接的面或边，连接轴joint_axis由连接原点origin和连接方向direction组成，装配位姿矩阵是零件处于装配状态的位姿矩阵。3.根据权利要求2所述的一种基于神经网络的多零件智能装配方法，其特征在于：步骤二中，输入b-rep格式的几何文件，提取b-rep格式几何文件中的零件信息，创建反映零件形状等信息的零件图g，定义为：g＝(v，e)其中，v是零件图的节点集合，e所代表的是零件图所有边的集合，节点集合中的集合元素v
i
的属性是构建零件的b-rep实体的类别、长度和反转标志信息，边集合中的集合元素e
ij
的取值为0或1，表示节点v
i
和节点v
j
是否相连，1表示连接，0表示不连接。4.根据权利要求3所述的一种基于神经网络的多零件智能装配方法，其特征在于：步骤三中，使用多层感知器mlp将零件图中的面和边节点分别嵌入后相加获得零件的隐变量，即：h
i-face
＝mlp(v
i-face
)h
i-edge
＝mlp(v
i-edge
)h
i-part
＝h
i-face
+h
i-edge
其中h
i-face
、h
i-edge
、h
i-part
分别表示零件的面、边和整体零件的隐变量，v
i-face
和v
i-edge
分别为表征零件面和边的节点信息，mlp为多层感知器神经网络，用来完成零件面和边的嵌入操作，对零件的隐变量使用基于图注意力的卷积操作更新节点特征：
其中是节点在第l层第i个节点的特征表示，表示节点i的邻居节点的集合，w
(l)
是第l层的权重矩阵，是节点i和j之间的注意力系数，b
(l)
表示第l层的偏置向量，elu表示指数线性单元激活函数。5.根据权利要求4所述的一种基于神经网络的多零件智能装配方法，其特征在于，步骤四具体为：对任一零件g
i
，遍历其候选连接零件g
j
形成候选零件对(g
i
，g
j
)，设计连接关系推理模块f
ψ
预测零件对间的连接关系类型，预测出零件g
i
的连接零件g
i-c
，筛选出存在连接关系的连接对；将经过筛选的零件对(g
i
，g
i-c
)输入所设计的连接位姿预测模块预测零件间的连接位置，即零件对g
i
与g
i-c
所连接的面或边序号。6.根据权利要求5所述的一种基于神经网络的多零件智能装配方法，其特征在于：连接关系推理模块通过零件的几何信息预测零件对关于连接关系的概率分布p
connection
，如下：p
connection
＝softmax(mlp(stack(h
i-part
，h
l-part
)))其中，h
i-part
，h
l-part
表示经过嵌入和基于图注意力的卷积操作更新节点信息后获取零件的特征向量，stack表示将两个特征向量在拼接在一起，mlp表示多层感知器，在这里用于对零件连接关系的预测，softmax用于将输出转换为概率分布。7.根据权利要求6所述的一种基于神经网络的多零件智能装配方法，其特征在于，将经过筛选的零件对(g
i
，g
i-c
)，输入由三层mlp构成的连接位姿预测模块如下：z
ij
＝mlp([x
i
，x
j
])其中，x
i
，x
j
分别表示两零件图的第i个和第j个节点向量，z
ij
表示边缘的logit即表示用于预测每对节点之间是否存在边缘的一个实数值，这里的mlp表示使用1
×
1的卷积层的多层感知器，[x
i
，x
j
]表示将节点i，j的特征向量拼接起来。8.根据权利要求7所述的一种基于神经网络的多零件智能装配方法，其特征在于：在连接位姿预测模块中使用两项损失函数来训练神经网络，如下：(1)第一项损失函数是边预测值和归一化为概率分布真值之间交叉熵损失：其中表示交叉熵损失，ce表示对输入值进行交叉熵计算，j
uv
表示归一化为概率分布的真值，h
uv
表示网络输出的边预测，c是类别数量，q
i
是实际输出向量中第i个元素的值(0或1)，p
i
是预测输出概率分布向量中第i个元素的值。(2)第二项损失函数使用对称交叉熵损失：(2)第二项损失函数使用对称交叉熵损失：
其中表示对称交叉熵损失，softmax用于将网络输出映射为一组概率分布，softmax
row
和softmax
col
表示在单个轴上进行softmax操作，h
2d
和分别表示连接图边的预测值和真值的n
×
m的矩阵，和分别表示在单个轴上做softmax操作的结果。9.根据权利要求8所述的一种基于神经网络的多零件智能装配方法，其特征在于：步骤五中，根据所连接的面或边的序号，提取相应节点的连接轴属性，对齐两零件的连接轴，获得两个零件之间的相对旋转矩阵r
i
和相对平移向量t
i
，从而获得两个零件之间的初始相对位姿矩阵t：基于成本函数搜索搜索偏移量offset，旋转角度rotation和镜像翻转flip对两个零件的初始相对位姿进行微调，提升装配精度。10.根据权利要求9所述的一种基于神经网络的多零件智能装配方法，其特征在于，通过最小化成本函数确定offset，rotation，flip三个参数。

技术总结
本发明提出一种基于神经网络的多零件智能装配方法，精度高，包括如下步骤：步骤一，对目标装配体的模型进行预处理，生成包含装配体零件的零件信息文件，以提供更加精确、便于处理的三维几何信息；步骤二，使用图模型对零件的B-REP格式文件进行表征，生成图模型表征的多零件装配数据集；步骤三，预测零件之间是否存在连接关系；步骤四，预测零件连接关系类型和连接位置；步骤五，根据连接位置，提取相应节点的连接轴属性，对齐两零件的连接轴，获得两个零件间的初始装配位姿矩阵，获取所有零件对的相对位姿后，求解最终用于装配的最终零件位姿，将各个零件按照最终求解的零件位姿依次放置组装为目标装配体。置组装为目标装配体。置组装为目标装配体。


技术研发人员：易阳 李元龙 朱文俊 刘洋宏 张梦怡
受保护的技术使用者：南京工业大学
技术研发日：2023.05.04
技术公布日：2023/8/9