一种飞机网格模型部件分割方法、系统、设备及介质

1.本发明涉及三角网格分割领域，具体而言涉及一种飞机网格模型部件分割方法、系统、设备及介质。


背景技术：

2.飞机网格模型部件分割将整个飞机模型切分为多个独立的部件，使得每个部件的形状、尺寸和位置都可以被准确地确定和描述。这种分割可以帮助工程师更好地理解整个飞机的结构，并对不同部件进行不同的优化设计。例如，通过对某个部件的形状和尺寸进行修改，可以改善该部件的性能，如减少阻力、提高升阻比等。此外，部件分割还可以方便工程师对飞机进行装配和维护，因为每个部件可以独立拆卸和更换，降低了维护成本和时间。
3.近年来，基于cnn的三角网格分割方法已取得较好的结果，cnn的方法更关注于局部特征而在全局特征的提取上弱于transformer的方法，并且，在大数据集上，transformer方法的泛化性要强于cnn的方法，能够让模型收敛速度加快。因此，基于目前的研究现状，本发明提出一种飞机网格模型部件分割方法、系统、设备及介质来解决上述问题。


技术实现要素：

4.为解决上述问题，提出一种飞机网格模型部件分割方法、系统、设备及介质，以解决现有技术中的机网格模型部件分割方法对飞机网格模型部件分割精度不够准确和鲁棒性低的问题，本发明通过将cnn和transformer的优势互补，更好的提取网格的局部和全局特征，从而提升三角网格分割的准确率，进一步促进飞机网格模型部件分割任务的鲁棒性、泛化性和准确性。
5.为达成上述目的，本发明提供如下技术方案：本发明提出的一种飞机网格模型部件分割方法，包括以下步骤：
6.s1、利用仪器对飞机进行采集或利用软件对飞机进行建模获取三角网格数据pi；
7.s2、对三角网格顶点进行预处理并以三角面片为单位，获取三角面片的位置信息和结构信息；
8.s3、通过多层感知机将三角面片的位置信息和结构信息提取成初步的特征向量；
9.s4、将特征向量及邻接关系输入到cnn和transformer特征提取深度网络中生成模型表征，并利用fused-attention模块进行特征融合得到每个三角面片的特征表示f；
10.s5、将每个三角面片的特征表示f输入到分割模块中进行分割任务，得到三角面片类别标签的分割结果。
11.优选的，步骤s1中的仪器为三维扫描仪，所述三维扫描仪将物体采集为点云数据，通过传统marching cubes三维重建算法将点云数据重建为三角网格数据pi。
12.优选的，步骤s1中的软件为三维建模软件，利用所述三维建模软件blender对飞机进行建模，得到pi＝{p1,p2,
…
,pm,e1,e2,
…
,en}，m和n分别为第i个三角网格数据pi中顶点的数量和边的数量。
13.优选的，s2包括以下子步骤：
14.s201、对于三角网格数据pi，将顶点坐标进行归一化处理；
15.s202、以三角面片为单位，获取三角面片的中心点坐标作为位置信息，中心点指向三个顶点的向量、三个内角的角度和三角面片的法向量作为结构信息。
16.优选的，s3包括以下子步骤：
17.s301、对三角面片的中心点坐标及各个三角面片之间的邻接关系通过位置编码器进行位置编码来提取位置特征，通过使用图结构预计算拉普拉斯特征向量u，并将其作为三角面片的位置特征，特征向量u通过图拉普拉斯矩阵因式分解的公式来定义，其公式表示如下：
[0018][0019]
其中a为n
×
n邻接矩阵，d为度矩阵，λ，u分别对应特征值和特征向量，我们使用一个节点的k个最小的非平凡特征向量作为它的位置编码，并用λi表示节点i。
[0020]
s302、将三角面片从中心点指向三个顶点的向量和三个角的角度作为局部结构信息输入局部结构编码器中，提取出局部结构特征，提取出的局部结构特征为：
[0021][0022]
其中v1、v2和v3为从中心点指向三个顶点的向量，θ1、θ2和θ3为三个角的角度，h为一个共享参数的多层感知机；
[0023]
s303、将三角面片的中心点坐标、法向量和三角面片的邻接关系输入领域结构编码器，将三角面片分别与它的三个邻接面片进行特征聚合,并利用一个共享的多层感知机提取三个邻域特征，通过最大池化得到邻域结构特征。
[0024]
优选的，s4包括以下子步骤：
[0025]
s401、提取到的位置特征拼接局部结构特征，输入transformer特征提取深度网络中，transformer模块利用自注意力机制来捕捉三角网格数据pi的局部结构特征，并使用多头注意力机制来集成不同的局部结构特征以生成从transformer提取出的全局模型表征f
t
′
；
[0026]
s402、提取到的邻域结构特征、位置特征和三角面片邻接关系输入到cnn特征提取深度网络中，每一层cnn模块聚合三角面片及三个邻接面片的特征，使感受野扩大四倍，堆叠四层cnn模块让感受野扩大为256个三角面片，且四层cnn模块通过残差连接以生成从cnn提取出的模型表征fc′
；
[0027]
s403、利用fused-attention特征融合模块为transformer和cnn提取出的模型表征分别分配一个可学习的权重，将模型表征按权重系数相加后得到每个三角面片的特征表示f，特征融合模块的公式如下：
[0028]
(w
t
，wc)＝enc
fus
(f
t
′
，fc′
)；
[0029]
f＝w
tft
′
+wcfc′
；
[0030]
其中w
t
,wc是可学习的权重，w
t
+wc＝1，f
t
′
表示从transformer提取出的全局模型表征，fc′
表示从cnn提取出的模型表征。
[0031]
优选的，s5包括以下子步骤：
[0032]
s501、将每个三角面片的特征表示f输入到分割模块中进行分割，应用三层全连接层加上两层batchnorm、relu激活函数和系数为0.5的dropout层作为分类器，预测三角面片所属类别；
[0033]
s502、计算预测出的类别与真实类别的交叉熵损失，以此来监督网络的训练，交叉熵损失的计算公式如下：
[0034][0035]
其中m为类别的数量，y
ic
为符号函数，p
ic
为观测样本i属于类别c的概率。
[0036]
优选的，一种飞机网格模型部件分割系统，包括：
[0037]
数据集构建模块，数据集构建模块用于利用仪器对飞机进行采集或利用软件对飞机进行建模获取三角网格数据pi；
[0038]
数据集处理模块，数据集处理模块用于对三角网格顶点进行预处理并以三角面片为单位，获取三角面片的位置信息和结构信息；
[0039]
特征提取模块，特征提取模块用于通过多层感知机将三角面片的位置信息和结构信息提取成初步的特征向量；
[0040]
特征融合模块，特征融合模块用于将特征向量及邻接关系输入到cnn和transformer特征提取深度网络中生成模型表征，并利用fused-attention模块进行特征融合得到每个三角面片的特征表示f；
[0041]
分割任务模块，分割任务模块用于将每个三角面片的特征表示f输入到分割模块中进行分割任务，得到三角面片类别标签的分割结果。
[0042]
优选的，一种电子设备，其特征在于，包括：存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1-7任一项所述的飞机网格模型部件分割方法。
[0043]
优选的，一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的机网格模型部件分割方法。
[0044]
由上述技术方案，本发明提供了一种飞机网格模型部件分割方法、系统、设备及介质。至少具备以下有益效果：
[0045]
本发明构建一种飞机网格模型部件分割方法、系统、设备及介质，通过cnn+transformer的架构，将cnn+transformer的优势互补，捕捉三角网格中的空间关系和语义信息，并在局部和邻域两个角度设计了特征提取模块，促进网络对局部特征和全局特征的学习，从而提升三角网格分割的准确率，提高特征提取的鲁棒性、泛化性和准确性；此外，应用分割任务驱动策略，采用任务驱动方案进行分割任务，本发明为网格曲面的分割任务提供了一种新型实用的方法，使学习到的特征表示服务于下游分割任务，为飞机网格模型部件分割任务提供稳定可靠的技术支撑。
附图说明
[0046]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实
施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0047]
图1为本发明的基于cnn+transformer的飞机网格模型部件分割方法的实施流程图；
[0048]
图2是本发明的基于cnn+transformer的飞机网格模型部件分割方法的网络结构图；
[0049]
图3为本发明的基于cnn+transformer的飞机网格模型部件分割方法的可视化效果图；
[0050]
图4为本发明提供的飞机网格模型部件分割系统的结构图。
[0051]
图中：601、数据集构建模块；602、数据集处理模块；603、特征提取模块；604、特征融合模块；605、分割任务模块。
具体实施方式
[0052]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0053]
本发明的目的是提供一种飞机网格模型部件分割方法、系统、设备及介质，以解决现有技术中的机网格模型部件分割方法对飞机网格模型部件分割精度不够准确和鲁棒性低的问题。
[0054]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0055]
实施例一
[0056]
请参阅图1，图1为本发明本实施例中基于cnn+transformer的飞机网格模型部件分割方法的实施流程图，示出了本实施例的一种具体实施方式，本发明通过cnn+transformer的架构，将cnn+transformer的优势互补，促进网络对局部特征和全局特征的学习，从而提升三角网格分割的准确率，提高特征提取的鲁棒性、泛化性和准确性。
[0057]
如图1所示，该飞机网格模型部件分割方法，包括如下步骤：
[0058]
s1、利用仪器对飞机进行采集或利用软件对飞机进行建模获取三角网格数据pi；
[0059]
具体的，步骤s1中的仪器为三维扫描仪，所述三维扫描仪将物体采集为点云数据，通过传统marching cubes三维重建算法将点云数据重建为三角网格数据pi；
[0060]
具体的，步骤s1中的软件为三维建模软件，利用所述三维建模软件blender对飞机进行建模，得到pi＝{p1,p2,
…
,pm,e1,e2,
…
,en}，m和n分别为第i个三角网格数据pi中顶点的数量和边的数量。
[0061]
s2、对三角网格顶点进行预处理并以三角面片为单位，获取三角面片的位置信息和结构信息；
[0062]
具体的，s2包括以下子步骤：
[0063]
s201、对于三角网格数据pi，将顶点坐标进行归一化处理；
[0064]
s202、以三角面片为单位，获取三角面片的中心点坐标作为位置信息，中心点指向三个顶点的向量、三个内角的角度和三角面片的法向量作为结构信息。
[0065]
s3、通过多层感知机将三角面片的位置信息和结构信息提取成初步的特征向量；
[0066]
具体的，s3包括以下子步骤：
[0067]
s301、请参照图2，对三角面片的中心点坐标及各个三角面片之间的邻接关系通过位置编码器进行位置编码来提取位置特征，通过使用图结构预计算拉普拉斯特征向量u，并将其作为三角面片的位置特征，特征向量u通过图拉普拉斯矩阵因式分解的公式来定义，其公式表示如下：
[0068][0069]
其中a为n
×
n邻接矩阵，d为度矩阵，λ，u分别对应特征值和特征向量，我们使用一个节点的k个最小的非平凡特征向量作为它的位置编码，并用λi表示节点i；
[0070]
s302、将三角面片从中心点指向三个顶点的向量和三个角的角度作为局部结构信息输入局部结构编码器中，提取出局部结构特征，提取出的局部结构特征为：
[0071][0072]
其中v1、v2和v3为从中心点指向三个顶点的向量，θ1、θ2和θ3为三个角的角度，h为一个共享参数的多层感知机；
[0073]
s303、将三角面片的中心点坐标、法向量和三角面片的邻接关系输入领域结构编码器，将三角面片分别与它的三个邻接面片进行特征聚合,并利用一个共享的多层感知机提取三个邻域特征，通过最大池化得到邻域结构特征。
[0074]
s4、将特征向量及邻接关系输入到cnn和transformer特征提取深度网络中生成模型表征，并利用fused-attention模块进行特征融合得到每个三角面片的特征表示f；如图2所示，为本发明本实施例中基于cnn+transformer的飞机网格模型部件分割方法的网络结构图。
[0075]
具体的，s4包括以下子步骤：
[0076]
s401、提取到的位置特征拼接局部结构特征，输入transformer特征提取深度网络中，transformer模块利用自注意力机制来捕捉三角网格数据pi的局部结构特征，并使用多头注意力机制来集成不同的局部结构特征以生成从transformer提取出的全局模型表征f
t
′
；
[0077]
s402、提取到的邻域结构特征、位置特征和三角面片邻接关系输入到cnn特征提取深度网络中，每一层cnn模块聚合三角面片及三个邻接面片的特征，使感受野扩大四倍，堆叠四层cnn模块让感受野扩大为256个三角面片，且四层cnn模块通过残差连接以生成从cnn提取出的模型表征fc′
；
[0078]
s403、利用fused-attention特征融合模块为transformer和cnn提取出的模型表征分别分配一个可学习的权重，将模型表征按权重系数相加后得到每个三角面片的特征表示f，特征融合模块的公式如下：
[0079]
(w
t
,wc)＝enc
fus
(f
t
′
,fc′
)；
[0080]
f＝w
tft
′
+wcfc′
；
[0081]
其中w
t
,wc是可学习的权重，w
t
+wc＝1，f
t
′
表示从transformer提取出的全局模型表征，fc′
表示从cnn提取出的模型表征。
[0082]
s5、将每个三角面片的特征表示f输入到分割模块中进行分割任务，得到三角面片类别标签的分割结果，从而分割出飞机的各个部件，包括机身、机翼、尾翼、发动机、起落架等等部件，如图3所示，为本发明本实施例中基于cnn+transformer的飞机网格模型部件分割方法的可视化效果图。
[0083]
具体的，s5包括以下子步骤：
[0084]
s501、将每个三角面片的特征表示f输入到分割模块中进行分割，应用三层全连接层加上两层batchnorm、relu激活函数和系数为0.5的dropout层作为分类器，预测三角面片所属类别；
[0085]
s502、计算预测出的类别与真实类别的交叉熵损失，以此来监督网络的训练，交叉熵损失的计算公式如下：
[0086][0087]
其中m为类别的数量，y
ic
为符号函数，p
ic
为观测样本i属于类别c的概率。
[0088]
实施例二
[0089]
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果。下面提供一种飞机网格模型部件分割系统，如图4所示，该系统包括：数据集构建模块601，数据集构建模块601用于利用仪器对飞机进行采集或利用软件对飞机进行建模获取三角网格数据pi；数据集处理模块602，数据集处理模块602用于对三角网格顶点进行预处理并以三角面片为单位，获取三角面片的位置信息和结构信息；特征提取模块603，特征提取模块603用于通过多层感知机将三角面片的位置信息和结构信息提取成初步的特征向量；特征融合模块604，特征融合模块604用于将特征向量及邻接关系输入到cnn和transformer特征提取深度网络中生成模型表征，并利用fused-attention模块进行特征融合得到每个三角面片的特征表示f；分割任务模块605，分割任务模块605将每个三角面片的特征表示f输入到分割模块中进行分割任务，得到三角面片类别标签的分割结果。
[0090]
实施例三
[0091]
具体的为一种电子设备，其特征在于，包括：存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1-7任一项所述的飞机网格模型部件分割方法。
[0092]
实施例四
[0093]
具体的为一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的机网格模型部件分割方法。
[0094]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0095]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据
本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种飞机网格模型部件分割方法，其特征在于，包括以下步骤：s1、利用仪器对飞机进行采集或利用软件对飞机进行建模获取三角网格数据p
i
；s2、对三角网格顶点进行预处理并以三角面片为单位，获取三角面片的位置信息和结构信息；s3、通过多层感知机将三角面片的位置信息和结构信息提取成初步的特征向量；s4、将特征向量及邻接关系输入到cnn和transformer特征提取深度网络中生成模型表征，并利用fused-attention模块进行特征融合得到每个三角面片的特征表示f；s5、将每个三角面片的特征表示f输入到分割模块中进行分割任务，得到三角面片类别标签的分割结果。2.根据权利要求1所述的一种飞机网格模型部件分割方法，其特征在于，步骤s1中的仪器为三维扫描仪，所述三维扫描仪将物体采集为点云数据，通过传统marching cubes三维重建算法将点云数据重建为三角网格数据p
i
。3.根据权利要求1所述的一种飞机网格模型部件分割方法，其特征在于，步骤s1中的软件为三维建模软件，利用所述三维建模软件blender对飞机进行建模，得到p
i
＝{p1,p2,
…
,p
m
,e1,e2,
…
,e
n
}，m和n分别为第i个三角网格数据p
i
中顶点的数量和边的数量。4.根据权利要求1所述的一种飞机网格模型部件分割方法，其特征在于，s2包括以下子步骤：s201、对于三角网格数据p
i
，将顶点坐标进行归一化处理；s202、以三角面片为单位，获取三角面片的中心点坐标作为位置信息，中心点指向三个顶点的向量、三个内角的角度和三角面片的法向量作为结构信息。5.根据权利要求1所述的一种飞机网格模型部件分割方法，其特征在于，s3包括以下子步骤：s301、对三角面片的中心点坐标及各个三角面片之间的邻接关系通过位置编码器进行位置编码来提取位置特征，通过使用图结构预计算拉普拉斯特征向量u，并将其作为三角面片的位置特征，特征向量u通过图拉普拉斯矩阵因式分解的公式来定义，其公式表示如下：其中：a为n
×
n邻接矩阵，d为度矩阵，λ，u分别对应特征值和特征向量；我们使用一个节点的k个最小的非平凡特征向量作为它的位置编码，并用λ
i
表示节点i；s302、将三角面片从中心点指向三个顶点的向量和三个角的角度作为局部结构信息输入局部结构编码器中，提取出局部结构特征，提取出的局部结构特征为：其中v1、v2和v3为从中心点指向三个顶点的向量，θ1、θ2和θ3为三个角的角度，h为一个共享参数的多层感知机；s303、将三角面片的中心点坐标、法向量和三角面片的邻接关系输入领域结构编码器，将三角面片分别与它的三个邻接面片进行特征聚合,并利用一个共享的多层感知机提取三个邻域特征，通过最大池化得到邻域结构特征。6.根据权利要求1所述的一种飞机网格模型部件分割方法，其特征在于，s4包括以下子
步骤：s401、提取到的位置特征拼接局部结构特征，输入transformer特征提取深度网络中，transformer模块利用自注意力机制来捕捉三角网格数据p
i
的局部结构特征，并使用多头注意力机制来集成不同的局部结构特征以生成从transformer提取出的全局模型表征f
t
′
；s402、提取到的邻域结构特征、位置特征和三角面片邻接关系输入到cnn特征提取深度网络中，每一层cnn模块聚合三角面片及三个邻接面片的特征，使感受野扩大四倍，堆叠四层cnn模块让感受野扩大为256个三角面片，且四层cnn模块通过残差连接以生成从cnn提取出的模型表征f
c
′
；s403、利用fused-attention特征融合模块为transformer和cnn提取出的模型表征分别分配一个可学习的权重，将模型表征按权重系数相加后得到每个三角面片的特征表示f，特征融合模块的公式如下：(w
t
,w
c
)＝enc
fus
(f
t
′
,f
c
′
)；f＝w
t
f
t
′
+w
c
f
c
′
；其中w
t
,w
c
是可学习的权重，w
t
+w
c
＝1，f
t
′
表示从transformer提取出的全局模型表征，f
c
′
表示从cnn提取出的模型表征。7.根据权利要求1所述的一种飞机网格模型部件分割方法，其特征在于，s5包括以下子步骤：s501、将每个三角面片的特征表示f输入到分割模块中进行分割，应用三层全连接层加上两层batchnorm、relu激活函数和系数为0.5的dropout层作为分类器，预测三角面片所属类别；s502、计算预测出的类别与真实类别的交叉熵损失，以此来监督网络的训练，交叉熵损失的计算公式如下：其中m为类别的数量，y
ic
为符号函数，p
ic
为观测样本i属于类别c的概率。8.一种飞机网格模型部件分割系统，其特征在于，包括：数据集构建模块，所述数据集构建模块用于利用仪器对飞机进行采集或利用软件对飞机进行建模获取三角网格数据p
i
；数据集处理模块，所述数据集处理模块用于对三角网格顶点进行预处理并以三角面片为单位，获取三角面片的位置信息和结构信息；特征提取模块，所述特征提取模块用于通过多层感知机将三角面片的位置信息和结构信息提取成初步的特征向量；特征融合模块，所述特征融合模块用于将特征向量及邻接关系输入到cnn和transformer特征提取深度网络中生成模型表征，并利用fused-attention模块进行特征融合得到每个三角面片的特征表示f；分割任务模块，所述分割任务模块将每个三角面片的特征表示f输入到分割模块中进行分割任务，得到三角面片类别标签的分割结果。9.一种电子设备，其特征在于，包括：存储器及处理器，所述存储器用于存储计算机程
序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1-7任一项所述的飞机网格模型部件分割方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的机网格模型部件分割方法。

技术总结
本发明公开了一种飞机网格模型部件分割方法、系统、设备及介质，属于三角网格分割领域，方法包括：利用仪器对飞机进行采集或利用软件对飞机进行建模获取三角网格数据P


技术研发人员：魏明强 陈赵威
受保护的技术使用者：南京航空航天大学深圳研究院
技术研发日：2023.06.15
技术公布日：2023/9/6