一种基于智能配准算法的三维颜面正中矢状平面构建方法

to mid-adulthood[j].j oral maxillofac surg,2001,59(4):382-388.
[0011]
[3]shaner d j,peterson a e,beattie o b,et al.assessment of soft tissue facial asymmetry in medically normal and syndrome-affected individuals by analysis oflandmarks and measurements[j].amjmedgenet,2000,93(2):143-154.
[0012]
[4]burke p h,healy m j.a serial study ofnormal facial asymmetry in monozygotic twins[j].ann humbiol,1993,20(6):527-534.
[0013]
[5]lo l j,yang c t,ho c t,et al.automatic assessment of3-dimensional facial soft tissue symmetry before and after orthognathic surgery using a machine learning model:a preliminary experience[j].annplastsurg,2021,86(3s suppl2):s224-s228.
[0014]
[6]lin h,chiang w,yang c,et al.on construction of transfer learning for facial symmetry assessmentbefore andafter orthognathic surgery[j].computermethods andprograms inbiomedicine,2021,200:105928.
[0015]
[7]duran,gokhan,serhat,etal.accuracyandreliabilityof3d stereophotogrammetry:acomparison todirectanthropometryand2dphotogrammetry[j].angleorthod,2016,86(3):487-494.
[0016]
[8]weinberg s m,naidoo s,govier d p,et al.anthropometric precision and accuracy ofdigital three-dimensional photogrammetry:comparing the genex and 3dmd imaging systems with one anotherandwithdirectanthropometry.[j].jcraniofac surg,2006,17(3):477-483.
[0017]
[9]benzm,laboureuxx,maiert,etal.the symmetryoffaces[z].200243-50.
[0018]
[10]hartmann j,meyer-marcotty p,benz m,et al.reliability of a method for computing facial symmetry plane and degree of asymmetry based on 3d-data[j].j orofac orthop,2007,68(6):477-490.
[0019]
[11]klingenberg c p,barluenga m,meyer a.shape analysis of symmetric structures:quantifying variationamong individuals andasymmetry[j].evolution,2002,56(10):1909-1920.
[0020]
[12]xiong y,zhao y,yang h,et al.comparison between interactive closest point and procrustes analysis for determining the median sagittal plane ofthree-dimensional facial data[j].j craniofac surg,2016,27(2):441-444.
[0021]
[13]刘筱菁，李倩倩，王晓霞，等.基于本体-镜像关联的三维头颅正中矢状面自动构建法[j].中华口腔正畸学杂志,2014,21(3):148-150.
[0022]
[14]djordjevic j,pirttiniemi p,harila v,et al.three-dimensional longitudinal assessment offacial symmetryinadolescents[j].eurjorthod,2013,35(2):143-151.
[0023]
[15]dgcnn可变图网络：
[0024]
wang,y.,et al.,dynamic graph cnn for learning on point clouds.acm transactions on graphics(tog),2019.38(5):p.1-12.
[0025]
[16]gumbel-softmax归一化指数函数：
[0026]
eric jang,shixiang gu,and ben poole.categorical reparameterization with gumbel-softmax.in international conference on learning representations(iclr),2017.
[0027]
[17]transformer网络：
[0028]
vaswani a,shazeer n,parmar n,et al.attention is all you need[j].advances in neural information processing systems,2017,30.
[0029]
[18]主成分分析算法：
[0030]
王磊.基于加权pca分析的三维点云模型对称性检测算法[j].山东大学学报,2014(9):166-170.


技术实现要素：

[0031]
(一)要解决的技术问题
[0032]
本发明针对口腔临床数字化诊疗对三维颜面不对称性分析的需求，建立了一种基于智能配准技术的三维颜面正中矢状平面构建方法，能够实现三维颜面正中矢状平面的准确、高效构建，为口腔临床数字化诊疗提供一种新的正中矢状平面构建解决方案。
[0033]
(二)技术方案
[0034]
本发明的一种基于智能配准算法的三维颜面正中矢状平面构建方法，有以下步骤：
[0035]
(1)构建三维颜面数据本体与镜像点云配准的可变图结构神经网络算法，其算法步骤为：
[0036]
1)构造本体与镜像点云数据x和y中关键点的特征向量；
[0037]
2)基于上述特征向量获取点云x和y中关键点的对应关系；
[0038]
3)通过奇异值分解计算镜像数据的旋转和平移矩阵r、t；
[0039]
(2)主成分分析算法构建三维颜面正中矢状平面；
[0040]
基于上述三维颜面本体与镜像数据配准结果，进而获得“本体-镜像”联合的点云数据，该数据具有对称特性，采用主成分分析算法计算“本体-镜像”联合点云矩阵的协方差矩阵，基于特征值分解法求解协方差矩阵的特征值和特征向量，选择最大特征值对应的特征向量，即为正中矢状平面的法向量；计算点云几何中心为正中矢状平面中心点，获得三维颜面数据的正中矢状平面函数表达。
[0041]
其中：
[0042]
所述算法步骤中使用的具体算法为：
[0043]
所述步骤1)：利用可变图网络和transformer网络构建关键点特征向量分别为φ
x
、φy；
[0044]
所述步骤2)：基于φ
x
、φy利用归一化指数函数(gumbel-softmax)以及温度参数λ计算关键点的对应关系：
[0045][0046]
所述步骤3)：已知关键点的对应关系及关键点的坐标，通过矩阵奇异值分解计算变换矩阵，包含旋转和平移矩阵r、t；
[0047][0048]
上式中，v,u为奇异值分解获得的两矩阵；是预测的旋转和平移矩阵，
[0049]
使用该变换矩阵对镜像点云y进行坐标变换y'，在x、y'上迭代循环上述关键点特征向量获取、关键点对应关系计算和矩阵奇异值分解步骤，至迭代次数达到超参数时终止迭代；
[0050]
所述可变图结构神经网络的训练过程，采用口腔临床收集的800例三维颜面数据，基于icp算法本体与镜像点云配准的旋转和平移矩阵作为监督学习的真值，对上述临床收集的800例三维颜面数据进行深度学习模型训练与测试的数据集划分，其中训练集、验证集和测试集按8:1:1分配，男女比例均为1:1；可变图结构神经网络整体损失函数为公式
③
：
[0051][0052]
l为整体损失，l
p
是第p次迭代时的总损失，l
p
包括三部分：刚性运动损失，循环一致性损失，全局特征对齐损失，公式分别为公式
④
、公式
⑤
、公式
⑥
：
[0053][0054][0055][0056]
上式中，为旋转、平移矩阵真值，是预测的旋转矩阵的转置，是预测的平移矩阵，为从点云x到点云y的旋转、平移矩阵，为点云y到点云x的旋转、平移矩阵，为点云x的全局表征，为点云y的全局表征。
[0057]
(三)有益效果
[0058]
本发明的智能配准算法，可实现三维颜面正中矢状平面的自动构建，有效降低临床数据标注的工作量，缩短数字化诊断设计时间，降低专家经验依赖性，提高临床诊疗效率和效果。
附图说明
[0059]
图1是本发明可变图结构神经网络框架的示意图；
[0060]
图中：x:本体点云；y：镜像点云；φ
x
：特征向量；φy：特征向量；m
p
:关键点的对应关系。
具体实施方式
[0061]
以下实施例用于说明本发明，但不用来限制本发明的范围。
[0062]
如图1所示：
[0063]
本发明的一种基于智能配准算法的三维颜面正中矢状平面构建方法，有以下步骤：
[0064]
(1)构建三维颜面数据本体与镜像点云配准的可变图结构神经网络算法，其算法步骤为：
[0065]
1)构造本体与镜像点云数据x和y中关键点的特征向量；
[0066]
2)基于上述特征向量获取点云x和y中关键点的对应关系；
[0067]
3)通过奇异值分解计算镜像数据的旋转和平移矩阵r、t；
[0068]
(2)主成分分析算法构建三维颜面正中矢状平面；
[0069]
基于上述三维颜面本体与镜像数据配准结果，进而获得“本体-镜像”联合的点云数据，该数据具有对称特性，采用主成分分析算法计算“本体-镜像”联合点云矩阵的协方差矩阵，基于特征值分解法求解协方差矩阵的特征值和特征向量，选择最大特征值对应的特征向量，即为正中矢状平面的法向量；计算点云几何中心为正中矢状平面中心点，获得三维颜面数据的正中矢状平面函数表达。
[0070]
其中：
[0071]
所述算法步骤中使用的具体算法为：
[0072]
所述步骤1)：利用可变图网络和transformer网络构建关键点特征向量分别为φ
x
、φy；
[0073]
所述步骤2)：基于φ
x
、φy利用归一化指数函数(gumbel-softmax)以及温度参数λ计算关键点的对应关系：
[0074][0075]
所述步骤3)：已知关键点的对应关系及关键点的坐标，通过矩阵奇异值分解计算变换矩阵，包含旋转和平移矩阵r、t；
[0076][0077]
上式中，v,u为奇异值分解获得的两矩阵；是预测的旋转和平移矩阵，
[0078]
使用该变换矩阵对镜像点云y进行坐标变换y'，在x、y'上迭代循环上述关键点特征向量获取、关键点对应关系计算和矩阵奇异值分解步骤，至迭代次数达到超参数时终止迭代；
[0079]
所述可变图结构神经网络的训练过程，采用口腔临床收集的800例三维颜面数据，基于icp算法本体与镜像点云配准的旋转和平移矩阵作为监督学习的真值，对上述临床收集的800例三维颜面数据进行深度学习模型训练与测试的数据集划分，其中训练集、验证集和测试集按8:1:1分配，男女比例均为1:1；可变图结构神经网络整体损失函数为公式
③
：
[0080][0081]
l为整体损失，l
p
是第p次迭代时的总损失，l
p
包括三部分：刚性运动损失，循环一致性损失，全局特征对齐损失，公式分别为公式
④
、公式
⑤
、公式
⑥
：
[0082]
[0083][0084][0085]
上式中，为旋转、平移矩阵真值，是预测的旋转矩阵的转置，是预测的平移矩阵，为从点云x到点云y的旋转、平移矩阵，为点云y到点云x的旋转、平移矩阵，为点云x的全局表征，为点云y的全局表征。
[0086]
本发明的优点：
[0087]
(1)本发明首次实现基于可变图结构神经网络算法的三维颜面本体与镜像数据智能配准重叠；
[0088]
(2)本发明首次实现基于主成分分析算法的“本体-镜像”联合数据正中矢状平面的构建。
[0089]
如上所述，便可较为充分的实现本发明。以上所述仅为本发明的较为合理的实施实例，本发明的保护范围包括但并不局限于此，本领域的技术人员任何基于本发明技术方案上非实质性变性变更均包括在本发明包括范围之内。

技术特征：
1.一种基于智能配准算法的三维颜面正中矢状平面构建方法，其特征在于：(1)构建三维颜面数据本体与镜像点云配准的可变图结构神经网络算法，其算法步骤为：1)构造本体与镜像点云数据x和y中关键点的特征向量；2)基于上述特征向量获取点云x和y中关键点的对应关系；3)通过奇异值分解计算镜像数据的旋转和平移矩阵r、t；(2)主成分分析算法构建三维颜面正中矢状平面；基于上述三维颜面本体与镜像数据配准结果，进而获得“本体-镜像”联合的点云数据，该数据具有对称特性，采用主成分分析算法计算“本体-镜像”联合点云矩阵的协方差矩阵，基于特征值分解法求解协方差矩阵的特征值和特征向量，选择最大特征值对应的特征向量，即为正中矢状平面的法向量；计算点云几何中心为正中矢状平面中心点，获得三维颜面数据的正中矢状平面函数表达。2.如权利要求1所述的一种基于智能配准算法的三维颜面正中矢状平面构建方法，其特征在于：所述算法步骤中使用的具体算法为：所述步骤1)：利用可变图网络和transformer网络构建关键点特征向量分别为φ
x
、φ
y
；所述步骤2)：基于φ
x
、φ
y
利用归一化指数函数(gumbel-softmax)以及温度参数λ计算关键点的对应关系：所述步骤3)：已知关键点的对应关系及关键点的坐标，通过矩阵奇异值分解计算变换矩阵，包含旋转和平移矩阵r、t；上式中，v,u为奇异值分解获得的两矩阵；是预测的旋转和平移矩阵，使用该变换矩阵对镜像点云y进行坐标变换y'，在x、y'上迭代循环上述关键点特征向量获取、关键点对应关系计算和矩阵奇异值分解步骤，至迭代次数达到超参数时终止迭代；所述可变图结构神经网络的训练过程，采用口腔临床收集的800例三维颜面数据，基于icp算法本体与镜像点云配准的旋转和平移矩阵作为监督学习的真值，对上述临床收集的800例三维颜面数据进行深度学习模型训练与测试的数据集划分，其中训练集、验证集和测试集按8:1:1分配，男女比例均为1:1；可变图结构神经网络整体损失函数为公式
③
：l为整体损失，l
p
是第p次迭代时的总损失，l
p
包括三部分：刚性运动损失，循环一致性损失，全局特征对齐损失，公式分别为公式
④
、公式
⑤
、公式
⑥
：
上式中，为旋转、平移矩阵真值，是预测的旋转矩阵的转置，是预测的平移矩阵，为从点云x到点云y的旋转、平移矩阵，为点云y到点云x的旋转、平移矩阵，为点云x的全局表征，为点云y的全局表征。

技术总结
本发明涉及一种基于智能配准算法的三维颜面正中矢状平面构建方法，有以下步骤：(1)构建三维颜面数据本体与镜像点云配准的可变图结构神经网络算法，其算法步骤为：1)构造本体与镜像点云数据X和Y中关键点的特征向量；2)基于上述特征向量获取点云X和Y中关键点的对应关系；3)通过奇异值分解计算镜像数据的旋转和平移矩阵R、t；(2)主成分分析算法构建三维颜面正中矢状平面；本发明能够实现三维颜面正中矢状平面的准确、高效构建，为口腔临床数字化诊疗提供一种新的正中矢状平面构建解决方案。疗提供一种新的正中矢状平面构建解决方案。疗提供一种新的正中矢状平面构建解决方案。


技术研发人员：赵一姣 朱玉佳 陈晋鹏 王勇 刘真光 傅湘玲 温奥楠 高梓翔 秦庆钊
受保护的技术使用者：北京邮电大学
技术研发日：2023.04.21
技术公布日：2023/7/18