基于双路成像及运动恢复结构的身体部位3D建模方法与流程

基于双路成像及运动恢复结构的身体部位3d建模方法
技术领域
1.本发明涉及人体建模技术领域，具体为基于双路成像及运动恢复结构的身体部位3d建模方法。


背景技术：

2.人脸的三维结构信息用于各种领域，包括面部重建、面部识别和面部跟踪等方面。3d人脸模型的医学应用包括准确识别患者特征(例如年龄、性别和种族背景)的能力，以及检测和监测与疾病和状况相关的面部特征变化的能力。此外，3d面部模型可用于模拟面部手术，甚至创建虚拟医疗培训师。
3.在过去几年，国内外研究者提出来许多人脸三维重建的方法，从原理上主要分为主动式和被动式这两大类方法。主动式方法是通过传感器主动地向人脸照射信号，然后依靠解析返回的信号来获得人脸的三维信息，如使用结构光扫描仪等。这类方法能够获得精度较高的人脸三维结构数据，但是需要使用价格昂贵的硬件设备同时，使得此方法具有造价高、不灵活等诸多限制。被动式方法不需要额外的装置，只需要利用相机直接对物体成像即可。根据参与重建的相机视角个数，可以分为双目(两个相机视角)和多目(》2个相机视角)两种情形。这类方法成本低，使用灵活。
4.运动恢复结构(structure from motion)是一种3d建模方法，并且是目前三维重建比较主流的方法之一。这种技术属于被动式的方法，可以帮助了解输入图像提供的所有观察结果背后的几何关系，并推断刚性场景结构(3d稀疏点云)、姿态(位置和方向)和所有相机的内部校准，并最终产生3d模型。另外在多视图下，可以不需要预先校准相机，而是通过自校准从输入图像中提取相机内外参数。
5.常规的基于主动式的结构光扫描尽管速度和精度非常高，但结构光系统造价比较昂贵，不易普及。而另一方面，常规的基于被动式的运动恢复结构需要大量的图片，模型生成的速度比较慢。


技术实现要素：

6.针对现有技术的不足，本发明提供了基于双路成像及运动恢复结构的身体部位3d建模方法，解决了常规的基于主动式的结构光扫描尽管速度和精度非常高，但结构光系统造价比较昂贵，不易普及。而另一方面，常规的基于被动式的运动恢复结构需要大量的图片，模型生成的速度比较慢的问题。
7.为实现以上目的，本发明通过以下技术方案予以实现：基于双路成像及运动恢复结构的身体部位3d建模方法，包括以下步骤：
8.步骤一、图片采集：对身体部位进行定位处理；
9.步骤二、特征提取、表示及匹配：使用的是最著名的特征检测方法sift算法，关键思想是，在某种程度上，可以使用sift不变性来处理图像采集过程中视点发生变化时发生的图像变换；
10.步骤三、运动恢复结构：将图像对之间的所有特征匹配融合到轨道中；
11.步骤四、深度图：对于所有已被运动恢复结构方法解析的相机，我们想要检索每个像素的深度值，采用半全局匹配(sgm)方法获取深度图；
12.步骤五、表面重建：此步骤的目标是创建对象的密集几何表面表示；
13.步骤六、纹理贴图：该步骤对纹理创建uv图并投影纹理。
14.优选的，所述步骤一中，使用主体装置拍摄七组双目图片，定位点如下：额头点，鼻尖点，左嘴角点，右嘴角点，下巴中心点，左下颌点，右下颌点。
15.优选的，所述步骤二中，sift使用所谓的高斯差异(dog)计算拉普拉斯表示的尺度空间最大值，拉普拉斯表示是图像的基于特定图像能量的表示，这些最大值对应于兴趣点，然后它为这些最大值中的每一个采样一个正方形图像块，其原点是最大值，x方向是原点处的主要梯度。
16.优选的，所述步骤三中，每个轨道都应该代表空间中的一个点，并且可以从多个相机中看到，在轨道的这一步，它仍然包含许多异常值，在这种匹配融合过程中，删除不连贯的轨道，增量算法必须选择最佳的初始图像对象。
17.优选的，所述步骤三中，同时相机之间的角度也应该足够大，以提供可靠的几何信息，然后计算这两个图像之间的基本矩阵，并认为第一个是坐标系的原点，知道了前两个相机的位姿，将相应的2d特征三角化为3d点。
18.优选的，所述步骤三中，选择所有与已经在3d中重建的特征有足够关联的图像，该算法称为下一个最佳视图选择，基于这些2d-3d关联，它执行这些新相机中的每一个的切除，切除是ransac框架中的perspective-n-point算法(pnp)，用于查找验证大多数特征关联的相机位姿，在每个相机上，执行非线性最小化以细化姿势。
19.优选的，所述步骤五中，首先，我们将所有深度图融合到一个全局八叉树中，其中兼容的深度值被合并到八叉树单元中。
20.优选的，所述步骤五中，然后执行3d delaunay四面体化。
21.优选的，所述步骤五中，然后完成一个复杂的投票程序来计算单元格的权重和连接单元格的小平面的权重，graph cut max-flow用于最佳地切割体积，这个切口代表提取的网格表面，我们过滤表面的不好的单元，最终在网格上应用拉普拉斯过滤以去除局部伪像。
22.优选的，所述主体包括相机、透镜、镜面和拍摄对象，所述相机后侧设置有透镜，所述透镜一侧设置有多个镜面，所述相机前侧设置有拍摄对象。
23.本发明提供了基于双路成像及运动恢复结构的身体部位3d建模方法。具备以下有益效果：
24.本发明通过使用单个相机就可以实现，并且无需依赖相机预先校准，考虑到生成模型的稳健性，我们使用双目相机拍摄7组图片作为后续算法的输入，使3d人脸建模既快速且稳定，除了对人脸进行3d重建外，亦可实现对胸部、臀部、身体局部部位的3d建模应用。
附图说明
25.图1为本发明的流程图；
26.图2为本发明的主体结构示意图。
27.其中，1、相机；2、透镜；3、镜面；4、拍摄对象。
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.实施例：
30.参阅附图1，本发明实施例提供基于双路成像及运动恢复结构的身体部位3d建模方法，包括以下步骤：
31.步骤一、图片采集：对身体部位进行定位处理；
32.步骤二、特征提取、表示及匹配：使用的是最著名的特征检测方法sift(尺度不变特征变换)算法，关键思想是，在某种程度上，可以使用sift不变性来处理图像采集过程中视点发生变化时发生的图像变换，此步骤的目的是提取独特的像素对，这些像素对在某种程度上对图像采集过程中相机视点的变化保持不变；
33.步骤三、运动恢复结构：它将图像对之间的所有特征匹配融合到轨道中，此步骤的目的是了解两路输入图像及其几何关系，并推断刚性场景结构(3d点)与姿态(位置和方向)和所有相机的内部校准，增量重建是一个不断增长的重构过程，它首先计算一个初始的双视图重建，该重建之后通过添加新视图迭代扩展；
34.步骤四、深度图：对于所有已被运动恢复结构方法解析的相机，我们想要检索每个像素的深度值，采用半全局匹配(sgm)方法获取深度图；
35.步骤五、表面重建：此步骤的目标是创建对象的密集几何表面表示；
36.步骤六、纹理贴图：该步骤对纹理创建uv图并投影纹理。
37.步骤一中，使用主体装置拍摄七组双目图片，定位点如下：额头点，鼻尖点，左嘴角点，右嘴角点，下巴中心点，左下颌点，右下颌点。
38.因要保证重建结果的准确和真实，对拍摄条件有一定的限定，目标人脸对象处于光线比较充足的地方且保持头部位置不动，不能佩戴眼镜等存在遮挡的物件，同时如果头发遮挡耳朵、眼睛等五官时，应将头发盘起，以不遮挡五官为标准，拍摄期间保持面部不动，表情没有变化并且无眨眼，以便于进行定点准确。
39.步骤二中，sift使用所谓的高斯差异(dog)计算拉普拉斯表示的尺度空间最大值，拉普拉斯表示是图像的基于特定图像能量的表示，这些最大值对应于兴趣点，然后它为这些最大值中的每一个采样一个正方形图像块，其原点是最大值，x方向是原点处的主要梯度，对于每个关键点，这些补丁的描述是相关联的，由于纹理复杂性的变化，提取特征的数量可能会有很大差异，因此使用后过滤步骤将提取特征的数量控制在合理的范围内，我们使用网格过滤来确保图像中的良好重新分区。
40.步骤三中，每个轨道都应该代表空间中的一个点，并且可以从多个相机中看到，然而，在轨道的这一步，它仍然包含许多异常值，在这种匹配融合过程中，我们删除不连贯的轨道，然后，增量算法必须选择最佳的初始图像对，这种选择对于最终重建的质量至关重要，它确实应该提供可靠的匹配并包含可靠的几何信息，所以，这个图像对应该最大化匹配
的数量和每个图像中相应特征的重新划分。
41.步骤三中，同时相机之间的角度也应该足够大，以提供可靠的几何信息，然后我们计算这两个图像之间的基本矩阵，并认为第一个是坐标系的原点，现在我们知道了前两个相机的位姿，我们可以将相应的2d特征三角化为3d点。
42.步骤三中，我们选择所有与已经在3d中重建的特征有足够关联的图像，该算法称为下一个最佳视图选择，基于这些2d-3d关联，它执行这些新相机中的每一个的切除，切除是ransac框架中的perspective-n-point算法(pnp)，用于查找验证大多数特征关联的相机位姿，在每个相机上，执行非线性最小化以细化姿势。
43.步骤五中，首先，我们将所有深度图融合到一个全局八叉树中，其中兼容的深度值被合并到八叉树单元中。
44.步骤五中，然后我们执行3d delaunay四面体化。
45.步骤五中，然后完成一个复杂的投票程序来计算单元格的权重和连接单元格的小平面的权重，graph cut max-flow用于最佳地切割体积，这个切口代表提取的网格表面，我们过滤表面的不好的单元，我们最终在网格上应用拉普拉斯过滤以去除局部伪像。
46.参阅附图2，主体包括相机1、透镜2、镜面3和拍摄对象4，相机1后侧设置有透镜2，透镜2一侧设置有多个镜面3，相机1前侧设置有拍摄对象4，通过多个透镜2和镜面3，能够更好的将对象进行全面的定点进行收集，提高了收集的稳定性。
47.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.基于双路成像及运动恢复结构的身体部位3d建模方法，其特征在于，包括以下步骤：步骤一、图片采集：对身体部位进行定位处理；步骤二、特征提取、表示及匹配：使用的是最著名的特征检测方法sift算法，关键思想是，在某种程度上，可以使用sift不变性来处理图像采集过程中视点发生变化时发生的图像变换；步骤三、运动恢复结构：将图像对之间的所有特征匹配融合到轨道中；步骤四、深度图：对于所有已被运动恢复结构方法解析的相机，我们想要检索每个像素的深度值，采用半全局匹配(sgm)方法获取深度图；步骤五、表面重建：此步骤的目标是创建对象的密集几何表面表示；步骤六、纹理贴图：该步骤对纹理创建uv图并投影纹理。2.根据权利要求1所述的基于双路成像及运动恢复结构的身体部位3d建模方法，其特征在于，所述步骤一中，使用主体装置拍摄七组双目图片，定位点如下：额头点，鼻尖点，左嘴角点，右嘴角点，下巴中心点，左下颌点，右下颌点。3.根据权利要求1所述的基于双路成像及运动恢复结构的身体部位3d建模方法，其特征在于，所述步骤二中，sift使用所谓的高斯差异(dog)计算拉普拉斯表示的尺度空间最大值，拉普拉斯表示是图像的基于特定图像能量的表示，这些最大值对应于兴趣点，然后它为这些最大值中的每一个采样一个正方形图像块，其原点是最大值，x方向是原点处的主要梯度。4.根据权利要求1所述的基于双路成像及运动恢复结构的身体部位3d建模方法，其特征在于，所述步骤三中，每个轨道都应该代表空间中的一个点，并且可以从多个相机中看到，在轨道的这一步，它仍然包含许多异常值，在这种匹配融合过程中，删除不连贯的轨道，增量算法必须选择最佳的初始图像对象。5.根据权利要求1所述的基于双路成像及运动恢复结构的身体部位3d建模方法，其特征在于，所述步骤三中，同时相机之间的角度也应该足够大，以提供可靠的几何信息，然后计算这两个图像之间的基本矩阵，并认为第一个是坐标系的原点，知道了前两个相机的位姿，将相应的2d特征三角化为3d点。6.根据权利要求1所述的基于双路成像及运动恢复结构的身体部位3d建模方法，其特征在于，所述步骤三中，选择所有与已经在3d中重建的特征有足够关联的图像，该算法称为下一个最佳视图选择，基于这些2d-3d关联，它执行这些新相机中的每一个的切除，用于查找验证大多数特征关联的相机位姿，在每个相机上，执行非线性最小化以细化姿势。7.根据权利要求1所述的基于双路成像及运动恢复结构的身体部位3d建模方法，其特征在于，所述步骤五中，首先，我们将所有深度图融合到一个全局八叉树中，其中兼容的深度值被合并到八叉树单元中。8.根据权利要求1所述的基于双路成像及运动恢复结构的身体部位3d建模方法，其特征在于，所述步骤五中，然后执行3d delaunay四面体化。9.根据权利要求1所述的基于双路成像及运动恢复结构的身体部位3d建模方法，其特征在于，所述步骤五中，然后完成一个复杂的投票程序来计算单元格的权重和连接单元格的小平面的权重，graph cut max-flow用于最佳地切割体积，这个切口代表提取的网格表面，我们过滤表面的不好的单元，最终在网格上应用拉普拉斯过滤以去除局部伪像。
10.根据权利要求2所述的基于双路成像及运动恢复结构的身体部位3d建模方法，其特征在于，所述主体包括相机(1)、透镜(2)、镜面(3)和拍摄对象(4)，所述相机(1)后侧设置有透镜(2)，所述透镜(2)一侧设置有多个镜面(3)，所述相机(1)前侧设置有拍摄对象(4)。

技术总结
本发明提供基于双路成像及运动恢复结构的身体部位3D建模方法，涉及人体建模技术领域。该基于双路成像及运动恢复结构的身体部位3D建模方法，包括以下步骤：步骤一、图片采集：对身体部位进行定位处理；步骤二、特征提取、表示及匹配：使用的是最著名的特征检测方法SIFT算法，关键思想是，在某种程度上，可以使用SIFT不变性来处理图像采集过程中视点发生变化时发生的图像变换。通过使用单个相机就可以实现，并且无需依赖相机预先校准，考虑到生成模型的稳健性，我们使用双目相机拍摄7组图片作为后续算法的输入，使3D人脸建模既快速且稳定，除了对人脸进行3D重建外，亦可实现对胸部、臀部、身体局部部位的3D建模应用。身体局部部位的3D建模应用。身体局部部位的3D建模应用。


技术研发人员：朱冬林 马维民
受保护的技术使用者：上海麦色医疗科技有限公司
技术研发日：2023.03.21
技术公布日：2023/7/22