基于对抗生成网络生成患者牙齿排齐的露齿脸部图像的方法与流程

1.本技术总体上涉及基于对抗生成网络生成患者牙齿排齐的露齿脸部图像的方法。


背景技术：

2.当今，越来越多的人开始了解到，牙科正畸治疗不仅利于健康，还能提升个人形象。对于不了解牙科正畸治疗的患者，如果能够在治疗前向其展示治疗完成时牙齿和面部的外观，就可以帮助其建立对治疗的信心，同时促进正畸医生与患者之间的沟通。
3.因此，有必要提供一种用于产生患者牙齿排齐的面部图像的方法，以模拟牙科正畸治疗的效果。


技术实现要素：

4.本技术的一方面提供了一种计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，包括：获取正畸治疗前患者的露齿口部区域图像；利用经训练的编码器网络，基于所述口部区域图像，产生特征矩阵；以及利用经训练的解码器网络，基于所述特征矩阵，产生所述患者牙齿排齐的口部区域图像，其中，所述解码器网络构成对抗生成网络的生成器的主要部分。
5.在一些实施方式中，所述口部区域图像包括鼻尖。
6.在一些实施方式中，所述解码器网络是以下之一：stylegan网络及其变种。
7.在一些实施方式中，所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法还包括：获取正畸治疗前所述患者的露齿正脸照；以及自所述正畸治疗前患者的露齿正脸照截取所述正畸治疗前患者的露齿口部区域图像。
8.在一些实施方式中，所述正畸治疗前患者的露齿口部区域图像是利用经训练的第一目标检测网络自所述正畸治疗前患者的露齿正脸照截取。
9.在一些实施方式中，所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法还包括：自所述患者牙齿排齐的口部区域图像截取唇部区域图像；以及将所述唇部区域图像覆盖至所述正畸治疗前患者的露齿正脸照的对应位置，获得所述患者牙齿排齐的露齿正脸图像。
10.在一些实施方式中，所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法还包括：利用泊松融合方法将所述唇部区域图像和所述正畸治疗前患者的露齿正脸照进行融合操作，得到所述患者牙齿排齐的露齿正脸图像。
11.在一些实施方式中，所述唇部区域图像是外包唇部区域的矩形框内的图像。
12.在一些实施方式中，所述唇部区域图像是由经训练的第二目标检测网络自所述牙齿排齐的口部区域图像截取。
13.本技术的又一方面提供了一种用于产生患者牙齿排齐的露齿脸部图像的计算机系统，其包括处理器和存储装置，所述存储装置存储有一计算机程序，当其被所述处理器运行后，所述处理器将执行所述基于生成对抗网络产生牙齿排齐的患者露齿脸部图像的方
法。
附图说明
14.通过下面说明书和所附的权利要求书并与附图结合，将会更加充分地清楚理解本公开内容的上述和其他特征。应当理解，这些附图仅描绘了本公开内容的若干实施方式，因此不应认为是对本公开内容范围的限定，通过采用附图，本公开内容将会得到更加明确和详细地说明。
15.图1为本技术一个实施例中基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法的示意性流程图；
16.图2为本技术一个实施例中的用于产生患者牙齿排齐的露齿脸部图像的计算机程序的一个界面所展示的一个例子中的患者露齿微笑正脸照；
17.图3为所述计算机程序的示意性模块图；
18.图4a为所述计算机程序的一个界面所展示的由目标检测网络自图2所示患者露齿正脸照片截取的口部区域图像；
19.图4b为所述计算机程序的一个界面所展示的由解码器网络基于特征矩阵产生的牙齿排齐的口部区域图像；
20.图5为所述计算机程序的一个界面所展示的自图4b所示牙齿排齐的口部区域图像截取得到的嘴唇区域图像；以及
21.图6为所述计算机程序的一个界面所展示的将图5所示的嘴唇区域图像融合至图2所示患者露齿微笑正脸照得到的患者牙齿排齐的露齿微笑正脸图像。
具体实施方式
22.在下面的详细描述中，参考了构成其一部分的附图。在附图中，类似的符号通常表示类似的组成部分，除非上下文另有说明。详细描述、附图和权利要求书中描述的例示说明性实施方式不意在限定。在不偏离本文所述的主题的精神或范围的情况下，可以采用其他实施方式，并且可以做出其他变化。应该很容易理解，可以对本文中一般性描述的、在附图中图解说明的本公开内容的各个方面进行多种不同构成的配置、替换、组合，设计，而所有这些都在明确设想之中，并构成本公开内容的一部分。
23.本技术的一方面提供了一种基于生成对抗网络(generative adversarial network，简称gan)产生牙科正畸治疗效果图像的方法，基于牙科正畸治疗前患者的露齿脸部照片，产生患者牙齿排齐的露齿脸部图像，以模拟牙科正畸治疗的效果。
24.生成对抗网络通常包括一个生成器和一个判别器，前者用于根据随机噪声数据生成逼真的随机样本，后者用于鉴别样本是真实的还是生成器生成的。
25.请参图1，为本技术一个实施例中的基于生成对抗网络产生牙科正畸治疗效果图像的方法100的示意性流程图。
26.在一个实施例中，所述基于生成对抗网络产生牙科正畸治疗效果图像的方法100由计算机执行，本技术的又一方面提供了一种用于产生牙齿排齐的患者露齿脸部图像的计算机系统，其包括处理器和存储装置，所述存储装置存储有一计算机程序，当其被所述处理器运行后，所述处理器将执行所述基于生成对抗网络产生牙齿排齐的患者露齿脸部图像的
方法100。
27.在101中，获取牙科正畸治疗前患者的露齿脸部照片。
28.由于人们通常比较在意露齿微笑时的形象，因此，在一个实施例中，牙科正畸治疗前患者的露齿脸部照片可以是患者露齿微笑时完整的脸部正面照片，相应地，所产生的将是患者牙齿排齐的露齿微笑的完整的脸部正面照片。在本技术的启示下，可以理解，牙科正畸治疗前患者露齿的脸部照片也可以是部分脸部的照片，照片的角度也可以是除正面外的其他角度，相应地，所产生的图像的范围和角度也将随之改变。
29.请参图2，为所述计算机程序的一个界面所展示的一个例子中的牙科正畸治疗前患者的露齿脸部照片。为保护患者隐私，将该照片中患者的眼睛部位进行遮蔽处理。
30.在103中，从所述牙科正畸治疗前患者的露齿脸部照片中截取口部区域图像。
31.相较于完整的人脸照片，口部区域图片特征较少，仅基于口部区域图片进行后续处理，能够简化运算，使后续深度神经网络更容易学习同时更加鲁棒。
32.在一个实施例中，口部区域图像包括鼻尖。本技术的发明人经过测试和观察发现神经网络一方面能够根据鼻尖的油光推理出环境光照情况，生成相应的牙齿光泽，另一方面还能够根据鼻尖推理出面中线的位置，使得所产生的牙齿排齐的口部区域图像的牙中线尽量与面中线对齐。
33.在一个实施例中，可以利用目标检测网络预测口部区域的位置，并基于此截取口部区域图像。
34.请参图3，为本技术一个实施例中的基于生成对抗网络的用于产生牙科正畸治疗效果图像的计算机程序200的示意性模块图，其包括目标检测网络201、编码器网络203、解码器网络205、裁剪模块207以及融合模块209。
35.目标检测网络201可以是任何适用的目标检测网络，例如，yolov5、yolov4、yolov3、ssd(single shot multibox detector)、faster r-cnn、detr(detection transformer)等。
36.在一个实施例中，所述目标检测网络201以方框选取口部区域。在一个实施例中，对于同一张患者露齿脸部照片，所述目标检测网络201产生多个口部区域预测结果，每一预测结果可以包括方框中心坐标、嘴角坐标横向差值以及置信度，并选取置信度最高的预测结果作为输出。
37.请参图4a，为所述计算机程序的一个界面所展示的由所述目标检测网络自图2所示患者露齿正脸照片截取的口部区域图像。
38.在105中，利用所述经训练的编码器网络，基于所述口部区域图像，产生特征矩阵。
39.在一些实施例中，所述编码器网络203可以采用e4e网络架构、psp网络架构、ganensembling网络架构或任何其他适用的编码器网络。
40.在一个实施例中，所述口部区域图像的尺寸可以是256*256像素，其包含12种不同的特征，每种特征可以是长度为256的特征向量，相应地，所述特征矩阵是12*256的特征矩阵。可以理解，所述特征矩阵的尺寸，包括特征种类数量和每种特征的长度可以随图像尺寸和网络结构进行调整。
41.在107中，利用所述经训练的解码器网络，基于所述特征矩阵，产生牙齿排齐的口部区域图像。
42.在一个实施例中，所述解码器网络205可以是stylegan网络或biggan网络，也可以是cyclegan网络或pix2pix网络。可以理解，本技术所指的stylegan网络包括其各种变种，例如，stylegan、stylegan2、stylegan3、stylegan2-ada等。
43.请参图4b，为所述计算机程序的一个界面所展示的由所述解码器网络205基于所述特征矩阵产生的牙齿排齐的口部区域图像。
44.所述解码器网络205构成了生成对抗网络的生成部分(generator)的主要部分。
45.在一个实施例中，可以先训练所述解码器网络205，例如，对于stylegan网络及其变种而言，可以采用真实的口部区域图像(例如，牙齿未排齐的口部区域图像)对所述解码器网络205进行训练。在完成所述解码器网络205的训练之后，将所述编码器网络203和解码器网络205作为一个整体，对所述编码器网络203进行训练。在一个实施例中，可以用真实的口部区域图像(例如，牙齿未排齐的口部区域图像)作为输入，训练所述编码器网络203。
46.此时获得的牙齿排齐的口部区域图像中嘴唇以外部分(例如，鼻子部分)的细节可能与原照片中不完全一致，若将整张牙齿排齐的口部区域图像覆盖至原照片的对应位置，可能使得合成图像的覆盖区域与周围区域衔接不够自然。因此，在一个实施例中，可以自所述牙齿排齐的口部区域图像中截取正好覆盖嘴唇区域的矩形框内的图像，用以覆盖至原照片中的对应位置。
47.在109中，自所述牙齿排齐的口部区域图像截取嘴唇区域图像。
48.所述嘴唇区域图像的截取是由所述裁剪模块207完成。在一个实施例中，所述裁剪模块207可以采用与所述目标检测网络201相同的网络。在一个实施例中，所述嘴唇区域图像是覆盖嘴唇区域的矩形框内的图像。
49.请参图5，为所述计算机程序的一个界面所展示的自所述牙齿排齐的口部区域图像截取得到的嘴唇区域图像。
50.在111中，将所述嘴唇区域图像融合进所述正畸治疗前患者露齿脸部照片。
51.在一个实施例中，可以将所述嘴唇区域图像覆盖至所述正畸治疗前患者露齿脸部照片的对应位置，以得到牙齿排齐的患者露齿脸部图像。
52.在一个实施例中，为了减少图片拼接处的违和感，可以对两张图片进行融合操作。所述融合操作由所述融合模块209实现。在一个实施例中，可以采用泊松融合算法进行所述融合操作。
53.请参图6，为所述计算机程序的一个界面所展示的经所述融合处理得到的牙齿排齐的露齿脸部图片。
54.利用本技术的方法产生的患者牙齿排齐的露齿脸部图片与实际的牙齿正畸治疗结果接近，能够有效地帮助患者建立对治疗的信心，同时促进正畸医生与患者的沟通。
55.在本技术的启示下，可以理解，虽然，患者牙齿排齐的完整露齿脸部图片能够让患者较好地了解治疗效果，但这并不是必需的。一些情况下，牙齿排齐的口部区域图片就足以让患者了解治疗效果。
56.尽管在此公开了本技术的多个方面和实施例，但在本技术的启发下，本技术的其他方面和实施例对于本领域技术人员而言也是显而易见的。在此公开的各个方面和实施例仅用于说明目的，而非限制目的。本技术的保护范围和主旨仅通过后附的权利要求书来确定。
57.同样，各个图表可以示出所公开的方法和系统的示例性架构或其他配置，其有助于理解可包含在所公开的方法和系统中的特征和功能。要求保护的内容并不限于所示的示例性架构或配置，而所希望的特征可以用各种替代架构和配置来实现。除此之外，对于流程图、功能性描述和方法权利要求，这里所给出的方框顺序不应限于以同样的顺序实施以执行所述功能的各种实施例，除非在上下文中明确指出。
58.除非另外明确指出，本文中所使用的术语和短语及其变体均应解释为开放式的，而不是限制性的。在一些实例中，诸如“一个或多个”、“至少”、“但不限于”这样的扩展性词汇和短语或者其他类似用语的出现不应理解为在可能没有这种扩展性用语的示例中意图或者需要表示缩窄的情况。

技术特征：
1.一种计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，包括：获取正畸治疗前患者的露齿口部区域图像；利用经训练的编码器网络，基于所述口部区域图像，产生特征矩阵；以及利用经训练的解码器网络，基于所述特征矩阵，产生所述患者牙齿排齐的口部区域图像，其中，所述解码器网络构成对抗生成网络的生成器的主要部分。2.如权利要求1所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，其特征在于，所述口部区域图像包括鼻尖。3.如权利要求1所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，其特征在于，所述解码器网络是以下之一：stylegan网络及其变种。4.如权利要求1所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，其特征在于，它还包括：获取正畸治疗前所述患者的露齿正脸照；以及自所述正畸治疗前患者的露齿正脸照截取所述正畸治疗前患者的露齿口部区域图像。5.如权利要求4所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，其特征在于，所述正畸治疗前患者的露齿口部区域图像是利用经训练的第一目标检测网络自所述正畸治疗前患者的露齿正脸照截取。6.如权利要求4所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，其特征在于，它还包括：自所述患者牙齿排齐的口部区域图像截取唇部区域图像；以及将所述唇部区域图像覆盖至所述正畸治疗前患者的露齿正脸照的对应位置，获得所述患者牙齿排齐的露齿正脸图像。7.如权利要求6所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，其特征在于，它还包括：利用泊松融合方法将所述唇部区域图像和所述正畸治疗前患者的露齿正脸照进行融合操作，得到所述患者牙齿排齐的露齿正脸图像。8.如权利要求6所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，其特征在于，所述唇部区域图像是外包唇部区域的矩形框内的图像。9.如权利要求8所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，其特征在于，所述唇部区域图像是由经训练的第二目标检测网络自所述牙齿排齐的口部区域图像截取。10.一种用于产生患者牙齿排齐的露齿脸部图像的计算机系统，其包括处理器和存储装置，所述存储装置存储有一计算机程序，当其被所述处理器运行后，所述处理器将执行如权利要求1所述的基于生成对抗网络产生牙齿排齐的患者露齿脸部图像的方法。

技术总结
本申请的一方面提供了一种计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，包括：获取正畸治疗前患者的露齿口部区域图像；利用经训练的编码器网络，基于所述口部区域图像，产生特征矩阵；以及利用经训练的解码器网络，基于所述特征矩阵，产生所述患者牙齿排齐的口部区域图像，其中，所述解码器网络构成对抗生成网络的生成器的主要部分。部分。部分。


技术研发人员：沈飞鸿 郁雯科 封小霞
受保护的技术使用者：杭州朝厚信息科技有限公司
技术研发日：2022.02.11
技术公布日：2023/8/24