一种牙齿矫正的动画合成方法、装置、设备及存储介质与流程

1.本发明涉及机器视觉领域，特别涉及一种牙齿矫正的动画合成方法、装置、设备及存储介质。


背景技术：

2.口内照是牙科领域重要的数据类型，医生通过观察口内照来判断患者的牙齿变化情况，患者通过口内照来了解目前治疗的效果。当一个矫治流程结束后，患者往往想要知道自己的牙齿形态发生了怎样的变化。视频这一数据格式可以很好的反映患者的牙齿随时间的位置变换，使患者能够直观的感受到治疗的效果。
3.将多张口内照合成视频的技术难点主要在于，患者用拍摄仪器拍摄口内照的间隔时间很长，导致每次拍摄口内照的相机位置不固定，图片大小也不固定，如果强行把不同位置不同尺寸的口内照合并成视频，会使生成的视频缺乏连贯性，无法使患者得到清晰的牙齿变化情况有鉴于此，提出本技术。


技术实现要素：

4.本发明公开了一种牙齿矫正的动画合成方法、装置、设备及存储介质，旨在解决现有牙齿矫正视频存在缺乏连贯性的问题。
5.本发明第一实施例提供了一种牙齿矫正的动画合成方法，包括：获取不同阶段的多张口内照，并对多张口内照进行标号后依次输入进训练好的口内照定位网络中，以生成多张剪切图；将多张所述剪切图送入关键点检测网络中，以生成多张所述剪切图中两个的关键点的坐标、以及两个关键点之间的距离；根据矫正前的口内照剪切图和两个关键点之间的距离对矫正过程中的多张口内照进行平移和裁剪，以生成多张尺寸相同的口内照；将多张所述尺寸相同的口内照根据所述标号进行合成，以生成牙齿矫正过程的视频。
6.优选地，所述口内照定位网络的训练过程为：s201,向所述口内照定位网络输入一张口内照，以生成剪切图预测坐标形成的第一矩阵、以及框的置信度；s202,获取所述口内照实际标注坐标形成的第二矩阵，并根据所述第一矩阵和所述第二矩阵生成交并比；s203,将所述交并比和所述框的置信度作为所述口内照定位网络的损失函数，以更新所述内照定位网络的参数；重复步骤s201至s203，直至迭代预设次数。
7.优选地，所述关键点检测网络的训练过程为：
s301，向所述关键点检测网络输入一张经过所述口内照定位网络裁剪过后的口内照，以预测生成两个关键点的位置坐标、以及两个关键点之间的第一距离；s302，获取在所述裁剪过后的口内照上实际标注的两个关键点的位置坐标，以及实际标注的两个关键点之间的第二距离，并生成所述第一距离和所述第二距离之间的差值；s303，将所述差值作为所述关键点检测网络的损失函数，以更新所述关键点检测网络的参数；重复步骤s301至s303，直至迭代预设次数。
8.优选地，所述根据矫正前的口内照剪切图和两个关键点之间的距离对矫正过程中的多张口内照进行平移和裁剪，以生成多张尺寸相同的口内照，具体为：将所述矫正前的口内照剪切图的两个关键点之间的距离作为缩放因子，对剩余的剪切图进行缩放；获取进行缩放后的剪切图的两个关键点坐标相对于矫正前的口内照剪切图的两个关键点的平均平移距离，任取一个关键点作为基点对缩放后的剪切图以平均平移距离进行平移，以使得缩放后的剪切图与所述矫正前的口内照剪切图重合。
9.本发明第二实施例提供了一种牙齿矫正的动画合成装置，包括：剪切图生成单元，用于获取不同阶段的多张口内照，并对多张口内照进行标号后依次输入进训练好的口内照定位网络中，以生成多张剪切图；关键点检测单元，用于将多张所述剪切图送入关键点检测网络中，以生成多张所述剪切图中两个的关键点的坐标、以及两个关键点之间的距离；口内照处理单元，用于根据矫正前的口内照剪切图和两个关键点之间的距离对矫正过程中的多张口内照进行平移和裁剪，以生成多张尺寸相同的口内照；视频生成单元，用于将多张所述尺寸相同的口内照根据所述标号进行合成，以生成牙齿矫正过程的视频。
10.优选地，所述口内照定位网络的训练过程为：s201,向所述口内照定位网络输入一张口内照，以生成剪切图预测坐标形成的第一矩阵、以及框的置信度；s202,获取所述口内照实际标注坐标形成的第二矩阵，并根据所述第一矩阵和所述第二矩阵生成交并比；s203,将所述交并比和所述框的置信度作为所述口内照定位网络的损失函数，以更新所述内照定位网络的参数；重复步骤s201至s203，直至迭代预设次数。
11.优选地，所述关键点检测网络的训练过程为：s301，向所述关键点检测网络输入一张经过所述口内照定位网络裁剪过后的口内照，以预测生成两个关键点的位置坐标、以及两个关键点之间的第一距离；s302，获取在所述裁剪过后的口内照上实际标注的两个关键点的位置坐标，以及实际标注的两个关键点之间的第二距离，并生成所述第一距离和所述第二距离之间的差值；s303，将所述差值作为所述关键点检测网络的损失函数，以更新所述关键点检测
网络的参数；重复步骤s301至s303，直至迭代预设次数。
12.优选地，所述根据矫正前的口内照剪切图和两个关键点之间的距离对矫正过程中的多张口内照进行平移和裁剪，以生成多张尺寸相同的口内照，具体为：将所述矫正前的口内照剪切图的两个关键点之间的距离作为缩放因子，对剩余的剪切图进行缩放；获取进行缩放后的剪切图的两个关键点坐标相对于矫正前的口内照剪切图的两个关键点的平均平移距离，任取一个关键点作为基点对缩放后的剪切图以平均平移距离进行平移，以使得缩放后的剪切图与所述矫正前的口内照剪切图重合。
13.本发明第三实施例提供了一种牙齿矫正的动画合成设备，其特征在于，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上任意一项所述的一种牙齿矫正的动画合成方法。
14.本发明第四实施例提供了一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如上任意一项所述的一种牙齿矫正的动画合成方法。
15.基于本发明提供的一种牙齿矫正的动画合成方法、装置、设备及存储介质，先通过获取不同阶段的多张口内照，并对多张口内照进行标号后依次输入进训练好的口内照定位网络中，以生成多张剪切图，接着，将多张所述剪切图送入关键点检测网络中，以生成多张所述剪切图中两个的关键点的坐标、以及两个关键点之间的距离；再接着，根据矫正前的口内照剪切图和两个关键点之间的距离对矫正过程中的多张口内照进行平移和裁剪，以生成多张尺寸相同的口内照；最后，将多张所述尺寸相同的口内照根据所述标号进行合成，以生成牙齿矫正过程的视频，解决了现有牙齿矫正视频存在缺乏连贯性的问题。
附图说明
16.图1是本发明第一实施例提供的一种牙齿矫正的动画合成方法的流程示意图；图2是本发明提供的由图像采集装置采集到的口内照示意图；图3是本发明提供的基于口内照定位网络和关键点检测网络处理后的口内照示意图；图4是本发明第二实施例提供的一种牙齿矫正的动画合成装置的模块示意图。
实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
19.应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其
它实施例，都属于本发明保护的范围。
20.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
21.应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
22.取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。
23.实施例中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
24.以下结合附图对本发明的具体实施例做详细说明。
25.本发明公开了一种牙齿矫正的动画合成方法、装置、设备及存储介质，旨在解决现有牙齿矫正视频存在缺乏连贯性的问题。
26.本发明第一实施例提供了一种牙齿矫正的动画合成方法，其可由牙齿矫正的动画合成设备（以下简称合成设备）来执行，特别的，由所述合成设备内的一个或者多个处理器来执行，以至少实现如下步骤：s101，获取不同阶段的多张口内照，并对多张口内照进行标号后依次输入进训练好的口内照定位网络中，以生成多张剪切图；在本实施例中，所述合成设备可为台式电脑、笔记本电脑、服务器、工作站等具有数据处理分析能力的终端，其中，所述合成设备内可安装有相应的操作系统以及应用软件，并通过操作系统以及应用软件的结合来实现本实施例所需的功能。
27.需要说明的是，发明人发现：患者用拍摄仪器拍摄口内照的间隔时间很长，导致每次拍摄口内照的相机位置不固定，图片大小也不固定，如果强行把不同位置不同尺寸的口内照合并成视频，会使生成的视频缺乏连贯性，无法使患者得到清晰的牙齿变化情况。
28.在本实施例中，在使用口内照定位网络之前，需要先对内照定位网络进行训练，其具体过程为：向所述口内照定位网络输入一张口内照，以生成剪切图预测坐标形成的第一矩阵、以及框的置信度；需要说明的是，所述口内照定位网络的结构可以但不仅限与yolov6，请参阅图2和图3，框代表我们认为比较重要的区域，我们会设置一个迭代循环，在每次迭代中，我们向网络输入一张口内照，所述口内照定位网络会预测出框的左上角点的xy坐标值和右上角点的xy坐标值，以及框的置信度。
29.获取所述口内照实际标注坐标形成的第二矩阵，并根据所述第一矩阵和所述第二矩阵生成交并比；
需要说明的是，交并比为预测坐标形成的框和实际标注坐标形成的框重合部分占总框面积的比例。
30.将所述交并比和所述框的置信度作为所述口内照定位网络的损失函数，以更新所述内照定位网络的参数；需要说明的是，所述损失函数y=（1-iou）*sigma，其中，iou为交并比，sigma为框的置信度。
31.重复以上步骤，直至迭代预设次数，当然，也可以是在准确率达到预设要求时停止迭代（即预设预测坐标形成的框和实际标注坐标形成的框重合的准确率达到一定值时停止迭代）。
32.s102，将多张所述剪切图送入关键点检测网络中，以生成多张所述剪切图中两个的关键点的坐标、以及两个关键点之间的距离；在使用关键点检测网络之前，需要对其先进行训练，具体过程为：向所述关键点检测网络输入一张经过所述口内照定位网络裁剪过后的口内照，以预测生成两个关键点的位置坐标、以及两个关键点之间的第一距离；需要说明的是，所述关键点检测网络的结构可以但不仅限于hrnet，其中，两个关键点之间的距离可以是基于勾股定理求得。
33.获取在所述裁剪过后的口内照上实际标注的两个关键点的位置坐标，以及实际标注的两个关键点之间的第二距离，并生成所述第一距离和所述第二距离之间的差值；需要说明的是，在本实施例中，通过收集了多个个患者的不同角度的口内照，裁剪出我们认为重要的区域，区域的大小并不固定。我们在区域中选择相对来说较为固定的点，一般来说在矫治过程中3号牙的位置不会发生太大变化。在本实施例中，我们优先选择了3号牙的fa点作为固定点。
34.将所述差值作为所述关键点检测网络的损失函数，以更新所述关键点检测网络的参数；重复以上步骤，直至迭代预设次数，或者在准确率到预设要求后停止迭代。
35.s103，根据矫正前的口内照剪切图和两个关键点之间的距离对矫正过程中的多张口内照进行平移和裁剪，以生成多张尺寸相同的口内照；具体地：在本实施例中：将所述矫正前的口内照剪切图的两个关键点之间的距离作为缩放因子，对剩余的剪切图进行缩放；获取进行缩放后的剪切图的两个关键点坐标相对于矫正前的口内照剪切图的两个关键点的平均平移距离，任取一个关键点作为基点对缩放后的剪切图以平均平移距离进行平移，以使得缩放后的剪切图与所述矫正前的口内照剪切图重合需要说明的是，在本实施例中，将一张口内照输入进训练好的口内照定位网络中，得到重要区域裁剪后输入进训练好的口内照关键点检测网络中，得到两个关键点在重要区域的坐标，通过计算得到关键点在整张口内照的坐标，以第一张图片（矫正前的口内照）作为基准，计算出关键点之间的距离，以l标识，之后图片的放缩（scale）就是其关键点距离除l得到，图片的平移通过计算两个点平移的平均值得到，单一点的平移即之后图片的关键点相对于第一张图片的对应关键点的平移。3号牙并不是完全不移动，所以我们不追求两个关
键点在不同阶段口内照的完全重合。根据图片的平移得到需要裁剪的口内照区域，接着根据最小的阶段口内照尺寸裁减掉其余口内照，使口内照大小保持一致。
36.s104，将多张所述尺寸相同的口内照根据所述标号进行合成，以生成牙齿矫正过程的视频。
37.需要说明的是，在本实施例中，可以通过开源软件库imageio按照标号（即校正的顺序），将相同尺寸的口内照合成视频。
38.请参阅图4，本发明第二实施例提供了一种牙齿矫正的动画合成装置，包括：剪切图生成单元201，用于获取不同阶段的多张口内照，并对多张口内照进行标号后依次输入进训练好的口内照定位网络中，以生成多张剪切图；关键点检测单元202，用于将多张所述剪切图送入关键点检测网络中，以生成多张所述剪切图中两个的关键点的坐标、以及两个关键点之间的距离；口内照处理单元203，用于根据矫正前的口内照剪切图和两个关键点之间的距离对矫正过程中的多张口内照进行平移和裁剪，以生成多张尺寸相同的口内照；视频生成单元204，用于将多张所述尺寸相同的口内照根据所述标号进行合成，以生成牙齿矫正过程的视频。
39.优选地，所述口内照定位网络的训练过程为：s201,向所述口内照定位网络输入一张口内照，以生成剪切图预测坐标形成的第一矩阵、以及框的置信度；s202,获取所述口内照实际标注坐标形成的第二矩阵，并根据所述第一矩阵和所述第二矩阵生成交并比；s203,将所述交并比和所述框的置信度作为所述口内照定位网络的损失函数，以更新所述内照定位网络的参数；重复步骤s201至s203，直至迭代预设次数。
40.优选地，所述关键点检测网络的训练过程为：s301，向所述关键点检测网络输入一张经过所述口内照定位网络裁剪过后的口内照，以预测生成两个关键点的位置坐标、以及两个关键点之间的第一距离；s302，获取在所述裁剪过后的口内照上实际标注的两个关键点的位置坐标，以及实际标注的两个关键点之间的第二距离，并生成所述第一距离和所述第二距离之间的差值；s303，将所述差值作为所述关键点检测网络的损失函数，以更新所述关键点检测网络的参数；重复步骤s301至s303，直至迭代预设次数。
41.优选地，所述根据矫正前的口内照剪切图和两个关键点之间的距离对矫正过程中的多张口内照进行平移和裁剪，以生成多张尺寸相同的口内照，具体为：将所述矫正前的口内照剪切图的两个关键点之间的距离作为缩放因子，对剩余的剪切图进行缩放；获取进行缩放后的剪切图的两个关键点坐标相对于矫正前的口内照剪切图的两个关键点的平均平移距离，任取一个关键点作为基点对缩放后的剪切图以平均平移距离进行平移，以使得缩放后的剪切图与所述矫正前的口内照剪切图重合。
42.本发明第三实施例提供了一种牙齿矫正的动画合成设备，其特征在于，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上任意一项所述的一种牙齿矫正的动画合成方法。
43.本发明第四实施例提供了一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如上任意一项所述的一种牙齿矫正的动画合成方法。
44.基于本发明提供的一种牙齿矫正的动画合成方法、装置、设备及存储介质，先通过获取不同阶段的多张口内照，并对多张口内照进行标号后依次输入进训练好的口内照定位网络中，以生成多张剪切图，接着，将多张所述剪切图送入关键点检测网络中，以生成多张所述剪切图中两个的关键点的坐标、以及两个关键点之间的距离；再接着，根据矫正前的口内照剪切图和两个关键点之间的距离对矫正过程中的多张口内照进行平移和裁剪，以生成多张尺寸相同的口内照；最后，将多张所述尺寸相同的口内照根据所述标号进行合成，以生成牙齿矫正过程的视频，解决了现有牙齿矫正视频存在缺乏连贯性的问题。
45.示例性地，本发明第三实施例和第四实施例中所述的计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述实现一种牙齿矫正的动画合成设备中的执行过程。例如，本发明第二实施例中所述的装置。
46.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路 (application specific integrated circuit，asic)、现成可编程门阵列 (field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种牙齿矫正的动画合成方法的控制中心，利用各种接口和线路连接整个所述实现一种牙齿矫正的动画合成方法的各个部分。
47.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现一种牙齿矫正的动画合成方法的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、文字转换功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、文字消息数据等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡（smart media card, smc）、安全数字（secure digital, sd）卡、闪存卡（flash card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
48.其中，所述实现的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序
代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
49.需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
50.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

技术特征：
1.一种牙齿矫正的动画合成方法，其特征在于，包括：获取不同阶段的口内照，并对多张口内照进行标号后依次输入进训练好的口内照定位网络中，以生成多张剪切图；将多张所述剪切图送入关键点检测网络中，以生成多张所述剪切图中两个的关键点的坐标、以及两个关键点之间的距离；根据矫正前的口内照剪切图和两个关键点之间的距离对矫正过程中的多张口内照进行平移和裁剪，以生成多张尺寸相同的口内照；将多张所述尺寸相同的口内照根据所述标号进行合成，以生成牙齿矫正过程的视频。2.根据权利要求1所述的一种牙齿矫正的动画合成方法，其特征在于，所述口内照定位网络的训练过程为：s201,向所述口内照定位网络输入一张口内照，以生成剪切图预测坐标形成的第一矩阵、以及框的置信度；s202,获取所述口内照实际标注坐标形成的第二矩阵，并根据所述第一矩阵和所述第二矩阵生成交并比；s203,将所述交并比和所述框的置信度作为所述口内照定位网络的损失函数，以更新所述内照定位网络的参数；重复步骤s201至s203，直至迭代预设次数。3.根据权利要求1所述的一种牙齿矫正的动画合成方法，其特征在于，所述关键点检测网络的训练过程为：s301，向所述关键点检测网络输入一张经过所述口内照定位网络裁剪过后的口内照，以预测生成两个关键点的位置坐标、以及两个关键点之间的第一距离；s302，获取在所述裁剪过后的口内照上实际标注的两个关键点的位置坐标，以及实际标注的两个关键点之间的第二距离，并生成所述第一距离和所述第二距离之间的差值；s303，将所述差值作为所述关键点检测网络的损失函数，以更新所述关键点检测网络的参数；重复步骤s301至s303，直至迭代预设次数。4.根据权利要求1所述的一种牙齿矫正的动画合成方法，其特征在于，所述根据矫正前的口内照剪切图和两个关键点之间的距离对矫正过程中的多张口内照进行平移和裁剪，以生成多张尺寸相同的口内照，具体为：将所述矫正前的口内照剪切图的两个关键点之间的距离作为缩放因子，对剩余的剪切图进行缩放；获取进行缩放后的剪切图的两个关键点坐标相对于矫正前的口内照剪切图的两个关键点的平均平移距离，任取一个关键点作为基点对缩放后的剪切图以平均平移距离进行平移，以使得缩放后的剪切图与所述矫正前的口内照剪切图重合。5.一种牙齿矫正的动画合成装置，其特征在于，包括：剪切图生成单元，用于获取不同阶段的口内照，并对多张口内照进行标号后依次输入进训练好的口内照定位网络中，以生成多张剪切图；关键点检测单元，用于将多张所述剪切图送入关键点检测网络中，以生成多张所述剪切图中两个的关键点的坐标、以及两个关键点之间的距离；
口内照处理单元，用于根据矫正前的口内照剪切图和两个关键点之间的距离对矫正过程中的多张口内照进行平移和裁剪，以生成多张尺寸相同的口内照；视频生成单元，用于将多张所述尺寸相同的口内照根据所述标号进行合成，以生成牙齿矫正过程的视频。6.根据权利要求5所述的一种牙齿矫正的动画合成装置，其特征在于，所述口内照定位网络的训练过程为：s201,向所述口内照定位网络输入一张口内照，以生成剪切图预测坐标形成的第一矩阵、以及框的置信度；s202,获取所述口内照实际标注坐标形成的第二矩阵，并根据所述第一矩阵和所述第二矩阵生成交并比；s203,将所述交并比和所述框的置信度作为所述口内照定位网络的损失函数，以更新所述内照定位网络的参数；重复步骤s201至s203，直至迭代预设次数。7.根据权利要求5所述的一种牙齿矫正的动画合成装置，其特征在于，所述关键点检测网络的训练过程为：s301，向所述关键点检测网络输入一张经过所述口内照定位网络裁剪过后的口内照，以预测生成两个关键点的位置坐标、以及两个关键点之间的第一距离；s302，获取在所述裁剪过后的口内照上实际标注的两个关键点的位置坐标，以及实际标注的两个关键点之间的第二距离，并生成所述第一距离和所述第二距离之间的差值；s303，将所述差值作为所述关键点检测网络的损失函数，以更新所述关键点检测网络的参数；重复步骤s301至s303，直至迭代预设次数。8.根据权利要求5所述的一种牙齿矫正的动画合成装置，其特征在于，所述根据矫正前的口内照剪切图和两个关键点之间的距离对矫正过程中的多张口内照进行平移和裁剪，以生成多张尺寸相同的口内照，具体为：将所述矫正前的口内照剪切图的两个关键点之间的距离作为缩放因子，对剩余的剪切图进行缩放；获取进行缩放后的剪切图的两个关键点坐标相对于矫正前的口内照剪切图的两个关键点的平均平移距离，任取一个关键点作为基点对缩放后的剪切图以平均平移距离进行平移，以使得缩放后的剪切图与所述矫正前的口内照剪切图重合。9.一种牙齿矫正的动画合成设备，其特征在于，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如权利要求1至4任意一项所述的一种牙齿矫正的动画合成方法。10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如权利要求1至4任意一项所述的一种牙齿矫正的动画合成方法。

技术总结
本发明提供了一种牙齿矫正的动画合成方法、装置、设备及存储介质，先通过获取不同阶段的多张口内照，并对多张口内照进行标号后依次输入进训练好的口内照定位网络中，以生成多张剪切图，接着，将多张所述剪切图送入关键点检测网络中，以生成多张所述剪切图中两个的关键点的坐标、以及两个关键点之间的距离；再接着，根据矫正前的口内照剪切图和两个关键点之间的距离对矫正过程中的多张口内照进行平移和裁剪，以生成多张尺寸相同的口内照；最后，将多张所述尺寸相同的口内照根据所述标号进行合成，以生成牙齿矫正过程的视频，解决了现有牙齿矫正视频存在缺乏连贯性的问题。齿矫正视频存在缺乏连贯性的问题。齿矫正视频存在缺乏连贯性的问题。


技术研发人员：沈飞鸿
受保护的技术使用者：杭州朝厚信息科技有限公司
技术研发日：2023.05.26
技术公布日：2023/8/13