实施用于分析牙齿状况的方法的设备与流程

实施用于分析牙齿状况的方法的设备
1.本技术是申请日为2019年5月14日、申请号为“201980048831.7”、发明名称为“用于分析牙齿状况的方法”的发明专利申请的分案申请。
技术领域
2.本发明涉及对患者的牙齿状况的分析。


背景技术：

3.当牙科护理专业人员干预患者的牙齿或进行诊断时，他或她需要评估实际的牙齿状况，特别是牙齿的位置和/或形状和/或尺寸、和/或固定至牙齿的正畸矫治器的良好定位。
4.该评估通常需要将实际牙齿状况与理论牙齿状况进行比较。例如，为了诊断正畸矫治器附件的脱离，可能需要将实际牙齿状况(在实际牙齿状况中，附件异常地与其本应粘接的牙齿分离)与理论牙齿状况(在理论牙齿状况中，所述附件实际上粘接至所述牙齿)进行比较。该需求尤其存在于个性化治疗中，对于个性化治疗，附件成形为精确地适应牙齿的形态和/或按照牙科护理专业人员的特定处方。
5.当试图评估牙齿是否被异常定位或表现出异常形状时，牙科护理专业人员也会在理论牙齿状况和实际牙齿状况之间进行比较。特别地，牙齿的实际位置或形状或尺寸必须与牙科护理专业人员进行比较时牙齿应当呈现的理论位置或形状或尺寸进行比较。
6.此外，有时需要非常快速地、甚至是实时地进行对实际牙齿状况的分析。例如，当牙科护理专业人员借助工具进行干预以改变牙齿的形状或外观时，他或她在该工具上进行的动作必须精确并以持续的方式适应变化的实际牙齿状况。
7.通常，实际牙齿状况与理论牙齿状况之间的比较的质量对治疗的质量具有影响，无论该治疗(treatment)是否是治疗性(therapeutic)的。
8.因此，持续需要一种分析方法，该方法允许改善尤其是牙科护理专业人员对实际牙齿状况的鉴别。
9.此外，牙齿治疗的有效性与患者对医疗处方的依从性直接相关。如果不能很好地遵从，牙齿状况可能会恶化，这给患者带来额外的风险，也给社会保障或护理筹资组织带来了成本。
10.治疗的不良遵从也使临床研究更加困难，特别是如果患者未声明发生不遵从的时间段的话。
11.因此，需要一种允许改善遵从性的方法。
12.本发明的一个目的是至少部分地解决这些需求。


技术实现要素：

13.本发明提出了一种用于分析患者的实际牙齿状况的方法，该方法包括以下连续步骤：
14.a)在更新时刻，优选地借助摄像机，获取表示实际牙齿场景的更新图像；
15.b)根据更新图像上的实际牙齿场景的表示来确定虚拟牙齿场景；
16.c)如下地呈现虚拟牙齿场景：
[0017]-虚拟牙齿场景以透明模式呈现并重叠在实际牙齿场景上、特别是重叠在通过其可看到实际牙齿场景的屏幕上，或虚拟牙齿场景被投射在实际牙齿场景上，或者
[0018]-虚拟牙齿场景与在屏幕上显示的更新图像上的实际牙齿场景的表示重叠，该虚拟牙齿场景以透明模式或以不透明模式重叠在所述表示上，
[0019]
然后，优选地，返回到步骤a)。
[0020]
在特定的实施方式中，步骤b)包括针对模拟时刻，对在更新图像上表示的实际牙齿场景进行模拟，然后根据所述模拟确定虚拟牙齿场景。
[0021]
如在说明书的下文中将更详细地看到的，根据本发明的方法因此允许操作者同时观察：
[0022]-实际牙齿场景，一方面直接观察或者通过屏幕观察，或者另一方面在更新图像上观察，以及
[0023]-虚拟牙齿场景，其相应地与实际牙齿场景或者与更新图像上的实际牙齿场景的表示重叠。
[0024]
该重叠非常有利于操作者(优选实时地)分析实际牙齿场景和虚拟牙齿场景之间的差异。它还允许添加与实际牙齿场景有关的信息，并允许根据更新图像上的实际牙齿场景的表示来布置该信息。由此提高了将该信息传输给操作者的质量。最后，它允许对牙齿状况进行逼真的模拟，例如对美学治疗的模拟。
[0025]
当该方法由牙科护理专业人员实施时，该方法允许他或她提高他或她对患者的干预的质量。特别地，当该方法由患者实施时，可以逼真地模拟牙齿治疗或牙齿治疗的修改的效果，这改善了患者的遵从性。
[0026]
根据本发明的方法还可以包括以下可选特征中的一个或多个：
[0027]-在步骤b)中，虚拟牙齿场景包括：
[0028]-由参考模型建模的实际牙齿场景的一个或多个物理元素的表示，和/或
[0029]-不由参考模型建模的实际牙齿场景的一个或多个物理元素的表示，和/或
[0030]-不在实际牙齿场景中和/或不在参考模型中的一个或多个物理元素的表示，和/或
[0031]-不表示实际牙齿场景的物理元素的指示符，优选地多个这种指示符；
[0032]-在步骤b)中，识别虚拟牙齿场景的不符合评估标准的元素，并且在虚拟牙齿场景中突出显示该元素和/或将与所述元素有关的消息添加到虚拟牙齿场景中；
[0033]-评估标准涉及患者的健康状态和/或患者佩戴的正畸矫治器的定位和/或患者佩戴的正畸矫治器的状况和/或牙齿治疗的成本；
[0034]-所述消息是患者和/或负责该患者的牙科护理专业人员要遵循的指示；
[0035]-在步骤b)中，根据以下内容确定虚拟牙齿场景的元素的、以及尤其是指示符的性质和/或位置和/或外观：
[0036]-情境(context)，特别是根据与虚拟牙齿场景中另一个元素的距离和/或根据所追求的目标；
[0037]-在步骤b)中，根据在先虚拟牙齿场景(也就是说从步骤a)至c)的在先周期)中显示的元素的性质和/或位置和/或外观、和/或根据与所述在先虚拟牙齿场景的时间间隔、和/或根据步骤a)至c)的连续周期的更新图像之间的差异来确定虚拟牙齿场景的元素的性质和/或位置和/或外观；
[0038]-在步骤b)中，虚拟牙齿场景被确定为使得其包括关于以下内容的信息、尤其是文本或图形信息：
[0039]-更新图像和参考图像之间的差异，和/或
[0040]-参考模型与实际牙齿场景之间的差异，和/或
[0041]-目标位置，尤其是对于工具或正畸矫治器或装饰物品的目标位置；
[0042]-在步骤c)中，虚拟牙齿场景被呈现在实际牙齿场景或更新图像上，使得虚拟牙齿场景的实际物理元素的表示相应地逼真地与所述实际物理元素或与更新图像上的所述实际物理元素的表示重叠；
[0043]-相应地，在步骤c)之后小于5秒内重复步骤a)；
[0044]-在步骤c)之后，根据虚拟牙齿场景在实际牙齿场景上或在更新图像上的牙齿场景的表示上的表示，修改正畸矫治器和/或调节牙弓和/或定位物品或正畸矫治器。
[0045]
根据本发明的一个方面，在步骤c)中，虚拟牙齿场景被呈现在透明屏幕上，与操作者可以通过屏幕(特别是当面对屏幕时)观察的实际牙齿场景重叠。
[0046]
优选地，屏幕和摄像机相对于操作者是固定的。优选地，屏幕和摄像机被结合到眼镜中。然后，根据本发明的方法对于戴眼镜的牙科护理专业人员特别有用，以便能够实时评估他或她正在检查的患者的牙齿状况。
[0047]
尤其是根据本发明的该方面，根据本发明的方法可以用于实时评估剥离或铣削操作、或者用于定位正畸矫治器或正畸矫治器的一部分的操作。
[0048]
根据本发明的一个方面，在步骤c)中，在不透明的、也就是说操作者通过其无法看到的屏幕上呈现与更新图像上的实际牙齿场景的表示重叠的虚拟牙齿场景。
[0049]
在一个实施方式中，屏幕是手机、平板电脑、笔记本电脑或虚拟现实头盔的屏幕。屏幕也可以是镜子的玻璃，该镜子优选地配备有至少一个摄像机。
[0050]
优选地，操作者操纵手机、笔记本电脑、虚拟现实头盔或配备有至少一个摄像机的镜子，以获取所述更新图像以及查看实际牙齿场景和虚拟牙齿场景。
[0051]
根据该实施方式，牙科护理专业人员可以通过观看屏幕来在患者的牙弓上工作。然后，他或她会同时在屏幕上看到通过摄像机获取的图像和通过虚拟牙齿场景提供的信息。特别地，他或她可以在其无法直接观察到但可以通过摄像机观察到的牙弓区域上“盲”工作(也就是说，无需直接地或通过屏幕看到实际牙齿场景)，尤其是当摄像机独立于屏幕时，并且特别是当摄像机可以被引入患者嘴中时。
[0052]
在一个实施方式中，在步骤b)或d)中，根据至少一个治疗参数的值来确定虚拟牙齿场景，该至少一个治疗参数可以通过与所述手机、所述笔记本电脑、所述虚拟现实头盔、摄影机、所述镜子或所述眼镜，优选地与手机的交互来修改。优选地，治疗参数与患者对正畸矫治器的佩戴和/或患者对治疗指示的遵从性有关。
[0053]
根据本发明的方法、尤其是根据本发明的该方面，可以促进患者做出决策，特别是因为它允许他或她通过选择模拟时刻来查看可能的不同治疗选择对他或她的外观的影响。
该方法也可以是改善遵从性的有效教导工具。
[0054]
参考模型的使用
[0055]
在优选的实施方式中，借助对患者的至少一个牙弓进行数字化建模的三维数字模型来确定虚拟牙齿场景，该模型被称为“参考模型”。
[0056]
优选地，参考模型在步骤c)中还用于相对于实际牙齿场景或其表示来定位虚拟牙齿场景。
[0057]
有利地，虚拟牙齿场景的构成因此可以是完全自动化的。
[0058]
特别地，根据本发明的方法可以包括以下连续步骤：
[0059]
a)在参考时刻，优选地借助扫描仪生成对患者的至少一个牙弓进行数字化建模的参考模型；
[0060]
b)可选地，修改参考模型；
[0061]
c)在更新时刻，优选地借助摄像机获取表示实际牙齿场景的更新图像；
[0062]
d)通过观察可选地被修改的参考模型，搜索呈现出与更新图像的最大匹配度的参考图像，然后根据参考图像确定虚拟牙齿场景；
[0063]
e)呈现虚拟牙齿场景，
[0064]-虚拟牙齿场景以透明模式呈现并重叠在实际牙齿场景上、特别是重叠在通过其可看到实际牙齿场景的屏幕上，或者虚拟牙齿场景被投射在实际牙齿场景上，或者
[0065]-虚拟牙齿场景与在屏幕上显示的更新图像上的实际牙齿场景的表示重叠，该虚拟牙齿场景以透明模式或以不透明模式重叠在所述表示上，
[0066]
然后，优选地，返回到步骤c)。
[0067]
步骤c)是步骤a)的特定情况。因此，适用于步骤a)的可选特征适用于步骤c)。
[0068]
步骤a)、b)和d)一起构成了步骤b)的特定情况。因此，适用于步骤b)的可选特征适用于步骤a)、b)和d)。
[0069]
步骤e)是步骤c)的特定情况。因此，适用于步骤c)的可选特征适用于步骤e)。
[0070]
优选地，在步骤a)中，在患者的牙弓或所述牙弓的物理模型佩戴或不佩戴正畸矫治器时，并且特别地在所述牙弓或所述牙弓的所述物理模型不佩戴正畸矫治器时，扫描所述牙弓或所述牙弓的物理模型。
[0071]
更新时刻可以不同于参考时刻，并且特别是在参考时刻之后的大于三天。然后所述方法可以用于查看这两个时刻之间的牙弓的改变。
[0072]
在一个实施方式中，虚拟牙齿场景包括参考图像。
[0073]
优选地，在步骤d)中，根据以下内容确定虚拟牙齿场景的元素的、以及尤其是指示符的性质和/或位置和/或外观：
[0074]-参考图像，和/或
[0075]-更新图像和参考图像之间的差异，和/或
[0076]-情境。
[0077]
参考模型可以提供对“隐藏”信息、也就是说操作者不可访问的信息或操作者难以访问的信息的访问。特别地，这种隐藏信息可以取决于参考图像，并且因此取决于更新图像。在一个实施方式中，在步骤d)中选择隐藏信息的至少一部分。因此，步骤d)使得可以创建包含这种信息的虚拟牙齿场景，并且步骤e)允许将虚拟牙齿场景呈现在实际牙齿场景或
实际牙齿场景的表示上。
[0078]
应用
[0079]
特别地，根据本发明的方法可以用于非治疗性目的，特别是用于研究目的，例如以评估治疗的效率或正畸矫治器的效率，或者用于美学目的，或者用于教导目的。
[0080]
在一个实施方式中，虚拟牙齿场景可以与如在模拟时刻模拟的实际牙齿场景有关，或者就过去而言与如在模拟时刻观察到的实际牙齿场景有关。特别地，虚拟牙齿场景可以在模拟时刻模拟实际牙齿场景。优选地借助计算机、优选地借助人工智能算法来获得模拟。
[0081]
于是，根据本发明的方法对于操作者、特别是患者特别有用，以能够查看在在先模拟时刻或优选地在更新时刻之后的牙齿状况，或通过改变模拟时刻来查看这种牙齿状况的演变。
[0082]
优选地，所述方法包括步骤a)至c)或步骤c)至e)的一系列的周期，在每个周期上确定虚拟牙齿场景，以在当前模拟时刻模拟牙齿状况。
[0083]
在一个实施方式中，借助动态模拟工具来确定虚拟牙齿场景，该动态模拟工具被配置为根据所确定的模拟时刻，特别是根据更新时刻后的模拟时刻来提供虚拟牙齿场景的至少一个元素。
[0084]
当根据本发明的方法用于模拟目的时，所述方法可以包括以下可选特征中的一个或多个：
[0085]-模拟时刻在更新时刻之后，例如在更新时刻之后的大于1天、大于10天或大于100天；
[0086]-在步骤a)之前或步骤b)之前确定模拟时刻，优选地通过操作者与屏幕的交互来确定；
[0087]-所述屏幕：
[0088]-是触摸屏幕，并且更新时刻和模拟时刻之间的时间间隔通过交互、优选地通过在所述屏幕上拖动手指来修改，和/或
[0089]-包括用于输入模拟时刻的区域；
[0090]-在步骤a)至c)的两个周期之间，修改更新时刻和模拟时刻之间的时间间隔；
[0091]-通过修改屏幕上表示的光标的位置来设置模拟时刻；
[0092]-在步骤b)中，根据以下内容确定虚拟牙齿场景的元素的、以及尤其是指示符的性质和/或位置和/或外观：
[0093]-情境，并且特别是根据与虚拟牙齿场景的另一元素的距离和/或根据所追求的目标和/或根据模拟时刻；
[0094]-在步骤b)中，针对模拟时刻确定患者的嘴、优选地颌部、牙冠和/或牙根和/或牙龈的可见或不可见部分的颜色和/或形状和/或位置，并且虚拟牙齿场景被确定成使得该虚拟牙齿场景再现所述颜色和/或形状和/或位置；
[0095]-患者在步骤a)中获取所述更新图像，并且在步骤c)中观察屏幕。
[0096]
特别地，根据本发明的这种方法可以用于模拟：
[0097]-一种或多种正畸矫治器在患者的牙齿上的效果，尤其是以便选择最适合他或她的正畸矫治器；
[0098]-暂时或永久停止当前治疗的效果；
[0099]-应用指示的效果。
[0100]
特别地，所述方法可以尤其用于教导目的，以观察改变刷牙的频率和/或持续时间和/或技术的效果、或者延迟更换正畸夹板的效果和/或延迟与牙科护理专业人员的预约的效果。
[0101]
例如，所述方法可以用于在模拟时刻模拟患者的牙齿的颜色和/或位置。尤其是，所述方法可以用于观察用于美白牙齿的治疗的效果或观察香烟的影响。
[0102]
当所述方法包括步骤a)至e)时，在步骤b)中，可以修改参考模型以模拟参考时刻和模拟时刻之间的时间流的影响，特别是在这些时刻之间的牙齿治疗(治疗性的或非治疗性的)的效果。
[0103]
根据本发明的方法甚至可以特别地用于：
[0104]-尤其是在正畸治疗的情境下，评估在参考时刻和更新时刻之间、或者在模拟时刻和更新时刻之间与正畸矫治器和/或一个或多个牙齿的位置和/或形状和/或尺寸有关的差异，和/或
[0105]-指示牙弓的目标位置，特别是关于一个或多个牙齿的目标位置。
[0106]
特别地，根据本发明的方法可以用于查看在参考时刻和更新时刻之间或者在模拟时刻和更新时刻之间牙齿所经历的剥离或牙龈的变形，或者引导正畸矫治器或正畸矫治器的一部分或牙齿植入物或装饰物品的放置。
[0107]
在一个实施方式中，虚拟牙齿场景与实际牙齿场景有关，优选地，虚拟牙齿场景至少部分地表示在更新时刻出现或根据模拟应当在更新时刻出现的实际牙齿场景。换句话说，如果虚拟牙齿场景表示患者的牙齿，则其表示牙齿在更新时刻的位置或在更新时刻的模拟位置。因此，模拟时刻与更新时刻相同或接近，例如模拟时刻与更新时刻间隔小于1个月、小于2周或小于1周。
[0108]
设备
[0109]
本发明还涉及用于实施根据本发明的方法的设备。
[0110]
这种设备包括：
[0111]-可选地，在步骤a)和b)中用于生成和可选地修改参考模型的装置，该装置优选地包括扫描仪和计算机；
[0112]-摄像机，其被配置为实施步骤a)或c)；
[0113]-处理单元，其被配置为实施步骤b)或步骤d)；
[0114]-呈现装置以及优选地如前所述的屏幕，呈现装置被配置为实施步骤c)或e)；
[0115]
处理单元、摄像机和呈现装置被配置为彼此通信以实施所述步骤。
[0116]
优选地，摄像机被配置为获取实际牙齿场景的一系列更新图像并且将所述更新图像发送至处理单元。
[0117]
优选地，
[0118]-处理单元被配置为：
[0119]-通过观察参考模型，针对从摄像机接收到的每个更新图像，搜索呈现出与所述更新图像的最大匹配度的参考图像，
[0120]-根据参考图像来确定虚拟牙齿场景，以及
[0121]-将所述虚拟牙齿场景发送至呈现装置；
[0122]-呈现装置被配置为示出重叠在实际牙齿场景上或重叠在更新图像中的实际牙齿场景的表示上的虚拟牙齿场景。
[0123]
在一个实施方式中，虚拟牙齿场景以透明模式呈现在实际牙齿场景上或更新图像中的实际牙齿场景的表示上。
[0124]
在一个实施方式中，所述设备包括眼镜，该眼镜中结合有摄像机和呈现装置，优选地结合有摄像机、呈现装置和处理单元。
[0125]
在一个实施方式中，呈现装置被配置为将虚拟牙齿场景呈现在眼镜的镜片上，虚拟牙齿场景与实际牙齿场景逼真地重叠，或者被配置为将虚拟牙齿场景投射到构成实际场景的物理元素上。
[0126]
在一个实施方式中，所述设备包括手机或摄影机或笔记本电脑或虚拟现实头盔或平板电脑或镜子，上述设备中结合有摄像机和呈现装置，优选地结合有摄像机、呈现装置和处理单元。
[0127]
优选地，呈现装置包括屏幕，该屏幕使得可以显示更新图像并且以“增强现实”将虚拟牙齿场景呈现在实际牙齿场景的表示上。
[0128]
实际牙齿场景的表示可以是显示在手机或摄影机或笔记本电脑或虚拟现实头盔或平板电脑的屏幕上的图像。
[0129]
实际牙齿场景的表示可以是镜子返回的反射。
[0130]
如在下文的说明书中将更详细地看到的，观察者因此可以观察实际牙齿场景或者更新图像上的实际牙齿场景的表示、以及优选地以透明的模式在实际牙齿场景上或者在更新图像上的实际牙齿场景的表示上的虚拟牙齿场景。因此，他或她可以立即访问在实际牙齿场景的环境中呈现的虚拟牙齿场景中包含的信息。为此目的，将屏幕结合到眼镜中是特别有利的。
[0131]
定义
[0132]“患者”是对其实施根据本发明的方法的人，无论该人是否正在接受牙齿治疗。
[0133]“牙齿状况”定义了在一时刻与患者的牙弓有关的一组特征，例如，在该时刻牙齿的位置、牙齿的形状、正畸矫治器的位置等。
[0134]“牙科护理专业人员”被理解为是指有资格提供牙科服务的任何人，包括正畸医生和牙医。佩戴眼镜的操作者优选是正畸医生或牙医。
[0135]“操作者”被理解为是指在步骤c)中实施用于将虚拟牙齿场景呈现给他或她的方法的人。特别地，操作者可以是患者或牙科护理专业人员。
[0136]“眼镜”被理解为是指可以佩戴在操作者的眼睛前面、优选地置于操作者的鼻子和/或耳朵上的装置。
[0137]“正畸矫治器”是患者佩戴或打算佩戴的矫治器。正畸矫治器可以用于治疗性或预防性治疗，也可以用于美学治疗。特别地，正畸矫治器可以是具有弓形件和附件的器具，或正畸夹板。这种夹板以跟随其固定至的牙弓的连续牙齿的方式延伸。它限定了大致“u”形的通道。特别地，可以确定正畸矫治器的构造，以确保将其固定至牙齿，也根据牙齿所需的目标定位来确定。更具体地，形式被确定为使得在服务位置中，正畸矫治器施加趋于将被治疗的牙齿移动至其目标位置的应变(主动正畸矫治器)，或者施加趋于将牙齿保持在该目标位
置的应变(被动正畸矫治器或“约束”正畸矫治器)。
[0138]“模型”被理解为是指数字三维模型。
[0139]“图像”被理解为是指二维图像。图像由像素形成。“更新图像”是在所谓的“更新”时刻拍摄的图像。它们优选地从摄像机拍摄的影像中提取。“参考图像”是“参考”模型的视图，且呈现出与更新图像的最大匹配度。
[0140]“牙弓”被理解为是指牙弓的全部或一部分。因此，“牙弓的图像”或“牙弓的模型”相应地被理解为是指所述牙弓的全部或一部分的二维的表示或三维的表示。
[0141]“场景”由可以同时观察到的一组元素组成。“牙齿场景”是包括牙弓的场景。
[0142]“实际场景”由物理元素组成。因此，实际牙齿场景包括牙弓，但可选地，还包括由牙弓的牙齿佩戴或由操作者操纵的正畸矫治器、和/或由操作者操纵的工具。
[0143]“虚拟场景”由元素的表示组成，尤其是以下内容的表示：
[0144]-相应的实际牙齿场景(也就是说，在从中确定虚拟牙齿场景的更新图像上表示的实际牙齿场景)的物理元素，或
[0145]-另一信息项或“指示符”。
[0146]
可以通过参考模型(例如牙齿轮廓)对物理元素进行建模，或者不通过参考模型对物理元素进行建模(例如通过由操作者操纵的工具进行建模)。
[0147]
物理元素的表示不一定是逼真的。例如，工具可以用直线象征。
[0148]
当虚拟牙齿场景的呈现允许操作者通过所述虚拟牙齿场景看到实际牙齿场景时，虚拟牙齿场景“以透明模式”呈现在实际牙齿场景上。
[0149]
当虚拟牙齿场景的呈现允许操作者通过所述虚拟牙齿场景看到更新图像时，虚拟牙齿场景“以透明模式”呈现在表示实际牙齿场景的更新图像上。
[0150]
当虚拟牙齿场景包括实际牙齿场景的物理元素的表示(该表示被呈现，使得所述表示的可能透明的轮廓相应地重叠在所述物理元素的轮廓上或重叠在更新图像上的所述物理元素的所述表示的轮廓上)时，虚拟牙齿场景与实际牙齿场景或更新图像上的实际牙齿场景的表示“重叠”或“配准”地显示。因此，该重叠看起来是逼真的。例如，当观察者观察到牙弓的牙齿时，确定呈现，使得虚拟牙齿场景上的该牙齿的表示重叠在操作者所感知的牙齿的视图上。
[0151]
当在步骤c)中呈现虚拟牙齿场景时，虚拟牙齿场景的元素的“位置”是指其相对于实际牙齿场景的元素或更新图像上的这些元素的表示的位置。
[0152]
两个对象之间的“匹配度”(或“拟合度”)是这两个对象之间的差异或“距离”的度量。
[0153]
优选地，呈现出最大匹配度的两个图像或“视图”基本上以相同的方式呈现相同的元素。换句话说，这两个图像上的元素的表示可以基本上重叠。
[0154]
除非另有说明，否则“包括”或“包含”或“呈现”或“表示”应当解释为非限制性的。
附图说明
[0155]
通过阅读以下详细描述并研究附图，本发明的其它特征和优点将变得更加明显，其中：
[0156]-图1示意性地表示根据本发明的优选实施方式的分析方法的不同步骤；
[0157]-图2表示参考模型的参考图像的示例；
[0158]-图3a和图3b以及图4a和图4b分别示出了参考图像和更新图像的处理，以从中分别提取表示轮廓信息的参考图和更新图；
[0159]-图5、图6和图7示意性地示出了根据本发明的设备的示例；
[0160]-图8表示虚拟牙齿场景在更新图像上的重叠。
[0161]
相同的附图标记用于表示不同附图中相同或相似的构件。
具体实施方式
[0162]
设备
[0163]
根据本发明的设备10包括摄像机16、计算机处理单元12和呈现装置18。摄像机16、处理单元12和呈现装置设置有允许它们彼此通信的装置。
[0164]
如图5、图6和图7中所示，摄像机16和/或处理单元12和/或呈现装置可以结合在眼镜(该眼镜通常包括被构造为由操作者的鼻子和耳朵佩戴的框架14)、手机、平板电脑、笔记本电脑、虚拟现实头盔、摄影机、或镜子17中。
[0165]
摄像机16旨在获取表示由操作者通过眼镜(图5)，或者在手机(图6)、笔记本电脑、虚拟现实头盔、摄影机、或平板电脑的屏幕上，或者在镜子的玻璃19(图7)上观察到的实际牙齿场景的更新图像。它可以是传统的摄像机。
[0166]
在一个实施方式中，所述设备包括用于投射结构化光图案的装置，该结构化光图案例如是一群点、例如激光、特别是红外光。有利地，实际牙齿场景以变形的方式揭露这些图案，这允许从中推断出与深度有关的信息。
[0167]
在该设备包括镜子的情况下，玻璃19可以是没有镀银的玻璃，并且摄像机可以布置在玻璃的后面，如图7中所示。
[0168]
在一个实施方式中，该设备包括多个摄像机，这使得可以通过简单的三角计算来估计被观察物体与摄像机之间的距离。因此，摄像机的多样性使得可以加速对参考图像的搜索。因此，摄像机还使得可以模拟观察者对实际牙齿场景的三维视图。
[0169]“呈现装置”被理解为是指被配置为从处理单元12接收虚拟牙齿场景并在屏幕上(通过该屏幕观察者可以看到实际牙齿场景)或在更新图像上，在实际牙齿场景上示出所述虚拟牙齿场景的任何装置。
[0170]
在一个实施方式中，呈现装置18包括屏幕和用于将虚拟牙齿场景投射到屏幕上的投影仪。
[0171]
特别地，在摄像机结合在眼镜中的实施方式中，屏幕可以是透明的。优选地将，屏幕被固定至框架14，并且在屏幕上呈现虚拟牙齿场景，以便操作者通过观察该屏幕不仅可以通过屏幕看到实际牙齿场景，而且还可以看到投射到该屏幕上的虚拟牙齿场景。
[0172]
眼镜通常包括分别在操作者的两只眼睛前方延伸的两个镜片，但是镜片的数量没有限制。镜片可以是矫正视力的，或者可以不是矫正视力的。多个镜片可以在同一只眼睛的前方延伸。例如，第一镜片可以矫正操作者的视野，第二透镜可以是用作屏幕的镜片。
[0173]
由公司开发的hololens设备是呈现装置的一个示例。
[0174]
屏幕可以是不透明的，并且更新图像和虚拟牙齿场景配准地呈现在屏幕上，以便操作者通过观察该屏幕不仅可以看到表示实际牙齿场景的更新图像，而且还可以看到虚拟
牙齿场景。
[0175]
特别地，在该实施方式中，例如当摄像机和屏幕被结合在手机(图6)或笔记本电脑或虚拟现实头盔或摄影机或平板电脑或镜子中时，摄像机可以相对于屏幕固定。
[0176]
可替选地，摄像机相对于屏幕可以是自由的(或“独立的”)。有利地，该摄像机相对于屏幕是独立的实施方式允许很大的灵活性。例如，在一个实施方式中，可以在屏幕保持在嘴外的同时将摄像机引入嘴中。
[0177]
特别地，在摄像机结合在镜子中或固定至镜子的实施方式中，屏幕可以是镜子的反射玻璃19，并且虚拟牙齿场景可以与通过玻璃19返回的反射(reflection)r配准地呈现在屏幕上，以便操作者通过观察该屏幕不仅看到表示实际牙齿场景的反射r，而且还看到重叠在实际牙齿场景上的虚拟牙齿场景。
[0178]
因此，反射(就像在眼镜、手机、笔记本电脑、虚拟现实头盔、摄影机或平板电脑的屏幕上显示的更新图像)给予操作者实际牙齿场景的表示。
[0179]
处理单元12可以包括任何计算机的传统电子装置，特别是中央处理单元22、程序和存储器24。优选地，存储器24包含实际牙齿场景的至少一部分的参考模型，并且该模型特别是牙弓的模型，例如如图2中所示。该程序包括代码指令，这些代码指令使得它们被执行时可以实施步骤d)，特别是用于分析更新图像以搜索呈现出与更新图像的最大匹配度的参考模型的视图(即参考图像)，然后相应地确定虚拟牙齿场景。
[0180]
在一个实施方式中，该设备还包括允许操作者参数化虚拟牙齿场景的接口。优选地，该接口被配置成使操作者能够修改确定虚拟牙齿场景的模拟时刻。特别地，虚拟牙齿场景的内容可以包括针对过去或未来模拟时刻模拟的或在过去模拟时刻已知的外观下和/或位置处的实际牙齿场景的元素的表示。
[0181]
例如，在一个实施方式中，屏幕是触摸屏，并且操作者可以通过在输入区域中输入日期、或者通过在屏幕上移动一个或多个手指来修改模拟时刻。例如，向屏幕右侧的移动可以使得前进至未来，而向屏幕左侧的移动可以使得移回过去。相应地，优选实时地对所呈现的虚拟牙齿场景进行调整。
[0182]
接口也可以是机械构件，例如按钮或指轮。
[0183]
在一个实施方式中，该设备被配置为针对更新时刻和模拟时刻之间的时间间隔来从一个周期连续地改变到另一周期(也就是说，针对步骤a)至c)的连续周期或步骤c)至e)的连续周期)从而模拟时间的前进或时间的退回。在一个实施方式中，两个连续的模拟时刻之间的时间差是恒定的，这使得可以查看时间以恒定速度流动的变化。
[0184]
处理单元确定虚拟牙齿场景必须看起来与实际牙齿场景重叠地呈现给操作者的条件。
[0185]
当必须在屏幕上显示的更新图像上呈现虚拟牙齿场景时，操作者观察屏幕，并且因此看到摄像机所观察到的情况。例如通过使用特征标记，诸如缩放、透视效果的校正或对更新图像的重新对准的简单操作就足以确保虚拟牙齿场景在更新图像上的逼真重叠，如下文中所述。
[0186]
当必须在操作者通过其观察实际牙齿场景的透明屏幕上呈现虚拟牙齿场景时，优选的是，摄像机布置成捕获与观察者看到的实际牙齿场景的视图相对应的更新图像。还优选的是，屏幕相对于观察者处于恒定的距离并且以固定的方式取向。有利地，处理单元因此
可以从由摄像机获取的更新图像容易地确定操作者观察到的实际牙齿场景的视图以及虚拟牙齿场景必须看起来与实际牙齿场景重叠地呈现给操作者的条件。
[0187]
方法
[0188]
可以借助根据本发明的设备来实施根据本发明的方法。
[0189]
在步骤a)中，在参考时刻，优选地借助扫描仪生成参考模型。
[0190]
参考模型可以是患者的牙弓的模型，或者由该牙弓的模型和布置在所述牙弓的模型上的正畸矫治器的模型组成。
[0191]
优选地，参考模型的创建来自进行的测量。
[0192]
优选地，可选地在患者佩戴正畸矫治器或牙弓的模制件时，利用3d扫描仪扫描患者的牙弓，以创建参考模型。优选地，使用传统的3d扫描仪执行该扫描。
[0193]
借助于扫描仪获得的参考模型表示牙弓，但是，如果需要，还表示与牙弓同时扫描的任何物体，例如，正畸矫治器或固定至牙弓的装饰物品。
[0194]
可替选地，参考模型可以是从通用模型的库中选择的通用牙弓模型，也就是说，该参考模型是大致适用于多个患者的牙弓模型或者是由这种通用模型的变形而产生的。特别地，变形可以根据对患者进行的测量或观察，例如根据他或她的牙弓的照片。模型的变形为了使其能够对应于一张或多张照片，而可以实施元启发式方法，尤其如wo 2016/066651中所述。
[0195]
特别地，通用牙弓模型可以是通过统计处理获得的模型，例如借助扫描仪生成的多于5个历史模型的平均值、多于10个历史模型的平均值、多于100个历史模型的平均值或多于1000个历史模型的平均值。优选地，历史模型是具有与为其生成参考模型的患者的牙齿特征相同或相似的牙齿特征的“历史”患者的牙弓的模型，例如他们患有相同的病症和/或具有相同的年龄和/或具有相同的性别和/或具有相似的形态。
[0196]
可以从任何角度观察三维参考模型。从确定的角度和距离观察的模型是“模型的视图”。图2和图3a是参考模型的视图的示例。
[0197]
参考模型的视图旨在与更新图像进行比较，以便针对每个更新图像确定与该更新图像最相似的参考图像，然后由此构造添加了与在更新图像上所表示的元素有关的信息的虚拟牙齿场景。
[0198]
参考时刻可以接近于更新时刻，例如与更新时刻(在更新时刻之后或之前)相隔小于1个月、小于2周或小于1周或小于3天。然后更新图像可以用于使通用模型变形，直到获得与更新时刻的牙齿状况相对应的参考模型。此外，虚拟牙齿场景然后提供关于特定于更新时刻的牙齿状况的信息。例如，如果参考模型对牙齿的根部进行建模，则虚拟牙齿场景可以表示牙齿的根部。
[0199]
参考时刻可以与更新时刻相隔，例如相隔大于1个月、大于2周或大于1周或大于3天。然后，参考模型可能与更新时刻的实际情况显著不同。虚拟牙齿场景提供的信息然后可以与参考时刻和更新时刻之间的牙齿状况的变化有关。例如，它们可以提供关于牙齿或正畸矫治器的移动的信息。
[0200]
例如，所述方法可以用于检查在牙齿治疗之后被动约束器具是否正确地将牙齿保持在适当的位置。可以在安装矫治器后立即生成参考模型，并且可以在安装后一个月进行更新图像的获取。因此，参考图像和虚拟牙齿场景将关注牙齿在治疗结束时的位置以及在
更新时刻实际牙齿场景上的虚拟牙齿场景的呈现，由此将允许牙科护理专业人员能够检测到与它们的实际位置的差异。
[0201]
在步骤b)中，在一个实施方式中，修改参考模型。
[0202]
可以在参考时刻和更新时刻之间的任何时刻执行该修改。优选地，基本上在参考时刻执行该修改。
[0203]
参考模型的修改可以是该模型的变形。
[0204]
在一个实施方式中，如wo 2016/066651中所述，将参考模型分段，并且特别地创建牙齿模型。然后，使牙齿模型移动或变形。
[0205]
步骤b)中的修改可以模拟参考时刻和更新时刻之间的时间流的影响，例如牙齿治疗的影响。因此，参考模型的修改产生了表示牙齿在在更新时刻估计的位置或形状的模型。
[0206]
如wo 2016/066651中所述，还可以基于一个或多个更新图像来确定或完善牙齿模型的移动或变形。优选地，在步骤a)中确定的初始参考模型然后借助于对至少一个牙弓或对牙弓的至少一个模制件的扫描而进行的测量而得到。
[0207]
因此，所述方法可以用于检查牙齿治疗的进展是否如预期的那样，初始参考模型被修改成对应于在更新时刻预期的情况。在牙齿正畸中，实质性改变可能需要几天的时间。优选地，在本实施方式中，更新时刻与参考时刻之间的时间间隔大于3天、甚至大于1周、大于2周、大于4周、大于8周、大于12周、甚至大于16周。
[0208]
从对修改的参考模型的观察得到的参考图像然后将揭露牙齿在更新时刻所预期的位置或形状。参考图像构成或可以结合在虚拟牙齿场景中，该虚拟牙齿场景在步骤e)中的呈现允许牙科护理专业人员检测牙齿的实际位置(或形状)与在更新时刻预期的位置(或形状)之间的差异。
[0209]
初始参考模型的修改可以包括添加另一模型和/或该另一模型的修改。例如，安装在牙弓上的正畸矫治器的模型可以添加至初始可能仅表示牙弓的参考模型。然后，参考模型的修改可以包括对该正畸矫治器的修改，以使其以更新时刻所预期的位置或形状出现。然后，其在步骤e)中的呈现允许牙科护理专业人员检测该正畸矫治器的实际位置(或形状)与更新时刻所预期的位置(或形状)之间的差异，并且尤其是检测附件的任何分离。
[0210]
在步骤c)中，在更新时刻，利用呈现实际牙齿场景的摄像机获取更新图像。在附图中，更新图像在屏幕18上用实线表示。
[0211]
根据本发明的设备(其中摄像机被固定在眼镜的框架上或被结合在镜子中)使得可以获取更新图像，该更新图像以高精度表示由操作者通过这些眼镜的镜片或在镜子上观察到的实际牙齿场景。
[0212]
根据本发明的设备(其中摄像机结合在手机、笔记本电脑、平板电脑或摄影机中)使得可以获得更新图像，该更新图像精确地表示由操作者相应地在手机、笔记本电脑、平板电脑、或摄影机的屏幕上观察到的实际牙齿场景。
[0213]
特别地，使用虚拟现实头盔，摄像机可以牢固地固定在屏幕上或独立于屏幕。摄像机和屏幕的独立有利地允许操作者在不直接看到实际牙齿场景的情况下进行操作，也就是说，通过仅在屏幕上看到实际牙齿场景来操作。因此他或她可以“盲”工作。
[0214]
优选地，更新图像是彩色的，优选地是真彩的。
[0215]
在步骤d)中，搜索呈现出与更新图像的最大匹配度的参考图像。
[0216]
在步骤d)中，可以设想用于产生最大匹配度的所有已知方法。
[0217]
尤其可以由于最优化以最小化所述距离(“最佳拟合”)而获得最大匹配度。
[0218]
优选地，通过从不同的观察角度和不同的距离观察参考模型来寻求参考图像，直到获得基本上对应于更新图像(也就是说可以基本重叠在更新图像上)的参考模型的视图。因此，对于每个更新图像，获得呈现出与该更新图像的最大匹配度的参考图像。优选地，借助元启发式方法、优选地进化论方法、优选地通过模拟退火方法来执行该搜索。
[0219]
元启发式方法是已知的最优化方法。优选地，该方法选自由以下形成的组：
[0220]-进化论算法，其优选地从以下中选择：进化策略、遗传算法、差分进化算法、分布估计算法、人工免疫系统、路径重组、混合复杂进化、模拟退火算法、蚁群算法、粒子群优化算法、禁忌搜索和grasp方法；
[0221]-袋鼠算法，
[0222]-弗莱彻(fletcher)和鲍威尔(powell)方法，
[0223]-音效方法，
[0224]-随机穿遂法
[0225]-随机重启爬坡，
[0226]-交叉熵方法，以及
[0227]-上述元启发式方法的混合方法。
[0228]
探索参考模型以搜索参考图像可以包括wo 2016/066651的步骤c)、d)和e)的特征中的一个或多个，只要它们与这种探索有关。
[0229]
优选地，对更新图像进行处理以产生至少部分地表示识别信息的更新图，并且所述搜索包括以下步骤：
[0230]
i)获取参考模型的视图；
[0231]
ii)对该视图进行处理以产生至少部分地表示识别信息的至少一个参考图；
[0232]
iii)比较更新图和参考图，以便确定所述更新图与参考图之间的距离，并且如果该距离大于阈值，则对视图进行修改，然后返回步骤ii)。
[0233]
更新图和参考图表示相同的识别信息。识别信息是通常可以通过对图像进行计算机处理而从该图像(“图像特征”)提取的特征信息。优选地，识别信息选自由轮廓信息、颜色信息、密度信息、距离信息、亮度信息、饱和度信息、关于眩光的信息以及这些信息的组合组成的组。
[0234]
本领域技术人员知道如何处理图像以揭露识别信息，并因此创建相应的图。
[0235]
例如，图4b是与从图4a的更新图像获得的牙齿轮廓有关的更新图。图3b是与从图3a的视图获得的牙齿的轮廓有关的参考图。
[0236]
优选地，视图的修改通过启发式规则来引导，例如，通过偏向如下修改来引导，根据对先前距离的分析，该修改看起来最有利于减小距离。
[0237]
步骤iii)最终得到可以基本上重叠在更新图像上的参考图像。
[0238]
还可以通过识别标记在参考图像和更新图像上的重叠(例如，固定标记(如牙齿的末端或两个牙齿之间的接触点)的重叠)来获得这两个图像之间的最大匹配度。
[0239]
优选地，虚拟牙齿场景包括参考图像或由参考图像组成。参考图像是虚拟牙齿场景的特定示例。
[0240]
在图8中，虚拟牙齿场景的元素由虚线表示。
[0241]
在优选的实施方式中，虚拟牙齿场景包括相应的实际牙齿场景的一个或多个元素的表示，该表示优选是逼真的表示。特别地，优选地，虚拟牙齿场景包括牙弓的表示，但是还可选地，例如，包括由牙弓的牙齿佩戴的正畸矫治器或操作者在牙弓前面操纵的正畸矫治器的表示、或者操作者在牙弓前面操纵的工具的表示。
[0242]
如图8中所示，虚拟牙齿场景可以例如表示牙齿的轮廓26，并且其在牙齿上的投影可以促进对牙齿的移动或变形的检测。
[0243]
虚拟牙齿场景还可以包括未由参考模型建模的实际牙齿场景的一个或多个物理元素(例如由操作者操纵的工具28)的表示。为了识别这种物理元素，例如借助于人工智能算法来分析更新图像。
[0244]
虚拟牙齿场景还可以包括不在实际牙齿场景中的一个或多个物理元素的表示，例如工具或正畸矫治器或装饰物品32，所述工具或正畸矫治器或装饰物品32例如定位在虚拟牙齿场景上以便在实际牙齿场景中出现在工具或正畸矫治器或装饰物品应该由牙科护理专业人员或由患者布置的位置(“目标放置”)。
[0245]
物理元素的表示可以是逼真的(例如由所考虑的物理元素的轮廓组成)或者是象征性的。例如，钻头可以用箭头象征。
[0246]
虚拟牙齿场景的物理元素的表示可以是二维的和/或三维的。特别地，虚拟牙齿场景的呈现可以是全息图。
[0247]
除了或替代物理元素的表示(例如参考图像的表示)，虚拟牙齿场景还可以包括一个或多个指示符34。
[0248]
指示符是虚拟牙齿场景的如下这种元素，其甚至不象征性地表示实际牙齿场景的物理元素。
[0249]
特别地，指示符可以是文本或符号(点、线、箭头、颜色控制色块等)，例如如下符号，该符号示出更新图像和参考图像之间的差异，或者提供与操作者执行的行动(deed)有关的信息，例如向他或她指示他或她正在操纵的工具的方向。
[0250]
在一个实施方式中，指示符指向操作者必须特别注意的位置，例如刷牙位置。指示符可以是图像，优选是好玩的，例如怪物或微生物的图画，操作者必须向其施加工具(例如牙刷)。例如，这种指示符改善了刷牙的学习。
[0251]
在图8中，指示符34指向已被磨损的牙齿区域。
[0252]
可以根据参考图像确定指示符的性质。特别地，指示符可以与参考模型或参考模型的区域相关联。例如，指示符存储在处理单元的存储器24中的数据库中。
[0253]
例如，附加信息可以与参考模型的不同区域相关联，例如以指示正畸矫治器的衰减的脆性区域或粘结区域。附加信息也可以作为整体与参考模型相关联，例如以指定其产生情况或关于患者的信息或关于可能表示的正畸矫治器的信息。指示符使得可以呈现这样的附加信息。
[0254]
指示符的性质可以根据更新图像和参考图像之间的差异来确定。
[0255]
例如，可以添加指示符以揭露牙齿的变形或移动、或者正畸矫治器的脱离。
[0256]
指示符的性质和/或位置和/或外观可以根据情境来确定，特别是根据与虚拟牙齿场景的另一个元素的距离来确定，和/或根据追求的目标来确定。例如，指示符的外观将随
着与特定牙齿的距离或随着患者的风险而改变。
[0257]
情境由使用所述方法的条件定义。
[0258]
例如，操作者可以具有检查患者佩戴的正畸矫治器的位置的目标。于是不需要与该检查无关的指示符，例如衰减区域的指示符。
[0259]
在一个实施方式中，在步骤d)之前，操作者根据目标方法的使用将附加信息输入数据库中。例如，他或她指定用于附接装饰物品或用于铣削牙齿的位置。有利地，可以将相应的指示符添加到虚拟牙齿场景中。
[0260]
例如，箭头可以指向牙齿的一个区域，以便向操作者指示必须固定正畸矫治器或装饰物品的点，或者他或她需要例如借助诸如牙钻(burr)的工具作用在其上的点。
[0261]
指示符还可以逼真地或不逼真地表示实际牙齿场景的物理元素的不可见部分(并且对于操作者不可见的该部分因此不属于实际牙齿场景)，例如牙齿的根部、骨头或牙齿神经。
[0262]
构成虚拟牙齿场景的元素在该场景中根据实际牙齿场景的元素来定位，并且因此，在该特定情况下根据参考图像来定位。特别地，实际物理元素的表示优选地在虚拟牙齿场景中被定位成使得在步骤e)中，它们与这些实际物理元素或与更新图像上的实际物理元素的表示精确地重叠。
[0263]
同样地，优选地，将特定信息添加到例如特定于牙齿的物理元素的指示符被定位成使得在步骤e)中，该指示符看起来紧邻该物理元素或重叠在该物理元素上，例如紧邻该牙齿或重叠在该牙齿上。
[0264]
指示符可以被布置成以便在下一步骤中，在参考图像和更新图像之间已识别出差异的点处显示。例如，可以在正畸矫治器已经脱离牙齿的位置处显示红色标记。
[0265]
在一实施方式中，情境在变化并且指示符的性质和/或位置在虚拟牙齿场景中被相应地调整。特别地，指示符的性质和/或位置可以根据在在先虚拟牙齿场景(也就是说，在先前周期c)-e)(或周期a)至c))中确定的场景)中显示的指示符的性质和/或位置、和/或根据与所述在先虚拟牙齿场景的时间间隔、和/或根据连续周期c)-e)(或周期a)至c))的更新图像之间的差异来确定。
[0266]
例如，所述方法可以用于引导操作者使用工具的动作，例如借助于电钻的钻孔。虚拟牙齿场景的元素可以是指示电钻的取向及其自由端的位置的箭头。所述数据库可以包含协议设置，例如，钻入牙齿的点、电钻的轨迹和最佳前进速度。然后，在步骤c)至e)(或步骤a)至c))的每个周期中，根据元素在先前确定的虚拟牙齿场景中的位置、并且优选地根据所述虚拟牙齿场景与所述在先虚拟牙齿场景之间的时间间隔来确定元素在虚拟牙齿场景中的位置。
[0267]
同样优选地，在连续的更新图像上识别出在这些图像上出现的工具，例如电钻，并且调整元素在虚拟牙齿场景中的位置以考虑工具的实际位置。有利地，虚拟牙齿场景中的指示符的表示因此可以根据工具的实际位置而改变。尤其是，它因此可以适应工具的实际进展速率或实际轨迹。
[0268]
在一个实施方式中，虚拟牙齿场景的元素的外观根据情境而变化。
[0269]
例如，识别出虚拟牙齿场景的不符合评估标准的元素，例如因为它超过了风险阈值，然后在虚拟牙齿场景中对该元素引起注意。例如，如果对情境的分析表明情况正在变得
危险(例如，这是因为工具未遵循期望的轨迹，或者因为正畸矫治器会导致过度校正牙齿的定位)，则可以修改元素的颜色。
[0270]
在一个实施方式中，虚拟牙齿场景不包括参考图像。参考图像可以用于确定虚拟牙齿场景中的元素的性质和/或位置。然而，它在步骤e)(或步骤c))中不会呈现给观察者。
[0271]
在一个实施方式中，根据过去或未来的模拟时刻来确定虚拟牙齿场景。特别地，它可以包括相应的实际牙齿场景的一个或多个元素在过去或未来的构造中的表示，该表示优选地是逼真的。
[0272]
在一个实施方式中，虚拟牙齿场景包括在过去的模拟时刻测量或模拟的牙弓的表示和/或牙弓的牙齿所佩戴的正畸矫治器的表示。
[0273]
在一个实施方式中，虚拟牙齿场景包括如未来的模拟时刻所预期的牙弓的表示和/或牙弓的牙齿所佩戴的正畸矫治器的表示。
[0274]
在过去或未来的模拟时刻的模拟可以由任何模拟软件或由操作者(例如由牙科护理专业人员)执行。
[0275]
虚拟牙齿场景可以例如表示在模拟时刻牙齿的轮廓、正畸矫治器的定位或牙齿的颜色。因此，虚拟牙齿场景在实际牙齿场景上的呈现，优选地在实际牙齿场景上的以透明模式的呈现，允许容易地检测到更新时刻和模拟时刻之间的变化。
[0276]
当指示符表示实际牙齿场景的物理元素的不可见部分(例如牙齿的根部)时，与该指示符有关的信息优选地被包括在参考模型中。例如，参考模型可以是牙弓的模型，其中例如借助锥形束扫描仪对牙齿的冠部以及牙齿的根部进行建模。因此，根据本发明的方法允许操作者查看患者的牙弓的在实际牙齿场景上不可见的部分。有利地，这些不可见部分相对于实际牙齿场景的物理元素以其实际相对位置表示。例如，操作者看到他或她在患者嘴中观察到的牙齿的根部和神经。因此，他或她可以避免与他或她正操纵的工具相互作用或者可以调整正畸矫治器，以限制相邻牙齿的根部之间发生碰撞的风险，并且因此限制根部吸收的风险。例如，在借助注射器进行注射时，操作者可以精确地将针头引入以到达牙根，而不会触及牙神经。由此限制了患者感到的疼痛。
[0277]
在步骤e)中，根据参考图像呈现虚拟牙齿场景，该虚拟牙齿场景重叠在实际牙齿场景上或更新图像中的实际牙齿场景的表示上。
[0278]
虚拟牙齿场景可以直接投射到实际牙齿场景上。例如，可以将红光点投射到牙齿上，以识别正畸附件的粘结区域。
[0279]
虚拟牙齿场景可以显示在屏幕上。
[0280]
当屏幕是透明的时，特别是在屏幕被结合在眼镜中的实施方式中，操作者因此可以通过屏幕观察在屏幕上的虚拟牙齿场景以及以透明模式位于虚拟牙齿场景之后的实际牙齿场景。
[0281]
当屏幕是不透明的时，特别是在该屏幕是手机、笔记本电脑、虚拟现实头盔或平板电脑的屏幕的实施方式中，操作者因此可以同时观察屏幕上的更新图像和虚拟牙齿场景。
[0282]
虚拟牙齿场景可以足够透明以揭露实际牙齿场景或其下的更新图像。
[0283]
可替选地，虚拟牙齿场景可以是不透明的，以便不揭露实际牙齿场景或在其后面或下方延伸的更新图像。虚拟牙齿场景的不透明性对于模拟过去或未来的牙齿状况特别有利，例如用以在为美白目的的治疗影响下查看牙齿的美白情况，或者例如在正畸治疗的影
响下查看牙齿的移动，或者在没有正畸治疗的情况下例如查看牙齿的牙周破坏情况。当在更新图像上呈现虚拟牙齿场景时，可以将其添加到更新图像的顶上，或者以等效的方式，可以将更新图像替换为由计算机重新处理以揭露虚拟牙齿场景的图像。
[0284]
因此，“重叠在更新图像中的实际牙齿场景的表示上的虚拟牙齿场景的呈现”应该被理解为包括示出在实际牙齿场景的表示上的虚拟牙齿场景的任何呈现，包括重新处理的图像的显示。
[0285]
当屏幕是镜子的玻璃时，操作者可以在屏幕上同时观察他或她的反射以及重叠在他或她的反射上的虚拟牙齿场景。特别地，患者可以查看牙齿治疗(治疗性的或非治疗性的)的效果。
[0286]
虚拟牙齿场景是根据参考图像呈现的，并且因此间接地根据更新图像来呈现。特别地，其根据参考图像相对于实际牙齿场景被定位或“放在框中(framed)”。
[0287]
虚拟牙齿场景与实际牙齿场景或与更新图像上的实际牙齿场景的表示重叠或“配准”地呈现，这有助于比较。换句话说，虚拟牙齿场景的对应于实际牙齿场景元素的元素基本上精确地重叠在实际牙齿场景或实际牙齿场景的表示上。尤其当虚拟牙齿场景以透明模式呈现时，一方面即实际牙齿场景或其表示与另一方面即虚拟牙齿场景之间的差异因此对操作者而言清晰可见。指示符还向他或她呈现有助于对情况进行分析的信息。
[0288]
优选地，为了将虚拟牙齿场景配准地呈现在实际牙齿场景上或更新图像上的实际牙齿场景的表示上，在更新图像上识别特征标记，该更新图像相对于虚拟牙齿场景的位置是已知的。例如，识别在更新图像和虚拟牙齿场景上都表示的牙齿的末端或牙齿的特征形状。特别地，从中确定虚拟牙齿场景的参考图像可以用于识别特征标记在虚拟场景中的位置。在步骤e)(或步骤c))中，然后将这些特征标记的表示重叠在更新图像上和虚拟牙齿场景中，这允许相对于在更新图像上表示的特征标记精确地定位虚拟牙齿场景。
[0289]
优选地，该方法然后在步骤e)(或步骤c))之后优选地小于30秒、小于10秒、小于5秒，优选地小于3秒，优选地小于1s、小于0.5s、小于0.2s，优选地小于0.1s返回步骤c)(或步骤a))。优选地，步骤c)至e)(或步骤a)至c))的周期不间断地实时地进行。
[0290]
可替选地，在一个实施方式中，所述方法在步骤e)(或步骤c))的结束完成，而不返回步骤c)(或步骤a))。因此，该方法是“按需”执行的，而不是实时执行的。
[0291]
应用示例
[0292]
牙齿干预中的实时协助
[0293]
尤其是当图像获取装置为眼镜的形式时，本发明可以用于由佩戴该眼镜的牙科护理专业人员对牙齿进行干预。
[0294]
在一个实施方式中，所述方法用于牙齿的剥离操作或铣削操作的情境中。优选地，虚拟牙齿场景表示在待进行的剥离或铣削之后的最终形状的牙齿。优选地，牙科护理专业人员看到最终形状的牙齿的轮廓精确地重叠(也就是说配准)在实际牙齿上。该信息允许他或她以完美的精度机加工牙齿。
[0295]
在一个实施方式中，所述方法用于将牙齿附件或“托架”固定至牙齿。优选地，虚拟牙齿场景在附件已经被固定到牙齿上之后表示处于其最终位置的附件。优选地，牙科护理专业人员相对于实际牙齿在附件的最终位置看到附件的虚拟轮廓。该信息允许他或她将实际的附件精确地与虚拟牙齿场景的附件重叠地放置，从而以完美的精度将该附件定位在实
际牙齿上。
[0296]
该方法还可以用于将装饰物品固定至牙齿。
[0297]
在干预中，本发明允许操作者、特别是牙科护理专业人员访问相关信息。这种信息优选实时地并与他或她直接观察到的实际牙齿场景或在更新图像上的实际牙齿场景重叠地呈现给他或她。因此，本发明使得可以显著地提高情况分析的质量，并且在必要时相应地调整干预。
[0298]
改善遵从性和用于教导目的的用途
[0299]
在一个实施方式中，所述方法用于获得患者对治疗的更好的接受度。特别地，该方法可以用于逼真地模拟牙齿治疗。优选地，图像获取装置则是手机、笔记本电脑、平板电脑或镜子。
[0300]
患者使用手机、笔记本电脑或平板电脑拍摄牙弓，就像自拍一样。患者使用镜子、优选地通过镜子的表面进行拍摄，这允许更新图像如实地表示患者所观察到的反射r。
[0301]
通过与在电话、笔记本电脑或平板电脑的屏幕上彼此一个接一个地跟随的更新图像重叠、或者与他或她在镜子上的反射重叠，患者看到了相应的虚拟牙齿场景，这些场景表示一在模拟时刻的牙齿治疗的步骤。例如，模拟时刻可以是标记治疗开始的时刻，并且虚拟牙齿场景可以表示患者正在考虑佩戴的正畸矫治器。然后，患者在将正畸矫治器放在他或她的嘴中之后，便可以查看他或她的脸。通过转动头部或移动手机、笔记本电脑或平板电脑，或者通过在镜子前移动，他或她可以轻松地改变观察方向，从而实时地调整虚拟牙齿场景。
[0302]
优选地，患者可以通过与屏幕的交互、例如通过移动虚拟光标来修改模拟时刻。相应地调整虚拟牙齿场景，尤其是考虑治疗效果。通过作用在光标上，患者然后可以模拟治疗的进展，也就是说，例如查看牙齿将如何移动和/或改变颜色(尤其是在牙齿美白治疗的情况下，或者例如如果患者吸烟或喝大量的茶或咖啡，牙齿会受到着色剂的影响)。因此，光标的移动允许他或她模拟时间的加速。
[0303]
该模拟有助于患者做出决定，并且有利地构成了遵循治疗的动机。
[0304]
在一个实施方式中，患者可以修改模拟的其它参数的值。例如，他或她可以修改治疗参数值。
[0305]
例如，他或她可以模拟：
[0306]-一种或多种正畸矫治器的效果，尤其是为了选择最适合他或她的正畸矫治器；
[0307]-暂时或永久停止当前治疗的效果；
[0308]-或多或少严格遵从所收到的指示的效果，尤其是查看改变刷牙的频率和/或持续时间和/或技术的效果，或延迟更换正畸夹板的效果和/或延迟与牙科护理专业人员的预约的效果。
[0309]
因此，他或她可以模拟对医疗处方的不良遵从的影响，这是提高遵从性的一个因素。
[0310]
在一个实施方式中，虚拟牙齿场景优选地以消息或虚拟牙齿场景的元素的突出显示(例如通过以红色显示应该更仔细地刷牙的区域)的形式显示警告。
[0311]
通常，本发明可以用于评估患者的牙齿状况，尤其是检查牙齿治疗的进展，和/或在牙齿治疗的范围之外检查牙齿或牙龈的颜色和/或形状和/或排列的变化。
[0312]
变化的牙齿状况的分析
[0313]
在一个实施方式中，所述方法用于查看牙齿(例如通过磨牙症)经受的剥离(stripping)。优选地，虚拟牙齿场景表示牙齿在剥离之前的在先形状。优选地，操作者(通常是患者或牙科护理专业人员)会看到重叠在实际牙齿上的或更新图像上的实际牙齿的表示上的、以其在先形状的牙齿的轮廓。该信息允许他或她立即且精确地查看这种磨损的比例，尤其是当虚拟牙齿场景以透明模式呈现时。
[0314]
在一个实施方式中，所述方法用于观察牙龈的变形，特别是牙龈的凹陷。优选地，虚拟牙齿场景表示牙龈在其变形之前的初始形状。因此，操作者(通常是患者或牙科护理专业人员)会看到重叠在实际牙龈上的或实际牙龈的表示上的、以其初始形状的牙龈的轮廓。该信息允许他或她立即且精确地查看此变形，尤其是当虚拟牙齿场景以透明模式呈现时。
[0315]
当然，本发明不限于上述和所示的实施方式。
[0316]
特别地，患者不限于人类。根据本发明的方法可以用于其它动物。
[0317]
本发明不限于包括步骤a)至e)的方法。特别地，对于参考图像的搜索对于本发明的实施不是必不可少的。如果参考图像不可用，则可以根据更新图像将构成虚拟牙齿场景的元素定位在实际牙齿场景或其表示上。
[0318]
可以根据从同时获取或在不同的(例如连续的)更新时刻获取的多个相应的更新图像获得的多个参考图像来确定虚拟牙齿场景。

技术特征：
1.一种实施用于分析患者的实际牙齿状况的方法的设备，所述方法包括步骤a)至c)的周期，所述步骤a)至c)的周期包括以下连续步骤：a)在更新时刻，获取更新图像，所述更新图像表示由操作者观察到的实际牙齿场景；b)根据所述更新图像上表示的所述实际牙齿场景来确定虚拟牙齿场景，所述虚拟牙齿场景包括所述患者的牙弓的表示、和/或正畸矫治器或工具的表示、和/或关于工具或正畸矫治器或装饰物品的目标位置的信息；识别所述虚拟牙齿场景的不符合评估标准的元素，并且在所述虚拟牙齿场景中突出显示所述元素和/或将与所述元素有关的消息添加到所述虚拟牙齿场景中；然后c)将所述虚拟牙齿场景以透明模式呈现在屏幕上并重叠在所述实际牙齿场景上，或者在屏幕上显示所述更新图像，并且将所述虚拟牙齿场景呈现为与在所述屏幕上显示的所述更新图像上的所述实际牙齿场景的表示重叠，所述虚拟牙齿场景以透明模式或以不透明模式重叠在所述实际牙齿场景的表示上；在步骤c)之后小于五秒内重复步骤a)，所述设备包括：-摄像机(16)，所述摄像机(16)被配置为实施步骤a)；-处理单元(12)，所述处理单元(12)被配置为实施步骤b)；-所述屏幕(18)，所述屏幕(18)被配置为实施步骤c)；所述摄像机(16)、所述处理单元(12)、和所述屏幕(18)被配置为彼此通信以实施所述步骤。2.如权利要求1所述的设备，其中，所述虚拟牙齿场景与在模拟时刻模拟的所述实际牙齿场景有关，所述模拟时刻与所述更新时刻相隔大于三天。3.如权利要求1所述的设备，其中，-所述屏幕(18)是触摸屏，并且所述更新时刻与所述模拟时刻之间的时间间隔通过与所述屏幕的交互来修改，和/或-所述屏幕(18)包括用于输入所述模拟时刻的区域。4.如权利要求1所述的设备，其中，在步骤a)至c)的两个周期之间，能够修改所述更新时刻与所述模拟时刻之间的时间间隔。5.如权利要求1所述的设备，其中，所述摄像机(16)和/或所述屏幕(18)被结合在手机、笔记本电脑、虚拟现实头盔、平板电脑、摄影机或镜子(17)中，所述镜子的玻璃(19)构成所述屏幕，或者所述屏幕和所述摄像机彼此独立，也就是说所述屏幕和所述摄像机没有刚性地固定至彼此。6.如权利要求1所述的设备，其中，在步骤b)中，确定嘴的可见或不可见部分的颜色和/或形状和/或尺寸和/或位置，使得所述虚拟牙齿场景再现在模拟时刻模拟的所述颜色和/或所述形状和/或所述位置。7.如权利要求1所述的设备，其中，所述评估标准涉及所述患者的健康状态和/或所述患者佩戴的正畸矫治器的定位和/或所述患者佩戴的正畸矫治器的状况和/或牙齿治疗的成本。8.如权利要求1所述的设备，其中，在步骤b)中，根据能够由操作者修改的至少一个治疗参数的值来确定所述虚拟牙齿场景。
9.如权利要求8所述的设备，其中，所述治疗参数涉及所述患者对正畸矫治器的佩戴和/或涉及所述患者对治疗指示的遵从性。10.如权利要求1所述的设备，其中，所述方法包括以下连续步骤：a)在参考时刻，生成对所述患者的至少一个牙弓进行数字化建模的参考模型；b)修改所述参考模型；c)在所述更新时刻，根据步骤a)获取所述更新图像；d)通过观察被修改的所述参考模型，搜索呈现出与所述更新图像的最大匹配度的参考图像，然后根据步骤b)，根据所述参考图像确定所述虚拟牙齿场景；e)根据步骤c)呈现所述虚拟牙齿场景，所述设备包括用于在步骤a)和b)中生成和修改所述参考模型的装置，所述装置优选地包括扫描仪和计算机，所述摄像机被配置为实施步骤c)，所述处理单元被配置为实施步骤d)，所述屏幕被配置为实施步骤e)。11.如权利要求10所述的设备，其中，在步骤a)中，通过以下来生成所述参考模型：扫描所述患者的牙弓或所述牙弓的物理模型，或者从通用模型的库中选择牙弓的通用模型，然后根据对所述患者进行的测量或观察来使所述通用模型变形。12.如权利要求10所述的设备，其中，在步骤b)中，修改所述参考模型以模拟所述参考时刻与所述模拟时刻之间的时间流的影响。13.如权利要求1所述的设备，其中，所述设备被配置为模拟：-一种或多种正畸矫治器的效果；-暂时或永久停止当前治疗的效果，所述当前治疗是治疗性的或非治疗性的；-未来治疗的效果，所述未来治疗是治疗性的或非治疗性的；-应用指示的效果；-改变刷牙的频率和/或持续时间和/或技术的效果、或者延迟更换正畸夹板的效果和/或延迟与牙科护理专业人员的预约的效果；-用于美白牙齿的治疗的效果、或香烟的影响；或者-评估牙齿的位置和/或形状和/或尺寸、和/或固定至牙齿的正畸矫治器的良好定位。14.如权利要求1所述的设备，其中，所述消息是所述患者和/或负责所述患者的牙科护理专业人员要遵循的指示。15.如权利要求1所述的设备，其中，所述虚拟牙齿场景被直接投射在所述实际牙齿场景上。16.如权利要求15所述的设备，其中，将红光点投射到牙齿上，以识别正畸附件的粘结区域。

技术总结
本发明涉及实施用于分析患者的实际牙齿状况的方法的设备，该方法包括步骤A)至C)的周期：A)在更新时刻，获取表示实际牙齿场景的更新图像；B)根据实际牙齿场景确定虚拟牙齿场景；识别虚拟牙齿场景的不符合评估标准的元素，并在虚拟牙齿场景中突出显示该元素和/或将与该元素有关的消息添加到虚拟牙齿场景中；C)将虚拟牙齿场景呈现在屏幕上并重叠在实际牙齿场景上，或者在屏幕上显示更新图像，并且将虚拟牙齿场景呈现为与实际牙齿场景的表示重叠；在步骤C)之后小于五秒内重复步骤A)，该设备包括：-摄像机，其实施步骤A)；-处理单元，其实施步骤B)；-屏幕，其实施步骤C)；摄像机、处理单元、和屏幕彼此通信以实施所述步骤。理单元、和屏幕彼此通信以实施所述步骤。理单元、和屏幕彼此通信以实施所述步骤。


技术研发人员：菲利普
受保护的技术使用者：牙科监测公司
技术研发日：2019.05.14
技术公布日：2023/7/7