图像处理方法和使用其的图像处理装置与流程

1.本公开涉及一种图像处理方法和使用其的图像处理装置。


背景技术：

2.龋齿在牙科护理中所占比例很高。龋性牙齿的治疗是通过去除龋部分并用汞合金、树脂或黄金填充去除的部分来进行的。
3.牙医检查患者的牙齿状况并提出适合患者牙齿状况的治疗方法。然而，一般来说，牙医用肉眼检查患者的牙齿状况，因此主要取决于他或她的主观判断。这些判断可能因治疗情况而异，并可能会做出不准确的判断。
4.三维扫描技术应用于测量、检测、逆向工程、内容生成、cad/cam和医疗器械等各个行业，由于扫描性能随着计算技术的发展而提高，其实用性进一步扩大。特别是，在需要精确测量的牙科领域，使用三维扫描技术的频率正在增加。在牙科行业领域，有对于通过使用三维扫描技术来诊断包括龋齿的存在或不存在在内的牙齿状况的方法的行业需求。
5.在韩国专利登记号1574376中，发光装置用于检测龋齿。发光装置通常可以使用荧光，并且扫描器等应该包括发光装置，以便向牙齿发射荧光。与不包括发光装置的扫描器相比，包括发光装置的扫描器相对较重并且成本高。因此，需要一种能够在不具有单独的发光装置的情况下表达牙齿是否患有龋齿和龋齿状态的方法和系统。


技术实现要素：

6.本公开提供了一种图像处理方法，该方法能够防止牙医执行不必要的过程来检查患者的牙齿状况，并且能够通过扫描可视地表达牙齿的龋部分。
7.此外，本公开提供了一种图像处理装置，该装置能够通过使用上述图像处理方法执行一系列处理来可视地表达牙齿的龋部分。
8.本公开要实现的技术目的不限于上述技术目的，并且本领域技术人员可以从下面的描述中清楚地理解未在上面描述的其他技术目的。
9.为了实现上述方面，根据本公开的图像处理方法可以包括：扫描步骤，通过扫描包括牙齿的物体来获取图像数据；数据分析步骤，从扫描步骤获取的图像数据中确定龋齿；以及显示步骤，三维地显示龋齿分析结果。
10.根据本公开的图像处理装置可以具有各种元件，包括：扫描单元，配置为通过扫描包括牙齿的物体来获取图像数据；控制单元，配置为确定图像数据中的龋齿以分析数据；以及显示单元，配置为三维地显示已经确定龋齿的图像数据。
11.其优点在于，通过使用根据本公开的图像处理方法和图像处理装置，可以快速执行用于确定每颗牙齿的龋齿状态的过程。
12.此外，通过使用根据本公开的图像处理方法和图像处理装置，使用者(治疗者)可以在不使用单独的发光装置的情况下容易地确定龋性牙齿。这产生了减少装置重量和降低成本的优点。
13.此外，由于图像数据被生成为三维模型，并且与龋齿区域相对应的体素被视觉地显示，因此使用者可以容易地识别在患者口腔内的清晰位置有多少龋齿。因此，使用者可以建议适合于预先确定的牙齿状态的治疗方法，而无需再次检查实际牙齿。
附图说明
14.图1是根据本公开的图像处理方法的流程图。
15.图2至图4是根据本公开的图像处理方法的详细流程图。
16.图5至图8示出了根据本公开的图像处理方法中生成和调整大区域的过程。
17.图9示出了通过根据本公开的图像处理方法调整大区域的示例性图像数据。
18.图10示意性地示出了根据本公开的图像处理方法中通过扫描步骤获取的图像数据。
19.图11示意性地示出了根据本公开的图像处理方法中执行龋齿确定的图像数据。
20.图12是根据本公开的另一实施例的图像数据处理方法的流程图。
21.图13是根据本公开的另一实施例的图像数据处理方法的详细流程图。
22.图14示出了根据本公开的图像处理装置的配置。
23.[符号说明]
[0024]
s110：扫描步骤s130：数据分析步骤
[0025]
s131：划分为大区域的步骤s132：龋齿确定步骤
[0026]
s133：三维模型生成步骤
[0027]
s1311：生成多个大区域的步骤
[0028]
s1312：比较特征值的步骤
[0029]
s1313：大区域边界调整步骤
[0030]
s1321：龋齿分级步骤
[0031]
s1322：掩模(mask)生成步骤
[0032]
s1323：龋齿表达值映射(caries expression value mapping)步骤
[0033]
s150：显示步骤
[0034]
s210：扫描步骤s230：数据分析步骤
[0035]
s231：三维模型生成步骤s232：牙齿特定分割(tooth-specific segmentation)步骤
[0036]
s233：分析所选牙齿的图像数据的步骤
[0037]
s250：显示步骤10：图像处理装置
[0038]
100：扫描单元200：控制单元
[0039]
210：大区域生成/调整单元220：龋齿确定单元
[0040]
230：掩模生成单元240：三维模型生成单元
[0041]
300：显示单元。
具体实施方式
[0042]
以下，将参考附图详细描述本公开的一些实施例。在将附图标记添加到每个附图中的元件时，如果可能的话，相同的元件将由相同的附图标记表示，尽管它们在不同的附图
中示出。此外，在以下对本公开的实施例的描述中，当确定并入本文的已知功能和配置的详细描述可能妨碍对本公开实施例的理解时，将省略该详细描述。
[0043]
当描述本公开的实施例的元件时，可以在本文中使用术语，例如第一、第二、a、b、(a)、(b)等。这些术语仅用于将一个元素与其他元素区分开，并且对应元素的性质、次序、序列等不受这些术语的限制。除非另有定义，否则本文中使用的所有术语，包括技术术语或科学术语，具有本公开所属领域的技术人员通常理解的含义。在一般使用的词典中定义的术语应被解释为具有与相关技术领域中的上下文含义一致的含义，并且除非在本技术中明确定义，否则不应被解释成具有理想或过于正式的含义。
[0044]
在描述本公开时，作为构成图像数据的最小单位的像素被称为小区域，而作为一组预先确定的像素的超像素(superpixel)被称为大区域。
[0045]
图1是根据本公开的图像处理方法的流程图，图2至图4是根据本公开的图像处理方法的详细流程图。
[0046]
参考图1，根据本公开的图像处理方法可以包括：扫描步骤s110，通过扫描包括牙齿的物体来获取图像数据；数据分析步骤s130，确定图像数据中的龋齿；以及显示步骤s150，三维地显示已经确定龋齿的图像数据。在下文中，将详细描述每个步骤。
[0047]
扫描步骤s110
[0048]
根据本公开的图像处理方法包括扫描步骤s110。扫描步骤s110可以是通过扫描物体来获取图像数据的步骤。物体可以是各种物体，但当考虑到本公开的目的时，可以是患者口腔的内部，包括牙齿、齿龈(牙龈)、牙弓等。扫描步骤s110由稍后将描述的图像处理装置的扫描单元执行，并且扫描单元可以是能够自由地调节到物体的扫描距离和对物体的扫描角度的手持式扫描器。
[0049]
图像数据可以是二维图像数据或三维图像数据的照片(shot)。在扫描步骤s110中获取的图像数据可以在稍后描述的分析步骤s130中使用。
[0050]
在一个实施方式中，扫描步骤s110可以意味着对物体进行拍摄，并且在这种情况下，图像数据可以是二维图像数据。更具体地，在本公开中，在龋齿确定时，二维图像被划分为具有相似特征值的大区域，并且从大区域中确定龋齿。与从三维数据中获取和分析特征值相比，这具有节省存储空间、能够快速分析和防止资源浪费的优点。
[0051]
扫描单元可以向物体发射光，以便从获取的图像数据生成三维模型。此时，朝向物体发射的光可以具有各种形式。例如，光可以是具有在可见光区域中的波长的光。此外，光可以是具有预先确定的图案的结构光(structured light)。结构光允许图像数据具有深度信息，并且例如，可以使用其中不同颜色的直线连续出现的条纹图案作为结构光。例如，结构光可以是具有垂直条纹图案或水平条纹图案的光，其中具有相对高亮度的亮部分和具有相对低亮度的暗部分交替设置。可以通过诸如图案掩模或数字微镜设备(digital micromirror device，dmd)之类的图案生成装置来生成结构光的图案。然而，并不总是需要使用结构光来获取三维模型，并且可以使用能够获取物体的深度信息以获取三维模型的任何方法。
[0052]
数据分析步骤s130
[0053]
随后，可以执行通过在上述扫描步骤s110中获取的图像数据来确定龋齿的数据分析步骤s130。参照图2，数据分析步骤s130可以包括将图像数据划分为预先确定的大区域的
步骤s131、从图像数据确定龋齿的步骤s132，以及从已经确定龋齿的图像数据生成三维模型的步骤s133。也就是说，数据分析步骤s130包括解释和处理在扫描步骤s110中获取的图像数据的过程。
[0054]
在下文中，将描述数据分析步骤s130的详细步骤。
[0055]
参考图2，数据分析步骤s130可以包括将图像数据划分为至少一个大区域的步骤s131。事实上，可能存在多个大区域，并且大区域之间存在边界。在这种情况下，每个大区域可以是包括至少一个小区域的超像素。
[0056]
将图像数据划分为至少一个大区域是为了确定大区域中的龋齿的目的，因此通过该过程可以减少执行根据本公开的图像处理方法的装置的计算负载。
[0057]
图3和图5至图8示出了在根据本公开的图像处理方法中生成和调整大区域的过程。
[0058]
参考图3和图5，划分为大区域的步骤s131包括生成用于划分图像数据的多个大区域的步骤s1311。例如，以矩形的形式获取图像数据，并且图像数据由一组用于表达图像的最小单位的小区域形成。
[0059]
图像数据可以由规则排列的m
×
n(m和n是自然数，m
×
n可以表示在水平方向上排列的像素的数量
×
在垂直方向上排列的小区域的数量)小区域的集合形成。此时，在生成多个大区域的步骤s1311中，图像数据可以被划分以生成具有相同大小并且包括相同数量小区域的大区域。例如，当图像数据具有1600
×
1200个小区域的分辨率时，可以生成16个每个具有400
×
300个小区域的大区域来划分图像数据。当图像数据被划分为多个大区域时，可以快速执行稍后将描述的比较特征值的步骤s1312和调整边界的步骤s1313。
[0060]
在生成多个大区域的步骤s1311中，可以根据图像数据的分辨率来适当地预配置大区域的数量。例如，图像数据整体上具有1600
×
1200个小区域的分辨率，并且图像数据可以被划分生成10个预配置的大区域。此时，根据大区域的数量，图像数据可以被划分为大区域，每个大区域具有320
×
600个小区域的分辨率。
[0061]
作为描述本公开的示例，呈现了具有6
×
6个小区域的图像数据。图像数据可以被划分为六个大区域，每个大区域具有相同的大小和2
×
3个小区域，以便被划分为多个大区域710、720、730、740、750和760。可以可选地配置大区域710、720、730、740、750和760之间的边界bd，并且可以通过稍后将描述的边界调整步骤s1313来改变边界bd。
[0062]
如上所述的大区域的数量和大区域的大小是示例，并且可以根据使用者对图像数据的需求或条件进行可变地配置。
[0063]
为了调整边界，划分大区域的步骤s131包括比较多个大区域之间的特征值的步骤s1312。比较特征值的步骤s1312是用于将具有相同或相似特征的小区域分组为大区域的过程。特征值可以是从图像数据获得的多条信息中的至少一条。例如，特征值可以包括颜色信息、尺寸信息、纹理信息和填充信息，这些信息指示已经输入到构成图像数据的小区域中的数据的边界框之间的差异。此时，为了本公开用于确定龋齿的目的，可以使用颜色信息作为特征值。在比较特征值的步骤s1312中，可以比较与大区域的边界bd相邻的小区域的特征值。通过比较与边界bd相邻的小区域的特征值，可以改变边界bd(s1313)，使得具有相似特征值的小区域形成大区域。
[0064]
参考图6至图8，被划分为大区域的图像数据获取与各个小区域相对应的像素711
至716和721至726的颜色信息。此时，可以通过诸如gray模型、rgb模型、hsv模型、cmyk模型和ycbcr模型之类的各种颜色模型来获取颜色信息。然而，gray模型表达0至255的无彩色(achromatic color)，并且不容易清楚地比较特征值并确定实际龋齿。因此，所使用的颜色模型可以是彩色(chromatic)颜色模型。为了确定小区域之间的相似性，可以使用相应颜色模型的颜色直方图作为特征值。
[0065]
将更详细地描述基于颜色直方图的相似性确定。可以生成每个小区域的颜色直方图，并且可以通过重叠相邻小区域(其具有介于其间的边界bd)的颜色直方图来确定相似性。例如，当为彼此相邻且具有介于其间的边界的随机第一小区域和随机第二小区域(未示出)中的每一个生成颜色直方图时，并且当生成的颜色直方图重叠时，可以计算重叠面积。当重叠面积具有等于或大于阈值的值时，可以确定第一小区域和第二小区域具有相似的特征值。
[0066]
在下文中，为了便于描述，一个小区域将被描述为具有代表性颜色。然而，这应该被解释为描述一个小区域具有包括代表性颜色的颜色直方图。
[0067]
参考图6，将特征值分配给每个小区域。此时，可以将与大区域之间的边界相邻的小区域的特征值彼此进行比较。例如，第一大区域710的第二小区域712的特征值和第二大区域720的第一小区域721的特征值可以相互比较。如图所示，第一大区域710的第二小区域712的特征值和第二大区域720的第一小区域721的特征值都可以是w(白色)。
[0068]
此外，可以将第一大区域710的第四小区域714的特征值和第二大区域720的第三小区域723的特征值相互比较。如图所示，第一大区域710的第四小区域714的特征值和第二大区域720的第三小区域723的特征值都可以是b(黑色)。
[0069]
类似地，可以将第一大区域710的第六小区域716的特征值和第二大区域720的第五小区域725的特征值相互比较。如图所示，第一大区域710的第六小区域716的特征值可以是w(白色)，并且第二大区域720的第五小区域725的特性值可以是y(黄色)。
[0070]
根据与边界bd相邻的小区域的特征值的比较，可以将边界bd调整为新的边界bd’(s1313)。参照图7，作为第二大区域720的第一小区域721的部分可以并入第一大区域710中，并对应于第一大区域710的第七小区域721'。此外，作为第一大区域710的第四小区域714的部分可以并入第二大区域720中，并对应于第二大区域720的第七小区域714'。因此，可以根据小区域所属的大区域的变化来调整边界bd’。可以通过参考与现有边界bd相邻的小区域相邻的其他小区域的特征值来执行小区域调整。根据图像数据中边界bd的连续更新(renewal)，具有相似特征值的小区域可以形成大区域。
[0071]
参考图8，大区域的数量可以根据图像数据而改变，因此，初始大区域中包括的小区域的数量也可以改变。更具体地，根据小区域的特征值的分布，大区域的数量可以大于或小于初始生成的大区域的数量。例如，包括在第一大区域710中的第四小区域714和包括在第二大区域720中的第三小区域723可以形成一个新的大区域。新的大区域770”可以包括特征值为b(黑色)的小区域714”和723”。以这种方式，具有相似特征值的小区域可以形成大区域，并且因此图像数据可以以超像素的形式被划分。因此，可以针对每个大区域确定牙齿是否患有龋齿，并且使用者可以快速识别患有龋齿的牙齿。此外，可以针对每个大区域确定龋齿，从而减少执行根据本公开的图像处理方法的装置的计算负载。
[0072]
图9示出了通过根据本公开的图像处理方法来调整大区域的示例性图像数据。
[0073]
如图9a至9c所示，根据特征值(例如，颜色信息)调整图像数据的区域。首先，在图9a中，生成具有相同大小的大区域以划分图像数据。在图9b中，在相邻大区域之间的边界附近执行特征值比较，并且执行边界调整，使得具有相似特征值的小区域形成大区域。可以通过执行边界调整来新建或合并一些大区域。在图9c中，边界调整完成，并且里程碑(milestone)、第一朵云、第二朵云和背景被精确地区分，足以被识别。
[0074]
在下文中，将参考相关的附图详细描述龋齿确定步骤s132。
[0075]
参考图4，龋齿确定步骤s132包括龋齿分级步骤s1321，其确定每个大区域是否存在龋齿，或者为确定患有龋齿的区域确定龋齿等级。具体地，在龋齿分级步骤s1321中，可以使用人工智能(artificial intelligence,ai)提取被划分为大区域的图像数据中的龋齿特征和/或龋齿严重程度。
[0076]
人工智能可以是深度学习，特别是从人工神经网络(artificial neural network，ann)、卷积神经网络(convolution neural network，cnn)、深度神经网络(deep neural network，dnn)和递归神经网络(recurrent neural network，rnn)中选择的至少一种。
[0077]
在本公开中，例如，可以使用卷积神经网络(cnn)。在cnn中，依次执行卷积层和池化层，或者除了卷积层和池化层之外，还可以额外执行完全连接层。
[0078]
更具体地，cnn通过卷积层(其使用大小为n
×
n的内核过滤器执行卷积步骤)获取特征图。此后，池化层通过使用大小为n
×
n的内核过滤器对特征图的值进行采样来突出特征图的龋齿特征。龋齿特征可以通过重复执行上述过程来提取，并且可选地，完全连接层可以根据预先配置的标准来分类龋齿等级(即，指示龋齿严重程度的指标)。
[0079]
预先配置的标准可以是，例如，国际龋齿检测和评估系统(international caries detection and assessment system，icdas)。icdas是将龋齿的严重程度分级的标准，龋齿的严重度分为从整数0到6的七个等级。等级可以由大区域的特征值来确定。
[0080]
分类龋齿等级之后，在龋齿确定步骤s132中，可以基于龋齿等级和/或所确定的龋齿的存在或不存在来生成包括至少一个掩模区域的掩模(s1322)。掩模可以是基于龋齿的存在或不存在和/或龋齿等级而被确定为具有龋齿的一组部分，并且这些部分可以是大区域。也就是说，被确定为具有龋齿的大区域可以构成包括在掩模中的掩模区域。
[0081]
此后，可以将与龋齿的存在或不存在和/或龋齿等级相对应的龋齿表达值映射到掩模区域(s1323)。龋齿表达值的映射可以意味着将特定表达值分配给掩模区域。龋齿表达值可以是能够在显示步骤中向使用者视觉地显示龋齿的存在或不存在的手段。例如，龋齿表达值可以是预先确定的颜色和预先确定的图案中的至少一个。龋齿表达值映射到的掩模可以与图像数据重叠，并且可以在显示图像数据或三维模型时一起显示。
[0082]
龋齿表达值可以基于龋齿的存在或不存在和/或龋齿等级进行映射。例如，在龋齿分级步骤s1321中被确定为没有龋齿的部分不形成为掩模，而被确定为有龋齿的部分形成为掩膜。因此，通过将预先确定的颜色和预先确定的图案中的至少一个相对于整个掩模进行映射，可以在视觉上仅显示龋齿的存在或不存在。也就是说，龋齿表达值可以是相同的值，而与龋齿等级无关。例如，关于龋齿表达值，根据仅确定龋齿的存在或不存在而不对龋齿等级进行分类的结果，可以将相同的龋齿表达值施加于已经发生龋齿的部分，或者可以将相同龋齿表达值施加于具有龋齿等级3至6的掩模区域。龋齿表达值可以是荧光色、红色
或黑色。当显示龋齿表达值时，使用者可以容易地识别已经发生龋齿的牙齿。
[0083]
替代地，龋齿表达值可以根据龋齿等级映射为不同的值。更具体地，掩模可以包括针对每个龋齿等级形成的掩模区域，并且不同的颜色可以映射到掩模区域的龋齿等级。
[0084]
将更详细地描述龋齿等级分类和龋齿表达值映射。例如，大区域可以具有各种特征值，例如白色、黄色、棕色和黑色。一个大区域可以包括具有相同或相似特征值的小区域。可以通过使用人工智能从大区域的特征值中提取龋齿特征和/或龋齿等级，并且可以基于提取的值生成掩模。所生成的掩模可以包括至少一个掩模区域，并且龋齿表达值可以被映射到掩模区域。
[0085]
例如，当根据预先配置的标准，特征值在随机大区域中为白色时，该区域被确定为未发生龋齿(等级0)的部分，并且不形成为掩模。此外，当具有黄色特征值的部分位于干牙釉质上时，该部分被确定为已经发生轻微龋齿(等级1)的部分，并且龋齿表达值可以被映射到与龋齿区域相对应的掩模区域。此外，当具有黄色特征值的部分位于湿牙釉质上时，该部分被确定为已经发生中度龋齿(等级2)的部分，并且龋齿表达值可以被映射到与龋齿区域相对应的掩模区域。
[0086]
此外，当牙齿中出现龋洞时，基于龋洞的面积和/或比率确定该区域是已经发生3至6级龋齿的部分，并且龋齿表达值可以映射到与龋齿区域相对应的掩模区域。更具体地，可以基于具有黑色特征值的大区域的占有率或者具有黑色特征值的大区域的面积来确定根据龋洞的3至6的等级。替代地，可以通过混合比率和面积之间的关系来分类龋齿等级。
[0087]
例如，在与牙釉质相对应的部分中具有黑色特征值和小于0.5mm尺寸的大区域中，龋齿表达值可以映射到与龋齿区域相对应的掩模区域。类似地，当具有黑色特征值的大区域占据预先确定的图像数据的一半以上时，确定已经发生了非常严重的龋齿，并且龋齿表达值可以被映射到与龋齿区域相对应的掩模区域。根据上述过程，可以指示已经发生龋齿的部分。然而，用于分类龋齿等级的参考数值已被用作描述本公开的示例。因此，可以根据需要改变数值。
[0088]
将详细描述龋齿表达值根据龋齿等级而具有不同颜色的内容。例如，当龋齿等级为0级时，由于没有生成掩膜，因此无龋齿表达值被映射。当龋齿等级为1级时，绿色可被映射至对应的掩模区域，当龋齿等级是2级时，青色可被映射至对应的掩膜区域，当龋齿等级为3级时，品红色(magenta)可被映射至对应的掩模区域，当龋齿等级为4级时，蓝色可被映射至对应的掩模区域，当龋齿等级为5级时，红色可被映射至对应的掩模区域，并且当龋齿等级为6级时，黑色可被映射至对应的掩膜区域。
[0089]
如上所述，龋齿表达值被映射到的掩模可以与图像数据的实际颜色一起显示，同时与图像数据重叠。掩模可以具有预先确定的透明度。由于掩模具有预先确定的透明度，因此其优点在于使用者可以识别牙齿的实际形状以及牙齿是否有龋坏。
[0090]
根据一个可选的实施例，龋齿表达值可以是包括0至5的整数的6级龋齿等级分类标准。该标准可以是部分简化的icdas标准的简略的标准。例如，在标准中，当特征值在随机大区域中为白色时，该区域被确定为未发生龋齿(等级0)的部分，并且不形成为掩模。此外，当存在具有黄色特征值的部分时，该部分被确定为已经发生中度龋齿(等级1)的部分，并且龋齿表达值可以被映射到与龋齿区域相对应的掩模区域。
[0091]
此外，当牙齿中已经发生龋洞时，根据龋洞的面积和/或比率，相应的区域被确定
为已经发生2至5级龋齿的部分，并且龋齿表达值可以被映射到与龋齿区域相对应的掩模区域。更具体地，可以基于具有黑色特征值的大区域的占有率或者具有黑色特征值的大区域的面积来确定根据龋洞的等级2至5。或者，可以通过使用比率和面积之间的关系来分类龋齿等级。如上所述，可以根据龋齿等级来映射相同或不同的龋齿表达值。
[0092]
当龋齿确定步骤s132完成并且生成掩模时，并且当根据龋齿的存在或不存在和/或龋齿等级映射龋齿表达值时(s1323)，可以执行从图像数据生成包括至少一个体素的三维模型的步骤s133。在这种情况下，可以通过对齐多块(pieces)图像数据来生成三维模型，并且可以通过图像数据的深度信息来将二维数据生成为三维模型。同时，掩模与图像数据重叠。当从图像数据生成三维模型时，构成三维模型的体素可以仅在龋齿表达值重叠的部分中显示龋齿表达值。因此，三维模型可以通过龋齿表达值一起显示龋齿区域。
[0093]
图10示意性地示出了根据本公开的图像处理方法中通过扫描步骤获取的图像数据，并且图11示意性地示出了根据本公开的图像处理方法中执行龋齿确定的图像数据。
[0094]
参考图10，示出了通过扫描步骤s110获取的图像数据910。图像数据910可以包括牙齿911和牙龈912，并且可以识别牙齿911的龋齿正在发展的部分。例如，可以示出第一龋部分l1、第二龋部分l2、第三龋部分l3、第四龋部分l4和第五龋部分l6。龋部分l1、l2、l3、l4和l6可以在划分为大区域的步骤s131中被分离成至少一个根据特征值进行划分的大区域(s131)。
[0095]
参考图11，在龋齿确定完成之后，可以在图像数据上显示龋齿表达值。通过龋齿表达值，使用者可以清楚地识别图像数据920上发生龋齿的位置l1’、l2’、l3’、l4’和l6’。由于龋齿表达值的显示，其优点在于使用者可以精确地识别牙齿中是否发生了龋齿以及龋齿的严重程度，并且可以根据龋齿的严重度进行治疗。
[0096]
显示步骤s150
[0097]
当数据分析步骤s130完成时，可以执行三维地显示已确定龋齿的图像数据的显示步骤s150。在显示步骤s150中，可以通过输出设备来显示数据分析结果，并且输出设备可以是诸如监视器之类的视觉显示设备。
[0098]
在显示步骤s150中显示的信息是包括牙齿的物体的二维图像数据或通过三维模型生成步骤s133生成的三维模型。此时，在二维图像数据上显示龋齿表达值可能是直观的，但要准确识别牙齿中发生龋齿的位置并不容易。相反，三维模型以三维方式表达物体的颜色和形状。三维模型可以具有与实际物体相同的颜色、形状、尺寸等，并且当龋齿表达值显示在三维模型上时，使用者可以容易地识别龋齿的位置、大小和角度，从而可以为患者提供最佳的治疗。因此，在三维模型上显示在数据分析步骤s130中分析的数据(特别是龋齿确定)是有效的。
[0099]
上述图像处理方法可以仅在与牙齿区域相对应的部分上执行，并且根据本公开的图像处理方法不能应用于与牙龈和牙弓相对应的部分。例如，当从构成图像数据的每个小区域获取的颜色对应于颜色直方图中的红色系列时，图像数据中包括的物体很可能对应于牙龈或牙弓。因此，当确定物体是牙龈或牙弓时，基于从小区域获得的颜色，在相应位置处可能不生成掩模。通过上述过程，牙齿和口腔中的其他部分(牙龈和牙弓)被区分，并且仅针对牙齿区域，选择性地生成掩模，并且可以映射龋齿表达值。因此，可以仅针对牙齿区域来确定龋齿的存在或不存在和/或龋齿等级，并且可以防止使用者混淆。
[0100]
此外，在上述图像处理方法中，不仅可以在整个三维模型上显示龋齿表达值，还可以针对每个牙齿执行分割处理(segmentation process)，并且可以对每个牙齿的龋齿等级进行分类。根据为每颗牙齿确定的龋齿等级，可以额外执行基于在预先确定的牙齿中发生的龋齿的位置和面积来提出合适的治疗方法的过程。例如，当在牙尖发生龋齿时，可以将嵌体(onlay)治疗方法与龋齿表达值一起显示，并且当在牙尖以外的部分发生龋齿时，可以将镶嵌(inlay)治疗方法与龋齿表达值一起显示。
[0101]
在上文中，可以通过图像数据的特征值来确定从外部出现的龋齿。然而，可能需要确定未外部暴露的内部龋齿，并且根据内部龋齿的进展可能需要进行拔牙。因此，当选择在生成的三维模型中执行了分割处理的每个牙齿时，可以将根据内部龋齿的拔牙类型治疗方法与龋齿表达值一起显示。例如，当选择预先确定的牙齿时，除了先前执行的确定牙齿表面龋齿的过程之外，还可以额外执行确定内部龋齿的步骤。可以基于从图像数据获取的特征值来执行确定内部龋齿的步骤，并且特征值可以是例如颜色信息。在预先确定的牙齿整体上具有低饱和度的颜色的情况下，即使当龋齿等级较低时，也可以确定牙齿具有内部龋齿。例如，当预先确定的牙齿的图像数据中的低饱和度部分大于预先配置的比率时，该低饱和度部分可以被确定为内部龋齿，并且可以显示“拔牙”治疗方法。内部龋齿可以使用颜色饱和度来确定，但也可以使用声波扫描信息、红外扫描信息等来确定。由于还包括内部龋齿确定步骤，因此不仅可以治疗表面龋齿，还可以治疗潜在龋齿。
[0102]
在下文中，将描述根据本公开的另一实施例的图像处理方法。在描述本公开的另一个实施例时，将省略与根据本公开的实施例的图像处理方法的内容相同的内容。
[0103]
图12是根据本公开的另一实施例的图像数据处理方法的流程图。图13是根据本公开的另一实施例的图像数据处理方法的详细流程图。
[0104]
参考图12和13，根据本公开的另一实施例的图像处理方法包：括通过扫描包括牙齿的物体来获取图像数据的扫描步骤s210；确定图像数据中的龋齿的数据分析步骤s230；以及三维显示已确定龋齿的图像数据的步骤s250。根据本公开的另一实施例的扫描步骤s210和显示步骤s250如上所述。
[0105]
在数据分析步骤s230中，与上述不同，可以在不根据扫描步骤s210中获取的图像数据确定龋齿的情况下生成三维模型(s231)。
[0106]
随后，根据本公开的另一实施例的图像处理方法可以包括对每个牙齿的三维模型进行分类的步骤s232。可以针对每个牙齿，对三维模型进行分类，从而使得使用者能够仅选择需要龋齿确定的牙齿。更具体地，当使用者选择想要进行龋齿确定的牙齿时，可以仅提取包括该牙齿的二维图像数据，并且可以从提取的图像数据执行龋齿确定(s233)。因此，其优点在于，可以仅分析包括要分析的牙齿的图像数据，从而节省分析所需的系统资源，并能够进行快速分析。
[0107]
使用图像数据的龋齿确定可以使用上述方法进行，因此将省略相关描述。
[0108]
替代地，当图像数据是三维数据时，可以将三维数据划分为三维大区域。在三维大区域之间的边界处，可以将相邻三维小区域的特征值彼此比较，并且可以根据特征值的比较来调整三维大区域之间的边界。因此，具有相似特征值的三维小区域可以形成三维大区域。
[0109]
此后，可以对每个三维大区域执行龋齿的存在或不存在和/或龋齿等级的确定，并
且可以生成具有至少一个掩模区域的三维掩模。随后，可以根据龋齿的存在或不存在和/或龋齿等级将龋齿表达值映射到掩模区域。这是从二维平面掩模到三维立体掩模的变化，并且整体龋齿确定步骤如上所述。
[0110]
此外，对于被确定为与三维模型中的牙龈或牙弓相对应的部分，可以不形成掩模，或者可以不映射龋齿表达值。这意味着，当三维小区域(体素)的特征值是颜色直方图上的红色系列颜色时，可以将对应部分确定为牙龈或牙弓。可以防止龋齿表达值被映射到被确定为牙龈或牙弓的部分，从而防止使用者混淆。
[0111]
在下文中，将详细描述根据本公开的图像处理装置。然而，将省略与根据本公开的上述图像处理方法的内容重叠的内容。
[0112]
图14示出了根据本公开的图像处理装置的配置。
[0113]
参考图14，根据本公开的图像处理装置10包括：扫描单元100，配置为通过扫描包括牙齿的物体来获得图像数据；控制单元200，通过分析图像数据来从图像数据确定龋齿；以及显示单元300，用于三维显示图像数据(从其确定龋齿)。
[0114]
扫描单元100扫描包括牙齿的物体。为了本公开的目的，物体可以是患者口腔内部，用于确定牙齿中是否已发生龋齿。扫描单元100可以是能够在移入或移出患者口腔时以各种扫描距离和扫描角度扫描患者口腔内部的三维扫描器。扫描单元100可以包括至少一个相机和与其连接的成像传感器，以便获取物体的图像数据。成像传感器可以是单色图像传感器或彩色图像传感器，例如ccd传感器或cmos传感器。
[0115]
扫描单元100可以发射具有预先确定的图案的结构光，使得控制单元200从所获取的图像数据生成三维模型。可以通过诸如图案掩模或数字微镜器件(dmd)之类的图案生成装置来生成结构光的图案。然而，为了生成作为三维模型的图像数据，不需要使用结构光，并且可以使用诸如标记、激光和tof之类的已知方法中的至少一种。
[0116]
在下文中，将详细描述控制单元200的配置。
[0117]
控制单元200可以分析由扫描单元100获取的图像数据。更具体地，控制单元200可以包括将图像数据划分为至少一个大区域的大区域生成/调整单元210。在这种情况下，大区域可以是包括至少一个小区域的超像素，并且小区域可以是构成图像数据的像素。大区域生成/调整单元210可以生成大区域，使得图像数据被划分为具有相同大小的至少一个大区域和相同的小区域。可以在大的区域之间形成边界。
[0118]
大区域生成/调整单元210可以比较与边界相邻的小区域的特征值。此时，要比较的特征值是小区域具有的图像数据的特定部分特征，并且可以包括例如颜色信息、纹理信息、尺寸信息、填充信息等，并且用于本公开目的的特征值可以是从图像数据获取的颜色信息。
[0119]
当执行特征值比较时，大区域生成/调整单元210可以调整边界，使得具有相似特征值的小区域形成为相同的大区域。大区域生成/调整单元210生成大区域、比较特征值以及调整边界的过程与根据本公开的图像处理方法中的上述过程相同。
[0120]
控制单元200可以包括基于具有调整的边界的大区域来确定龋齿的龋齿确定单元220。龋齿确定单元220可以通过包括深度学习的人工智能(ai)技术来确定龋齿的存在或不存在，并且能够用于确定龋齿的深度学习技术可以是从上面已经描述的ann、cnn、dnn和rnn中选择的一种。龋齿确定单元220可以通过确定每个大区域的龋齿的存在或不存在和/或龋
齿等级来确定龋齿，并且标准可以是icdas标准。然而，本公开不限于icdas标准，并且在一些情况下可以应用适当的分类标准。
[0121]
控制单元200还可以包括掩模生成单元230，用于基于由龋齿确定单元220确定的龋齿的存在或不存在和/或龋齿等级来生成具有至少一个掩模区域的掩模。
[0122]
此后，掩模生成单元230可以将与龋齿的存在或不存在和/或龋齿等级相对应的龋齿表达值映射到掩模的每个掩模区域。映射龋齿表达值可以意味着将特定的表达值分配给掩模区域。龋齿表达值可以是能够在显示步骤中向使用者视觉地显示龋齿的存在或不存在的手段。例如，龋齿表达值可以是预先确定的颜色和预先确定的图案中的至少一种。龋齿表达值被映射到的掩模与图像数据重叠，并且可以在显示图像数据或稍后描述的三维模型时一起显示。
[0123]
确定龋齿的过程、生成掩模的过程以及将龋齿表达值映射到掩模的过程与上述关于根据本公开的图像处理方法所描述的过程相同，因此将省略多余的描述。
[0124]
控制单元200还可以包括三维模型生成单元240，用于将扫描单元100获取的图像数据生成为三维模型。为了生成三维模型，可以通过结构光等获取图像数据，以包括物体的深度信息。三维模型可以包括至少一个体素。在从图像数据生成三维模型时，构成三维模型的体素可以仅在龋齿表达值重叠的区域显示龋齿表达值。因此，其优点在于使用者可以容易地识别三维模型中龋齿的位置、角度、大小等，并且可以为患者提供合适的治疗。
[0125]
根据本公开的图像处理装置可以包括用于三维显示上述控制单元200的分析结果的显示单元300。显示单元300可以显示图像数据，或者已经被掩模重叠的图像数据。替换地，显示单元300可以显示三维模型和三维模型的体素所具有的龋齿表达值，或者可以一起显示三维模型和映射在三维模型上的三维掩模的龋齿表达值。因此，使用者不需要用肉眼主观地分析患者的口腔内部或生成的三维模型。如上所述，关于患者口腔的内部，可以使用人工智能客观地确定龋齿的存在或不存在和/或龋齿等级，并在视觉上显示，从而使使用者能够为患者提供快速和客观的治疗。
[0126]
以上描述仅用于说明本公开的技术思想，本公开所属领域的技术人员将理解，在不偏离本公开的基本特征的情况下，可以进行各种修改和改变。
[0127]
因此，本公开中描述的实施例并不旨在限制本公开的技术思想，而是旨在描述本公开的技术思想，并且本公开技术思想的范围不受这些实施例的限制。本公开的保护范围应在所附权利要求的基础上进行解释，使得包括在等同于权利要求的范围内的所有技术思想都属于本公开。
[0128]
工业适用性
[0129]
本公开提供了一种图像处理方法和图像处理装置，其中，为了容易地识别患者的龋齿，通过扫描物体获取图像数据，从图像数据确定龋齿，并且以三维方式显示已确定龋齿的图像数据。

技术特征：
1.一种图像处理方法，包括：扫描步骤，通过扫描包括牙齿的物体获取图像数据；数据分析步骤，确定所述图像数据中的牙齿的龋齿；以及显示步骤，三维地显示已经确定龋齿的图像数据。2.根据权利要求1所述的图像处理方法，其中，所述数据分析步骤包括：将所述图像数据划分为至少一个大区域；龋齿确定步骤，确定每个大区域的龋齿；以及从已经确定龋齿的图像数据生成三维模型。3.根据权利要求2所述的图像处理方法，其中，所述大区域是包括至少一个小区域的超像素。4.根据权利要求2所述的图像处理方法，其中，划分为所述大区域的步骤包括：生成划分所述图像数据的多个大区域；比较多个所述大区域之间的特征值；以及基于所述特征值的比较调整所述大区域之间的边界。5.根据权利要求4所述的图像处理方法，其中，在所述特征值的比较中，所述特征值是从所述图像数据获取的颜色信息。6.根据权利要求2所述的图像处理方法，其中，所述龋齿确定步骤包括：确定所述图像数据的每个大区域的龋齿的存在或不存在；基于所确定的龋齿的存在或不存在，生成包括至少一个掩模区域的掩模；以及将龋齿表达值映射到所述掩模区域。7.根据权利要求2所述的图像处理方法，其中所述龋齿确定步骤包括：根据预先配置的标准为所述图像数据的每个大区域确定龋齿等级；基于所确定的龋齿等级生成包括至少一个掩模区域的掩模；以及将对应于所述龋齿等级的龋齿表达值映射到所述掩模区域。8.根据权利要求6或7中任一项所述的图像处理方法，其中，所述龋齿表达值是预先确定的颜色和预先确定的图案中的至少一个。9.根据权利要求6或7中任一项所述的图像处理方法，其中，被所述龋齿表达值映射的所述掩模与所述图像数据重叠。10.根据权利要求7所述的图像处理方法，其中所述龋齿表达值对于每个龋齿等级具有不同的颜色或图案。11.根据权利要求9所述的图像处理方法，其中，与所述掩模重叠的所述图像数据生成为三维模型，并且在所述三维模型上显示所述龋齿表达值。12.一种图像处理装置，包括：扫描单元，配置为通过扫描包括牙齿的物体来获取图像数据；控制单元，配置为确定所述图像数据中的龋齿以分析数据；以及显示单元，配置为三维地显示已经确定龋齿的图像数据。13.根据权利要求12所述的图像处理装置，其中，所述控制单元包括：大区域生成/调整单元，配置为将所述图像数据划分为至少一个大区域；和龋齿确定单元，配置为确定每个大区域的龋齿。
14.根据权利要求13所述的图像处理装置，其中，所述大区域是包括至少一个小区域的超像素。15.根据权利要求13所述的图像处理装置，其中，所述大区域生成/调整单元配置为：(1)生成划分所述图像数据的多个大区域；(2)比较多个所述大区域的特征值；和(3)基于所述特征值的比较调整所述大区域之间的边界。16.根据权利要求15所述的图像处理装置，其中，所述特征值是从所述图像数据获取的颜色信息。17.根据权利要求13所述的图像处理装置，其中，所述龋齿确定单元配置为确定所述图像数据的每个大区域的龋齿的存在或不存在。18.根据权利要求13所述的图像处理装置，其中，所述龋齿确定单元配置为确定所述图像数据的每个大区域的龋齿等级。19.根据权利要求13所述的图像处理装置，其中，所述控制单元还包括掩模生成单元，所述掩模生成单元配置为基于由所述龋齿确定单元确定的每个大区域的龋齿的存在或不存在或龋齿等级来生成包括至少一个掩模区域的掩模，并且其中所述掩模生成单元配置为将由所述龋齿确定单元确定的与龋齿的存在或不存在或龋齿等级相对应的龋齿表达值映射到每个掩模区域，使得掩膜与图像数据重叠。20.根据权利要求19所述的图像处理装置，其中，所述控制单元还包括三维模型生成单元，所述三维模型生成单元配置为将被所述掩模重叠的图像数据生成为三维模型，并且其中所述显示单元被配置为显示所述三维模型，以及与所述三维模型重叠在一起的所述龋齿表达值。

技术总结
根据本发明的图像处理方法包括通过扫描包括牙齿的物体获取图像数据的扫描步骤、从图像数据确定牙齿的龋齿的步骤，以及显示已经确定龋齿的图像数据的步骤。定龋齿的图像数据的步骤。定龋齿的图像数据的步骤。


技术研发人员：白种雄 曹瑛穆
受保护的技术使用者：株式会社美迪特
技术研发日：2021.10.07
技术公布日：2023/7/25