口腔内摄像机系统以及摄影动作判断方法与流程

1.本公开涉及口腔内摄像机系统以及摄影动作判断方法。


背景技术：

2.在专利文献1中公开了一种获得口腔内的牙齿的图像的方法。
3.(现有技术文献)
4.(专利文献)
5.专利文献1∶日本特开2012-217762号公报


技术实现要素：

6.发明要解决的问题
7.在拍摄牙齿的图像时，期待能够提高摄影精度。
8.于是，本公开的目的在于提供一种能够提高摄影精度的口腔内摄像机系统以及摄影动作判断方法。
9.解决问题所采用的手段
10.本公开的一个方案涉及的口腔内摄像机系统，具备：摄影部，生成对口腔内的摄影对象的牙齿进行拍摄而得到的图像数据；位置坐标提取部，对所述摄影部生成的所述图像数据定义二维平面座标，从所述摄影部的整体摄影区域中提取所述摄影对象的牙齿的轮廓的位置坐标；以及图像判断部，在所述摄影对象的牙齿的轮廓的一部分位于有效区域之外的情况下，判断为所述摄影对象的牙齿偏离了所述有效区域，所述有效区域是被设定在所述摄影部的整体摄影区域的内侧的区域。
11.发明效果
12.本公开能够提供一种能够提高摄影精度的口腔内摄像机系统以及摄影动作判断方法。
附图说明
13.图1是示出用户用口腔内摄像机从牙冠侧拍摄下颌的牙齿的状态的图。
14.图2是示出用户沿着齿列从牙冠侧进行了拍摄的情况下的牙齿图像的一例的图。
15.图3是示出用户沿着齿列从牙冠侧进行拍摄的途中口腔内摄像机偏离了齿列的情况下的牙齿图像的一例的图。
16.图4是实施方式中的口腔内摄像机系统中的口腔内摄像机的斜视图。
17.图5是实施方式中的口腔内摄像机系统的概略的结构图。
18.图6是示出实施方式中的口腔内摄影动作的整体的流程的流程图。
19.图7是模式性地示出实施方式中的摄影顺序的图。
20.图8是模式性地示出实施方式中的摄影顺序的图。
21.图9是模式性地示出实施方式中的摄影顺序的图。
22.图10是模式性地示出实施方式中的摄影顺序的图。
23.图11是模式性地示出实施方式中的摄影顺序的图。
24.图12是模式性地示出实施方式中的摄影顺序的图。
25.图13是示出实施方式中的口腔内摄像机系统中的口腔内摄影动作的流程的图。
26.图14是示出实施方式中的口腔内的牙齿的图。
27.图15是实施方式中的便携式终端的功能方框图。
28.图16是示出实施方式中的图像判断部的判断处理的一例，辨别对象的牙齿位于有效画面区域中的状态的图。
29.图17是示出实施方式中的图像判断部的判断处理的一例，辨别对象的牙齿偏离了有效画面区域的状态的图。
30.图18是示出实施方式中的口腔内的区域的例子的图。
31.图19是示出实施方式中的参照数据的分类的例子的图。
32.图20是示出实施方式中的参照数据的例子的图。
33.图21是实施方式中的种类识别处理的流程图。
34.图22是示出实施方式中的牙齿的图像的例子的图。
35.图23是示出实施方式中的种类识别处理的另外的例子的流程图。
36.图24是示出实施方式中的牙齿缺少的用户的口腔内的状态的图。
37.图25是示出实施方式中的有效区域判断处理以及摄影顺序判断处理的流程图。
具体实施方式
38.(得到本公开的经过)
39.在说明本公开的实施方式等之前，说明成为本公开的基础的知识。
40.用户用口腔内摄像机拍摄牙齿的时候，即使拍摄的图像从操作轨道(通过拍摄牙齿而得到的必要的图像的拍摄的轨道)偏离，用户也难以注意到异常。例如由口腔内摄像机拍摄后牙的情况下，需要一边进行撑开脸颊肉的操作一边进行拍摄。在这种情况下，可以说通过撑开脸颊肉从而能够使口腔内摄像机以稳定的状态与牙齿接触，但是在向着前牙移动摄影位置时从撑开脸颊肉的动作得到解放时或者由于脸颊肉的动作等发生手的抖动，有时会发生口腔内摄像机从原来的沿着齿列的操作轨道偏离的情况。
41.图1是模式性地示出利用口腔内摄像机进行拍摄的样子的图。在图1中虚线表示的轨道a示出用户用口腔内摄像机10按照从下颌的右侧的第二磨牙到第一磨牙、第二前磨牙、第一前磨牙、尖牙、侧切牙、中切牙的顺序，从牙冠侧进行拍摄的状态。图2是示出用户沿着齿列从牙冠侧进行了拍摄的情况下的第一磨牙、第二前磨牙、第一前磨牙、尖牙的从牙冠侧的摄影结果的图。在图2示出的图像中，各牙齿的整体位于有效摄影区域中。因而，这些图像适于牙齿的种类以及位置的识别以及全景图像的生成。
42.对于此，在图1中以实线表示的轨道b示出口腔内摄像机10在第一前磨牙的拍摄之后由于脸颊肉收拢等偏离到舌侧的情况。图3是示出在这种情况下的摄影结果的图。在图3示出的例子中，作为到第一磨牙、第二前磨牙、第一前磨牙为止的图像获得了适于牙齿的种类及位置的识别以及全景图像的生成的图像，但是尖牙的一部分偏离了摄影有效范围，这个图像不适于牙齿的种类及位置的识别以及全景图像的生成。
43.此外，用户自己一边用手来操作口腔内摄像机10一边拍摄牙齿，所以也有可能发生例如由于手的抖动等在拍摄第二前磨牙之后跳过第一前磨牙而拍摄尖牙的情况。当发生这样的摄影的异常时，需要再次进行拍摄，导致用户的使用感不好。
44.于是，本公开的发明人员针对根据口腔内摄像机的摄影部拍摄的牙齿的图像数据能够容易识别牙齿的种类以及位置或容易生成齿列的全景图像的口腔内摄像机系统进行锐意探讨，提出了以下说明的口腔内摄像机系统。
45.本公开的一个方案涉及的口腔内摄像机系统，具备：摄影部，生成对口腔内的摄影对象的牙齿进行拍摄而得到的图像数据；位置坐标提取部，对所述摄影部生成的所述图像数据定义二维平面座标，从所述摄影部的整体摄影区域中提取所述摄影对象的牙齿的轮廓的位置坐标；以及图像判断部，在所述摄影对象的牙齿的轮廓的一部分位于有效区域之外的情况下，判断为所述摄影对象的牙齿偏离了所述有效区域，所述有效区域是被设定在所述摄影部的整体摄影区域的内侧的区域。
46.通过上述，该口腔内摄像机系统，能够判断牙齿是否偏离了有效区域。因而，例如能够向用户通知牙齿偏离了有效区域，催促再次进行拍摄等，所以能够提高摄影精度。此外，用户能够容易并正确地进行拍摄，所以能够提高用户的使用感。此外，该口腔内摄像机系统，能够恰当地判断牙齿是否偏离了有效区域，所以能够提高摄影精度。
47.例如可以是，所述摄影部能够拍摄连续的多个帧，所述口腔内摄像机系统具备通知部，所述通知部在从所述摄影对象的牙齿的轮廓的一部分进入所述整体摄影区域后直到离开所述整体摄影区域的期间内对所述图像判断部的判断结果进行监视，在针对该连续的多个帧的所有图像数据判断为所述摄影对象的牙齿偏离了所述有效区域的情况下，向用户通知摄影失败。
48.通过上述，该口腔内摄像机系统，在牙齿偏离了有效区域的情况下，能够向用户通知摄影失败，例如催促再次进行拍摄等，所以能够提高摄影精度。
49.例如可以是，所述通知部，在所述图像判断部针对所述连续的多个帧的所有图像数据判断为所述摄影对象的牙齿偏离了所述有效区域的情况下，向所述用户通知所述摄影对象的牙齿的种类和/或位置。
50.通过上述，用户能够掌握偏离了有效区域的牙齿，所以例如能够容易再次进行拍摄。
51.例如可以是，所述通知部通过振动来向所述用户通知所述摄影失败。
52.例如可以是，所述通知部，在所述图像判断部针对所述连续的多个帧的所有图像数据判断为所述摄影对象的牙齿偏离了所述有效区域的情况下，进一步向所述用户进行通知，以使所述用户再次进行拍摄。
53.例如可以是，所述口腔内摄像机系统进一步具备识别部，针对所述连续的多个帧在所述图像判断部判断为所述摄影对象的牙齿没有从所述有效区域偏离的情况下，所述识别部根据所述连续的多个帧的图像数据，对所述摄影对象的牙齿的种类和/或位置进行识别。
54.例如可以是，所述识别部，根据所述摄影部拍摄的多个图像数据，对所述多个图像数据所示的多个牙齿的每一个的所述种类以及所述位置进行识别，所述口腔内摄像机系统进一步具备第1判断部，所述第1判断部对多个牙齿的第1摄影顺序是否与预先决定的第2摄
影顺序一致进行判断，所述多个牙齿的第1摄影顺序是基于所述多个图像数据所示的所述多个牙齿的每一个的被识别出的所述种类以及所述位置的摄影顺序。
55.通过上述，该口腔内摄像机系统，能够对实际进行的牙齿的第1摄影顺序与预先决定的第2摄影顺序不同进行判断。因而，例如能够向用户通知摄影顺序不正确，催促再次进行拍摄等，所以能够提高摄影精度。此外，用户能够容易并正确地进行拍摄，所以能够提高用户的使用感。
56.例如可以是，所述通知部，进一步在所述第1判断部判断为所述第1摄影顺序与所述第2摄影顺序不一致的情况下，向所述用户通知摄影顺序有错误。
57.例如可以是，所述通知部通过振动来向所述用户通知所述摄影顺序有错误。
58.例如可以是，所述通知部，在所述第1判断部判断为所述第1摄影顺序与所述第2摄影顺序不一致的情况下，进一步向所述用户进行通知，以使所述用户再次进行拍摄。
59.例如可以是，所述口腔内摄像机系统进一步具备第2判断部，所述第2判断部，对所述多个图像数据所示的所述多个牙齿的每一个的第1摄影方向是否与预先决定的第2摄影方向一致进行判断。
60.例如可以是，所述识别部利用估计模型，对所述牙齿的种类以及位置进行识别，所述估计模型是包括神经网络的模型，并且是将所述图像数据作为输入从而输出所述牙齿的种类以及位置的模型。
61.例如可以是，所述识别部，根据所述图像数据来检测齿间位置，根据检测出的所述齿间位置来生成各自示出一个牙齿的牙齿图像，根据所述牙齿图像，对所述牙齿图像所示的牙齿的种类以及位置进行识别。
62.例如可以是，所述口腔内摄像机系统进一步具备用于获得用户信息的用户信息获得部，所述用户信息是示出所述用户的性别、年龄层以及人种的至少其中之一的信息，所述识别部，根据所述用户信息和所述图像数据，对所述牙齿的种类以及位置进行识别。
63.通过上述，该口腔内摄像机系统，例如根据用户信息，能够恰当地进行识别，所以能够提高识别精度。
64.此外，本公开的一个方案涉及的摄影动作判断方法，在该摄影动作判断方法中，对由摄影部拍摄口腔内的摄影对象的牙齿从而生成的图像数据定义二维平面座标，从所述摄影部的整体摄影区域中提取所述摄影对象的牙齿的轮廓的位置坐标，在所述摄影对象的牙齿的轮廓的一部分位于有效区域之外的情况下，判断为所述摄影对象的牙齿偏离了所述有效区域，所述有效区域是被设定在所述摄影部的整体摄影区域的内侧的区域。
65.通过上述，该摄影动作判断方法，能够判断牙齿是否偏离了有效区域。因而，例如能够向用户通知牙齿偏离了有效区域，催促再次进行摄影等，所以能够提高摄影精度。此外，用户能够容易并正确地进行拍摄，所以能够提高用户的使用感。此外，该口腔内摄像机系统，能够恰当地判断牙齿是否偏离了有效区域，所以能够提高摄影精度。
66.另外，这些概括性的或具体的方案，可以由系统、方法、集成电路、计算机程序或者计算机可读取的cd-rom等记录介质来实现，也可以任意组合系统、方法、集成电路、计算机程序以及记录介质来实现。
67.下面适宜地参照附图，对实施方式进行详细说明。然而，有时会省略必要以上的详细说明。例如，有时省略已经公知的事项的详细说明以及针对实质上相同的结构的重复说
明。这是为了避免以下说明不必要地变得冗长，从而使本领域技术人员容易理解。
68.另外，本公开的发明人员为了使本领域技术人员充分理解本公开而提供附图以及以下的说明，但并不意味着利用这些内容来限定技术方案所记载的主题。
69.(实施方式)
70.图4是本实施方式中的口腔内摄像机系统中的口腔内摄像机的斜视图。如图4所示，口腔内摄像机10具备能够用一只手来使用的牙刷状的壳体，该壳体包括：在拍摄齿列时被配置在用户的口腔内的头部10a、用户把持的手柄部10b、以及将头部10a与手柄部10b连接的颈部10c。
71.摄影光学系统12被嵌入在头部10a和颈部10c。摄影光学系统12包括被配置在其光轴la上的摄像元件14和透镜(在图4中未图示)。
72.摄像元件14例如是c-mos传感器或ccd元件等摄影装置，通过透镜，牙齿的像被成像。将与该成像的像对应的信号(图像数据)，由摄像元件14向外部输出。
73.此外，在口腔内摄像机10搭载有第一led26a至第四led26d，以作为在拍摄时向摄影对象的牙齿照射光的照明装置。第一led26a至第四led26d，例如是白色led。
74.图5是示出本实施方式中的口腔内摄像机系统的概略的结构图。如图5所示，本实施方式中的口腔内摄像机系统概略地构成为使用口腔内摄像机10对齿列进行拍摄，针对该摄影图像执行图像处理。
75.如图5所示，口腔内摄像机系统包括口腔内摄像机10、便携式终端70、以及云服务器80。便携式终端70例如是能够进行无线通信的智能手机或平板终端等。便携式终端70例如将能够显示齿列图像的触摸屏72，作为输入装置以及输出装置来具备。便携式终端70作为口腔内摄像机系统的用户界面来发挥作用。
76.云服务器80是针对便携式终端70经由因特网等能够进行通信的服务器，向便携式终端70提供用于使用口腔内摄像机10的应用。例如用户将应用从云服务器80下载并安装到便携式终端70。此外，云服务器80经由便携式终端70获得由口腔内摄像机10拍摄的齿列图像。
77.口腔内摄像机系统包括：作为对系统进行控制的主要部分的中央控制部50、对来自摄像元件14的齿列图像进行图像处理的图像处理部52、对多个led即26a～26d进行控制的led控制部54、对构图调节机构的执行器36和焦点调节机构的执行器40进行控制的透镜驱动器56、位置传感器90、以及振动元件91。
78.此外，口腔内摄像机系统具有与便携式终端70进行无线通信的无线通信模块58、以及对中央控制部50等进行供电的电源控制部60。
79.口腔内摄像机系统的中央控制部50，例如搭载于口腔内摄像机10的手柄部10b。此外例如中央控制部50包括：执行稍后描述的各种处理的cpu或mpu等控制器62、以及存储用于使控制器62执行各种处理的程序的ram或rom等存储器64。另外，在存储器64中除了程序以外，还存储由摄像元件14拍摄的齿列图像(图像数据)及各种设定数据等。
80.图像处理部52例如搭载于口腔内摄像机10的手柄部10b，根据来自中央控制部50的控制器62的控制信号，获得摄像元件14拍摄的齿列图像(图像数据)，对该获得的齿列图像进行图像处理，将该图像处理后的齿列图像输出给中央控制部50。图像处理部52例如由电路来构成，例如针对齿列图像执行消除噪声、awb(automatic white balance：自动白平
衡)处理等图像处理。针对从图像处理部52输出的齿列图像，控制器62经由无线通信模块58发送给便携式终端70。便携式终端70，将该发送来的齿列图像显示在触摸屏72，从而向用户提示齿列图像。
81.led控制部54例如搭载于口腔内摄像机10的手柄部10b，根据来自控制器62的控制信号，执行第一led26a至第四led26d的点灯以及灭灯。led控制部54例如由电路来构成。例如，在用户针对便携式终端70的触摸屏72执行使口腔内摄像机10启动的操作时，对应的信号从便携式终端70经由无线通信模块58被发送给控制器62。控制器62根据接收的信号，向led控制部54发送控制信号以使第一led26a至第四led26d点灯。
82.透镜驱动器56例如搭载于口腔内摄像机10的手柄部10b，根据来自中央控制部50的控制器62的控制信号，对构图调节机构的执行器36和焦点调节机构的执行器40进行控制。透镜驱动器56，例如由电路构成。例如在用户针对便携式终端70的触摸屏72执行与构图调节及焦点调节有关的操作时，对应的信号从便携式终端70经由无线通信模块58被发送给中央控制部50。中央控制部50的控制器62根据接收的信号，向透镜驱动器56发送控制信号，以执行构图调节及焦点调节。此外例如，控制器62根据来自图像处理部52的齿列图像，对构图调节及焦点调节所需要的执行器36、执行器40的控制量进行运算，与该运算出的控制量对应的控制信号被发送给透镜驱动器56。
83.无线通信模块58例如搭载于口腔内摄像机10的手柄部10b，根据来自控制器62的控制信号，与便携式终端70进行无线通信。无线通信模块58与便携式终端70之间执行例如依照wifi(注册商标)及bluetooth(注册商标)等现有的通信标准的无线通信。经由无线通信模块58，从口腔内摄像机10将映出牙齿d的齿列图像发送给便携式终端70，或者从便携式终端70向口腔内摄像机10发送操作信号。
84.电源控制部60，在本实施方式的情况下搭载于口腔内摄像机10的手柄部10b，并且向中央控制部50、图像处理部52、led控制部54、透镜驱动器56、以及无线通信模块58，分配电池66的电力。电源控制部60，例如由电路来构成。另外，在本实施方式中电池66是能够充电的二次电池，经由搭载在口腔内摄像机10的线圈68，通过与商用电源连接的外部的充电器69而被无线充电。
85.位置传感器90是用于检测口腔内摄像机10的姿势以及位置的传感器，例如是多轴(这里是x、y、z的三轴)的加速度传感器。例如，位置传感器90可以是具有三轴的加速度传感器和三轴的陀螺仪传感器的六轴传感器。例如图4所示，z轴与光轴la一致。y轴与摄像面平行，并且在口腔内摄像机10的长度方向上延伸。此外，x轴与摄像面平行，并且与y轴正交。位置传感器90的各轴的输出(传感器数据)，经由中央控制部50以及无线通信模块58，发送给便携式终端70。
86.作为位置传感器90可以使用压阻类型、静电电容类型、或者热检测类型的mems传感器。此外虽然没有图示，也可以设置用于对各轴的传感器的灵敏度的平衡、灵敏度的温度特性、温度漂移等进行校正的校正电路。此外也可以设置用于消除动态加速度成分及噪声的带通滤波器(低通滤波器)。此外也可以对加速度传感器的输出波形进行平滑处理，从而减少噪声。
87.振动元件91例如搭载于口腔内摄像机10的手柄部10b，使手柄部10b振动。
88.接下来说明口腔内摄像机系统的口腔内摄影动作。图6是示出用户进行的口腔内
摄影动作的整体流程的流程图。如图6所示，例如进行6个摄影阶段。首先，用户利用口腔内摄像机10，从颊侧拍摄用户的下颌的牙齿列(s131)。
89.图7是模式性地示出这个动作中的摄影顺序的图。图7示出的u字形状模式性地示出下颌的牙齿列，沿着以阴影示出的颊侧(外侧)的表面拍摄牙齿列。此外，例如根据以箭头记号示出的摄影顺序从左后牙向右后牙依次进行拍摄。
90.接下来用户利用口腔内摄像机10，从牙冠侧拍摄用户的下颌的牙齿列(s132)。图8是模式性地示出这个动作中的摄影顺序的图。如图8所示，沿着以阴影示出的牙冠侧(上侧)的表面拍摄牙齿列。此外，例如根据以箭头记号示出的摄影顺序，从右后牙向左后牙依次进行拍摄。
91.接下来用户利用口腔内摄像机10，从舌侧拍摄用户的下颌的牙齿列(s133)。图9是模式性地示出这个动作中的摄影顺序的图。如图9所示，沿着以阴影示出的舌侧(内侧)的表面拍摄牙齿列。此外，例如根据以箭头记号示出的摄影顺序，从左后牙向右后牙依次进行拍摄。
92.接下来对上颌的牙齿列也进行同样的拍摄。具体而言，用户利用口腔内摄像机10，从颊侧拍摄用户的上颌的牙齿列(s134)。接下来用户利用口腔内摄像机10，从牙冠侧拍摄用户的上颌的牙齿列(s135)。接下来用户利用口腔内摄像机10，从舌侧拍摄用户的上颌的牙齿列(s136)。
93.通过上述，获得下颌的牙齿列以及上颌的牙齿列的各自的颊侧、牙冠侧以及舌侧的图像数据。另外这里示出的多个阶段(s131～s136)的顺序是一例，多个阶段的顺序可以是任意的顺序。此外，图7～图9示出的摄影顺序是一例，也可以是任意的顺序。例如，在所有阶段中摄影顺序可以相同，也可以是一部分摄影顺序不同。
94.此外，例如在用户进行拍摄时，可以向用户提示作为各阶段的信息的摄影地点(例如下颌或上颌)、摄影方向(例如颊侧、牙冠侧或舌侧)、以及摄影顺序(例如从左后牙向右后牙、或从右后牙向左后牙)。例如，在从颊侧拍摄下颌的牙齿列的情况下(s131)，可以在便携式终端70显示如图7所示的图像并且向用户通知指示，该指示是使用户从颊侧沿着箭头记号拍摄下颌的牙齿列的指示。此外，指示的通知，可以通过在便携式终端70显示文字等，也可以通过声音进行通知，也可以并用这些。
95.此外，在此示出了进行6个阶段的例子，但是阶段的数量可以是任意的数量。例如，上述的阶段可以进一步进行分割。图10～图12是模式性地示出摄影顺序的变形例的图。例如图10所示，从颊侧拍摄下颌的牙齿列(s131)，可以分割为从颊侧拍摄下颌的牙齿列的右区域的阶段、以及从颊侧拍摄下颌的牙齿列的左区域的阶段。同样，例如图11所示，从牙冠侧拍摄下颌的牙齿列(s132)，可以分割为从牙冠侧拍摄下颌的牙齿列的右区域的阶段、以及从牙冠侧拍摄下颌的牙齿列的左区域的阶段。同样，例如图12所示，从舌侧拍摄下颌的牙齿列(s133)，可以分割为从舌侧拍摄下颌的牙齿列的右区域的阶段、以及从舌侧拍摄下颌的牙齿列的左区域的阶段。此外，也可以不进行上述的6个阶段的一部分。
96.接下来说明针对图像数据的处理的流程。图13是示出口腔内摄像机系统中的口腔内摄影动作的流程的图。另外，图13示出的处理例如是实时进行的处理，按照每次获得一帧或多帧的图像数据时进行。
97.用户用口腔内摄像机10，拍摄自己口腔内的牙齿以及牙龈从而生成图像数据
(s101)。接下来口腔内摄像机10将拍摄出的图像数据和在拍摄时由位置传感器90获得的传感器数据，发送到便携式终端70(s102)。另外，在此图像数据可以是运动图像，也可以是一个或多个静止图像。此外，在图像数据是运动图像或多个静止图像的情况下，可以按运动图像的每个帧或按每个静止图像来发送传感器数据。另外，在图像数据是运动图像的情况下，可以按每多个帧来发送传感器数据。
98.此外，图像数据以及传感器数据的发送可以实时进行，也可以在一连串的拍摄(例如口腔内的所有牙齿的拍摄)之后一并发送。
99.接下来便携式终端70，判断拍摄出的各牙齿的图像数据是否偏离了口腔内摄像机10的有效区域(s103)。
100.在判断为拍摄出的牙齿的图像数据偏离了口腔内摄像机10的有效区域的情况下，则将该情况通知给用户。例如，通过口腔内摄像机10的振动元件91振动，从而向用户通知正在以牙齿偏离了有效区域的状态进行拍摄(s104)。
101.在判断为拍摄出的牙齿的图像数据没有偏离口腔内摄像机10的有效区域的情况下，便携式终端70从云服务器80获得参照数据(s105)，利用接收的图像数据以及传感器数据和获得的参照数据，对图像数据包括的多个牙齿各自的种类以及位置进行识别(s106)。
102.图14是示出口腔内的牙齿的图。由便携式终端70识别的牙齿的种类是指例如图14示出的中切牙、侧切牙、尖牙等，由便携式终端70识别的牙齿的位置是指上颌、下颌、右侧、左侧等。换言之，对牙齿的种类以及位置进行识别是指针对对象的牙齿是图14示出的多个牙齿中的哪一个进行识别。
103.接下来便携式终端70利用被识别出的牙齿的种类以及位置，判断是否以正确的顺序进行拍摄(扫描是否恰当)(s107)。具体而言，便携式终端70通过判断基于被识别出的牙齿的种类以及位置的多个牙齿的摄影顺序是否与预先决定的摄影顺序一致，从而判断是否以正确的顺序进行拍摄。
104.在没有以正确的顺序进行拍摄的情况下，则将该情况通知给用户。例如通过口腔内摄像机10的振动元件91振动，从而向用户通知没有以正确的顺序进行拍摄(s108)。
105.此外可以是，便携式终端70例如利用识别出的牙齿的种类以及位置，根据拍摄出的图像数据制作口腔内的多个牙齿的三维模型，显示基于制作出的三维模型的图像。
106.此外，便携式终端70可以将拍摄出的多个图像数据接合来制作牙齿列的全景图像。在这种情况下，优选的是图像数据中包括与相邻的牙齿的至少一方的牙齿的边界的图像。优选的是图像数据中包括例如邻接的牙齿的牙齿尺寸(例如包括咬合面的凹凸的尺寸的牙齿整体的尺寸)或阵列尺寸(例如相邻的牙齿的齿距)的至少十分之一左右的范围的邻接的牙齿的图像。
107.通过使用这样的口腔内摄像机系统，用户能够以口腔内摄像机10拍摄用户自己口腔内的图像，并对显示在便携式终端70的口腔内的状态进行确认。从而，用户能够容易进行自己牙齿的健康状态的确认等。
108.另外在此叙述了由便携式终端70进行牙齿的种类等的识别以及判断是否以正确的顺序进行拍摄的例子，但是便携式终端70进行的处理的一部分或全部可以由口腔内摄像机10或云服务器80进行。
109.图15是便携式终端70的功能方框图。便携式终端70具备区域检测部101、用户信息
获得部102、识别部103、判断部107、以及通知部108。这些各处理部的功能，例如由cpu或处理器等程序执行部，读出并执行在硬盘或半导体存储器等记录介质中记录的软件程序来实现。
110.区域检测部101利用传感器数据，对与各图像数据对应的口腔内的区域进行检测，并生成示出所检测出的区域的区域信息。
111.用户信息获得部102获得示出用户属性的用户信息。例如用户信息获得部102，经由便携式终端70的用户界面获得由用户输入的用户信息。或者，用户信息获得部102可以获得在便携式终端70或其他的装置(例如云服务器80)中保存的用户信息。具体而言，用户信息示出用户的性别、年龄层(或年龄)以及人种的至少其中之一。
112.图像判断部109，利用图像数据来判断图像数据包括的辨别的对象的牙齿即对象牙齿是否位于有效区域中。图像判断部109包括牙齿辨别部110、位置信息提取部111、以及有效区域判断部112。牙齿辨别部110，针对从图像处理部52输出的图像信号进行周知的图像处理，从而提取对象牙齿。
113.牙齿辨别部110，例如通过边缘检测来确定对象牙齿和与该对象牙齿相邻的牙齿之间的边界、以及对象牙齿与齿龈之间的边界，从而能够提取对象牙齿以及与该对象牙齿邻接的牙齿。或者，可以是牙齿辨别部110利用参照数据，根据对象牙齿的特征图案来提取对象牙齿。
114.位置信息提取部111，针对从图像处理部52输出的图像信号进行周知的图像处理，将位于摄像元件14的有效区域内的对象牙齿的位置信息，按每规定时间进行提取。图16以及图17是示出图像数据和摄像元件14的有效区域s3的例子的图。如图16以及图17所示，有效区域s3(有效图像区域)是与摄影范围对应，从摄像元件14的整体像素的整体摄影区域s1中除去整体摄影区域s1的外周的区域即周边区域s2的区域。此外，除去周边区域s2从而能够避开在牙齿图像中添加噪声。另外，根据摄像元件14的功能，不一定需要设定周边区域s2，也可以使有效区域与整体摄影区域s1一致。此外，提取牙齿的位置信息的规定时间，能够经由控制器62任意地变更设定。
115.另外，作为位置信息，例如在二维平面的图像数据中，使用以任意的点为原点的位置坐标(x，y)。例如，位置信息提取部111提取沿着成为辨别对象的牙齿的轮廓的一群位置坐标{(xa，ya)～(xz，yz)}。
116.有效区域判断部112，根据对象牙齿的位置坐标(x，y)，判断在图16以及图17示出的由整体摄影区域s1以及周边区域s2而被设定的有效区域s3内是否有对象牙齿。
117.判断部107如图16所示在示出对象牙齿的轮廓的一群位置坐标{(xa，ya)～(xz，yz)}全部在有效区域s3内的情况下，判断为对象牙齿位于有效区域s3内。另一方面，如图17所示在示出对象牙齿的轮廓的一群位置坐标中只要有一部分不在有效区域s3内(在周边区域s2)的情况下，判断为对象牙齿位于有效区域s3之外。
118.通知部108，在判断部107判断为拍摄出的牙齿的图像数据偏离了口腔内摄像机10的有效区域的情况下，例如通过口腔内摄像机10的振动元件91振动，从而向用户通知正在以牙齿偏离了有效区域s3的状态进行拍摄。
119.识别部103利用图像数据、区域信息、用户信息、以及参照数据，对图像数据包括的各牙齿的种类以及位置进行识别。识别部103包括牙齿图像生成部104以及种类识别部105。
根据图像数据来生成各自包括成为辨别的对象的一个牙齿的牙齿图像。另外，牙齿图像可以包括其他的邻接的牙齿的一部分，也可以包括与邻接的牙齿的边界部。种类识别部105利用区域信息、用户信息、参照数据以及估计模型106，对牙齿图像包括的牙齿的种类以及位置进行识别。
120.估计模型106是用于根据牙齿图像和参照数据，来估计牙齿图像中包括的牙齿的种类以及位置的模型。例如，估计模型106可以包括神经网络。
121.判断部107利用识别出的牙齿的种类以及位置，判断是否以正确的顺序进行拍摄。具体而言，判断部107通过判断基于识别出的牙齿的种类以及位置的多个牙齿的摄影顺序，是否与预先决定的摄影顺序一致，从而判断是否以正确的顺序进行拍摄。
122.通知部108在没有以正确的顺序进行拍摄的情况下，则将该情况通知给用户。例如，通知部108向口腔内摄像机10发送振动指示，该振动指示是用于使口腔内摄像机10的振动元件91振动的指示。这样口腔内摄像机10的振动元件91振动，向用户通知没有以正确的顺序进行拍摄。
123.接下来说明区域检测部101检测的区域的例子。图18是示出这个口腔内的区域的例子的图。在该图中，例如口腔内的多个牙齿被分割为上颌左、上颌前、上颌右、下颌左、下颌前、以及下颌右的6个区域。另外这里示出了被分割为6个区域的例子，但是区域的数量可以是任意的数量。此外，也可以被分割为上颌和下颌的两个区域。此外，各区域可以根据摄影方向而进一步被分割。例如图18所示，各区域可以被分割为颊侧和舌侧的两个摄影方向。此外，在此示出了各个牙齿不重复地属于多个区域的例子，但是一部分牙齿可以属于两个以上的区域。例如邻接的两个区域的边界附近的牙齿可以属于该两个区域的双方。例如图18中的上颌前的左端的3号牙齿尖牙，可以属于上颌前和上颌左这双方。
124.下面对根据传感器数据来判断这个区域以及摄影方向的方法的具体例进行说明。首先区域检测部101，根据z方向的加速度传感器的输出az，对是上颌还是下颌进行判断。在此在拍摄上颌的齿列时，摄像面至少稍微朝向上方，在拍摄下颌的齿列时，摄像面至少稍微朝向下方。因而，区域检测部101在az》0的情况下，将与图像数据对应的区域判断为是下颌，在az≤0的情况下，将与图像数据对应的区域判断为是上颌。
125.接下来说明在判断为是上颌的情况下，对是上颌的哪个区域进行判断的方法。区域检测部101，根据y方向的加速度传感器的输出ay来判断是否为前牙。在此，在拍摄前牙时口腔内摄像机10大致呈水平状，但是在拍摄臼齿时，因为有嘴唇的干扰所以口腔内摄像机10不得不倾斜。因而，区域检测部101在ay≤阈值a的情况下，判断为是上颌前。
126.进而区域检测部101在判断为是上颌前的情况下，根据x方向的加速度传感器的输出ax来对是颊侧还是舌侧进行判断。在此，在颊侧和舌侧，摄像面的朝向为反转的方向。因而，区域检测部101在ax》0的情况下判断为是“上颌前颊侧”，在ax≤0的情况下判断为是“上颌前舌侧”。
127.另一方面，区域检测部101在判断为不是上颌前的情况下，根据x方向的加速度传感器的输出ax来判断摄像面的朝向。具体而言，区域检测部101在ax》0的情况下判断为是“上颌右颊侧或上颌左舌侧”，在ax≤0的情况下判断为是“上颌左颊侧或上颌右舌侧”。
128.进而区域检测部101根据上一次的处理中判断出的区域，进行区域的筛选。具体而言，区域检测部101在对是上颌右颊侧还是上颌左舌侧进行判断的情况下，在上一次的区域
为“上颌前颊侧、上颌右颊侧、上颌右舌侧、下颌前颊侧、下颌右颊侧、下颌右舌侧”的任一个时，将当前的区域估计为“上颌右颊侧”，在上一次的区域为“上颌前舌侧、上颌左颊侧、上颌左舌侧、下颌前舌侧、下颌左颊侧、下颌左舌侧”的任一个时，将当前的区域估计为“上颌左舌侧”。
129.此外，区域检测部101在对是上颌左颊侧还是上颌右舌侧进行判断的情况下，在上一次的区域为“上颌前颊侧、上颌左颊侧、上颌左舌侧、下颌前颊侧、下颌左颊侧、下颌左舌侧”的任一个时，将当前的区域估计为“上颌左颊侧”，在上一次的区域为“上颌前舌侧、上颌右颊侧、上颌右舌侧、下颌前舌侧、下颌右颊侧、下颌右舌侧”的任一个时，将当前的区域估计为“上颌右舌侧”。这是利用了摄像面的移动以摄像面的移动量以及朝向的变更尽量少的方式进行的概率高。
130.此外，针对下颌也进行同样的判断。具体而言，区域检测部101根据y方向的加速度传感器的输出ay，对是否为前牙进行判断。具体而言，区域检测部101在ay≤阈值b的情况下，判断为是下颌前。
131.在被判断为是下颌前的情况下，区域检测部101根据x方向的加速度传感器的输出ax，对是颊侧还是舌侧进行判断。具体而言，区域检测部101在ax《0的情况下判断为是“下颌前颊侧”，在ax≥0的情况下判断为是“下颌前舌侧”。
132.另一方面，区域检测部101在判断为不是下颌前的情况下，根据x方向的加速度传感器的输出ax，判断摄像面的朝向。具体而言，区域检测部101在ax》0的情况下判断为是“下颌右颊侧或下颌左舌侧”，在ax≤0的情况下判断为是“下颌左颊侧或下颌右舌侧”。
133.此外，区域检测部101在对下颌右颊侧或下颌左舌侧进行判断的情况下，在上一次的区域为“下颌前颊侧、下颌右颊侧、下颌右舌侧、下颌前颊侧、上颌右颊侧、上颌右舌侧”的任一个时，将当前的区域估计为“下颌右颊侧”，在上一次的区域为“下颌前舌侧、下颌左颊侧、下颌左舌侧、上颌前舌侧、上颌左颊侧、上颌左舌侧”的任一个时，将当前的区域估计为“下颌左舌侧”。
134.此外，区域检测部101在对下颌左颊侧或下颌右舌侧进行判断的情况下，在上一次的区域为“下颌前颊侧、下颌左颊侧、下颌左舌侧、上颌前颊侧、上颌左颊侧、上颌左舌侧”的任一个时，将当前的区域估计为“下颌左颊侧”，在上一次的区域为“下颌前舌侧、下颌右颊侧、下颌右舌侧、上颌前舌侧、上颌右颊侧、上颌右舌侧”的任一个时，将当前的区域估计为“下颌右舌侧”。
135.通过以上的处理，当前的区域被确定为“上颌前颊侧”、“上颌前舌侧”、“上颌右颊侧”、“上颌左舌侧”、“上颌左颊侧”、“上颌右舌侧”、“下颌前颊侧”、“下颌前舌侧”、“下颌右颊侧”、“下颌左舌侧”、“下颌左颊侧”、以及“下颌右舌侧”的其中任一个。
136.另外，上述判断算法仅仅是一例，只要能够根据加速度传感器的输出ax、ay、az来确定区域时，则可以使用任意的判断算法。例如可以将ax、ay、az适宜地组合而得到的二次变量作为判断的变量来使用，而不是将ax、ay、az的值原样作为判断的变量来使用。二次变量能够任意设定为例如ay/az、ax
·
ax+ay
·
ay、az-ax等。或者将各轴的加速度信息ax、ay、az变换为角度信息(姿态角)α、β、γ之后，对区域进行判断也可以。例如可以将相对于重力加速度方向的x轴的角度定义为滚动角α、将相对于重力加速度方向的y轴的角度定义为俯仰角β、以及将相对于重力加速度方向的z轴的角度定义为偏航角γ。此外，能够根据临床实
验等的结果来决定在各判断中使用的阈值。
137.此外，在上述的说明中作为摄影方向对颊侧和舌侧的两个方向进行了判断，但是可以对进一步包括牙冠侧的三个方向进行判断。例如能够利用牙冠侧的摄影时的摄像面比颊侧以及舌侧的摄影时的摄像面更接近水平状，来判断摄影方向是否为牙冠侧。
138.此外，在上述中说明了利用位置传感器90具有的三轴的加速度传感器，对摄影对象的区域以及摄影方向进行判断的例子，但是也可以利用三轴的陀螺仪传感器来对摄影对象的区域以及摄影方向进行判断。三轴的陀螺仪传感器例如分别输出由于x轴周围的移动引起的角度的变化量、由于y轴周围的移动引起的角度的变化量、以及由于z轴周围的移动引起的角度的变化量。即在三轴的陀螺仪传感器的情况下，以任意设定了x轴、y轴以及z轴的初始状态的状态下，对各自的轴的变化量进行加法运算，来判断摄影对象的区域以及口腔内摄像机10的摄像面的朝向(摄影方向)。
139.另外，可以将三轴的加速度传感器和三轴的陀螺仪传感器这双方进行组合，从而对摄影对象的区域以及口腔内摄像机10的摄像面的朝向进行判断。
140.接下来对识别部103的动作的细节进行说明。另外，以下说明针对一个图像数据(运动图像包括的一帧、或一张静止图像)的处理。
141.首先，牙齿图像生成部104根据图像数据生成各自示出一个牙齿的牙齿图像。具体而言，牙齿图像生成部104根据图像数据，通过图像分析等来检测齿间位置，利用被检测出的齿间位置，提取牙齿图像。例如，牙齿图像生成部104将齿间位置利用为边界来提取图像，从而生成牙齿图像。
142.接下来种类识别部105利用区域信息、用户信息、参照数据以及估计模型106，对牙齿图像中包括的牙齿的种类以及位置进行识别。
143.参照数据是在对牙齿图像中包括的牙齿的种类以及位置进行识别时被参照的数据。例如，参照数据是种类以及位置为已知的牙齿的数据。具体而言，参照数据可以是预先拍摄的牙齿的图像数据群，也可以是牙齿列的图像数据群，也可以是齿列的全景图像。或者参照数据可以是示出标准的各牙齿的形状或特征量的信息。
144.另外，参照数据除了种类以及位置之外，还可以按每个摄影方向、以及按每个用户属性而被分类。另外，用户属性是用户的性别、年龄层(或年龄)以及人种的其中一个、或者是两个以上的组合。换言之，按照用户的性别、年龄层以及人种而唯一地决定用户属性。
145.图19是示出参照数据的分类的例子的图。另外在该图中阶段性地示出了参照数据的分类，但是不一定需要阶段性地进行分类。此外，将用于识别的参照数据表示为a(n)。此外，n与牙齿的种类、位置以及摄影方向的组唯一地建立对应。图20是示出参照数据的例子的图。作为一例，针对上颌的切牙、尖牙以及第一磨牙的各自示出颊侧、舌侧以及牙冠侧的参照数据。
146.如图20所示牙齿根据其种类，形状以及大小不同。例如上颌的中切牙具有如下特征。颊侧的外形通常呈纵向长的梯形，切缘大致呈直线。牙颈线向牙根呈凸弯形，近中缘以及远中缘轻微弯曲。近中缘的弯曲顶位于近中切缘边角部附近。远中缘的弯曲顶位于切缘侧的1/3的高度。舌侧的外形呈三角形，由近中边缘隆线以及远中边缘隆线和舌面牙颈隆线构成周缘隆线，形成舌侧窝。
147.此外，上颌的尖牙具有如下特征。颊侧的外形通常呈五边形，关于切缘其中心突出
而形成尖头。牙颈线向牙根呈凸弯形。近中缘呈直线或稍微向外侧凸弯，远中缘呈直线或稍微凹弯。舌侧的外形呈菱形，由近中边缘隆线以及远中边缘隆线和舌面牙颈隆线构成周缘隆线。
148.此外，上颌的第一磨牙具有如下特征。颊侧的外形通常呈梯形，近远中缘大致呈直线。牙颈线呈水平状以及在中心部向分歧部呈凸状。此外接触点在近中位于咬合面侧的1/3的高度，接触点在远中位于1/2的高度。舌侧的外形呈梯形，舌侧面沟在大致中心纵向形成。牙冠侧的外形呈平行四边形，颊舌径比近远中径大。
149.此外，将处理对象的牙齿图像表示为b(m)。因而，与处理对象的牙齿图像左右相邻的牙齿的牙齿图像表示为b(m-1)、b(m+1)。
150.此外，将区域检测部101检测出的与处理对象的牙齿图像(b(m))对应的区域信息表示为c(m)。例如按每个图像数据生成区域信息。因而，在一个图像数据包括多个牙齿，被生成了多个牙齿图像的情况下，该多个牙齿图像和与该一个图像数据对应的相同的区域信息建立对应。
151.图21是种类识别部105进行的种类识别处理的流程图。首先，种类识别部105进行初始化(s111)。具体而言，种类识别部105将n设定为0，将err设定为err_max，将n设定为0。在此，err是稍后描述的评价值，err的值越小表示评价越高。此外，err_max是err在理论上可以取的最大值。此外，n表示最小的err的n的值。
152.接下来种类识别部105根据用户信息以及区域信息，对将要使用的参照数据进行选择(s112)。具体而言，种类识别部105选择如下的参照数据，即被分配有用户信息所示的用户属性且被分配有与区域信息所示的区域对应的牙齿的种类、位置以及摄影方向的参照数据。例如，在区域信息所示的区域为上颌左舌侧时，包括在上颌左的5个牙齿的舌侧的总共5个参照数据，作为将要使用的参照数据而被选择。此外按照选择出的参照数据的数量，来设定n的最大值即n_max。例如，在参照数据的数量为5个时，对这5个参照数据分配n＝0～4，n_max被设定为4。
153.接下来种类识别部105，根据牙齿图像b(m)和参照数据(a(n))算出err(n)(s113)。例如，种类识别部105利用err(n)＝f(a(n))-f(b(m)，算出err(n)。在此，f(a(n))以及f(b(m))是将a(n)以及b(m)投入到函数f()的值。函数f()是提取a(n)以及b(m)的特征量的函数。另外，有时f()表示矢量，而不是标量(scalar)。
154.如图20所示的各个牙齿，形状以及大小按照其种类而具有特征性。种类识别部105，通过上述的函数f将这些有特征性的形状以及大小作为特征量来提取。
155.利用图22来说明通过函数f而被提取的特征量。图18是示出从牙冠侧拍摄了上颌右侧区域的第一磨牙的图像的图。第一磨牙的咬合面呈近似于平行四边形的形状，将近远中的颊侧牙尖顶和舌侧牙尖顶的各自连接的直线ab与直线dc是接近平行的关系，直线ad与直线bc是接近平行的关系。此外，牙尖顶间的距离的各自也是大致相等(ab＝dc，ad＝bc)。作为一例，能够将上述的两个牙尖间距离作为特征量。
156.此外，err(n)是示出f(a(n))与f(b(m))之间的差分(在矢量的情况下是距离)的值。换言之，b(m)越接近a(n)，则“f1(a(n))-f1(b(m))”越小，在n＝m时，err(n)取极小值。
157.种类识别部105，在算出的err(n)比err小的情况下，将err设定为err(n)，将n设定为n(s114)。
158.在不是n＝n_max的情况下(s115中的“否”)，种类识别部105针对n加1(s116)，再次进行步骤s113以后的处理。换言之，针对使用的所有参照数据进行步骤s113以及s114。
159.在是n＝n_max的情况下(s115中的“是”)，种类识别部105将与n对应的种类、位置以及摄影方向，作为牙齿图像包括的牙齿的种类、位置以及摄影方向来输出(s117)。
160.通过上述的处理，种类识别部105能够对牙齿图像的种类、位置以及摄影方向进行识别。此外，在步骤s112中，通过用户信息以及区域信息，能够减少牙齿的种类、位置以及摄影方向的候补。因而能够减少处理量，并且能够提高识别精度。
161.图23是示出种类识别部105进行的种类识别处理的另外的例子的流程图。图23所示的处理相对于图21所示的处理的不同之处是，步骤s112被变更为步骤s112a以及追加了步骤s118。
162.在步骤s112a中，种类识别部105根据用户信息来选择将要使用的参照数据。具体而言，种类识别部105选择被分配有用户信息所示的用户属性的参照数据。
163.在步骤s118中，种类识别部105根据区域信息，对在步骤s113算出的err(n)进行加权。具体而言，种类识别部105将err(n)和与区域信息对应的w相乘。例如在区域信息所示的区域中包括与n对应的牙齿的情况下，将err(n)与w0相乘。此外，在区域信息所示的区域不包括与n对应的牙齿的情况下，将err(n)与比w0大的w1相乘。这样由于区域信息所示的区域中包括的牙齿的err变小，所以牙齿图像中包括的牙齿，容易被判断为是包括在该区域中的牙齿。
164.此外，可以不是以是否包括在区域中这样的两个步骤来进行加权。例如，可以按照与区域信息所示的区域之间的距离来设定权重。例如，与区域信息所示的区域近的位置的牙齿的权重，可以被设定为比与该区域远离的位置的牙齿的权重小。
165.此外，用户信息可以不用于参照数据的选择而是与区域信息同样用于err(n)的加权。
166.此外，可以将图21中所述的根据区域信息来进行的参照数据的选择和图23中所述的加权进行组合。例如可以将与区域信息所示的区域远离的位置的牙齿从对象中排除，而对与该区域近的位置的牙齿使用权重。
167.此外，在用户定期地进行口腔内摄影的情况下等，过去已经获得了该用户的牙齿图像的情况下，可以将该牙齿图像作为参照数据来使用。在这种情况下，不进行基于上述的用户信息的参照数据的选择，而只进行基于区域信息的处理。
168.此外，在上述中对处理对象的牙齿图像与参照数据进行了比较，但是也可以对与包括处理对象的牙齿的牙齿列对应的多个牙齿图像和多个参照数据进行比较。
169.例如，种类识别部105可以通过err(n)＝f(a(n))-f(b(m))+f’(a(n-1))-f’(b(m-1))+f’(a(n+1))-f’(b(m+1))来算出err(n)。在此，a(n-1)以及a(n+1)是与a(n)的牙齿邻接的牙齿的参照数据，b(m-1)以及b(m+1)是与b(m)的牙齿邻接的牙齿的牙齿图像。此外，f’()是提取用于对应该关注的牙齿的左右相邻的牙齿进行评价的特征量的函数。这样也利用邻接的牙齿的信息，从而能够提高识别精度。
170.此外，在上述中说明了作为参照数据使用牙齿的图像的例子，但是也可以将特征量(换言之，上述的f(a(n))的值)作为参照数据来使用。
171.此外，种类识别部105在识别中使用的估计模型106，可以包括神经网络等已学习
模型。例如，上述的函数f或f’可以是已学习模型。此外，使用神经网络的方法不限于此，例如进行种类估计的估计模型106的整体可以由神经网络来构成。在这种情况下，例如可以按每个用户属性来设置估计模型106。各估计模型106是对应的用户属性的利用多个由牙齿图像、区域信息、牙齿的种类、位置以及摄影方向构成的组作为教师数据(学习数据)来进行机器学习而生成的已学习模型。估计模型106将牙齿图像、区域信息作为输入，输出牙齿的种类、位置以及摄影方向。在这种情况下，种类识别部105利用用户信息选择对应的估计模型106，对选择出的估计模型106输入牙齿图像和区域信息从而获得牙齿的种类、位置以及摄影方向。
172.或者，估计模型106可以按照由用户属性和区域信息构成的组的每一个而被设置。在这种情况下，各估计模型106是对应的用户属性且区域信息的利用多个由牙齿图像、牙齿的种类、位置以及摄影方向构成的组作为教师数据来进行机器学习而生成的已学习模型。此外，估计模型106将牙齿图像作为输入，输出牙齿的种类、位置以及摄影方向。在这种情况下，种类识别部105利用用户信息以及区域信息选择对应的估计模型106，对选择出的估计模型106输入牙齿图像从而获得牙齿的种类、位置以及摄影方向。
173.另外，在上述说明中记述了利用用户信息和区域信息这双方的例子，但是也可以只利用任意一方。
174.此外，在上述说明中记述了区域信息示出区域和摄影方向的例子，但是也可以只示出任意一方。
175.接下来对在用户由于龋齿的治疗等一部分牙齿(例如“上颌左侧的第二前磨牙”)缺少的情况下，口腔内摄像机系统中的识别部103进行的动作的细节进行说明。另外，以下对一个图像数据(运动图像中包括的一帧、或一张静止图像)的处理进行说明。图24是示出上颌左的第二前磨牙缺少的用户的口腔内的状态的图。
176.区域检测部101，确定口腔内摄像机10正在拍摄包括第二前磨牙的“上颌左侧”的区域。而且，口腔内摄像机10拍摄与第二前磨牙对应的部位的图像b(m’)，通过图像分析等检测牙齿不存在。
177.接下来种类识别部105根据牙齿图像b(m
’‑
1)、b(m’+1)、以及参照数据(a(n))来算出err(n)，确定牙齿图像b(m
’‑
1)、b(m’+1)的牙齿的种类和位置，并确定b(m’)是被上颌左侧的第一前磨牙和第一磨牙夹着的区域的图像，判断为缺少第二前磨牙，输出判断结果。
178.另外，在缺少第三磨牙的情况下，通过确定相邻的第二磨牙，从而能够判断为缺少第三磨牙。
179.此外，在用户定期地进行口腔内摄影的情况下等，过去已经获得了该用户的牙齿图像的情况下，可以将该牙齿图像作为参照数据来使用。在这种情况下，能够根据过去的口腔内摄影的结果来获得用户缺少的牙齿的信息。
180.接下来说明对是否偏离了有效区域进行判断的有效区域判断处理(s103)以及对摄影顺序是否正确进行判断的摄影顺序判断处理(s107)的细节。图25是有效区域判断处理以及摄影顺序判断处理的流程图。
181.首先进行初始化动作。例如，振动元件91被关闭。接下来图像判断部109提取辨别的对象即对象牙齿的位置坐标(s141)。换句话说，对象牙齿是当前的图像数据所包括的牙齿。具体而言，图像判断部109，提取图像数据所包括的对象牙齿，将提取的对象牙齿的在图
像内的坐标作为位置坐标来提取。
182.接下来图像判断部109，判断对象牙齿是否位于有效区域内(s142)。具体而言，图像判断部109判断对象牙齿的位置坐标是否在有效范围内。
183.在对象牙齿不位于有效区域内的情况下(s143中的“否”)，通知部108使口腔内摄像机10振动(s149)，指示再次进行拍摄(s150)。例如，便携式终端70显示报文，该报文是向用户通知正在以牙齿偏离了有效区域的状态进行拍摄，并且指示再次进行拍摄的报文。此外，通知部108可以在这个时候向用户通知偏离了摄影范围的牙齿的种类和/或位置。例如，通知部108，可以向用户通知在紧之前的图像数据中被识别出的牙齿的种类以及/或位置。此外，在再次进行拍摄的指示中，可以指示从进行了通知的位置开始再次进行拍摄，也可以指示从上述的阶段的最初的位置开始再次进行拍摄。此外该通知以及指示可以由声音来进行，也可以由显示和声音这双方来进行。此外，通知部108，也可以仅进行振动(s149)和再次进行拍摄的指示(s150)的其中一方。
184.另一方面，在对象牙齿位于有效区域内的情况下(s143中的“是”)，判断部107，对从识别部103输出的当前的摄影方向与指定的摄影方向是否一致进行判断(s144)。在此指定的摄影方向是指上述的按每个阶段而被设定的摄影方向(例如颊侧、牙冠侧或舌侧)。例如在图6所示的步骤s131的摄影时，指定的摄影方向是颊侧。
185.在当前的摄影方向与指定的摄影方向不一致的情况下(s145中的“否”)，判断为摄影方向不正确，通知部108，使口腔内摄像机10振动(s149)，指示再次进行拍摄(s150)。例如，便携式终端70显示对用户进行指示的报文，该指示为使用户从正确的方向(例如颊侧)进行拍摄。另外，这个指示可以由声音来进行，也可以由显示和声音这双方来进行。此外，通知部108，也可以仅进行振动(s149)和再次进行拍摄的指示(s150)的其中一方。
186.在当前的摄影方向与指定的摄影方向一致的情况下(s145中的“是”)，判断为摄影方向正确。接下来判断部107，根据当前以及过去的牙齿的种类以及位置，判断当前的摄影顺序(s146)。在此过去的牙齿的种类以及位置是指例如紧之前判断出的牙齿的种类以及位置。
187.接下来判断部107对判断出的当前的摄影顺序是否与指定的摄影顺序一致进行判断，从而判断摄影顺序是否正确(s147)。换言之，判断部107，判断由用户进行的口腔内摄像机10的扫描是否正确地进行。在此，指定的摄影顺序是指上述的按每个阶段而被设定的摄影顺序(例如从左后牙向右后牙、或从右后牙向左后牙)。例如，指定的摄影顺序是图7示出的以箭头记号表示的摄影顺序。
188.具体而言，指定的摄影顺序是n-1、n、n+1
···
，在紧之前的位置以及种类是n-1的情况下，若摄影顺序正确，则当前的位置以及种类成为n。因而，判断部107在当前的位置以及种类是n时，判断为以正确的摄影顺序进行拍摄，在当前的位置以及种类是n以外时，判断为摄影顺序有错误。
189.在当前的摄影顺序与指定的摄影顺序一致的情况下(s148中的“是”)，判断部107不进行动作(振动元件91维持关闭)，再次将s144以后的处理针对下一个牙齿进行。
190.另一方面，在当前的摄影顺序与指定的摄影顺序不一致的情况下(s148中的“否”)，通知部108使口腔内摄像机10振动(s149)，指示再次进行拍摄(s150)。例如，便携式终端70显示对用户进行指示的报文，该指示为使用户以正确的摄影顺序来进行拍摄。另外，
这个指示可以由声音来进行，也可以由显示和声音这双方进行。此外，通知部108，也可以仅进行振动(s149)和再次进行拍摄的指示(s150)的其中一方。
191.此外，在再次进行拍摄的指示中，可以进行从当前位置(上述n的牙齿)开始再次进行拍摄的指示，也可以进行从上述的阶段的最初的位置开始再次进行拍摄的指示。换言之，在摄影由多个阶段构成的情况下，通知部108，可以向用户指示从当前的阶段的起初开始再次进行拍摄。此外可以是，在从当前位置开始再次进行拍摄的情况下，通知部108直到拍摄正确的种类以及位置的牙齿为止，持续振动，在拍摄了正确的种类以及位置的牙齿的情况下停止振动，从而向用户通知正在进行正确的扫描。
192.另外，以上叙述了使用由识别部103获得的牙齿图像的位置信息的例子，但是位置信息的生成方法不限于此。例如，判断部107可以从外部的装置获得牙齿图像以及位置信息。
193.如上所述，口腔内摄像机系统，具备：摄影部(例如口腔内摄像机10)，生成对口腔内的摄影对象的牙齿进行拍摄而得到的图像数据；位置坐标提取部(例如位置信息提取部111)，对摄影部生成的图像数据定义二维平面座标，从摄影部的整体摄影区域s1中提取摄影对象的牙齿的轮廓的位置坐标；以及图像判断部109(有效区域判断部112)，在摄影对象的牙齿的轮廓的一部分位于有效区域s3之外的情况下，判断为摄影对象的牙齿偏离了有效区域s3(摄影范围)，有效区域s3是被设定在摄影部的整体摄影区域s1的内侧的区域。
194.通过上述，该口腔内摄像机系统，能够判断牙齿是否偏离了有效区域。因而，例如能够向用户通知牙齿偏离了有效区域，催促再次进行拍摄等，所以能够提高摄影精度。此外，用户能够容易并正确地进行拍摄，所以能够提高用户的使用感。此外，该口腔内摄像机系统，能够恰当地判断牙齿是否偏离了有效区域，所以能够提高摄影精度。
195.例如可以是，摄影部能够拍摄连续的多个帧，口腔内摄像机系统具备通知部108，通知部108在从摄影对象的牙齿的轮廓的一部分进入整体摄影区域s1后直到离开整体摄影区域s1的期间内对图像判断部109的判断结果进行监视，在针对该连续的多个帧的所有图像数据判断为摄影对象的牙齿偏离了有效区域s3的情况下，向用户通知摄影失败。
196.通过上述，该口腔内摄像机系统，在牙齿偏离了有效区域的情况下，能够向用户通知摄影失败，例如催促再次进行拍摄等，所以能够提高摄影精度。
197.例如，通知部108，在图像判断部109针对连续的多个帧的所有图像数据判断为摄影对象的牙齿偏离了有效区域s3的情况下，向用户通知摄影对象的牙齿的种类和/或位置。
198.通过上述，用户能够掌握偏离了有效区域的牙齿，所以例如能够容易再次进行拍摄。
199.例如，通知部108通过振动来向用户通知上述的摄影失败。这样例如通过用户感受把持口腔内摄像机10的手的振动，从而能够认识到在扫描的途中发生了不正规的动作。因而用户再次执行扫描，能够正确地执行拍摄。
200.例如，通知部108，在图像判断部109针对连续的多个帧的所有图像数据判断为摄影对象的牙齿偏离了有效区域s3的情况下，进一步向用户进行通知，以使用户再次进行拍摄。
201.例如可以是，口腔内摄像机系统进一步具备识别部103，针对连续的多个帧在图像判断部109判断为摄影对象的牙齿没有从有效区域s3偏离的情况下，识别部103根据连续的
多个帧的图像数据，对摄影对象的牙齿的种类和/或位置进行识别。
202.例如，识别部103，根据摄影部拍摄的多个图像数据，对多个图像数据所示的多个牙齿的每一个的种类以及位置进行识别，口腔内摄像机系统进一步具备第1判断部(例如判断部107)，第1判断部对多个牙齿的第1摄影顺序是否与预先决定的第2摄影顺序一致进行判断，多个牙齿的第1摄影顺序是基于多个图像数据所示的多个牙齿的每一个的被识别出的种类以及位置的摄影顺序。
203.通过上述，该口腔内摄像机系统，能够对实际进行的牙齿的第1摄影顺序与预先决定的第2摄影顺序不同进行判断。因而，例如能够向用户通知摄影顺序不正确，催促再次进行拍摄等，所以能够提高摄影精度。此外，用户能够容易并正确地进行拍摄，所以能够提高用户的使用感。
204.例如，通知部108，进一步在第1判断部判断为第1摄影顺序与第2摄影顺序不一致的情况下，向用户通知摄影顺序有错误。例如，通知部108通过振动来向用户通知摄影顺序有错误。例如，通知部108，在第1判断部判断为第1摄影顺序与第2摄影顺序不一致的情况下，进一步向用户进行通知，以使用户再次进行拍摄。
205.例如，口腔内摄像机系统进一步具备第2判断部(例如判断部107)，第2判断部，对多个图像数据所示的多个牙齿的每一个的第1摄影方向(例如颊侧、牙冠侧或舌侧)是否与预先决定的第2摄影方向(例如颊侧、牙冠侧或舌侧)一致进行判断。
206.例如，识别部103利用估计模型106，对牙齿的种类以及位置进行识别，估计模型是包括神经网络的模型，并且是将图像数据作为输入从而输出牙齿的种类以及位置的模型。
207.例如，识别部103，根据图像数据来检测齿间位置，根据检测出的齿间位置来生成各自示出一个牙齿的牙齿图像，根据牙齿图像，对牙齿图像所示的牙齿的种类以及位置进行识别。
208.例如，口腔内摄像机系统进一步具备用于获得用户信息的用户信息获得部102，用户信息是示出用户的性别、年龄层以及人种的至少其中之一的信息，识别部103，根据用户信息和图像数据，对牙齿的种类以及位置进行识别。
209.通过上述，该口腔内摄像机系统，例如根据用户信息，能够恰当地进行识别，所以能够提高识别精度。
210.以上对本公开的实施方式涉及的口腔内摄像机系统进行了说明，但是本公开并非受上述实施方式所限。
211.此外，上述实施方式涉及的口腔内摄像机系统包括的各处理部，典型的是作为集成电路即lsi来实现。这些也可以个别地被制成一个芯片，也可以将其中的一部分或全部制成一个芯片。
212.此外，集成电路化并不仅限于lsi，也可以由专用电路或通用处理器实现。也可以利用lsi制造后能够编程的fpga(field programmable gate array：现场可编程门阵列)、或能够重新构成lsi内部的电路单元的连接以及设定的可重构处理器。
213.此外，在上述各实施方式中，各构成要素可以由专用的硬件构成，或者由执行适合各构成要素的软件程序来实现。各构成要素也可以由cpu或处理器等的程序执行部读出并执行由硬盘或半导体存储器等记录介质记录的软件程序来实现。
214.此外，本公开可以作为由口腔内摄像机系统执行的摄影动作判断方法等来实现。
此外，本公开也可以作为口腔内摄像机系统所包括的口腔内摄像机、便携式终端、或云服务器来实现。
215.此外，方框图中的功能块的分割是一例，也可以将多个功能块作为一个功能块来实现，或者将一个功能块分割为多个，或者将一部分功能转移到其他功能块。此外，也可以由单一的硬件或软件来并行或分时地处理具有类似的功能的多个功能块的功能。
216.此外，在流程图中的各步骤执行的顺序是为了具体说明本公开而示出的例子，也可以是上述以外的顺序。此外，上述步骤的一部分可以与其他步骤同时(并行)地执行。
217.以上根据实施方式说明了一个或多个形态所涉及的口腔内摄像机系统等，不过本公开并非受这种实施方式所限。在不脱离本公开的主旨的范围内，将本领域技术人员所能够想到的各种变形执行于本实施方式而得到的形态、对不同的实施方式中的构成要素进行组合而构筑的形态均可以包括在一个或多个形态的范围内。
218.工业实用性
219.本公开能够适用于口腔内摄像机系统。
220.符号说明
221.10 口腔内摄像机
222.10a 头部
223.10b 手柄部
224.10c 颈部
225.12 摄影光学系统
226.14 摄像元件
227.26a第一led
228.26b第二led
229.26c第三led
230.26d第四led
231.36，40执行器
232.50 中央控制部
233.52 图像处理部
234.54 led控制部
235.56 透镜驱动器
236.58 无线通信模块
237.60 电源控制部
238.62 控制器
239.64 存储器
240.66 电池
241.68 线圈
242.69 充电器
243.70 便携式终端
244.72 触摸屏
245.80 云服务器
246.90 位置传感器
247.91 振动元件
248.101 区域检测部
249.102 用户信息获得部
250.103 识别部
251.104 牙齿图像生成部
252.105 种类识别部
253.106 估计模型
254.107 判断部
255.108 通知部
256.109 图像判断部
257.110 牙齿辨别部
258.111 位置信息提取部
259.112 有效区域判断部

技术特征：
1.一种口腔内摄像机系统，具备：摄影部，生成对口腔内的摄影对象的牙齿进行拍摄而得到的图像数据；位置坐标提取部，对所述摄影部生成的所述图像数据定义二维平面座标，从所述摄影部的整体摄影区域中提取所述摄影对象的牙齿的轮廓的位置坐标；以及图像判断部，在所述摄影对象的牙齿的轮廓的一部分位于有效区域之外的情况下，判断为所述摄影对象的牙齿偏离了所述有效区域，所述有效区域是被设定在所述摄影部的整体摄影区域的内侧的区域。2.如权利要求1所述的口腔内摄像机系统，所述摄影部能够拍摄连续的多个帧，所述口腔内摄像机系统具备通知部，所述通知部在从所述摄影对象的牙齿的轮廓的一部分进入所述整体摄影区域后直到离开所述整体摄影区域的期间内对所述图像判断部的判断结果进行监视，在针对该连续的多个帧的所有图像数据判断为所述摄影对象的牙齿偏离了所述有效区域的情况下，向用户通知摄影失败。3.如权利要求2所述的口腔内摄像机系统，所述通知部，在所述图像判断部针对所述连续的多个帧的所有图像数据判断为所述摄影对象的牙齿偏离了所述有效区域的情况下，向所述用户通知所述摄影对象的牙齿的种类和/或位置。4.如权利要求2或3所述的口腔内摄像机系统，所述通知部通过振动来向所述用户通知所述摄影失败。5.如权利要求2至4的任一项所述的口腔内摄像机系统，所述通知部，在所述图像判断部针对所述连续的多个帧的所有图像数据判断为所述摄影对象的牙齿偏离了所述有效区域的情况下，进一步向所述用户进行通知，以使所述用户再次进行拍摄。6.如权利要求2至5的任一项所述的口腔内摄像机系统，所述口腔内摄像机系统进一步具备识别部，针对所述连续的多个帧在所述图像判断部判断为所述摄影对象的牙齿没有从所述有效区域偏离的情况下，所述识别部根据所述连续的多个帧的图像数据，对所述摄影对象的牙齿的种类和/或位置进行识别。7.如权利要求6所述的口腔内摄像机系统，所述识别部，根据所述摄影部拍摄的多个图像数据，对所述多个图像数据所示的多个牙齿的每一个的所述种类以及所述位置进行识别，所述口腔内摄像机系统进一步具备第1判断部，所述第1判断部对多个牙齿的第1摄影顺序是否与预先决定的第2摄影顺序一致进行判断，所述多个牙齿的第1摄影顺序是基于所述多个图像数据所示的所述多个牙齿的每一个的被识别出的所述种类以及所述位置的摄影顺序。8.如权利要求7所述的口腔内摄像机系统，所述通知部，进一步在所述第1判断部判断为所述第1摄影顺序与所述第2摄影顺序不一致的情况下，向所述用户通知摄影顺序有错误。9.如权利要求8所述的口腔内摄像机系统，
所述通知部通过振动来向所述用户通知所述摄影顺序有错误。10.如权利要求8或9所述的口腔内摄像机系统，所述通知部，在所述第1判断部判断为所述第1摄影顺序与所述第2摄影顺序不一致的情况下，进一步向所述用户进行通知，以使所述用户再次进行拍摄。11.如权利要求7至10的任一项所述的口腔内摄像机系统，所述口腔内摄像机系统进一步具备第2判断部，所述第2判断部，对所述多个图像数据所示的所述多个牙齿的每一个的第1摄影方向是否与预先决定的第2摄影方向一致进行判断。12.如权利要求7至11的任一项所述的口腔内摄像机系统，所述识别部利用估计模型，对所述牙齿的种类以及位置进行识别，所述估计模型是包括神经网络的模型，并且是将所述图像数据作为输入从而输出所述牙齿的种类以及位置的模型。13.如权利要求7至12的任一项所述的口腔内摄像机系统，所述识别部，根据所述图像数据来检测齿间位置，根据检测出的所述齿间位置来生成各自示出一个牙齿的牙齿图像，根据所述牙齿图像，对所述牙齿图像所示的牙齿的种类以及位置进行识别。14.如权利要求7至13的任一项所述的口腔内摄像机系统，所述口腔内摄像机系统进一步具备用于获得用户信息的用户信息获得部，所述用户信息是示出所述用户的性别、年龄层以及人种的至少其中之一的信息，所述识别部，根据所述用户信息和所述图像数据，对所述牙齿的种类以及位置进行识别。15.一种摄影动作判断方法，在所述摄影动作判断方法中，对由摄影部拍摄口腔内的摄影对象的牙齿从而生成的图像数据定义二维平面座标，从所述摄影部的整体摄影区域中提取所述摄影对象的牙齿的轮廓的位置坐标，在所述摄影对象的牙齿的轮廓的一部分位于有效区域之外的情况下，判断为所述摄影对象的牙齿偏离了所述有效区域，所述有效区域是被设定在所述摄影部的整体摄影区域的内侧的区域。

技术总结
口腔内摄像机系统具备：摄影部，生成对口腔内的摄影对象的牙齿进行拍摄而得到的图像数据；以及图像判断部(109)，对摄影部生成的图像数据定义二维平面座标，从摄影部的整体摄影区域(S1)中提取摄影对象的牙齿的轮廓的位置坐标，在摄影对象的牙齿的轮廓的一部分位于有效区域(S3)之外的情况下，判断为摄影对象的牙齿偏离了有效区域(S3)，该有效区域是被设定在摄影部的整体摄影区域(S1)的内侧的区域。摄影部的整体摄影区域(S1)的内侧的区域。摄影部的整体摄影区域(S1)的内侧的区域。


技术研发人员：大塚泰雄 伊泽正人 小川智辉 中岛俊幸 粟饭原雅之 船本和宏 三木匡
受保护的技术使用者：松下知识产权经营株式会社
技术研发日：2022.02.17
技术公布日：2023/7/25