医疗图像处理装置、方法及程序与流程

1.本发明涉及一种医疗图像处理装置、方法及程序，特别是涉及一种将在医疗图像的观察中有用的信息报知给用户的技术。


背景技术：

2.目前，提出了一种内窥镜检查数据记录系统，其将在内窥镜检查中使用的照射光的种类、在患者的体内散布的药剂的散布状态、由医生实施的处置的实施状况、由内窥镜拍摄的图像的拍摄状态等的推移记录到检查数据保存部中(专利文献1)。
3.另外，专利文献1所记载的内窥镜检查数据记录系统计算内窥镜检查中的、各照射光的使用时间、各照射光的使用次数、使用各药剂的观察时间、使用各药剂的次数、各处置的实施时间、及各处置的实施次数等，并将计算出的数据记录到检查数据保存部中，进一步计算内窥镜检查中的被指定的两点间的、各照射光的使用时间、各照射光的使用次数、使用各药剂的观察时间、使用各药剂的次数、各处置的实施时间、及各处置的实施次数等，并将计算出的数据记录到检查数据保存部中。
4.此外，观察光的使用开始时刻和使用结束时刻的两个地点由观察光按钮指定，使用药剂的观察开始时刻和观察结束时刻的两个地点由药剂按钮指定，所选择的处置的实施开始时刻和实施结束时刻的两个地点由处置按钮指定。
5.另外，专利文献1所记载的内窥镜检查数据记录系统具备使显示部的画面显示在内窥镜检查中分别获取的照射光种类数据、药剂散布数据、及处置实施数据的推移的显示控制部。
6.以往技术文献
7.专利文献
8.专利文献1：日本特开2017-12666号公报


技术实现要素：

9.发明要解决的技术课题
10.根据专利文献1所记载的内窥镜检查数据记录系统，以时间序列自动记录内窥镜检查的各状态的推移，由此，可以定量及客观地分析内窥镜检查。
11.但是，为了测量各照射光的使用时间、使用各药剂的观察时间、及处置的实施时间，需要分别操作观察光按钮、药剂按钮、及处置按钮来指定观察光的使用开始时刻和使用结束时刻的两个地点、使用药剂的观察开始时刻和观察结束时刻的两个地点、及处置的实施开始时刻和实施结束时刻的两个地点，在内窥镜检查中对医生造成按钮操作的负担。
12.优选的是，在要求复杂技术的内窥镜检查中尽可能地减少这种按钮操作。
13.本发明是鉴于这种情况而完成的，其目的在于提供一种能够自动进行与时间序列的医疗图像的检查状态相关的时间测量的医疗图像处理装置、方法及程序。
14.用于解决技术课题的手段
15.为了实现上述目的，第一方式所涉及的发明是一种医疗图像处理装置，其具备处理器，其中，处理器进行：依次获取时间序列的医疗图像的医疗图像获取处理；基于依次获取的医疗图像识别检查状态的检查状态识别处理；进行与检查状态相关的时间测量的时间测量处理；根据检查状态的识别结果，控制时间测量的举动的时间测量控制处理；以及利用报知部将与时间测量的状态相关的信息报知给用户的报知处理。
16.根据本发明的第一方式，基于依次获取的医疗图像自动识别检查状态，根据检查状态的识别结果，控制与检查状态相关的时间测量的举动，因此在基于时间序列的医疗图像的检查中，能够减轻用于时间测量的用户的负担。另外，由于是利用报知部将与时间测量的状态相关的信息报知给用户，因此例如在搞错检查状态的自动识别的情况下、或者在与用户期望的定时不同的定时自动识别检查状态的情况下，能够使用户注意到该情况。
17.在本发明第二方式所涉及的医疗图像处理装置中，优选的是，报知处理仅在以时间测量的状态发生变化的定时为基准的一定期间，利用报知部将与时间测量的状态相关的信息报知给用户。这是因为，如果超过一定期间报知与时间测量的状态相关的信息，则有时会妨碍检查、或者与时间测量的状态相关的信息(例如表示“测量开始”的信息)和当前的检查状态(例如“测量中”)相差甚远。
18.在本发明第三方式所涉及的医疗图像处理装置中，优选的是，报知处理使作为报知部发挥作用的显示部的第一显示区域实时显示与时间测量处理产生的测量时间相关的信息，且使显示部的与第一显示区域不同的第二显示区域显示与时间测量的状态相关的信息，或从作为报知部发挥作用的扬声器报知与时间测量的状态相关的信息作为声音信息。与测量时间相关的信息可以是测量时间本身，也可以是具有与测量时间对应的长度的条形图等。
19.在本发明第四方式所涉及的医疗图像处理装置中，优选的是，与时间测量的状态相关的信息包括时间测量的开始、结束、暂时停止、及重新开始中的一个以上的信息，时间测量控制处理进行时间测量处理中的时间测量的开始、结束、暂时停止、或重新开始中的一个以上的控制。
20.在本发明第五方式所涉及的医疗图像处理装置中，优选的是，处理器进行从用户操作部接受与时间测量的状态相关的信息的接受处理，在时间测量控制处理中，当从用户操作部接受到与时间测量的状态相关的信息时，代替检查状态识别处理中的识别结果而优先使用接受到的与时间测量的状态相关的信息，控制时间测量的举动。由此，在搞错检查状态的自动识别的情况等下，通过用户手动指示与时间测量的状态相关的信息，可以进行正确的时间测量。
21.在本发明的第六方式所涉及的医疗图像处理装置中，优选的是，处理器进行使时间测量处理的时间测量结果保存于保存部的处理。由此，能够在事后确认检查等所需要的时间。此外，检查所需要的时间成为筛检质量的指标。
22.在本发明的第七方式所涉及的医疗图像处理装置中，优选的是，处理器进行使时间测量处理的时间测量结果保存于保存部的处理，在通过用户操作部的用户操作控制时间测量控制处理的举动的情况下，根据被控制的举动的状况变更时间测量结果向保存部的保存方法。由此，能够识别时间测量结果是仅通过检查状态的自动识别测量到的结果，还是在检查状态的自动识别中存在错误，并通过用户操作施加了校正的结果。
23.在本发明的第八方式所涉及的医疗图像处理装置中，优选的是，检查状态识别处理基于依次获取的医疗图像识别检查状态是否为处置中。由此，可以测量处置时间。
24.在本发明的第九方式所涉及的医疗图像处理装置中，优选的是，检查状态识别处理基于依次获取的医疗图像进行检测处置器具的处置器具检测处理，根据处置器具的检测结果识别是否为处置中。
25.在本发明的第十方式所涉及的医疗图像处理装置中，医疗图像为内窥镜图像。
26.在本发明的第十一方式所涉及的医疗图像处理装置中，优选的是，检查状态识别处理基于依次获取的医疗图像识别内窥镜观测器的插入中、拔出中或体外。
27.在本发明的第十二方式所涉及的医疗图像处理装置中，优选的是，检查状态识别处理基于依次获取的医疗图像进行检测管腔内的地标的地标检测处理，根据地标的检测结果识别检查状态。
28.在本发明的第十三方式所涉及的医疗图像处理装置中，优选的是，检查状态识别处理基于依次获取的医疗图像进行检测内窥镜观测器的活动的活动检测处理，根据内窥镜观测器的活动的检测结果识别检查状态。只要识别内窥镜观测器的活动状态，就可以在前进时判定为插入中，在返回时判定为拔出中。因此，能够将从插入中转换成拔出中的定时判定为拔出开始。
29.第十四方式所涉及的发明是一种医疗图像处理方法，包括：依次获取时间序列的医疗图像的步骤；基于依次获取的医疗图像识别与检查状态相关的信息的检查状态识别步骤；进行与检查状态相关的时间测量的时间测量步骤；根据检查状态的识别结果，控制时间测量的举动的时间测量控制步骤；以及利用报知部将与时间测量的状态相关的信息报知给用户的报知步骤，处理器执行各步骤的处理。
30.在本发明的第十五方式所涉及的医疗图像处理方法中，优选的是，在报知步骤中，仅在以时间测量的状态发生了变化的定时为基准的一定期间，利用报知部将与时间测量的状态相关的信息报知给用户。
31.在本发明的第十六方式所涉及的医疗图像处理方法中，优选的是，在报知步骤中，使作为报知部发挥作用的显示部的第一显示区域实时显示与时间测量步骤中的测量时间相关的信息，且使显示部的与第一显示区域不同的第二显示区域显示与时间测量的状态相关的信息，或从作为报知部发挥作用的扬声器报知与时间测量的状态相关的信息作为声音信息。
32.在本发明的第十七方式所涉及的医疗图像处理方法中，优选的是，包括从用户操作部接受与时间测量的状态相关的信息的步骤，在时间测量控制步骤中，当从用户操作部接受到与时间测量的状态相关的信息时，代替检查状态识别步骤中的识别结果而优先使用接受到的与时间测量的状态相关的信息，控制时间测量的举动。
33.第十八方式所涉及的发明是一种医疗图像处理程序，其使处理器执行本发明的第十四方式至第十七方式中任一方式的医疗图像处理方法中的各步骤的处理。
34.发明效果
35.根据本发明，能够自动进行与时间序列的医疗图像的检查状态相关的时间测量，能够减轻检查中的用户的负担。
附图说明
36.图1是表示包括本发明所涉及的医疗图像处理装置的内窥镜系统的整体结构的概略图。
37.图2是表示医疗图像处理装置的实施方式的框图。
38.图3是表示由显示器进行的第一报知例的图。
39.图4是表示由显示器进行的第二报知例的图。
40.图5是表示保存测量结果时在显示器上显示的画面的一例的图。
41.图6是表示本发明所涉及的医疗图像处理方法的一实施方式的流程图。
具体实施方式
42.下面，根据附图对本发明所涉及的医疗图像处理装置、方法及程序的优选实施方式进行说明。
43.[包括医疗图像处理装置的内窥镜系统的整体结构]
[0044]
图1是表示包括本发明所涉及的医疗图像处理装置的内窥镜系统的整体结构的概略图。
[0045]
如图1所示，内窥镜系统9具备作为电子内窥镜的内窥镜观测器10、光源装置11、内窥镜处理器装置12、显示装置13、医疗图像处理装置14、操作部15、以及显示器16。
[0046]
内窥镜观测器10是拍摄包括被摄体像的时间序列的医疗图像的装置，例如是下消化道用观测器。该内窥镜观测器10具有插入受验体(本例中，作为管腔脏器的大肠)内且具有顶端和基端的插入部20、与插入部20的基端侧连接设置且供做手术的人即医生抓握来进行各种操作的手边操作部21、以及与手边操作部21连接设置的通用塞绳22。
[0047]
插入部20整体以细径形成为长条状。插入部20通过从其基端侧朝向顶端侧依次连接设置具有挠性的软性部25、通过手边操作部21的操作可弯曲的弯曲部26、以及内置有未图示的摄像光学系统(物镜)及摄像元件28等的顶端部27而构成。
[0048]
摄像元件28是cmos(complementary metal oxide semiconductor)型或ccd(charge coupled device)型的摄像元件。被观察部位的像光经由在顶端部27的顶端面上被开口的未图示的观察窗口及配置于该观察窗口的后方的未图示的物镜入射至摄像元件28的摄像面。摄像元件28拍摄(转换成电信号)入射至该摄像面的被观察部位的像光，并输出摄像信号。
[0049]
在手边操作部21设置有由医生(用户)操作的各种操作部件。具体而言，在手边操作部21设置有弯曲部26的弯曲操作使用的两种弯曲操作旋钮29、供气供水操作用的供气供水按钮30、以及吸引操作用的吸引按钮31。另外，在手边操作部21设置有静态图像拍摄指示部32和处置器具导入口33，所述静态图像拍摄指示部32用于进行被观察部位的静态图像39的拍摄指示，所述处置器具导入口33用于将处置器具(未图示)插入穿通插入部20内的处置器具插通路径(未图示)内。
[0050]
通用塞绳22是用于将内窥镜观测器10与光源装置11连接的连接塞绳。该通用塞绳22内包有穿通插入部20内的光导35、信号电缆36、及流体管(未图示)。另外，在通用塞绳22的端部设置有与光源装置11连接的连接器37a和从该连接器37a分支且与内窥镜处理器装置12连接的连接器37b。
[0051]
通过将连接器37a与光源装置11连接，光导35及流体管(未图示)被插入光源装置11中。由此，经由光导35及流体管(未图示)，从光源装置11对内窥镜观测器10供给必要的照明光、水、以及气体。其结果是，从顶端部27的顶端面的照明窗口(未图示)朝向被观察部位照射照明光。另外，根据上述供气供水按钮30的按下操作，从顶端部27的顶端面的供气供水喷嘴(未图示)朝向顶端面的观察窗口(未图示)喷射气体或水。
[0052]
通过将连接器37b与内窥镜处理器装置12连接，信号电缆36和内窥镜处理器装置12被电连接。由此，经由信号电缆36，从内窥镜观测器10的摄像元件28向内窥镜处理器装置12输出被观察部位的摄像信号，并且从内窥镜处理器装置12向内窥镜观测器10输出控制信号。
[0053]
光源装置11经由连接器37a向内窥镜观测器10的光导35供给照明光。照明光选择白色光(白色波长频带的光或多个波长频带的光)、或者一个或多个特定波长频带的光、或者它们的组合等与观察目的对应的各种波长频带的光。
[0054]
内窥镜处理器装置12经由连接器37b及信号电缆36控制内窥镜观测器10的动作。另外，内窥镜处理器装置12基于经由连接器37b及信号电缆36从内窥镜观测器10的摄像元件28获取的摄像信号，生成由包括被摄体图像的时间序列的帧图像38a构成的图像(也称为“动态图像38”)。另外，内窥镜处理器装置12在利用内窥镜观测器10的手边操作部21操作静态图像拍摄指示部32时，与动态图像38的生成同时进行，将动态图像38中的一张帧图像设为与拍摄指示的定时对应的静态图像39。
[0055]
动态图像38及静态图像39是拍摄受验体内、即生物体内所得的医疗图像。另外，在动态图像38及静态图像39为利用上述特定的波长频带的光(特殊光)获得的图像的情况下，两者是特殊光图像。而且，内窥镜处理器装置12将所生成的动态图像38及静态图像39分别输出到显示装置13和医疗图像处理装置14。
[0056]
此外，内窥镜处理器装置12也可以基于由上述的白色光获得的普通光图像，生成(获取)具有上述特定的波长频带的信息的特殊光图像。在该情况下，内窥镜处理器装置12作为特殊光图像获取部发挥作用。而且，内窥镜处理器装置12通过进行基于普通光图像中所含的红色、绿色及蓝色[rgb(red，green，blue)]或青色、品红及黄色[cmy(cyan，magenta，yellow)]的颜色信息的运算而获得特定波长频带的信号。
[0057]
另外，内窥镜处理器装置12例如也可以基于由上述白色光获得的普通光图像和由上述特定的波长频带的光(特殊光)获得的特殊光图像中的至少一方，生成公知的氧饱和度图像等特征量图像。在该情况下，内窥镜处理器装置12作为特征量图像生成部发挥作用。此外，包括上述的生物体内图像、普通光图像、特殊光图像、及特征量图像的动态图像38或静态图像39均是以基于图像的诊断、检查为目的拍摄人的身体或将测量的结果进行了图像化的医疗图像。
[0058]
显示装置13与内窥镜处理器装置12连接，作为显示从该内窥镜处理器装置12输入的动态图像38及静态图像39的显示部发挥作用。医生(用户)一边确认显示于显示装置13的动态图像38，一边进行插入部20的进退操作等，在被观察部位发现病变等的情况下，操作静态图像拍摄指示部32以执行被观察部位的静态图像拍摄，另外，进行诊断、活检等处置。
[0059]
[医疗图像处理装置]
[0060]
医疗图像处理装置14基于时间序列的医疗图像识别检查状态，根据检查状态的识
别结果控制与检查状态相关的时间测量的举动，并将与时间测量的状态相关的信息报知给用户，在本实施方式中，例如使用个人电脑。另外，操作部15除了包括与个人电脑有线连接或无线连接的键盘及鼠标等之外，还包括设置在内窥镜观测器10的手边操作部21的按钮类，显示器(显示部)16使用可与个人电脑连接的液晶监视器等各种监视器。
[0061]
《医疗图像处理装置14的实施方式》
[0062]
图2是表示医疗图像处理装置的实施方式的框图。
[0063]
图2所示的医疗图像处理装置14由医疗图像获取部40、cpu(central processing unit)41、检查状态识别处理部42、时间测量处理部43、时间测量控制处理部44、报知处理部45、显示控制部46、声音信息再现处理部47、及存储器48构成，各部的处理由一个或多个处理器来实现。
[0064]
cpu41基于存储在存储器48中的操作系统、包括本发明所涉及的医疗图像处理程序的各种程序进行动作，总括控制医疗图像获取部40、检查状态识别处理部42、时间测量处理部43、时间测量控制处理部44、报知处理部45、显示控制部46、及声音信息再现处理部47，另外，还作为这些各部的一部分发挥作用。
[0065]
医疗图像获取部40是使用与内窥镜处理器装置12(图1)有线连接或无线连接的未图示的图像输入输出接口、从内窥镜处理器装置12依次获取包括被摄体像的时间序列的帧图像38a作为医疗图像的医疗图像获取处理部。在本例中，获取由内窥镜观测器10拍摄的动态图像38。另外，当在利用内窥镜观测器10拍摄动态图像38的中途进行已经叙述的静态图像39的拍摄时，医疗图像获取部40从内窥镜处理器装置12获取动态图像38及静态图像39。
[0066]
检查状态识别处理部42是基于由医疗图像获取部40获取的动态图像38识别检查状态的部分。
[0067]
作为识别检查状态的一例，检查状态识别处理部42基于动态图像38进行检测管腔内的地标的地标检测处理。
[0068]
本例是将内窥镜观测器10插入大肠内、对大肠进行内窥镜检查时的实施方式。在大肠的内窥镜检查中，由于检查所需要的时间即拔出时间(插入到盲肠后，从盲肠返回至直肠所需要的时间)成为筛检质量的指标，因此测量拔出时间，并记录其测量结果。
[0069]
检查状态识别处理部42对大肠进行内窥镜检查时，作为管腔内的地标，检测大肠与小肠的边界部分的大肠回盲部的鲍安瓣。根据该地标(鲍安瓣)的检测结果，识别内窥镜观测器10的插入部20的顶端是否已到达对大肠进行内窥镜检查时的检查开始位置(检查状态)。基于医疗图像的管腔内的地标的检测例如能够通过公知的ai(artificial intelligence)技术进行。
[0070]
另外，作为识别检查状态的另一例，检查状态识别处理部42基于动态图像38识别内窥镜观测器10的插入中、拔出中或体外。
[0071]
当一边拔出内窥镜观测器10一边进行筛检时，可将内窥镜观测器10从插入中切换成拔出中的定时设为拔出开始(拔出时间的测量开始)的定时。另外，当拔出中的内窥镜观测器拔出至体外时，可设为拔出时间的测量结束。
[0072]
内窥镜观测器10是插入中还是拔出中，例如，可根据构成动态图像38的帧图像38a内的一部分区域的图像的大小或位置在帧间的变化来识别，在判定为内窥镜观测器10的顶端前进的情况下识别为插入中，在判定为返回的情况下识别为拔出中。
[0073]
另外，内窥镜观测器10的插入部20的顶端是存在于管腔内还是存在于体外，可根据图像的特征量进行识别，或者根据帧图像38a的大幅度的被摄体变化、色调变化等进行识别。而且，当识别结果从管腔内转变为体外时，检查状态识别处理部42可判定为拔出结束(检查结束)。
[0074]
另外，作为识别检查状态的再一例，检查状态识别处理部42基于动态图像38识别检查状态是否为处置中。例如，检查状态识别处理部42基于动态图像38进行检测处置器具的处置器具检测处理，根据处置器具的检测结果来识别是否为处置中。即，当从动态图像38中检测到处置器具时，可将该检测期间中识别为处置中。
[0075]
另外，可将从动态图像38中初次检测到处置器具的定时识别为处置开始，检测到处置器具后，将未从动态图像38中检测到处置器具的定时识别为处置结束。
[0076]
此外，也可以根据处置的顺序识别处置结束。例如，如果处置器具为活检钳子，如果是活检钳子闭合的定时、emr(endoscopic mucosal resection)、esd(endoscopic submucosal dissection)，则也可以将夹紧处置完成的定时识别为处置结束。
[0077]
时间测量处理部43是进行与检查状态相关的时间测量的部分，在检查中测量特定的时间。
[0078]
作为由时间测量处理部43测量的特定的时间，可举出如下两种。
[0079]
1.大肠内窥镜检查的拔出时间
[0080]
若从盲肠到检查结束的拔出时间短，则报告为病变漏看增多，因此拔出时间成为筛检质量的指标。
[0081]
2.治疗等的处置时间
[0082]
处置所需要的时间成为患者负担或给予镇静剂的参考。
[0083]
时间测量控制处理部44根据由检查状态识别处理部42识别的检查状态的识别结果，控制时间测量处理部43进行的时间测量的举动。与时间测量处理部43进行的时间测量的状态相关的信息包括时间测量的开始、结束、暂时停止、及重新开始中的一个以上的信息，时间测量控制处理部44控制时间测量处理部43进行的时间测量的开始、结束等。
[0084]
当时间测量处理部43测量大肠内窥镜检查的拔出时间时，时间测量控制处理部44利用检查状态识别处理部42检测规定的地标(鲍安瓣)，之后，将未检测到鲍安瓣的定时作为拔出开始的定时开始时间测量处理部43进行的时间测量，将由检查状态识别处理部42初次识别为体外的定时作为拔出结束的定时而结束时间测量处理部43进行的时间测量。
[0085]
另外，也可以是，当由检查状态识别处理部42识别为插入中且之后识别为拔出中时，时间测量控制处理部44将从插入中切换成拔出中的定时作为拔出开始的定时而开始时间测量处理部43进行的时间测量。
[0086]
在时间测量处理部43测量治疗等的处置时间的情况下，由检查状态识别处理部42检测处置器具，当识别为处置中时，时间测量控制处理部44将初次检测到处置器具的定时作为处置开始的定时而开始时间测量处理部43进行的时间测量，当识别为处置中后，将由检查状态识别处理部42初次未检测到处置器具的定时作为处置结束的定时而结束时间测量处理部43进行的时间测量。
[0087]
另外，优选的是，cpu41进行从用户操作部即操作部15接受与时间测量的状态相关的信息的接受处理，当时间测量控制处理部44从操作部15接受到与时间测量的状态相关的
信息时，代替检查状态识别处理部42中的识别结果而优先使用接受到的与时间测量的状态相关的信息，控制时间测量的举动。
[0088]
在检查状态识别处理部42识别与时间测量的状态相关的信息的情况下，当产生识别错误时，无法正确地控制时间测量的举动(无法正确地进行时间测量)，因此在通过用户操作接受到与时间测量的状态相关的信息的情况下，时间测量控制处理部44优先于检查状态识别处理部42的识别结果而通过用户操作来使用与时间测量的状态相关的信息。
[0089]
报知处理部45是通过作为报知部发挥作用的显示器16及扬声器17中的至少一方向用户报知时间测量处理部43的与时间测量的状态相关的信息的部分。此外，后面叙述由报知处理部45报知的与时间测量的状态相关的信息的报知详情。
[0090]
显示控制部46具有图像显示控制部46a和信息显示控制部46b，所述图像显示控制部46a基于医疗图像获取部40获取的医疗图像(动态图像38)，生成显示用的图像数据并将数据输出至显示器16，所述信息显示控制部46b基于由报知处理部45报知的信息，生成表示与时间测量的状态相关的信息的显示用的图像数据并将数据输出至显示器16。
[0091]
显示控制部46将从图像显示控制部46a输出的动态图像38的图像数据和从信息显示控制部46b输出的表示与时间测量的状态相关的信息的图像数据进行合成，并将所合成的合成图像数据输出至显示器16，由此使与时间测量的状态相关的信息与医疗图像一起显示(报知)于显示器16。
[0092]
声音信息再现处理部47基于从报知处理部45输入的信息，利用扬声器17再现(报知)表示与时间测量的状态相关的信息的声音信息。此外，声音信息再现处理部47可根据与时间测量的状态相关的信息的内容预先存储多个声音信息，选择与从报知处理部45输入的信息对应的声音信息并将该声音信息输出至扬声器17。
[0093]
存储器48包括闪存、rom(read-only memory)、ram(random access memory)、硬盘装置等。闪存、rom及硬盘装置是与操作系统、本发明所涉及的医疗图像处理程序等各种程序、诊断报告等相关联地存储由时间测量处理部43测量的测量时间(拔出时间、处置时间)、及所拍摄的静态图像39等的非易失性存储器。另外，ram是作为暂时存储被存储在非易失性存储器中的各种程序的区域及cpu41的作业区域发挥作用的、可进行数据的高速读写的易失性存储器。
[0094]
[与时间测量的状态相关的信息的报知]
[0095]
接下来，对由报知处理部45经由显示器16等向用户报知的与时间测量的状态相关的信息进行说明。
[0096]
《第一报知例》
[0097]
图3是表示显示器的第一报知例的图。
[0098]
在图3所示的显示器16的画面50上，显示有动态图像的医疗图像52和在显示器16的第一显示区域中表示测量时间(例如，当前的拔出时间)的“03：40”的文字信息54。本例的第一显示区域是与医疗图像52的显示区域相邻的、图3上的画面50的左上的区域。
[0099]
处于非测量状态(测量开始前)时，报知处理部45可以显示“00：00”之类的文字信息54，也可以不显示或将显示有文字信息54的整体变灰。由此，用户可以在检查中掌握测量状态。
[0100]
另外，报知处理部45实时显示时间测量处理部43进行的测量时间。用户可根据实
时变化的测量时间的文字信息54掌握是检查中及从检查开始到当前的检查时间。
[0101]
另外，通过文字信息54从“00：00”开始变化的情况、或者从不显示或变灰开始显示检查时间，用户能够掌握装置自动地识别检查开始并开始时间测量的情况。
[0102]
另外，通过文字信息54的变化停止、或者文字信息54不显示或变灰，用户能够掌握装置自动地识别检查结束并结束时间测量的情况。
[0103]
《第二报知例》
[0104]
图4是表示显示器的第二报知例的图，图4(a)表示测量开始时的显示器的画面，图4(b)表示测量中的显示器的画面。
[0105]
在图4所示的显示器16的画面50中，与第一报知例同样地显示有动态图像的医疗图像52和测量时间的文字信息54。
[0106]
报知处理部45仅在以时间测量的状态进一步发生变化的定时为基准的一定期间，由作为报知部的显示器16将与时间测量的状态相关的信息报知给用户。
[0107]
在图4(a)所示的第二报知例中，当由检查状态识别处理部42像从非测量到测量开始等那样识别到测量状态的转变时，报知处理部45仅在距测量开始时点的一定期间，使“开始测量”之类的文字信息56作为与时间测量的状态相关的信息显示于显示器16。
[0108]
此外，报知处理部45使文字信息56显示于与显示测量时间的文字信息54的第一显示区域不同的第二显示区域中(在本例中，与医疗图像52的显示区域的下侧相邻的显示区域)。
[0109]
另外，显示“开始测量”之类的文字信息56的一定期间例如为数秒左右，优选为用户能够视觉辨认的期间。此外，也可以设为一定期间可由用户设定。
[0110]
用户需要在检查中仔细观察医疗图像52，因此存在不注意医疗图像52以外的区域的倾向。
[0111]
因此，优选文字信息56显示得比报知测量时间的文字信息54大，以便容易引起使用户注意。另一方面，当以引人注目的方式报知文字信息56时，可能成为检查的障碍，因此当从测量开始时点起经过一定期间时，如图4(b)所示结束文字信息56的报知。
[0112]
由此，能够抑制对检查的不良影响，并且能够以更引人注目的方式报知与时间测量的状态相关的信息。作为更引人注目的显示方法，可以如图4所示用文字信息56报知状态转变，也可以使用记号等。另外，可以并用测量中的时间显示，也可以不并用。
[0113]
另外，报知处理部45能够仅在以时间测量的状态发生变化的定时为基准的一定期间，将与时间测量的状态相关的信息作为声音信息经由声音信息再现处理部47及扬声器17报知给用户。例如，能够代替“开始测量”之类的文字信息56或与“开始测量”之类的文字信息56一起发出“开始测量”之类的声音。
[0114]
此外，声音信息不限于表示“开始测量”等的声音，也可以是报知时间测量的状态变化的蜂鸣音等。
[0115]
由时间测量处理部43测量的大肠的内窥镜检查的拔出时间或处置时间需要作为检查记录保留，因此cpu41使拔出时间或处置时间与诊断报告等相关联地保存于保存部(存储器48)中。
[0116]
此时，cpu41对于仅根据检查状态识别处理部42的自动识别的识别结果而测量的时间测量结果和经由基于用户操作的校正的时间测量结果(例：由于检查状态识别处理部
42搞错测量开始定时，因此用户实施了测量开始操作的测量结果)，优选以能够识别它们的形式进行保存(变更时间测量结果的保存方法)。
[0117]
此外，在图3及图4所示的第一报知例及第二报知例中，与时间测量的状态相关的信息是检查时间(拔出时间)、检查开始、及检查结束等信息，但不限于此，例如，包括使用了处置器具的处置中的处置时间、处置开始、处置结束等信息。
[0118]
图5是表示保存测量结果时显示于显示器的画面的一例的图。
[0119]
具体而言，在记录作为测量结果的时间信息(x min y sec)时，对测量结果赋予“无用户校正”或“有用户校正”的信息进行记录。即，在通过操作部15的用户操作控制时间测量控制处理的举动(时间测量的开始时点等)的情况下，根据被控制的举动状况变更向保存部保存时间测量结果的保存方法。
[0120]
由此，用户可以在检查结束以后确认“无用户校正”的测量结果，之后确认是否具有测量错误。
[0121]
另外，在以“无用户校正”记录的情况下，优选在记录前(刚检查结束后)进行催促测量结果的确认的显示。
[0122]
图5是表示以“无用户校正”记录时的催促测量结果的确认的显示例的图。
[0123]
在图5所示的显示例中，显示“拔出时间为7m20s。请确认。”之类的催促确认的信息，并且一并显示测量开始或结束时的时刻信息及此时的静态图像。由此，用户能够容易地确认自动测量的结果是否错误。
[0124]
另外，在显示“ok”按钮57及“ng”按钮58并选择了“ok”按钮57的情况下，对自动测量的测量结果附加“无用户校正”的信息进行保存，在操作了“ng”按钮58的情况下，在用户校正了测量结果之后，对校正过的测量结果附加“有用户校正”的信息进行保存。
[0125]
用户对测量结果的校正例如可通过将带时间标签的动态图像38暂时保存于存储器48，再现所保存的动态图像38，同时用户选择检查开始时的帧图像、或检查结束时的帧图像，进行测量结果的校正。
[0126]
此外，当将校正过的测量结果保存于存储器48时，可删除暂时保存在存储器48中的动态图像38。
[0127]
[医疗图像处理方法]
[0128]
图6是表示本发明所涉及的医疗图像处理方法的一实施方式的流程图，与图2所示的医疗图像处理装置14的各部的处理顺序相关联地示出。
[0129]
在图6中，cpu41首先将表示是否为检查中的标志f设置成表示非检查中的f＝0(步骤s10)。之后，医疗图像获取部40从内窥镜处理器装置12获取作为处理对象的当前时点的医疗图像(步骤s10)。
[0130]
检查状态识别处理部42基于在步骤s10中获取的医疗图像(包括当前时点之前获取的医疗图像)识别检查状态(步骤s12、检查状态识别步骤)。例如，在内窥镜检查的情况下，识别内窥镜观测器的插入中、拔出中或体外，或者识别是否为基于处置器具的处置中等。
[0131]
cpu41判别标志f是否为f＝1(检查中)，在不是f＝1的情况下(“no”的情况)，进入步骤s18，在此，判别是否为检查开始时点。检查开始时点的判别可根据步骤s14中的检查状态的识别结果进行判别。
[0132]
在步骤s18中，当判别为是检查开始时点时(“yes”的情况)，将标志f设定为f＝1(检查中)(步骤s20)，时间测量控制处理部44开始时间测量处理部43进行的时间测量，时间测量处理部43进行检查时间的测量(步骤s22、时间测量控制步骤、时间测量步骤)。
[0133]
接着，报知处理部45仅在以检查开始的定时为基准的一定期间，由显示器16和/或扬声器17报知表示检查开始的信息，之后，转移至步骤s12(步骤s24、报知步骤)。在图4所示的报知例中，使显示器16显示“开始测量”之类的文字信息56(图4(a))，当经过一定期间时，消除文字信息56，继续显示测量时间的文字信息54。
[0134]
另一方面，当检查开始时，将标志f设定成f＝1(检查中)，因此，在步骤s16中判定为检查中，并转移至步骤s26。
[0135]
在步骤s26中，判别是否为检查结束时点。检查结束时点的判别可根据步骤s14中的检查状态的识别结果进行判别。
[0136]
在步骤s26中，当判别为不是检查结束时点时(“no”的情况)，使显示器16显示检查中(测量中)的测量时间，并返回至步骤s12(步骤s28)。
[0137]
另一方面，在步骤s26中，当判别为是检查结束时点时(“yes”的情况)，时间测量控制处理部44结束时间测量处理部43进行的时间测量(步骤s30)，另外，报知处理部45仅在以检查结束的定时为基准的一定期间，由显示器16和/或扬声器17报知表示检查结束的信息(步骤s32、报知步骤)。
[0138]
然后，由时间测量处理部43测量的内窥镜检查的检查时间(拔出时间)或处置时间显示于显示器16(参照图5)，并与诊断报告等相关联地保存于存储器48(步骤s34)。
[0139]
此外，图6的步骤s18中的检查开始时点的判别、及步骤s26中的检查开始时点的判别根据检查状态识别处理部42的检查状态的识别结果来进行，但也可以通过操作部15的用户操作，基于用户指示判别检查开始时点及检查开始时点。优选的是，在被用户指示了检查开始时点或检查开始时点的情况下，代替检查状态识别处理部42的识别结果而优先使用用户指示的检查开始时点或检查结束时点，控制检查时间的时间测量的开始、结束。
[0140]
[其他]
[0141]
在上述实施方式中，内窥镜处理器装置和医疗图像处理装置被分别设置，但也可以将内窥镜处理器装置和医疗图像处理装置一体化。即，也可以在内窥镜处理器装置中设置作为医疗图像处理装置的功能。
[0142]
另外，被测量的检查时间或处置时间与诊断报告等相关联地保存于医疗图像处理装置内的存储器中，但不限于此，也可以保存于与医疗图像处理装置连接的外部存储器(保存部)中。
[0143]
另外，医疗图像不限于由内窥镜观测器拍摄的内窥镜图像，例如，也可以是由超声波诊断装置等其他医疗器械获取的时间序列图像。
[0144]
另外，执行上述实施方式的医疗图像处理装置的各种控制的硬件结构是如下所示的各种处理器(processor)。各种处理器包括执行软件(程序)并作为各种控制部发挥作用的通用处理器即cpu(central processing unit)、fpga(field programmable gate array)等在制造后可变更电路结构的处理器即可编程逻辑器件(programmable logic device：pld)、asic(application specific integrated circuit)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等。
[0145]
一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器(例如，多个fpga、或cpu与fpga的组合)构成。另外，也可以由一个处理器构成多个控制部。作为由一个处理器构成多个控制部的例子，首先，有诸如以客户端或服务器等计算机为代表，使用一个以上的cpu与软件的组合构成一个处理器、并将该处理器作为多个控制部发挥作用的形态。其次，有诸如以片上系统(system on chip：soc)等为代表，使用以一个ic(integrated circuit)芯片实现包含多个控制部的系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种控制部。
[0146]
另外，本发明包括通过安装于计算机上而使计算机作为本发明所涉及的医疗图像处理装置发挥作用的医疗图像处理程序、及记录有该医疗图像处理程序的非易失性存储介质。
[0147]
此外，本发明不限定于上述的实施方式，当然在不脱离本发明的精神的范围内可以进行各种变形。
[0148]
符号说明
[0149]
9 内窥镜系统
[0150]
10 内窥镜观测器
[0151]
11 光源装置
[0152]
12 内窥镜处理器装置
[0153]
13 显示装置
[0154]
14 医疗图像处理装置
[0155]
15 操作部
[0156]
16 显示器
[0157]
17 扬声器
[0158]
20 插入部
[0159]
21 手边操作部
[0160]
22 通用塞绳
[0161]
25 软性部
[0162]
26 弯曲部
[0163]
27 顶端部
[0164]
28 摄像元件
[0165]
29 弯曲操作旋钮
[0166]
30 供气供水按钮
[0167]
31 吸引按钮
[0168]
32 静态图像拍摄指示部
[0169]
33 处置器具导入口
[0170]
35 光导
[0171]
36 信号电缆
[0172]
37a、37b 连接器
[0173]
38 动态图像
[0174]
38a 帧图像
[0175]
39 静态图像
[0176]
40 医疗图像获取部
[0177]
41 cpu
[0178]
42 检查状态识别处理部
[0179]
43 时间测量处理部
[0180]
44 时间测量控制处理部
[0181]
45 报知处理部
[0182]
46 显示控制部
[0183]
46a 图像显示控制部
[0184]
46b 信息显示控制部
[0185]
47 声音信息再现处理部
[0186]
48 存储器
[0187]
50 画面
[0188]
52 医疗图像
[0189]
54、56 文字信息
[0190]
57
ꢀ“
ok”按钮
[0191]
58
ꢀ“
ng”按钮
[0192]
f 标志
[0193]
s10～s34 步骤

技术特征：
1.一种医疗图像处理装置，其具备处理器，其中，所述处理器进行：依次获取时间序列的医疗图像的医疗图像获取处理；基于所述依次获取的所述医疗图像识别检查状态的检查状态识别处理；进行与所述检查状态相关的时间测量的时间测量处理；根据所述检查状态的识别结果，控制所述时间测量的举动的时间测量控制处理；以及利用报知部将与所述时间测量的状态相关的信息报知给用户的报知处理。2.根据权利要求1所述的医疗图像处理装置，其中，所述报知处理仅在以所述时间测量的状态发生变化的定时为基准的一定期间，利用所述报知部将与所述时间测量的状态相关的信息报知给用户。3.根据权利要求1或2所述的医疗图像处理装置，其中，所述报知处理使作为所述报知部发挥作用的显示部的第一显示区域实时显示与所述时间测量处理产生的测量时间相关的信息，且使所述显示部的与所述第一显示区域不同的第二显示区域显示与所述时间测量的状态相关的信息，或从作为所述报知部发挥作用的扬声器报知与所述时间测量的状态相关的信息作为声音信息。4.根据权利要求1至3中任一项所述的医疗图像处理装置，其中，与所述时间测量的状态相关的信息包括所述时间测量的开始、结束、暂时停止、及重新开始中的一个以上的信息，所述时间测量控制处理进行所述时间测量处理中的所述时间测量的开始、结束、暂时停止、或重新开始中的一个以上的控制。5.根据权利要求1至4中任一项所述的医疗图像处理装置，其中，所述处理器进行从用户操作部接受与所述时间测量的状态相关的信息的接受处理，在所述时间测量控制处理中，当从所述用户操作部接受到与所述时间测量的状态相关的信息时，代替所述检查状态识别处理中的识别结果而优先使用所述接受到的与所述时间测量的状态相关的信息，控制所述时间测量的举动。6.根据权利要求1至5中任一项所述的医疗图像处理装置，其中，所述处理器进行使所述时间测量处理的时间测量结果保存于保存部的处理。7.根据权利要求5所述的医疗图像处理装置，其中，所述处理器进行使所述时间测量处理的时间测量结果保存于保存部的处理，在通过所述用户操作部的用户操作控制所述时间测量控制处理的举动的情况下，根据被控制的所述举动的状况变更所述时间测量结果向所述保存部的保存方法。8.根据权利要求1至7中任一项所述的医疗图像处理装置，其中，所述检查状态识别处理基于所述依次获取的所述医疗图像识别所述检查状态是否为处置中。9.根据权利要求8所述的医疗图像处理装置，其中，所述检查状态识别处理基于所述依次获取的所述医疗图像进行检测处置器具的处置器具检测处理，根据所述处置器具的检测结果识别是否为所述处置中。10.根据权利要求1至9中任一项所述的医疗图像处理装置，其中，所述医疗图像为内窥镜图像。
11.根据权利要求10所述的医疗图像处理装置，其中，所述检查状态识别处理基于所述依次获取的所述医疗图像识别内窥镜观测器的插入中、拔出中或体外。12.根据权利要求10或11所述的医疗图像处理装置，其中，所述检查状态识别处理基于所述依次获取的所述医疗图像进行检测管腔内的地标的地标检测处理，根据所述地标的检测结果识别所述检查状态。13.根据权利要求11或12所述的医疗图像处理装置，其中，所述检查状态识别处理基于所述依次获取的所述医疗图像进行检测内窥镜观测器的活动的活动检测处理，根据所述内窥镜观测器的活动的检测结果识别所述检查状态。14.一种医疗图像处理方法，包括：依次获取时间序列的医疗图像的步骤；基于所述依次获取的所述医疗图像识别与检查状态相关的信息的检查状态识别步骤；进行与所述检查状态相关的时间测量的时间测量步骤；根据所述检查状态的识别结果，控制所述时间测量的举动的时间测量控制步骤；以及利用报知部将与所述时间测量的状态相关的信息报知给用户的报知步骤，处理器执行各步骤的处理。15.根据权利要求14所述的医疗图像处理方法，其中，在所述报知步骤中，仅在以所述时间测量的状态发生了变化的定时为基准的一定期间，利用所述报知部将与所述时间测量的状态相关的信息报知给用户。16.根据权利要求14或15所述的医疗图像处理方法，其中，在所述报知步骤中，使作为所述报知部发挥作用的显示部的第一显示区域实时显示与所述时间测量步骤中的测量时间相关的信息，且使所述显示部的与所述第一显示区域不同的第二显示区域显示与所述时间测量的状态相关的信息，或从作为所述报知部发挥作用的扬声器报知与所述时间测量的状态相关的信息作为声音信息。17.根据权利要求14至16中任一项所述的医疗图像处理方法，其中，包括从用户操作部接受与所述时间测量的状态相关的信息的步骤，在所述时间测量控制步骤中，当从所述用户操作部接受到与所述时间测量的状态相关的信息时，代替所述检查状态识别步骤中的识别结果而优先使用所述接受到的与所述时间测量的状态相关的信息，控制所述时间测量的举动。18.一种医疗图像处理程序，其使所述处理器执行权利要求14至17中任一项所述的医疗图像处理方法中的各步骤的处理。19.一种记录介质，其是非暂时性且计算机可读取的记录介质，记录有权利要求18所述的程序。

技术总结
本发明提供一种能够自动进行与时间序列的医疗图像的检查状态相关的时间测量的医疗图像处理装置、方法及程序。在具备处理器的医疗图像处理装置中，处理器进行：依次获取时间序列的医疗图像的医疗图像获取处理；基于依次获取的医疗图像识别检查状态的检查状态识别处理；进行与检查状态相关的时间测量的时间测量处理；根据检查状态的识别结果，控制时间测量的举动的时间测量控制处理；以及利用报知部将与时间测量的状态相关的信息报知给用户的报知处理。报知处理。报知处理。


技术研发人员：加门骏平
受保护的技术使用者：富士胶片株式会社
技术研发日：2022.01.21
技术公布日：2023/9/14