用于息肉大小估计的系统和方法与流程

用于息肉大小估计的系统和方法
1.相关申请的交叉引用
2.本技术要求于2020年9月8日提交的美国临时申请号63/075,782的权益和优先权，该美国临时申请据此以引用的方式全文并入本文。
技术领域
3.本公开涉及图像分析系统和方法，并且更具体地涉及用于分析包括疑似息肉的图像并估计疑似息肉的大小的系统和方法。


背景技术：

4.胶囊内窥镜检查(ce)允许使用与患者吞服的复合维生素的大小相当的胶囊进行整个胃肠道(git)内窥镜检查。有些胶囊内窥镜检查系统和方法旨在检查git的特定部分，诸如小肠(sb)或结肠。ce是不需要患者住院的非侵入性规程，并且患者在胶囊位于患者体内时可继续大多数日常活动。
5.通常，医师将患者转介到合适的医疗机构(例如，诊所或医院)处接受ce规程。到达医疗机构处后，患者在医疗机构的健康专业人员(例如，护士或医师)的监督下吞服胶囊，并为患者提供可穿戴设备，例如，传感器带和放置在小袋中的记录器以及须环绕患者肩部放置的带子。可穿戴设备通常包括存储设备。可给予患者指导和/或指示，然后让患者放松以继续她/他的日常活动。
6.胶囊在其自然地行进穿过git时捕获图像。然后图像和附加数据(例如，元数据)被传输到患者穿戴的记录器。胶囊通常是一次性的并且随着肠运动自然地排出。规程数据(例如，捕获的图像或其一部分以及附加元数据)存储在可穿戴设备的存储设备上。
7.患者通常将可穿戴设备连同存储在存储设备上的规程数据一起返还给医疗机构处。将规程数据从返回的可穿戴设备下载到通常位于医疗机构处的计算设备，该计算设备存储引擎软件。该引擎将下载的规程数据处理成编制的研究(或“研究”)。通常，研究包括数千张图像(约6,000张至9,000张)。通常，待处理的图像的数量大约为数万张并且平均为约90,000张图像。
8.阅片者(其可为规程监督医师、专属医师或转诊医师)可经由阅片者软件应用程序来访问该研究。然后，阅片者复查该研究，评估该规程，并经由阅片者软件应用程序提供输入。由于阅片者需要复查数千张图像，因此一项研究的阅片时间平均可能需要半小时至一小时，这通常是一项冗长而令人厌烦的阅片任务。在阅片任务之后，阅片者软件应用程序基于编制的研究和阅片者的输入来生成报告。平均而言，生成一份报告大约需要一个小时。该报告可包括例如感兴趣的图像(例如，被阅片者识别为包括病状的图像)、基于规程的数据(例如，研究)的对患者的医学状况的评估或诊断、和/或由阅片者提供的对随访和/或治疗的推荐。然后，可将完成的报告转发给转诊医师。基于所接收的报告，转诊医师可决定推荐的或需要的随访或治疗。
9.在ce规程期间识别的病状(诸如息肉、肿块或肿瘤)的大小可能影响诊断和治疗
(例如，经由结肠镜检查去除息肉)。可基于具有病状的最长直径(例如，长轴或直径)的轴的长度来确定具有类椭圆体或类圆形或类球体形状的病状的大小。例如，结肠息肉的大小是基于其最长轴的长度来测量的。因此，持续需要用于自动估计在ce规程期间识别的病状或疑似病状的大小的系统和方法。


技术实现要素：

10.本公开涉及用于分析胃肠道(git)的图像流的系统和方法，并且更具体地涉及用于分析包括疑似息肉的图像的系统和方法。更具体地，本公开涉及分析包括疑似息肉的图像并自动估计疑似息肉的大小。尽管针对息肉示出和描述了示例，但所公开的技术可应用于任何类椭球体或类球体或类圆形病状。
11.此外，在一致的程度上，本文详述的方面中的任何或所有方面可以与本文详述的其他方面中的任何或所有方面结合使用。
12.根据本公开的各方面提供了一种用于估计图像中的疑似息肉的大小的计算机实现的方法，该计算机实现的方法包括：访问由胶囊内窥镜检查设备捕获的胃肠道(git)的至少一部分的图像，其中该图像包括疑似息肉；接收对该图像中的该疑似息肉的近似周边的指示；在无人工干预的情况下，基于该近似周边指示中的周边点来确定该息肉的3d测量结果；以及基于所确定的3d测量结果来估计该疑似息肉的大小。
13.在本公开的一个方面，该方法还可包括在显示器上显示该疑似息肉的所估计大小。
14.在本公开的另一方面，可基于所访问的图像或通过用户输入自动生成该近似周边指示。
15.在本公开的另一方面，可基于接收的掩码来生成该近似周边指示。
16.在本公开的再一方面，确定该疑似息肉的该3d测量结果还可包括确定该周边中的像素的每个组合的3d测量结果并选择具有最长的3d测量结果的像素对。
17.在本发明的又一方面，该方法还可包括在该图像的坐标系中确定该周边指示的该像素中的极端像素集。
18.在本公开的一个方面，确定该疑似息肉的该3d测量结果可包括确定该极端像素的多个最远对；对于该多个最远对中的每一对，基于该对的该像素估计该疑似息肉的3d长度；以及选择最长的所估计3d长度作为该息肉的所确定的3d测量结果。
19.在本公开的一个方面，其中该方法还可包括：在该显示器上显示该极端像素集；经由用户界面接收指示该极端像素集的手动校正的输入；以及基于该手动校正来更新该极端像素集。
20.在本公开的一个方面，可由深度学习系统针对每一对确定该对的两个像素之间的3d长度。
21.在本公开的一个方面，确定该3d测量结果可以基于组织模型。该组织模型可包括组织与光的交互作用的表示。
22.根据本公开的各方面提供了一种用于估计图像中的疑似息肉的加权大小的计算机实现的方法，该计算机实现的方法包括：访问在胶囊内窥镜检查规程期间捕获的胃肠道(git)的至少一部分的至少两个图像，其中该至少两个图像中的每个图像与基于每个图像
确定的该疑似息肉的所估计大小相关联；确定该至少两个图像中的每个图像的权重；以及基于该至少两个图像的所确定权重并且基于该至少两个图像的该疑似息肉的所估计大小来估计该疑似息肉的加权息肉大小。
23.在本公开的一个方面，该方法还可包括基于机器学习系统从该git的多个图像识别所访问的至少两个图像。
24.在本公开的一个方面，该方法还可包括生成包括该疑似息肉的该至少两个图像中的每个图像中的该疑似息肉的所估计大小。
25.在本公开的一个方面，该至少两个图像的每个图像的所有该权重等于1。
26.在本公开的一个方面，该至少两个图像中的每个图像的权重可基于以下中的至少一者来确定：指示该图像包括息肉的概率的分数、该图像距预定义图像的距离，或该图像的清洁分数。
27.在本公开的一个方面，该方法还可包括显示该至少两个图像中的一个图像的该疑似息肉的加权大小或该疑似息肉的所估计大小中的至少一者。
28.根据本公开的各方面提供了一种用于估计图像中的疑似息肉的大小的系统。该系统包括显示器、至少一个处理器和至少一个存储器。该至少一个存储器包括存储在其上的指令，该指令在由该至少一个处理器执行时使该系统：访问由胶囊内窥镜检查设备捕获的胃肠道(git)的至少一部分的图像，其中该图像包括疑似息肉；接收对该图像中的该疑似息肉的近似周边的指示；在无人工干预的情况下，基于该近似周边指示中的周边点来确定该疑似息肉的3d测量结果；以及基于所确定的3d测量结果来估计该疑似息肉的大小。
29.在本公开的另一方面，该指令在由该至少一个处理器执行时还使该系统在该显示器上显示该疑似息肉的所估计大小。
30.在本公开的另一方面，该指令在由该至少一个处理器执行时还可使该系统基于所访问的图像或通过用户输入自动地生成该近似周边指示。
31.根据本公开的各方面提供了一种用于估计图像中的疑似息肉的大小的计算机实现的方法，该计算机实现的方法包括：访问由胶囊内窥镜检查设备捕获的胃肠道(git)的至少一部分的图像，其中该图像包括疑似息肉；基于计算机视觉系统确定该图像中沿着该疑似息肉的周边的多个息肉末端；基于该息肉末端估计该疑似息肉的大小；以及在显示器上显示该疑似息肉的所估计大小。
附图说明
32.当结合附图考虑时，鉴于下述具体实施方式，本公开的上述和其他方面和特征将变得更显而易见，其中类似的附图标号标识相似或相同的元件。
33.图1是示出胃肠道(git)的图；
34.图2是根据本公开的各方面的用于分析经由胶囊内窥镜检查(ce)规程在体内捕获的医学图像的示例性系统的高级框图；
35.图3是可与本公开的系统一起使用的示例性计算设备的高级框图；
36.图4是根据本公开的各方面的机器学习系统的图；
37.图5是示出根据本公开的各方面的用于估计疑似息肉的大小的方法的流程图；
38.图6是示出根据本公开的各方面的用于估计疑似息肉的加权大小的方法的流程
图；
39.图7示出根据本公开的各方面的由图1的系统捕获的包括疑似息肉的示例性图像；
40.图8示出了根据本公开的各方面的图7的示例性图像的掩模；并且
41.图9示出了根据本公开的各方面的具有用于确定疑似息肉的大小的极端像素集的图像；
42.图10示出了根据本公开的各方面的在完成图5的方法的各个步骤之后图7的示例性图像；以及
43.图11示出了根据本公开的各方面的示出相同疑似息肉的多个图像。
具体实施方式
44.本公开涉及用于分析医学图像的系统和方法，并且更具体地涉及用于估计经由胶囊内窥镜检查(ce)规程在体内捕获的图像中的疑似息肉的大小的系统和系统。尽管关于由ce设备在体内捕获的图像示出和描述了这些示例，但所公开的技术可应用于由其他设备或机构捕获的图像，包括例如在结肠镜检查规程期间或通过mri捕获的解剖图像。
45.在以下具体实施方式中，阐述了特定细节以便提供对本公开的透彻理解。然而，本领域技术人员将理解，可在没有这些特定细节的情况下实践本公开。在其他情况下，没有详细描述熟知的方法、规程和部件，以免模糊本公开。相对于一个系统描述的一些特征或元件可与相对于其他系统描述的特征或元件组合。为清楚起见，可能不会重复相同或类似特征或元件的讨论。
46.尽管本公开在该方面不受限制，但利用术语诸如例如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“确立”、“分析”、“检查”等的讨论可指计算机、计算平台、计算系统或其他电子计算设备的操作和/或过程，该操作和/或过程将表示为计算机的寄存器和/或存储器内的物理(例如，电子)量的数据操纵和/或变换成类似地表示为计算机的寄存器和/或存储器或其他可存储执行操作和/或过程的指令的非暂态信息存储介质内的物理量的其他数据。尽管本公开在该方面不受限制，但是如本文所用的术语“多个”和“多种”可包括例如“多重”或“两个或更多个”。术语“多个”或“多种”可在整个说明书中用于描述两个或更多个部件、设备、元件、单元、参数等。该术语集在本文中使用时可包括一项或多项。除非明确说明，否则本文所述的方法不限于特定次序或序列。另外，所述方法或其元素中的一些可以同时地、在相同时间点或并行地发生或执行。
47.如本文相对于图像所提及的术语“位置”及其派生词可指胶囊在捕获图像时沿着git的估计位置或图像中沿着git示出的git的部分的估计位置。
48.一种类型的ce规程可尤其基于感兴趣且待成像的git的部分(例如，结肠或小肠(“sb”))或基于特定用途(例如，用于检查gl疾病诸如克罗恩病的状态，或用于结肠癌筛查)来确定。
49.除非另外明确指明，否则如本文相对于图像(例如，在另一图像周围或与其他图像相邻的图像)所提及的术语“周围”或“相邻”可涉及空间和/或时间特性。例如，在其他图像周围或与其他图像相邻的图像可为这样的图像，其估计位置邻近沿着git的其他图像和/或在另一个图像的捕获时间附近、在一定阈值内例如在一厘米或两厘米内或在一秒、五秒或十秒内捕获的图像。
50.根据其上下文，术语“git”和“git的一部分”可彼此互指或相互包括。因此，术语“git的一部分”也可指整个git，并且术语“git”也可仅指git的一部分。如本文所用的术语“临床医生”可包括任何潜在用户诸如医师，例如初级护理医师(pcp)或胃肠病医师，或健康提供者或健康专业人员。
51.参考图1，示出了git 100的图示。git 100是人类和其他动物体内的器官系统。git 100通常包括用于摄取食物的口102、用于产生唾液的唾液腺104、通过收缩帮助食物通过的食道106、用于分泌酶和胃酸以帮助消化食物的胃108、肝脏110、胆囊112、胰腺114、用于吸收营养的小肠116(例如，sb)以及用于在排便之前储存水和作为粪便的废物的结肠400(例如，大肠)。结肠400通常包括阑尾402、直肠428和肛门430。通过口摄入的食物被git消化以摄入营养物质，并且剩余废物作为粪便通过肛门430排出。
52.git 100(例如，sb)、结肠400、食道106和/或胃108的不同部分的研究可经由合适的用户界面呈现。如本文所用，术语“研究”是指并包括从ce成像设备(例如，图2的212)在针对特定患者在特定时间执行的单个ce规程期间捕获的图像中所选择的至少一组图像，并且可任选地包括除图像之外的信息。所执行的规程的类型可确定git 100的哪个部分是感兴趣的部分。所执行的规程类型的示例包括但不限于sb规程、结肠规程、sb和结肠规程、旨在明确显示或检查sb的规程、旨在明确显示或检查结肠的规程、旨在明确显示或检查结肠和sb的规程、或显示或检查整个git(食管、胃、sb和结肠)的规程。
53.图2示出了用于分析经由ce规程在体内捕获的医学图像的系统200的框图。该系统通常包括被配置为捕获git的图像的胶囊系统210和被配置为处理所捕获的图像的计算系统300(例如，本地系统和/或云系统)。
54.胶囊系统210可包括可吞服ce成像设备212(例如，胶囊)，该可吞服ce成像设备被配置为在ce成像设备212行进通过git时捕获git的图像。这些图像可存储在ce成像设备212上和/或传输到接收设备214(通常包括天线)。在一些胶囊系统210中，接收设备214可位于吞服ce成像设备212的患者身上并且可例如采取由患者佩戴的带或固定到患者的贴片的形式。
55.胶囊系统210可与计算系统300通信地联接，并且可将捕获的图像传送到计算系统300。计算系统300可使用图像处理技术、机器学习技术和/或信号处理技术以及其他技术来处理所接收的图像。计算系统300可包括患者和/或患者的治疗机构本地的本地计算设备、由云服务提供的云计算平台、或本地计算设备和云计算平台的组合。
56.在计算系统300包括云计算平台的情况下，由胶囊系统210捕获的图像可在线传输到云计算平台。在各种实施方案中，可经由由患者佩戴或携带的接收设备214来传输图像。在各种实施方案中，可经由患者的智能电话或经由连接到因特网并且可与ce成像设备212或接收设备214联接的任何其他设备来传输图像。
57.图3示出了可与本公开的图像分析系统一起使用的示例性计算系统300的高级框图。计算系统300可包括处理器或控制器305，该处理器或控制器可为或包括例如一个或多个中央处理单元处理器(cpu)、一个或多个图形处理单元(gpu或gpgpu)、芯片或任何合适的计算或运算设备、操作系统215、存储器320、存储装置330、输入设备335和输出设备340。用于对ce成像设备212(图2)所收集的医学图像进行收集或接收的模块或装备(例如，穿戴在患者身上的接收器)或进行显示或选择来显示的模块或装备(例如，工作站)可为或包括图3
所示的计算系统300，或可由该计算系统执行。计算系统300的通信部件322可允许例如经由因特网或另一网络、经由无线电或经由合适的网络协议(诸如文件传输协议(ftp)等)与远程或外部设备通信。
58.计算系统300包括操作系统315，该操作系统可为或可包括被设计和/或被配置为执行涉及协调、调度、仲裁、监督、控制或以其他方式管理计算系统300的操作(例如，调度程序的执行)的任务的任何代码段。存储器320可为或可包括例如随机存取存储器(ram)、只读存储器(rom)、动态ram(dram)、同步dram(sd ram)、双倍数据速率(ddr)存储器芯片、闪速存储器、易失性存储器、非易失性存储器、高速缓存存储器、缓冲器、短期存储器单元、长期存储器单元或其他合适的存储器单元或存储单元。存储器320可为或可包括多个可能不同的存储器单元。存储器320可存储例如实行方法的指令(例如，可执行代码325)和/或诸如用户响应、中断等数据。
59.可执行代码325可为任何可执行代码，例如应用程序、程序、过程、任务或脚本。可执行代码325可由控制器305可能在操作系统315的控制下执行。例如，可执行代码325的执行可导致如本文所述的医学图像的显示、显示选择或分析。在一些实施方案中，对于本文所述的多个功能，可使用多于一个计算系统300或计算系统300的部件。对于本文所述的各种模块和功能，可使用一个或多个计算系统300或计算系统300的部件。可使用包括与计算系统300中包括的那些类似或不同的部件的设备，并且可将这些设备连接到网络并用作系统。一个或多个处理器305可被配置为通过例如执行软件或代码来实行本公开的方法。存储装置330可为或可包括例如硬盘驱动器、软盘驱动器、光盘(cd)驱动器、cd可记录(cd-r)驱动器、通用串行总线(usb)设备或其他合适的可移除和/或固定存储单元。诸如指令、代码、医学图像、图像流等数据可存储在存储装置330中，并且可从存储装置330加载到存储器320中，其可在该存储器处由控制器305处理。在一些实施方案中，可省略图3所示的部件中的一些部件。
60.存储器320还可包括组织模型326、光学模型327和/或照明模型328，应用程序可使用这些模型来导出、确定或估计3d距离，如本文所述。组织模型326、光学模型327和照明模型328可以是任何合适的代码或数据。在一些方面，组织模型可包括光学模型、照明模型和/或其他合适的模型。应当理解，本文所讨论的组织模型、光学模型和照明模型可由任何适用的构造或模块实现，并且可被组合或分解成本领域已知的部件。例如，这些模型可以是可使得应用程序能够基于一组成像参数来搜索3d距离值的数据结构。在其他方面，组织模型326、光学模型327和照明模型328还可包括可由应用程序使用以便导出、确定或估计如本文所述的距离的参数。对于组织模型、光学模型和照明模型，以及所述模型用于导出、确定或估计距离的使用的详细描述，请参考专利公开以获得进一步细节，其一个或多个方面可被包括或修改以与所公开的方面一起使用，可参考美国专利号9,412,054，其全部内容以引用的方式并入本文。
61.输入设备335可包括例如鼠标、键盘、触摸屏或触摸板或任何合适的输入设备。应当认识到，任何合适数量的输入设备可操作地联接到计算系统300。输出设备340可包括一个或多个监视器、屏幕、显示器、扬声器和/或任何其他合适的输出设备。应当认识到，任何合适数量的输出设备可操作地联接到计算系统300，如框340所示。任何适用的输入/输出(i/o)设备可操作地联接到计算系统300，例如有线或无线网络接口卡(nic)、调制解调器、
打印机或传真机、通用串行总线(usb)设备或可包括在输入设备335和/或输出设备340中的外部硬盘驱动器。
62.包括图3所示的部件中的一些或全部部件的多个计算机系统300可与所描述的系统和方法一起使用。例如，ce成像设备212、接收器、基于云的系统和/或用于显示图像的工作站或便携式计算设备可包括图3的计算机系统的部件中的一些或全部部件。包括诸如图3的计算系统300的部件的云平台(例如，远程服务器)可接收诸如图像和元数据的规程数据，处理并生成研究，并且还可显示生成的研究以供医生复查(例如，在工作站或便携式计算机上执行的网页浏览器上)。“内部部署(on premise)”选项可使用医疗机构处的工作站或本地服务器来存储、处理和显示图像和/或研究。
63.根据本公开的一些方面，用户(例如，医师)可通过复查研究来建立他或她对案例的理解，该研究包括例如自动地选择为可能感兴趣的图像的图像(例如，由ce成像设备212捕获)的显示。
64.参考图4，示出了根据本公开的一些方面的机器学习系统500的框图。机器学习系统500可包括一种或多种类型的机器学习网络，包括但不限于分类网络、分割网络和/或深度学习神经网络。图像502被输入到机器学习系统500中用于处理。输出506可根据网络的类型而改变。在各方面，机器学习网络可生成息肉概率分数(例如，其可由分类网络生成)。任选地，可通过使用分割网络生成周边指示。例如，机器学习系统500可基于分割网络的输出生成掩模图像。
65.所公开的系统和方法所使用的深度学习神经网络可以是卷积神经网络(cnn)和/或递归神经网络。一般来讲，深度学习神经网络包括多个隐藏层。
66.深度学习神经网络可在计算机系统300(图3)上执行。本领域技术人员应当理解深度学习神经网络及其实现方式。
67.在机器学习中，cnn是一类人工神经网络(ann)，最常用于分析视觉图像。cnn的卷积方面涉及将矩阵处理操作应用于图像的局部部分，并且这些操作的结果(可能涉及数十种不同的并行计算和串行计算)是用于递送到下一层的许多特征的集。cnn可包括卷积层和反卷积层、激活函数层和/或池化(通常为最大池化)层，以在不损失太多特征的情况下降低维度。在生成这些特征的操作中可包括附加信息。提供产生给出神经网络信息的特征的独特信息可用于最终提供区分神经网络的不同数据输入的聚合方式。
68.本领域技术人员应当理解训练深度学习神经系统500及其实现方式。
69.在根据本公开的一些方法中，机器学习系统500可用于基于由ce成像设备212(参见图2)捕获的图像来生成掩模图像。息肉(或其他解剖特征)的掩模图像可作为机器学习系统500的一个或多个层的输出而生成。可由机器学习系统500生成概率图(例如，每像素的息肉概率)。可基于这样的概率图生成掩码。
70.图5的流程图示出了用于估计图像中的息肉的大小的计算机实现的方法800。本领域技术人员将理解，可在不脱离本公开的范围的情况下以不同的顺序执行、重复和/或省略方法800的一个或多个操作。在根据本公开的一些方法中，所示方法800中的一些或全部操作可使用胶囊内窥镜检查系统(例如，仪器212(参见图2)、接收设备214(参见图2)和计算系统300(参见图2)来操作。其他变型形式可以视为在本公开的范围内。将针对计算设备(例如，用于分析经由ce规程在体内捕获的医学图像的系统200(图2)的计算系统300)或任何其
他合适的计算系统设备或其位置(包括远程布置的计算设备)描述图5的操作。应当理解，所示操作也适用于其他系统及其部件。可使用结肠作为示例。然而，所公开的方法可应用于来自git的任何部分(例如，结肠或小肠中的疑似息肉、肿块、肿瘤、或sb中的其他基本上圆形或类圆形的对象)的图像。尽管针对息肉示出和描述了示例，但所公开的技术可应用于任何类椭球体或类球体或类圆形病状。
71.当前，在胶囊内窥镜检查领域，至少部分手动地执行息肉大小测量。这可能导致不同临床医生之间存在很大差异(即，不同临床医生可能接收到对特定图像中的疑似息肉的完全不同的测量结果)，并且可能提供不准确的大小估计。因此，由所公开的技术提供的完全或主要自动大小测量和估计可显著减小这一差异并允许标准化的测量或估计。例如，根据colon 2系统，临床医生选择限定疑似息肉的长度的两个点，并且该系统为这对输入点提供3d长度测量结果。然后可将此测量结果确定为息肉的所估计大小。不同的临床医生可选择不同的点对，这可能导致显著不同的大小估计。
72.用于分析经由ce规程在体内捕获的医学图像的系统200包括被配置为捕获git的图像的胶囊系统210和被配置为处理所捕获的图像的计算系统300。胶囊系统210可包括可吞服ce成像设备212(例如，胶囊)，该可吞服ce成像设备被配置为在ce成像设备212行进通过git时捕获git的图像。这些图像可存储在ce成像设备212上和/或传输到接收设备214(通常包括天线)。接收设备214接收并且可(例如，在接收设备中的存储设备内)存储这些图像。ce成像设备212可包括一个或多个相机或成像设备、电源、处理器和发射器。
73.最初，在步骤802处，计算系统300(例如，可为基于云的系统的本地或远程系统)访问git的至少一部分(例如，结肠400的一部分)的图像，该图像被估计或识别为包括由ce设备捕获的疑似息肉。例如，所访问的图像1002可包括一个或多个疑似息肉1004(图7)。
74.在步骤804处，计算系统300接收疑似息肉的近似周边的指示。该指示包括图像的像素。在各方面，可基于掩模图像来生成近似周边指示。例如，计算系统300可基于所访问的图像来接收掩模图像1102(图8)。在各方面，可由深度学习神经网络(图4)或经典机器学习分类器生成掩模图像1102。近似周边指示可基于用户输入。例如，临床医生可例如通过使用i/o设备在显示器上界定疑似息肉。
75.例如，深度学习神经网络(例如，分类网络)可用于息肉检测(例如，息肉检测器)。所访问的图像可用作对另一深度学习神经网络(例如，分割网络)的输入，该另一深度学习神经网络可基于所访问的图像生成掩模图像作为副产物。
76.如本文所用，掩模图像包括由零值和非零值组成的二进制图像。深度学习神经网络的输出可以是介于0和1之间的概率值(例如，分割网络)，其可基于阈值改变为掩模图像(例如，二进制图)。在各方面，掩模图像可用于获得疑似息肉的边界点。
77.在各方面，计算系统300可通过基于掩模图像确定所访问图像中与疑似息肉的周边1202(图10)近似的像素来生成对疑似息肉的近似周边的指示。
78.在步骤806处，计算系统300在无人工干预的情况下，基于近似周边指示中的周边点确定疑似息肉的3d测量结果。在各方面，计算系统300可基于计算机视觉系统720确定图像中沿着疑似息肉的周边的多个最远像素对(例如，多个息肉末端)。在各方面，可过滤周边点以减少数据集并改善处理时间和资源分配。接下来，计算系统300可选择最长的3d长度作为疑似息肉的所确定的3d测量结果。
79.计算系统300还可在近似疑似息肉的周边的像素中或者在包括在对疑似息肉的近似周边的指示中的像素中确定极端像素集1204(图10)(例如，端点)。可使用各种确定极端像素的方法。例如，计算系统300可确定沿着x轴和y轴的极端像素。例如，计算系统300可确定距疑似息肉的质心更高距离的点。在各方面，可通过以下方式向所确定的极端像素添加像素：对于每个极端像素，检查周边指示中的哪个像素是最远的像素，这是基于图像坐标系中的所确定的2d距离来执行的。
80.在各方面，可使用斑点检测器来确定极端息肉像素(例如，端点)。在图像处理中，斑点检测是指使用旨在检测图像中的点和/或区域的检测器，这些点和/或区域与周围区域相比在诸如亮度或颜色的性质上有所不同。斑点是二维整数坐标空间中的形状，其中所有单元格在右侧、左侧、顶部或底部至少有一个相邻单元格也被占用。
81.在各方面，计算系统300可确定多个最远对，该多个最远对中的每一对具有对应的2d距离。在图像坐标系中确定图像的一对点或像素之间的2d距离。计算系统300可使用2d距离来通过不按对在附近查询或仅查询具有相对大距离的对来减少3d长度的查询数量。例如，计算系统300可确定多个端点对。为了避免通过分析所有多个端点对而增加处理时间，计算系统300可仅分析具有相对大的2d距离的对，因为这些对最可能包括最大的3d长度。在各方面，可针对2d距离确定阈值或数量(即，选择n个最远距离)以识别或选择具有相对大的2d距离的对。在各方面，从所选择的点或像素集(例如，所选择的最外像素或极端像素)中选择周边点或周边像素对。
82.在各方面，计算系统300可在图像的坐标系中确定周边指示的像素中的最外极端像素集。该确定是在图像的坐标系中执行的。用于确定极端像素的各种方法可包括确定沿着x轴和y轴的极端像素，和/或可确定距疑似息肉的质心更高距离的点(例如，可选择预定义的n个最远像素)。可单独地或组合地使用一种或多种方法来确定极端像素集。在各方面，计算系统300可过滤正被分析的像素和/或过滤被检查的对(例如，针对3d长度)以减少数据集并改善处理时间和资源消耗。
83.接下来，计算系统300可针对多个最远对中的每一对，基于具有最大2d距离的对来估计3d长度。根据一些方面，计算系统300可检查图像坐标系中极端像素集中的所有可能对之间的2d距离，并选择图像坐标系中具有最长2d距离的m个对。然后将仅针对所选择的这些m个对确定3d测量结果。
84.在各方面，当确定疑似息肉的3d测量结果时，计算系统300可在图像的坐标系中确定近似周边指示的像素或极端像素的多个最远对。接下来，计算系统300可针对多个最远对中的每一对，基于该对的像素来估计疑似息肉的3d长度，并选择最长的所估计3d长度作为疑似息肉的所确定的3d测量结果。
85.计算系统300可通过基于与多个最远极端像素对相关联的组织模型和/或数据，计算与疑似息肉距ce成像设备212的距离相关的距离参数，来确定每个点或像素对的3d测量结果。可针对一组所选择的像素对(根据所公开的方法)或针对近似周边指示中的所有像素对来确定3d测量结果。例如，组织模型可为或可包括：适用于多个患者的通用组织模型；特定于患者状况的组织模型；和/或特定于胃肠道区域的组织模型。在各方面，组织模型可包括组织与光的交互作用的表示。
86.对于用于基于2d点(例如，像素)估计3d长度的示例性方法的结构和功能的详细描
述，其一个或多个方面可被包括或修改以与所公开的方面一起使用，可参考美国专利号9,412,054，其全部内容以引用的方式并入本文。
87.在各方面，图像中的像素之间的3d长度的估计可包括访问组织模型、选择图像中的点、基于组织模型确定点与ce成像设备212的距离和/或所估计距离。该操作可导出将点、距离和对象相关联的几何关系，并基于该几何关系确定对象的大小参数。如本文所用，术语“点”包括一个或多个像素。在点包括多个像素的情况下，可选择一个像素(例如，中心像素)作为呈现“点”，或者可通过平均像素值(即，对“点”的所有像素的值进行平均)来呈现该点。
88.如图3所示，组织模型326、光学模型327和照明模型328可被加载到存储器320中(可使用其他或不同的模型)。应当理解，本文所讨论的组织模型、光学模型和照明模型可由任何适用的构造或模块实现，并且可被组合或分解成本领域已知的部件。例如，这些模型可以是可使得应用程序能够基于一组成像参数来搜索距离值的数据结构。组织模型326、光学模型327和照明模型328可包括可由应用程序使用以便导出、确定或估计如本文所述的3d距离的参数。例如，应用程序(例如，可执行代码325(图3))可从图像中的像素提取强度和颜色，并基于照明模型328和/或光学模型327中的数据修改这些强度和颜色值。该应用程序可使用修改的值作为组织模型326的输入，以便估计由像素表示的对象的3d距离。例如，照明模型328可规定从像素提取的红色的水平或百分比将被修改1.03倍。基于与ce成像设备212(图2)在获得相关图像时使用的光源相关的信息，可能有必要在使用组织模型326估计距离之前执行这种修改。
89.在各方面，两个像素之间的3d长度可由深度学习系统确定。
90.在步骤808处，计算系统300基于所确定的3d测量结果来估计疑似息肉的大小。在各方面，计算系统300可选择最长的3d距离或长度作为疑似息肉的所确定的3d测量结果。
91.在任选的步骤810处，计算系统300显示疑似息肉的所估计大小。例如，计算系统300可显示所访问的图像以及疑似息肉的所估计大小。作为另一示例，计算系统300可例如在胶囊内窥镜检查研究的显示框架中向临床医生或用户显示所访问的图像，并且仅在请求时或在接收到来自临床医生或用户的指示时显示所估计大小。
92.在各方面，临床医生可能希望更新显示的极端像素集。计算系统300可从用户界面接收指示极端像素集的手动校正的输入。例如，临床医生可使用鼠标或其他输入，并从极端像素集中移除一个或多个像素，或者在用户界面上向该集添加一个或多个像素。计算系统300可基于输入的手动校正来更新极端像素集。在各方面，临床医生可例如通过用户界面绘制单线来选择单个点对，计算系统300可在该用户界面上计算3d长度。可使用鼠标或其他类似的指向设备或利用标尺工具来绘制单线，如美国专利no.9412054中所公开，其全部内容以引用的方式并入本文。
93.图6的流程图示出了用于估计图像中的疑似息肉的大小的计算机实现的方法900。本领域技术人员将理解，可在不脱离本公开的范围的情况下以不同的顺序执行、重复和/或省略方法900的一个或多个操作。在根据本公开的一些方法中，所示方法900中的一些或全部操作可使用胶囊内窥镜检查(例如，仪器212(参见图2)、接收设备214(参见图2)和计算系统300(参见图2)来操作。其他变型形式可以视为在本公开的范围内。将针对计算设备(例如，用于分析经由ce规程在体内捕获的医学图像的系统200(图2)的计算系统300)或任何其他合适的计算系统设备或其位置(包括远程布置的计算设备)描述图6的操作。应当理解，所
示操作也适用于其他系统及其部件。
94.在步骤902处，计算系统300访问在胶囊内窥镜检查规程期间捕获的git的至少一部分的至少两个图像。该至少两个图像中的每个图像与基于每个图像确定的疑似息肉的所估计大小相关联。该至少两个图像可包括图像(“种子”图像)以及被识别或确定为包括相同疑似息肉的一个或多个图像。在各方面，该一个或多个图像可以是与图像(“种子”图像)相邻的图像，包括疑似息肉，例如图像序列(在种子图像之前和之后)。例如，选择具有所估计大小的“种子”图像(例如，呈现给用户的来自ce研究的图像)，并且然后使用例如相邻图像中的息肉跟踪器来识别包括相同疑似息肉的图像，或者例如使用这种已生成的轨迹。对于用于识别两个图像是否包括相同病状(诸如息肉)的示例性方法(例如，经由机器学习的跟踪和/或分类)的结构和功能的详细描述，其一个或多个方面可被包括或被修改以与所公开的方面一起使用，可参考2020年9月2日提交的美国专利申请号63/073,544，其全部内容以引用的方式并入本文。
95.例如，可根据用于估计图像中息肉的大小的计算机实现的方法800(图5)来生成息肉的所估计大小。可以设想，可使用用于生成图像中息肉的所估计大小的任何其他已知方法。对于出现疑似息肉的多个图像中的每个图像，可根据上述方法计算所估计的息肉大小。可以设想，计算系统300可使用每一帧的概率来包括息肉作为权重，并且可将每一帧的概率一起加权成疑似息肉的一个大小估计。
96.该识别可包括机器学习(例如，对象跟踪算法)或者可由临床医生手动识别。例如，可使用对象跟踪算法，该对象跟踪算法将跟踪和识别多个图像的先前图像和后续图像中的候选息肉。在各方面，对象跟踪算法可基于光学流技术。对象跟踪算法可利用息肉分割算法提供的掩模。例如，该操作可以可视化至少两个图像中的每个图像的相同疑似区域(例如，包括相同疑似息肉的区域)并且比较相同疑似区域的多个测量结果。例如，可基于机器学习技术来执行此类对象跟踪技术。对于用于对象跟踪技术的示例性方法的结构和功能的详细描述，其一个或多个方面可被包括或被修改以与所公开的方面一起使用，可参考2020年5月1日提交的美国专利申请号63/018,870，其全部内容以引用的方式并入本文。
97.在各方面，计算系统300可接收包括相同疑似息肉的至少两个图像(例如，相同疑似息肉的不同图像)。计算系统300可接收与相同疑似息肉的不同图像相关联的大小估计并基于所接收的至少两个图像来确定权重。
98.计算系统300可估计包括疑似息肉的至少两个图像中的每个图像中的疑似息肉的大小。例如，可从用于估计图像中的疑似息肉的大小的计算机实现的方法800(图5)访问疑似息肉的所估计大小。例如，对于其中出现疑似息肉的至少两个图像中的每个图像，可根据上述方法计算所估计的息肉大小。
99.在步骤904处，计算系统300确定至少两个图像中的每个所识别的图像的权重。在各方面，可基于图像的参数或特性来确定权重，这些参数或特性可影响图像中的疑似息肉的所估计大小的可靠性的可信度程度。在各方面，权重可以是归一化息肉检测器分数。例如，可估计所识别的图像中的息肉的大小。例如，息肉大小可为：2.9mm、5.4mm和6mm。在各方面，计算系统可访问或确定所识别的图像包括息肉的归一化概率，例如：0.05、0.85和0.1。因此，加权估计大小为：2.9*0.05+5.4*0.85+0.1*6。因此，具有包括息肉的较高概率(即，疑似息肉实际上是息肉)的图像中的疑似息肉的所估计的息肉大小将比具有包括息肉的较低
概率并且以相关方式具有包括息肉的较低概率的图像中的疑似息肉的所估计大小接收更高权重。例如，如果从息肉检测器所接收的概率低于阈值0.9，则权重可具有零值。在各方面，种子图像的权重加倍。在各方面，可为至少两个图像的所有图像分配相等的权重，并且可计算所有估计大小的算术平均值并将其确定为加权估计大小。在各方面，可基于息肉检测器分数(即，指示图像包括息肉的概率)、图像与预定义图像(例如，“种子”图像)的距离和/或图像的清洁分数来确定至少两个图像中的每个图像的权重。
100.在步骤906处，计算系统300基于至少两个图像的疑似息肉的所确定权重和和所估计大小来估计息肉的加权息肉大小。在各方面，权重可用于通过将权重乘以息肉大小来确定加权息肉大小。
101.例如，可为每个图像显示“平均pse”(平均息肉大小估计)，其可能在小数点后具有一个或多个数字。可在每个图像上绘制和指示所估计的息肉大小。例如，“平均pse”可为约6.3mm，并且所估计的疑似息肉大小可为5.5mm。可鼓励临床医生探索与“平均pss”相关联的图像，并评估其他图像中疑似息肉是否看起来更大。
102.参考图7，示出了包括息肉1004的git的一部分的图像1002。参考图8，示出了掩模图像1102。一般来讲，掩模图像是二进制图像，其中诸如图7的息肉1104的特征可包括具有零(例如，白色)值的像素，并且图像的剩余部分包括具有1(例如，黑色)值的像素。
103.现在参考图9，示出了指示息肉1004的周边1202的图像1012。该图像还示出了极端像素1204，该极端像素被所公开的系统和方法使用来确定2d长度和/或3d长度。
104.参考图10，示出了图像1302，其示出了两个示例性最远对以及如在息肉1004上所示的对1304、1306的对应2d距离。
105.图11示出了git的部分的多个图像1500，其示出了图像中的相同息肉1508。多个图像1500包括来自息肉检测器(例如，深度学习神经网络)的息肉在图像中的概率1502、由所公开的系统和方法确定的所估计的息肉大小1506、以及基于概率1502和/或所估计的息肉大小1506低于预定阈值(例如，息肉大小太小)而在方法900的加权估计的息肉大小中是否应当排除图像的指示。
106.虽然已经在附图中示出了本公开的若干实施方案，但并不希望将本公开限于此，因为希望使本公开与所属领域所允许的范围一样广泛并且应以同样的方式阅读本说明书。因此，以上说明不应理解为限制性的，而是仅作为具体实施方案的例示。本领域的技术人员能够设想在本文所附权利要求书的范围和实质内的其他修改。

技术特征：
1.一种用于估计图像中的疑似息肉的大小的计算机实现的方法，所述计算机实现的方法包括：访问由胶囊内窥镜检查设备捕获的胃肠道(git)的至少一部分的图像，其中所述图像包括疑似息肉；接收对所述图像中的所述疑似息肉的近似周边的指示；在无人工干预的情况下，基于所述近似周边指示中的周边点来确定所述疑似息肉的3d测量结果；以及基于所确定的3d测量结果来估计所述疑似息肉的大小。2.根据权利要求1所述的计算机实现的方法，所述计算机实现的方法还包括在显示器上显示所述疑似息肉的所估计大小。3.根据权利要求1所述的计算机实现的方法，其中基于所访问的图像或通过用户输入自动生成所述近似周边指示。4.根据权利要求1所述的计算机实现的方法，其中基于接收的掩码来生成所述近似周边指示。5.根据权利要求1所述的计算机实现的方法，其中确定所述疑似息肉的所述3d测量结果包括：确定所述周边中的像素对的每个组合的3d长度；以及确定最长的3d长度作为所述疑似息肉的所述3d测量结果。6.根据权利要求1所述的计算机实现的方法，所述计算机实现的方法还包括在所述图像的坐标系中确定所述近似周边指示的所述像素中的极端像素集。7.根据权利要求1或6所述的计算机实现的方法，其中确定所述疑似息肉的所述3d测量结果包括：在所述图像的所述坐标系中确定所述近似周边指示的所述像素或所述极端像素的多个最远对；对于所述多个最远对中的每一对，基于所述对的所述像素来估计所述疑似息肉的3d长度；以及选择最长的所估计3d长度作为所述疑似息肉的所确定的3d测量结果。8.根据权利要求6所述的计算机实现的方法，所述计算机实现的方法还包括：在所述显示器上显示所述极端像素集；经由用户界面接收指示所述极端像素集的手动校正的输入；以及基于所述手动校正来更新所述极端像素集。9.根据权利要求7所述的计算机实现的方法，其中由深度学习系统针对每一对确定所述对的两个像素之间的3d长度。10.根据权利要求1所述的计算机实现的方法，其中确定所述3d测量结果是基于组织模型的，并且其中所述组织模型包括组织与光的交互作用的表示。11.一种用于估计图像中的疑似息肉的加权大小的计算机实现的方法，所述计算机实现的方法包括：访问在胶囊内窥镜检查规程期间捕获的胃肠道(git)的至少一部分的至少两个图像，其中所述至少两个图像中的每个图像与基于每个图像确定的所述疑似息肉的估计大小相
关联，其中所述至少两个图像被确定为包括相同疑似息肉；确定所述至少两个图像中的每个图像的权重；以及基于所述至少两个图像的所确定权重并且基于根据所述至少两个图像的所述疑似息肉的所述估计大小来估计所述疑似息肉的加权息肉大小。12.根据权利要求11所述的计算机实现的方法，所述计算机实现的方法还包括基于机器学习系统从git的多个图像识别所访问的至少两个图像。13.根据权利要求11所述的计算机实现的方法，所述计算机实现的方法还包括估计包括所述疑似息肉的所述至少两个图像中的每个图像中的所述疑似息肉的所述大小。14.根据权利要求11所述的计算机实现的方法，其中所述至少两个图像的所有所述权重都相等。15.根据权利要求11所述的计算机实现的方法，其中所述至少两个图像中的每个图像的所述权重基于以下中的至少一者来确定：指示所述图像包括息肉的概率的分数、所述图像距预定义图像的距离，或所述图像的清洁分数。16.根据权利要求11所述的计算机实现的方法，所述计算机实现的方法还包括显示所述至少两个图像中的图像的所述疑似息肉的所述加权大小或所述疑似息肉的所估计大小中的至少一者。17.一种用于估计图像中的疑似息肉的大小的系统，所述系统包括：显示器；至少一个处理器；和至少一个存储器，所述至少一个存储器包括存储在其上的指令，所述指令在由所述至少一个处理器执行时使所述系统：访问由胶囊内视镜设备捕获的胃肠道(git)的至少一部分的图像，其中所述图像包括疑似息肉；接收对所述图像中的所述疑似息肉的近似周边的指示；在无人工干预的情况下，基于所述近似周边指示中的周边点来确定所述疑似息肉的3d测量结果；以及基于所确定的3d测量结果来估计所述疑似息肉的大小。18.根据权利要求17所述的系统，其中所述指令在由所述至少一个处理器执行时还使所述系统在所述显示器上显示所述疑似息肉的所估计大小。19.根据权利要求18所述的系统，其中所述指令在由所述至少一个处理器执行时还使所述系统基于所访问的图像或通过用户输入自动生成所述近似周边指示。20.一种用于估计图像中的疑似息肉的大小的计算机实现的方法，所述计算机实现的方法包括：访问由胶囊内窥镜检查设备捕获的胃肠道(git)的至少一部分的图像，其中所述图像包括疑似息肉；基于计算机视觉系统来确定所述图像中沿着所述疑似息肉的周边的多个息肉末端；基于所述息肉末端来估计所述疑似息肉的大小；以及在显示器上显示所述疑似息肉的所估计大小。

技术总结
一种用于估计图像中的疑似息肉的大小的计算机实现的方法，该计算机实现的方法包括：访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的至少一部分的图像，其中该图像包括疑似息肉；接收对该图像中的该疑似息肉的近似周边的指示；在无人工干预的情况下，基于该近似周边指示中的周边点来确定该息肉的3D测量结果；以及基于所确定的3D测量结果来估计该疑似息肉的大小。的大小。的大小。


技术研发人员：E
受保护的技术使用者：吉温成像有限公司
技术研发日：2021.09.05
技术公布日：2023/7/22