图像数据中的脊柱椎骨的检测的制作方法

1.以下总体上涉及医学成像信息学，并且更具体地涉及图像数据中的脊柱椎骨的检测。


背景技术：

2.当放射科医师读取没有用椎骨的标识注释的轴向脊柱图像时，在没有参考矢状脊柱和/或其它图像来交叉参考轴向脊柱图像相对于脊柱的位置的情况下，放射科医生难以确定哪个椎骨被表示在轴向脊柱图像中。在一个实例中，放射科医师被指派手动注释和/或计数椎骨中心。遗憾的是，这是乏味的、耗时的并且容易出现人为错误的。在payer等人的“vertebrae localization and segmentation with spatial configuration-net and u-net”(2019)，和chen的“an automatic multi-stage system for vertebra segmentation and labelling”(2019),以及lessmann等人的“iterative fully convolutional neural networks”(2019)中，描述了自动椎骨检测算法。遗憾的是，这些方法需要相当大的计算能力。至少鉴于上述情况，存在对用于在体积图像数据中检测和标记脊柱椎骨的另一种(多种)方法的未解决的需要。


技术实现要素：

3.本文描述的一些方面解决了上述提到的问题和/或其它问题。
4.下文描述了用于体积图像数据中脊柱椎骨的自动检测和标记的多阶段方法。在一个实施例中，在第一检测阶段中使用对象检测算法来检测矢状图像中的个体椎骨并为检测到的椎骨生成2-d边界框。矢状图像和2-d边界框被组合以生成具有3-d边界框的脊柱的3-d模型。然后基于3-d模型生成脊柱的全景图像以创建脊柱的伸直视图。在第二阶段中使用对象检测算法(或另一算法)来检测全景图像中的个体椎骨并且为检测到的椎骨生成2-d边界框。全景图像中的椎骨的2-d边界框被转换至3-d空间。
5.在一个方面，系统被配置为在体积图像数据中检测脊柱的椎骨。该系统包括计算装置。计算装置包括具有用于椎骨检测模块的指令的存储器。计算装置还包括被配置为执行指令以执行两阶段椎骨检测的处理器，其中椎骨的第一组边界框在两阶段椎骨检测中的第一阶段在矢状图像中被检测并且在体积图像中被聚类为框，脊柱的全景图像基于检测到的第一组边界框而被生成，并且椎骨的第二组边界框在两阶段椎骨检测的第二阶段中在全景图像中被检测。计算装置还包括被配置为显示检测到的椎骨的2-d图像的显示器。在一个实例中，所有检测到的边界框——第一组和第二组两者——都被标记为骶骨、c2或“其它”椎骨。这至少是因为c2和骶骨椎骨都具有独特的形状，并在边界框的检测之后用作椎骨注释的锚点。
6.在另一个方面，方法被配置为用于检测体积图像中的脊柱的椎骨。该方法包括提取脊柱的矢状图像中椎骨的第一组边界框，并且在一个实例中，将它们标记为骶骨、c2或“其它”椎骨。该方法然后包括将矢状图像的边界框聚类至体积图像中的框。该方法还包括
基于检测到的第一组边界框生成脊柱的全景图像。该方法还包括以与之前同样的标记提取全景图像中椎骨的第二组边界框。
7.在另一个方面，计算机可读存储介质存储用于在体积图像数据中检测脊柱的椎骨的指令。这些指令，当由计算机的处理器执行时，使处理器提取脊柱的矢状图像中的椎骨的第一组边界框，并且在一个实例中，将它们标记为骶骨、c2或“其他”椎骨，将它们聚类至体积数据中的框，基于检测到的第一组体积边界框生成脊柱的全景图像，并且提取全景图像中的椎骨的第二组边界框。
8.本领域技术人员在阅读和理解所附说明书后将认识到本技术的又其他方面。
附图说明
9.本发明可以采取各种部件和部件布置以及各种步骤和步骤布置的形式。附图仅为了说明实施例，而不应被解释为限制本发明。
10.图1示意性地示出了根据本文的(多个)实施例的具有椎骨检测和标记模块的示例系统，该椎骨检测和标记模块被配置为在体积图像数据中检测和标记脊柱的椎骨。
11.图2示意性地示出了根据本文的(多个)实施例的图1系统的椎骨检测和标记模块的示例。
12.图3示意性地示出了根据本文的(多个)实施例的用于在体积图像数据中检测和标记脊柱的椎骨的示例方法。
具体实施方式
13.图1示意性地示出了根据本文的(多个)实施例的示例系统102。系统102至少包括(多个)数据储存库104和计算装置106。
14.(多个)数据储存库104包括被配置为至少存储数字医学图像的物理存储介质。在一个实例中，(多个)数据储存库104用于(多个)保健实体等，并且包括通过(多个)保健实体的成像模态采集的对象的数字医学图像。物理存储介质对于(多个)保健实体是本地的和/或与之远离的，例如基于“云”的资源的一部分。成像模态的示例包括磁共振(mr)、计算机断层扫描(ct)、单光子发射断层扫描(spect)、正电子发射断层扫描(pet)、x射线等。数字医学图像包括一系列二维(2-d)图像(其共同提供三维(3-d)体积图像数据集)和/或3-d体积图像数据集。数字医学图像至少包括对象的脊柱的椎骨的图像。
15.计算装置106包括处理器108(例如，中央处理单元(cpu)、微处理器(cpu)、图形处理单元(gpu)和/或其它处理器)和计算机可读存储介质(“存储器”)110(其不包括暂态介质)，诸如物理存储设备，如硬盘驱动器、固态驱动器和/或光盘等。存储器110至少包括计算机可执行指令112和数据114。处理器108被配置为执行计算机可执行指令112。在一个实例中，计算系统106被配置为提供对包括数字医学图像、电子报告等的医学信息的存储、访问和/或处理。计算装置106的示例包括但不限于图像存储和传输系统(pacs)。在计算系统106是pacs时，数字医学图像和/或其它电子信息经由dicom(医学数字成像和通信)格式和/或其它(多种)格式来存储和/或传送。
16.指令112包括至少用于椎骨检测模块116的指令。如下面更详细地描述，在一个实施例中，椎骨检测模块116被配置为检测在矢状平面中获取的脊柱图像(“矢状图像”)中的
object detection with region proposal networks”(2015)中描述的更快的区域卷积神经网络，在redmon等人的“yolov3:an incremental improvement”(2018)中描述的you only look once，和/或其它(多个)检测器。为了简洁和解释的目的，这里用yolov3检测器描述椎骨检测。利用yolov3检测器，将神经网络应用于图像，将图像划分为区域，并且为每个区域预测边界框和概率，其中边界框由预测的概率加权。
23.利用yolov3检测器，预定的最小置信度阈值被用来确定是否为可能被检测为椎骨的对象生成2-d边界框。在一个实例中，最小置信度阈值是0.55。这意味着将仅为以0.55或更高的置信度检测到的椎骨生成2-d边界框。在另一实例中，最小置信度阈值为0.50。在又一实例中，最小置信度阈值是不同的值。最小置信度阈值0将导致为可能被检测为椎骨的每个对象都生成2-d边界框。通常，较高的阈值提高了特异性，而较低的阈值提高了灵敏度。
24.3-d模型生成器204被配置为处理一组或多组矢状图像和2-d边界框。在一个实例中，这包括针对每个检测到的椎骨将跨矢状切片的2-d边界框组合起来以生成具有3-d边界框的3-d模型。为了简洁和解释的目的，这里使用基于密度的应用噪声的空间聚类(dbscan)算法描述，该dbscan算法在ester等人的“adensity-based algorithm for discovering clusters in large spatial databases with noise.proceeding of the second international conference on knowledge discovery and data mining(kdd-96)”，aaai出版社第226-331页中描述。dbscan是一种基于密度的数据聚类非参数算法，其中在一些空间中给定一组点，彼此接近的点被聚类/分组在一起，而其最为邻近的邻点在远处的点被认为是离群点。
25.全景图像产生器206被配置为处理3-d模型和3-d边界框。在一个实例中，这包括使用穿过3d边界框中心的曲线来生成全景图像。在一个实例中，在第一椎骨之前和最后椎骨之后外推曲线。这允许全景图像生成器206添加在边缘处丢失的(多个)椎骨。曲线在预定间隔(例如，0.1、0.5、1.0、2.5等毫米(mm))处被插值和采样。对于曲线上的每个点，沿着从身体一侧至对侧(例如从身体前部至身体后部)的向量在该点处在垂直于曲线的平面上的投影，对来自3-d模型的线进行采样。结果是包含垂直对齐的整个脊柱的全景(准矢状)图像。
26.被训练的椎骨检测器202还被配置为处理全景图像。在一个实例中，这包括检测全景图像中的椎骨并在每个检测到的椎骨周围生成2-d边界框。在一个实例中，最小置信度阈值是0.50。类似于矢状切片中的检测，最小置信度阈值可以是不同的值。通常，全景图像中的椎骨检测应该比使用矢状切片的检测更准确，这至少是因为脊柱被伸直并被完全显示，并且使用矢状图像被遗漏的任何椎骨现在在此被检测到。在一个实例中，这提高了灵敏度而没有降低特异性。在另一实施例中，单独的椎骨检测器被用于检测矢状图像和全景图像中的椎骨。
27.2-d到3-d空间转换器208被配置为处理具有2-d边界框的全景图像。在一个实例中，这包括将2-d边界框转换到3-d空间并将深度添加到每个边界框。例如，在一个实例中，每个边界框的每个角被转换到3-d空间，并且所有四个角的边界框被设置为椎骨的边界框，其中深度被设置为与2-d边界框的较小的边(即边界框的宽度或高度中的较小者)相同，。
28.被训练的椎骨检测器202还被配置为确定所标识椎骨的至少子集的标识。例如，在一个实例中，被训练的椎骨检测器202标识至少一个颈椎椎骨、多个骶骨椎骨和其它脊柱椎骨，诸如c2、s1、s2、s3、s4、s5，以及用于所有其它椎骨的另一符号或单词。除了c2和s1-s5之
外的椎骨(即c3-c7，t1-t12，l1-l5和/或尾骨椎骨)可以通过从参考标识的椎骨向后或向前计数来标识。在另一实例中，椎骨子集的不同组合(例如，c2、骶骨和其它椎骨)被标识，仅一个椎骨被标识，或所有椎骨被标识。
29.注释器210被配置为对输入的体积图像数据的所显示的2-d图像进行注释。在一个实例中，注释是边界框的中心在当前切片上的投影。作为非限制性示例，在偏离中心的轴向切片中，注释器210对源自中心轴切片的中心进行投影。可替换地或附加地，注释器标记穿过椎骨的中心线与当前平面的交点。在另一实例中，在没有任何边界框或中心投影的情况下通过显示每个椎骨旁边的椎骨标签来注释检测到的椎骨。
30.接下来考虑变型。
31.在一个变型中，整个算法被迭代地运行。为此，处理矢状切片，找到边界框，生成3-d模型，生成全景图像，为全景图像确定边界框，将边界框转换到3-d空间，并且重复该过程直到满足停止标准。
32.在上文中，被训练的椎骨检测器202检测矢状图像和全景图像中的椎骨。在一个变型中，单独的被训练的椎骨检测器分别检测矢状图像和全景图像中的椎骨。
33.下面描述了用于训练椎骨检测器以创建用于单个成像模态的被训练的椎骨检测器202的非限制性示例。为了简洁和解释的目的，使用ct来描述训练。用于ct研究中的腰椎、胸椎和颈椎的矢状图像被注释。所有矢状图像在相同的预定分辨率下以相同的预定固定间距被采样。例如，在一个实例中，矢状图像在416
×
416的分辨率下以1mm的像素间距被采样。对于较大的图像，图像被分成多个区域并且每个区域被采样以覆盖全部图像。
34.具有2-d边界框的矢状图像被馈送到训练中。具有2-d边界框的矢状图像也被增强以产生附加的训练数据。增强的特征示例包括以下一项或多项：亮度、对比度、高斯噪声、移位、缩放、旋转和翻转。对于每个特征，增强概率和增强限值是预定的。例如，对于亮度的概率0.80和增强限值0.03将导致亮度在80％的图像中在原始值的
±
3％的范围内被增强。如这样增强矢状图像增加了数据的多样性和/或减轻了训练数据的过度拟合-存储。
35.训练数据集被分成预定大小的训练子集、测试子集和验证子集。ct训练数据集用于训练被训练的椎骨检测器202以在ct图像数据中进行椎骨检测。利用基于yolov3的网络，椎骨检测器被迭代训练直到满足停止标准。在一个实例中，椎骨检测器被迭代训练，直到原始边界框和产生的边界框之间的误差满足预定值。椎骨检测器被训练以检测椎骨的全部或子集。
36.在一个实例中，在训练期间使用验证数据集来确定停止标准。在该实例中，网络权重不受验证阶段的影响，并且通过检查指标来确定训练的质量。例如，一旦训练结束，就在测试数据集运行网络，并因此将指标与验证数据集的指标进行比较。如果指标在预定的容差内偏差，则认为训练是有效的并终止。
37.接下来考虑训练的变型。
38.在变型中，训练图像也包括基于注释的椎骨中心并具有相同分辨率和像素间距的全景图像。特征增强可以在矢状图像和全景图像之间不同，例如，全景图像不具有移位和旋转增强。
39.在另一变型中，椎骨检测器被训练用于多种成像模态。为了简洁和解释的目的，使用ct和mr图像数据来描述训练。利用这种变型，增强可以跨模态变化，例如，ct的对比度限
值可以是0.30而mr的对比度限值可以是0.40。在一个变型中，ct和mr数据集用于分别训练单独的椎骨检测器以检测ct图像和mr图像中的椎骨。在另一变型中，ct和mr数据集用于训练ct+mr椎骨检测器，以便进行ct或mr图像数据中的椎骨检测。
40.图3示意性地示出了根据本文的(多个)实施例的用于在体积图像数据中检测和标记脊柱的椎骨的示例方法。
41.应当理解，一个或多个方法的动作顺序是不限制的。因此，本文考虑了其它排序。此外，一个或多个动作可以被省略，和/或一个或多个附加动作可以被包括。
42.图像加载步骤302—如本文所述和/或以其他方式描述的—加载体积图像数据。
43.2-d图像生成步骤304—如本文所述和/或以其他方式描述的—从体积图像数据中生成一组或多组矢状图像。
44.可替换地，加载步骤—如本文所述和/或以其他方式描述的—加载一组或多组矢状图像，并且步骤304被省略。
45.椎骨检测步骤306—如本文所述和/或以其他方式描述的—检测一组或多组矢状图像中的椎骨并为此生成2-d边界框。
46.3-d模型生成步骤308—如本文所述和/或以其他方式描述的—从矢状图像和2-d边界框生成具有3-d边界框的脊柱的3-d模型。
47.全景图像生成步骤310—如本文所述和/或以其他方式描述的—基于3-d模型生成全景图像。
48.椎骨检测步骤312—如本文所述和/或以其他方式描述的—检测全景图像中的椎骨并为此生成2-d边界框。
49.2-d到3-d转换步骤314—如本文所述和/或以其他方式描述的—将用于全景图像中的椎骨的2-d边界框转换至3-d空间。
50.注释步骤316—如本文所述和/或以其他方式描述的—对所显示的体积图像数据的2-d图像进行注释。
51.上述方法可以通过被编码或嵌入于计算机可读存储介质110上的计算机可读指令来实现，该计算机可读指令在由(多个)计算机处理器执行时，使(多个)处理器108执行所描述的动作。另外地或备选地，计算机可读指令中的至少一个指令由信号、载波或其他暂态介质来执行，这些是非计算机可读存储介质。
52.虽然已经在附图和前述描述中详细说明和描述了本发明，但是这样的说明和描述应被认为是说明性或示例性的而非限制性的；本发明不限于所公开的实施例。通过研究附图、公开内容和所附权利要求，本领域技术人员在实践所要求保护的本发明时可以理解和实现所公开的实施例的其它变型。
53.词语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其它单元可以实现权利要求中所述的若干项的功能。在相互不同的从属权利要求中叙述某些措施的仅有事实并不表示不能有利地使用这些措施的组合。
54.计算机程序可以存储/分布在适当的介质上，该适当的介质诸如与其他硬件一起提供或作为其他硬件的一部分提供的光存储介质或固态介质，但是也可以以其他形式分布，诸如经由因特网或其他有线或无线电信系统。权利要求中的任何附图标记不应解释为限制范围。

技术特征：
1.一种系统(102)，被配置为检测体积图像数据中的脊柱的椎骨，所述系统包括：计算装置(106)，包括：存储器(110)，包括用于椎骨检测模块(116)的指令(112)；处理器(108)，被配置为执行所述指令以执行两阶段椎骨检测，其中：所述椎骨的第一组边界框在所述两阶段椎骨检测的第一阶段中在矢状图像中被检测并且在所述体积图像数据中被聚类，所述脊柱的全景图像基于所检测的所述第一组边界框而被生成，并且所述椎骨的第二组边界框在所述两阶段椎骨检测的第二阶段中在所述全景图像中被检测；以及显示器(120)，被配置为根据检测到的椎骨的所述体积图像数据显示2-d图像。2.根据权利要求1所述的系统，其中所述椎骨检测模块包括被训练以检测椎骨的神经网络。3.根据权利要求1至2中的任一项所述的系统，其中所述椎骨检测模块基于第一预定置信度检测所述第一组边界框并且为检测到的椎骨生成2-d边界框。4.根据权利要求1至3中任一项所述的系统，其中所述椎骨检测模块以所述矢状图像的中心图像开始并且在朝所述矢状图像的第一图像和所述矢状图像的最后图像的两个方向上向外移动来检测所述第一组边界框，直到满足停止标准。5.根据权利要求4所述的系统，其中所述停止标准包括所述矢状图像中的预定数目的没有检测到椎骨的连续图像。6.根据权利要求3至5中任一项所述的系统，其中所述椎骨检测模块将所述第一组边界框的每个椎骨标记为骶骨、c2或其它椎骨。7.根据权利要求3至6中任一项所述的系统，其中所述椎骨检测模块组合所述矢状图像和所述2-d边界框以生成具有3-d边界框的3-d模型。8.根据权利要求7所述的系统，其中所述椎骨检测模块生成通过所述3-d边界框的中心的曲线。9.根据权利要求8所述的系统，其中所述椎骨检测模块在第一椎骨之前和最后椎骨之后外推所述曲线以添加遗漏的椎骨。10.根据权利要求8至9中任一项所述的系统，其中对于所述曲线上的每个点，所述椎骨检测模块沿着从所述脊柱的前面到所述脊柱的后面的向量在该点处在垂直于所述曲线的平面上的投影，对来自所述3-d模型的线进行采样，以产生所述全景图像，所述全景图像包括准矢状图像，所述准矢状图像包含垂直对准的整个脊柱。11.根据权利要求10所述的系统，其中所述椎骨检测模块基于第二预定置信度检测所述第二组边界框，并且为检测到的椎骨生成2-d边界框。12.根据权利要求11所述的系统，其中所述椎骨检测模块将针对所述全景图像的所述2-d边界框转换至3-d空间以限定针对所述椎骨的3-d边界框。13.根据权利要求11至12中任一项所述的系统，其中所述椎骨检测模块将所述第二组边界框的每个椎骨标记为骶骨、c2或其它椎骨。14.根据权利要求1至13中任一项所述的系统，其中所述计算装置是图像存储传输系统。15.一种用于在体积图像数据中检测脊柱的椎骨的计算机实现的方法，包括：提取所述脊柱的矢状图像中的椎骨的第一组边界框；
基于所检测到的第一组边界框来生成所述脊柱的全景图像；以及提取所述全景图像中所述椎骨的第二组边界框。16.根据权利要求15所述的计算机实现的方法，其中提取所述第一组边界框包括：以所述矢状图像的中心图像开始并且向外移动到所述矢状图像的第一图像和所述矢状图像的最后图像来检测所述第一组边界框；并且响应于预定数目的连续矢状图像不具有椎骨而终止检测；针对被检测到的所述椎骨，生成2-d边界框；标识所述2-d边界框的中心；并且注释具有所述2-d边界框的所述椎骨。17.根据权利要求15所述的计算机实现的方法，还包括：基于第二预定置信度检测所述全景图像中的所述第二组2-d边界框；以及将所述全景图像中的所述2-d边界框转换至3-d空间以限定所述椎骨的3-d边界框；以及注释具有所述3-d边界框的所述椎骨。18.一种存储计算机可执行指令的计算机可读存储介质，所述计算机可执行指令用于在体积图像数据中检测脊柱的椎骨，所述计算机可执行指令在由计算机处理器执行时使得所述处理器：提取所述脊柱的矢状图像中的椎骨的第一组边界框；基于所检测到的第一组边界框生成所述脊柱的全景图像；以及提取所述全景图像中所述椎骨的第二组边界框。19.根据权利要求18所述的计算机可读存储介质，其中所述计算机可执行指令还使所述处理器：以所述矢状图像的中心图像开始并且向外移动到所述矢状图像的第一图像和所述矢状图像的最后图像来检测所述第一组边界框；响应于预定数目的连续矢状图像不具有椎骨而终止检测；针对被检测到的所述椎骨，生成2-d边界框；标识所述2-d边界框的中心；并且注释具有所述2-d边界框的所述椎骨。20.根据权利要求18所述的计算机可读存储介质，其中所述计算机可执行指令还使得所述处理器：基于第二预定置信度检测所述全景图像中的所述第二组2-d边界框；以及将所述全景图像中的所述2-d边界框转换至3-d空间以限定所述椎骨的3-d边界框；以及注释具有所述3-d边界框的所述椎骨。

技术总结
使用具有被训练的人工智能的多阶段检测来检测体积图像中的脊柱的椎骨。在一个实施例中，经训练的神经网络(116)被用来在第一阶段检测矢状图像中的个体椎骨。围绕被检测到的椎骨的二维边界框被组合以生成该脊柱的三维模型。基于该三维模型生成脊柱的全景图像以创建脊柱的伸直视图。经训练的神经网络被用来在第二阶段检测全景图像中的个体椎骨。全景图像中围绕被检测到的椎骨的二维边界框被转换至三维空间，以创建具有三维边界框的三维图像数据。据。据。


技术研发人员：A
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2021.10.25
技术公布日：2023/7/22