一种医学图像分割数据自动标注的方法

1.本发明涉及医学图像处理技术领域，更具体地，涉及一种医学图像分割数据自动标注的方法。


背景技术：

2.在基于深度学习的语义分割任务中，监督学习仍然是精确度最高且主流的方法，这是因为监督学习可以利用大量带标签的训练数据进行模型训练，从而获得高精度的结果。然而，监督学习相对于半监督或无监督技术，需要大量高精度的标签，标注数据的成本较高。尤其在一些特定领域，如医疗影像分析、工业缺陷检测等。目前深度学习在学术研究和工业应用中，数据标注仍然主要采用将数据标注任务分配给第三方服务提供商或个人的人工外包方式。这是因为许多数据集需要高度精确的标注与专业的知识储备，最典型的便是医学图像领域，自动化标注技术还不能完全胜任具有丰富经验医生的标注。
3.现有的高性能深度学习方法通常依赖于具有高质量手动注释的大型训练数据集，这在许多临床应用中很难获得。目前，主流的数据标注主要是高度依赖于人工的半自动化标注。特别是对于医疗领域，人工标注需要专业的医生去做，专家医生对数据进行逐一标注，这种方式的优点是可以保证数据的准确性和标注的质量，但是其高昂的人工成本和标注速度，成为了深度学习在临床中应用的验证阻碍。而对于外包形式，由于专业知识的缺乏，在标注过程中存在一定的主观误差，从而影响标注数据的准确性和一致性。
4.相对人工标注，使用生成模型可以快速生成大量的数据标签对，但目前的基于深度学习的医学图像生成技术仍然存在以下亟待解决的问题：
5.(1)数据稀缺问题。对于医疗图像分割任务，高质量的带有标注的数据很难获取，这主要是因为：罕见疾病的数据稀少，且多中心数据因隐私等问题难以大量集中获取；像素级的数据标注需要大量专业医师手动标注，耗时耗力，在基于深度学习的临床应用中很难实现。因而亟需快速高质量的自动化标注方案来推进深度学习在临床图像分割任务的落地。
6.(2)真实性问题。医学图像需要准确地反映人体解剖结构、病理变化等，而生成网络很难去保证学习到该领域的专业知识，因此生成网络生成的医学图像可能存在真实性问题。如果生成的图像不真实，用此数据训练的模型可能会影响对病情的判断和诊断结果。
7.(3)多样性问题。在医学图像处理领域，病灶的位置、形状和像素分布通常会因为疾病的种类、患者的差异等而有很大的区别。相比于自然图像领域，医学图像的数据集往往更加有限，难以涵盖所有可能的情况，因此很难训练出能够有效处理医学图像的模型，在这种情况下，模式崩塌问题就更容易出现，即模型在生成图像时缺乏多样性和细节，不能很好地反映真实情况，从而严重影响模型的应用价值。


技术实现要素：

8.本发明的目的是克服上述现有技术的缺陷，提供一种医学图像分割数据自动标注
的方法。该方法包括以下步骤：
9.获取已标注数据集和未标注数据集；
10.使用所述已标注数据集以全监督方式训练生成模型和语义分割模型，其中所述生成模型用于从掩码生成图像；
11.利于经训练的生成模型和语义分割模型经过多次迭代标注过程获得所述未标注数据的标注结果，在迭代标注过程中，所述已标注数据集和所述生成模型固定不变，仅持续优化所述语义分割模型，该语义分割模型用于针对未标注数据生成伪标签。
12.与现有技术相比，本发明的优点在于，提供一种医学图像分割数据自动标注的方法，该方法结合生成模型和分割模型进行医学图像自动标注(简称mipr，automatic annotation of medical images with pixel rearrangement)，通过结合少量已标注数据和生成模型，提升了标注效率。与传统的对抗生成模型相比，本发明引入了强的先验知识，保证了在少量的医学图像上能够生成带有标签的图像。
13.通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
14.被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
15.图1是根据本发明一个实施例的医学图像数据自动标注方法的框架图；
16.图2是根据本发明一个实施例的医学图像分割数据自动标注方法的流程图；
17.图3是根据本发明一个实施例的生成模型的网络结构示意图；
18.图4是根据本发明一个实施例的patch shuffle数据扩增技术示意图；
19.图5是根据本发明一个实施例的isic18数据标注示意图；
20.图6是根据本发明一个实施例的brats20数据标注示意图；
21.附图中，unlabeled data-未标注数据；labeled data-标注数据；segmentation network-分割网络；pseudo label-伪标签；generator-生成器；discriminator-鉴别器；image processing-图像处理；manual annotation of a few image-少量图像的人工标注；train models with supervised learning-采用监督学习训练模型；automatic annotation of a large of images-大量图像的自动标注。
具体实施方式
22.现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
23.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
24.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
25.在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不
是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
26.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
27.参见图1所示，mipr是一种结合人工标注和生成模型的新型数据自动标注框架，旨在基于少量标注数据自动标注大量未标注的医学图像。在本文中，将人工标注的数据集定义x1，未标注的数据集定义为x2。
28.结合图1可知，所提供的自动标注方法主要包括：步骤s1，获取已标注的图像x1，例如可通过人工标注获得；步骤s2，使用x1以全监督方式训练从掩码生成图像的图像翻译模型g(或简称生成模型)和语义分割模型s；步骤s3，使用语义分割模型s获取图像xi∈x2的伪标签mi；步骤s4，使用模型g获取一对标记数据(xi'，mi')，此时模型g将x2翻译得到x2'，其中mi'是mi的后处理结果。
29.迭代标注过程：在进入下一次迭代标注过程中，数据x1与模型g固定不变，模型s继续优化，此时s使用的训练数据为x1+x2'，得到新的分割模型s1，继续步骤s3和s4得到新的生成数据对，也即下一次迭代完成。在迭代过程中需要更新参数的仅为分割模型(即语义分割模型)。
30.具体地，参见图2所示，所提供的医学图像分割数据自动标注方法包括以下步骤：
31.步骤s110，获取标注数据和未标注数据。
32.在一个实施例中，以isic18皮肤癌分割公开数据集与brats20脑肿瘤分割公开数据集为例验证所提供的自动标注框架的有效性。
33.brats20含有掩码标签的公开数据集总共369例，其中69例作为测试集，剩下300例有标注的数据分为15(占比5％)和285两部分，在mipr框架中，用15例有标注的数据全监督训练分割模型和生成模型，并去标注285例数据，最终用测试集验证本发明标注的结果与原始标注的差距。
34.isic18包含2594张图像，尺寸范围从720
×
540到6708
×
4439不等。为了消除原始名称相邻图像之间的相似性，对所有图像进行了随机重新命名，并将它们的大小调整为256
×
256。例如，将数据集划分为三部分：1)200张标记数据用于训练；2)1800张未标记数据(假设这些图像没有手动注释)；3)594张标记数据用于测试。
35.步骤s120，使用标注数据以全监督方式训练从掩码生成图像的图像翻译模型和语义分割模型。
36.(1)语义分割模型
37.在mipr框架中，分割模型用于生成伪标签，可灵活选择多种类型的分割模型，例如2d模型和3d模型。常用的2d模型包括unet、deeplabv3+等，3d模型包括vnet和nnunet等。在mipr中，分割模型起到非常关键的作用，好的分割模型能够产生较为准确的伪标签，从而降低图像翻译模型生成的图像与真实图像之间的差距，有效地减少迭代次数。
38.(2)生成模型结构设计
39.参见图3所示，生成模型也可以采用多种架构，例如生成对抗网络或其他类型。图3(a)是生成模型的结构，其整体框架为编码-解码结构，核心由spade+模块组成。相比于现有的spade，本发明提出的spade+模块增加了细节部分的强先验知识，如图3(b)所示，假设hi是第i层深度神经网络的激活层输出，批处理的大小为n，通道数为ci，hi和wi是该层激活特
征图的高度和宽度，ψ为canny算子提取的边缘信息，类似于批量归一化算法，激活层输出以通道为单位进行归一化，然后通过可学习的比例因子和偏移量进行调制，最后加入canny算子提供的边缘信息来增强先验知识。例如，在(n∈n，c∈ci，y∈hi，x∈wi)的位置处，激活值由下式给出：
[0040][0041]
其中h
in,c,x,y
是激活函数的输出，μ
ic
和σ
ic
分别是c个通道的均值和方差：
[0042][0043][0044]
公式(1)中的γ
ic,x,y
(m)、β
ic,x,y
(m)和ψ
ic,x,y
(c)均为可学习的参数，与batch normalization不同，γ
ic,x,y
(m)和β
ic,x,y
(m)取决于掩码m，ψ
ic,x,y
(c)取决于提供细节信息的canny算子输出特征c。
[0045]
(3)生成模型训练
[0046]
在一个实施例中，模型的训练超参数与优化器等遵循gaugan的开源框架，其中针对风格控制和数据扩增技术进行了重新设计。
[0047]
对于编码器部分，不同于gaugan中通过vae编码图像统计分布来进行风格条件控制，为了能够实现更加有效的风格控制，在一个实施例中，使用以resnet50为骨架的编码器提取风格图像的语义信息，在理想情况下，可以认为编码器的最深层特征包含了所输入图像的所有信息，将编码器的最后一层特征层输入到解码器时，这样可以有效的将其风格迁移到解码器的生成图像上。仍结合图3(a)所示，在生成器的训练过程中，输入由三部分组成，分别是风格控制图，语义掩码和canny特征图，其中风格控制图与掩码为对应的标签对，canny特征图是风格控制图的canny计算结果。
[0048]
为了防止解码器直接获取风格图像的结构信息而忽略掩码图的控制作用，对输入的风格控制图进行了结构的打乱，使其只提供统计学上的风格控制。其间使用了patch shuffle数据扩增技术。如图4所示，patch shuffle主要是针对图像的结构进行扩充，与传统数据扩增技术中的形变、翻转、缩放等相比，patch shuffle变化更加剧烈，并且其结构的多样性也更多。例如，对长和宽分别为h和w的图n进行patch shuffle数据扩充方法，其可得到的不同结构的扩增图像的数量计算公式为：
[0049]
c＝[(h％n)
·
(w％n)]！
ꢀꢀ
(4)
[0050]
其中，n为patch的大小，％表示整除运算，！表示阶乘运算。当n＝4时，可以扩充出24种不同结构的图像。这种指数级别数据扩增在结构的变化中非常有效。
[0051]
(4)损失函数local ssim
[0052]
在训练生成器的过程中，除了采用和gaugan相同的多尺度判别器和损失函数外，为了加强生成数据结构信息，在一个实施例中，额外加入了图像的局部结构相似约束生成器，称为局部结构相似性损失(local ssim)，算法流程见下表1。与逐像素均方和mse损失函
数不同，ssim(结构相似性)综合考虑了亮度、对比度和结构等因素，可以避免逐像素强约束导致的生成图像模糊的情况，相比于传统的psnr(peak signal-to-noise ratio)指标，ssim更能反映人眼对图像质量的感知，因为它考虑了图像的结构信息，而不仅仅是像素之间的差异。
[0053]
表1local ssim loss算法
[0054]
[0055][0056]
步骤s130，使用经初步训练的语义分割模型和生成模型，通过多次迭代标注过程自动标注图像。
[0057]
利用经过全监督初步训练的语义分割模型和生成模型，通过迭代标注过程，即可获得未标注图像的标签。例如，迭代标注过程是，在进入下一次迭代标注过程中，已标注数据x1与生成模型g固定不变，语义分割模型s继续优化，此时s使用的训练数据为x1+x2'，得到新的分割模型s1，经过多次迭代即可进行大量图像的自动标注。在迭代过程中需要更新参数的仅为分割模型。
[0058]
图5是isic18数据标注示意图。图6是brats20数据标注示意图。可以看出，随着迭代次数增加，伪标签会越来越接近真实标签，从而合成的图也越接近真实图。
[0059]
综上所述，在本发明提供的mipr框架中，编码器的深层特征图包含输入图像的丰富语义信息。与gaugan工作中的样式指导图像合成不同，本发明直接从编码器的特征映射生成合成图像，而不是重新参数化技巧。本发明的优点在于，它使合成图像的分布更类似于输入，并且仅需要更少的标记数据和训练成本。与图像编辑的最大区别在于，本发明的目标是从特征图中恢复输入信息并获取其掩码，而不会有损失，在分割数据中，每次输入的伪标签与原图的真实标签是有差距的，所以合成数据的病灶与伪标签一致，而图像的分布是与原始图非常相近，所以在理想情况下，通过多次迭代，伪标签会越来越接近真实标签，从而合成的图也越接近真实图，因为真实环境与理想环境的差距，称mipr迭代的过程为伪标注，而不是完全标注。
[0060]
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
[0061]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0062]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0063]
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++、python等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
[0064]
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0065]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中
规定的功能/动作的各个方面的指令。
[0066]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0067]
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
[0068]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

技术特征：
1.一种医学图像分割数据自动标注的方法，包括以下步骤：获取已标注数据集和未标注数据集；使用所述已标注数据集以全监督方式训练生成模型和语义分割模型，其中所述生成模型用于从掩码生成图像；利于经训练的生成模型和语义分割模型经过多次迭代标注过程获得所述未标注数据的标注结果，在迭代标注过程中，所述已标注数据集和所述生成模型固定不变，仅持续优化所述语义分割模型，该语义分割模型用于针对未标注数据生成伪标签。2.根据权利要求1所述的方法，其特征在于，所述生成模型的输入包括风格控制图，语义掩码和canny特征图，其中风格控制图与语义掩码为对应的标签对，canny特征图是风格控制图的canny计算结果。3.根据权利要求2所述的方法，其特征在于，对所述风格控制图进行结构的打乱，使其仅提供统计学上的风格控制，并使用patch shuffle数据扩增来增加所述风格控制图的数量。4.根据权利要求1所述的方法，其特征在于，训练所述生成模型的损失函数包含局部结构相似性损失。5.根据权利要求1所述的方法，其特征在于，所述语义分割模型包括2d模型和3d模型。6.根据权利要求3所述的方法，其特征在于，所述生成模型的整体框架为编码-解码结构，其中基于spade构建解码结构，并且通过以下方式增加图像细节的强先验知识：假设h
i
是第i层激活层输出，批处理的大小为n，通道数为c
i
，h
i
和w
i
是该层激活特征图的高度和宽度，ψ为canny算子提取的边缘信息，经激活层输出以通道为单位进行归一化，然后通过可学习的比例因子和偏移量进行调制，最后加入canny算子来提供边缘信息的强先验知识。7.根据权利要求3所述的方法，其特征在于，根据以下公式来增加所述风格控制图的数量：c＝[(h％n)
·
(w％n)]！其中，n是patch的大小，％表示整除运算，！表示阶乘运算，h和w分别是风格控制图的长和宽，n是原始的风格控制图的数量，c是经patch shuffle处理后得到的风格控制图数量。8.根据权利要求1所述的方法，其特征在于，所述已标注数据集根据isic18皮肤癌分割公开数据集与brats20脑肿瘤分割公开数据集获得。9.一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

技术总结
本发明公开了一种医学图像分割数据自动标注的方法。该方法包括：获取已标注数据集和未标注数据集；使用所述已标注数据集以全监督方式训练生成模型和语义分割模型，其中所述生成模型用于从掩码生成图像；利于经训练的生成模型和语义分割模型经过多次迭代标注过程获得所述未标注数据的标注结果，在迭代标注过程中，所述已标注数据集和所述生成模型固定不变，仅持续优化所述语义分割模型，该语义分割模型用于针对未标注数据生成伪标签。本发明通过结合少量已标注数据和生成模型，提升了标注效率，并通过引入强的先验知识，自动精确地标注医学图像。注医学图像。注医学图像。


技术研发人员：袁克虹
受保护的技术使用者：清华大学深圳国际研究生院
技术研发日：2023.04.14
技术公布日：2023/7/25