一种基于点标注的弱监督多模态细胞图像分割方法

1.本发明属于计算机视觉的医学图像分析技术领域，具体涉及一种基于点标注的弱监督多模态细胞图像分割技术。


背景技术：

2.近年来，现有的深度学习方法在医学图像分析任务上取得了显著的成果。作为医学图像分析任务中的基础任务之一，细胞分割任务产生了大量可靠的基于深度学习的方法。然而，这项任务仍然具有挑战性。由于细胞图像的成像方法有很多，因此图像会具有不同的模态，从而导致图像特征各不相同。又因为细胞种类多样，形状各异，神经网络模型很难准确执行像素级的分割任务。此外，由于一张图像中可能有成百上千个细胞，通常需要专家花费大量精力对细胞图像进行标记，大大增加了研究成本。
3.为了减少标注的工作量，弱监督学习方法越来越受到关注。对于弱监督细胞分割任务，不需要对每张图像进行像素级标注。只需少量的粗标注，如点标注，线标注或边界框标注等，也可以使深度模型获得较好的性能。虽然这些方法可以减少标记的工作量，但这些弱监督方法和全监督方法之间仍然存在很大的性能差距。这是由于绝大多数弱监督方法对每个细胞只使用其中心点作为标注点，然而细胞分割任务中最容易出错的部分一般出现在细胞边界区域，这极大地影响了分割的准确性。此外，现有方法通常只生成一种标签，并通过算法进行逐步细化，这样非常容易为进一步训练引入错误信息，且不能充分利用标注。本发明采用点标注生成四种不同的标签，并利用五个不同任务支路训练深度网络，不仅能减少专家标注工作的负担，也能达到较高的细胞分割精度，以在医生诊断过程中予以更精确的智能辅助效果。


技术实现要素：

4.本发明提供了一种基于点标注的弱监督多模态细胞图像分割方法，其特征在于，所述方法包括以下步骤：
5.步骤1，针对每个病例，获取其多模态细胞图像，并进行预处理；
6.步骤2，邀请专家针对多模态细胞图像进行点标注；
7.步骤3，提取多模态细胞图像的颜色特征和点标注的空间特征，包括但不限于超像素图像与维诺图等；
8.步骤4，利用多模态细胞图像的颜色特征和点标注的空间特征，制作四种不同的伪标签，包括但不限于维诺图分类伪标签、超像素分类伪标签、超像素回归伪标签以及细胞实例距离回归伪标签等；
9.步骤5，采用五种不同任务支路训练深度学习网络，包括但不限于维诺图分类支路、超像素分类支路、超像素回归支路、细胞实例距离回归支路以及局部温度调节支路等；细胞图像通过深度学习网络提取图像特征，并计算得到细胞预测概率图；
10.步骤6，利用基于分水岭算法的后处理方法处理细胞预测概率图，以得到最终的细
胞分割结果；
11.具体地，在步骤1中，通过多种医学成像技术将病例p的组织成像为数字图像x0，其中包含但不限于病理图像、荧光图像、相位对比图像、微分干涉对比图像等；由于多模态图像的通道数量与值域各不相同，需要对其进行预处理，其方法包括但不限于统一细胞图像通道数量，归一化图像值域等；最终得到处理后的细胞图像x；
12.具体地，在步骤2中，专家对细胞图像进行点标注，对于每个细胞ci使用两个点进行标注，其中一个点为细胞中心点另一个点为距离最远的细胞边界点最终得到细胞标注点集合细胞标注点集合其中|c|为图像中的细胞数量；
13.具体地，在步骤3中，使用slic超像素分割算法提取图像颜色特征并将图像分割成超像素图像x
sp
，使用所有细胞的中心标注点cc的空间位置特征制作维诺图x
vor
；
14.具体地，在步骤4中，利用超像素图像和维诺图生成但不限于如下四种伪标签：对于每个细胞ci，使用为圆心，到之间的距离为半径做圆，得到细胞区域同时在维诺图x
vor
中找到属于细胞ci的区域并将与的交集作为该细胞的前景区域的交集作为该细胞的前景区域最终得到维诺图分类伪标签对于细胞图像x，采用局部k-means算法对所有像素进行k类聚类，从中心标注点个数占比最少的k个聚类簇中，随机抽取n个像素点作为背景点bi，采用细胞中心标注点作为前景点，并将bi和所在超像素区域置为背景或前景，超像素区域置为忽略区域，最终得到超像素分类伪标签将超像素分类伪标签中的前景区域置为1，其他区域置为0，并使用高斯滤波器进行处理，得到超像素回归伪标签对于每个细胞在维诺图分类伪标签中的前景区域ri,计算细胞中心标注点在m个方向上的到ri区域边界的距离集合其中，表示在第m个方向上到ri区域边界的距离，m∈[0,m)，最终得到细胞实例距离回归伪标签其中|c|表示标注点集合中的元素个数；
[0015]
具体地，步骤5中，采用五种不同任务支路训练深度学习网络，包括但不限于以下五种深度学习任务：组建维诺图分类支路以预测维诺图分类结果采用维诺图分类伪标签作为监督信息，并采用逐像素交叉熵损失作为损失函数训练网络；组建超像素分类支路以预测超像素分类结果采用超像素分类伪标签作为监督信息，并采用逐像素交叉熵损失作为损失函数训练网络；组建超像素回归支路以预测超像素回归结果采用超像素回归伪标签作为监督信息，并采用逐像素均方差损失作为
损失函数训练网络；组建细胞实例距离回归支路b
dis
以预测细胞实例距离回归结果采用细胞实例距离回归伪标签y
dis
，并采用逐实例极坐标交并比损失作为损失函数训练网络；组建局部温度调控支路b
lts
以预测温度调控图并得到温度调控后的超像素分类结果采用超像素分类伪标签作为监督信息，并采用逐像素交叉熵损失作为损失函数训练网络；对每个待测病例细胞图像x进行滑窗预测，取超像素分类支路的输出作为预测概率图；
[0016]
具体地，步骤6中，对于网络的预测概率图，分别采用两个阈值t
seed
与t
cell
得到细胞中心区域s
seed
与细胞区域s
cell
，赋予s
seed
中每个联通域以不同的细胞id，并使用分水岭算法将这些细胞在细胞区域中扩散，得到最终的细胞分割结果
[0017]
本发明针对现阶段基于深度学习的算法，使用点标注和弱监督技术，在保证分割精度不变的前提下，完成了对多模态细胞图像的分割任务，大大降低了专家标注与计算机运算的成本，并能更好地辅助医生对病例进行诊断。
附图说明
[0018]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0019]
图1为本发明实施例中一种基于点标注的弱监督多模态细胞图像分割方法流程图；
[0020]
图2为本发明实施例中一种基于点标注的弱监督多模态细胞图像分割网络示意图。
具体实施方式
[0021]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0022]
s101：通过多种细胞成像方式获得多模态细胞图像x0，包括但不限于病理图像、荧光图像、相位对比图像以及微分干涉对比图像，并对细胞图像进行预处理；
[0023]
具体地，对于单通道图像(例如相位对比图像与微分干涉对比图像)，将图像复制为三份，并将其级联到通道维度上，得到三通道图像；对于双通道图像(例如荧光图像)，对其添加一个全零通道，得到三通道图像；对于三通道图像，则保持不变；之后，在使用归一化方法，将所有图像的值域放缩到[0,255]之间，即
[0024]
s102：邀请专家对多模态细胞图像中的细胞进行标注，得到细胞标注点集合
[0025]
具体地，人工对每个细胞使用两个点进行标注，其中一个点为细胞中心点另一个点为距离最远的细胞边界点
[0026]
s103：提取多模态细胞图像颜色特征和点标注空间特征，使用slic算法计算得到超像素图像x
sp
，使用细胞中心标注点集合cc生成维诺图x
vor
；
[0027]
s104：使用超像素图像x
sp
，维诺图x
vor
以及标注点集合c生成四种伪标签，其中包括但不限于维诺图分类伪标签超像素分类伪标签超像素回归伪标签以及细胞实例距离回归伪标签y
dis
；
[0028]
具体地，对于每个细胞ci，使用为圆心，到之间的距离为半径做圆，得到细胞区域同时在维诺图x
vor
中找到属于细胞ci的区域并将与的交集作为该细胞的前景区域最终得到维诺图分类伪标签对于细胞图像x，采用局部k-means算法对所有像素进行k类聚类，从中心标注点个数占比最少的k个聚类簇中，k取值为10，k取值为3，随机抽取n个像素点作为背景点bi，采用细胞中心标注点作为前景点，并将bi和所在超像素区域置为背景或前景，超像素区域置为忽略区域，最终得到超像素分类伪标签将超像素分类伪标签中的前景区域置为1，其他区域置为0，并使用高斯滤波器进行处理，得到超像素回归伪标签对于每个细胞在维诺图分类伪标签中的前景区域ri,计算细胞中心标注点在m个方向上的到ri区域边界的距离集合合其中，表示在第m个方向上到ri区域边界的距离，m∈[0,m)，m取值为8，最终得到细胞实例距离回归伪标签取值为8，最终得到细胞实例距离回归伪标签
[0029]
s105：采用五种不同任务支路训练深度学习网络，包括但不限于以下五种任务支路：维诺图分类支路超像素分类支路超像素回归支路细胞实例距离回归支路b
dis
以及局部温度调控支路b
lts
；
[0030]
具体地，组建维诺图分类支路以预测维诺图分类结果采用维诺图分类伪标签作为监督信息，并采用逐像素交叉熵损失作为损失函数训练网络；组建超像素分类支路以预测超像素分类结果采用超像素分类伪标签作为监督信息，并采用逐像素交叉熵损失作为损失函数训练网络；组建超像素回归支路以预测超像素回归结果采用超像素回归伪标签作为监督信息，并采用逐像素均方差损失作为
损失函数训练网络；组建细胞实例距离回归支路b
dis
以预测细胞实例距离回归结果采用细胞实例距离回归伪标签y
dis
，并采用逐实例极坐标交并比损失作为损失函数训练网络；组建局部温度调控支路b
lts
以预测温度调控图并得到温度调控后的超像素分类结果采用超像素分类伪标签作为监督信息，并采用逐像素交叉熵损失作为损失函数训练网络；为了增加网络预测的稳定性，对与的预测结果添加一致性损失作为网络的正则化项；
[0031]
s106：采用基于分水岭算法的后处理方法精修网络的预测结果；
[0032]
具体地，对于网络的预测概率图，分别采用两个阈值t
seed
与t
cell
得到细胞中心区域s
seed
与细胞区域s
cell
，赋予s
seed
中每个联通域以不同的细胞id，并使用分水岭算法将这些细胞在细胞区域中扩散，得到最终的细胞分割结果
[0033]
本发明采用了深度学习模型提取细胞图像特征，并采用五种不同的任务支路对网络进行训练，具体方法如下。
[0034]
s201：采用深度学习网络框架提取多模态细胞图像特征，此处采用的网络框架包含但不限于unet，unet++以及deeplabv3+等；
[0035]
具体地，对于输入多模态细胞图像使用深度学习网络框架提取其深度特征f＝f(x)，其中f(
·
)表示深度学习网络框架，包括但不限unet，unet++以及deeplabv3+，c
out
表示特征图输出的通道数，h和w表示特征图的高和宽；
[0036]
s202：采用两个卷积层组成维诺图分类支路以预测维诺图分类结果并使用交叉熵损失函数计算与之间的损失，其中，和yn分别表示和中的第n个像素，n表示像素个数；
[0037]
s203：采用两个卷积层组成超像素分类支路以预测超像素分类结果并使用交叉熵损失函数计算与之间的损失，其中，和yn分别表示和中的第n个像素，n表示像素个数，1{yn≠ign}表
示中的非忽略区域；
[0038]
s204：采用两个卷积层组成超像素回归支路以预测超像素回归结果并使用均方差损失函数计算与之间的损失，其中，和分别表示和中的第n个像素，n表示像素个数，表示中的非忽略区域；
[0039]
s205：采用三个卷积层组成细胞实例回归支路b
dis
，以预测细胞实例回归结果并使用逐实例极坐标交并比损失函数计算与y
dis
之间的损失，之间的损失，与的定义如下：其中，m＝8，与分别表示y
dis
与中第n个细胞实例的第m个方向上的细胞中心点到细胞边界的距离；
[0040]
s206：采用两个卷积层组成局部温度调控回路b
lts
，以生成温度调控图用于得到调控后的预测结果调控后的预测结果并使用交叉熵损失函数计算与之间的损失
其中，和yn分别表示和中的第n个像素，n表示像素个数，1{yn≠ign}表示中的非忽略区域；
[0041]
s207：为了增加网络的预测稳定性，在网络训练中添加正则化项，使用均方差损失函数计算与之间的损失，其中，和分别表示和中的第n个像素，n表示像素个数；
[0042]
本发明实现了一种基于点标注的弱监督多模态细胞图像分割方法，能够利用较少的标注信息达到较高的细胞分割效果，且对于多模态细胞图像具有更强的鲁棒性。这种方法同时减少了专家的标注工作量与计算机的运算量，以更轻便更智能的方式辅助医生进行病情诊断。

技术特征：
1.一种基于点标注的弱监督多模态细胞图像分割方法，其特征在于，所述方法包括以下步骤：步骤1，针对每个病例，获取其多模态细胞图像，并进行预处理；步骤2，邀请专家针对多模态细胞图像进行点标注；特别地，专家对图像中每个细胞使用两个点进行标注，其中一个点为细胞中心点另一个点为距离最远的细胞边界点最终得到细胞标注点集合其中|c|为图像中的细胞数量；步骤3，提取多模态细胞图像的颜色特征和点标注的空间特征，包括但不限于超像素图像与维诺图等；步骤4，利用多模态细胞图像的颜色特征和点标注的空间特征，制作四种不同的伪标签，包括但不限于维诺图分类伪标签、超像素分类伪标签、超像素回归伪标签以及细胞实例距离回归伪标签等；特别地，对于每个细胞c
i
，使用为圆心，到之间的距离为半径做圆，得到细胞区域同时在维诺图x
vor
中找到属于细胞c
i
的区域并将与的交集作为该细胞的前景区域最终得到维诺图分类伪标签对于细胞图像x，采用局部k-means算法对所有像素进行k类聚类，从中心标注点个数占比最少的k个聚类簇中，随机抽取n个像素点作为背景点b
i
，采用细胞中心标注点作为前景点，并将b
i
和所在超像素区域置为背景或前景，超像素区域置为忽略区域，最终得到超像素分类伪标签将超像素分类伪标签中的前景区域置为1，其他区域置为0，并使用高斯滤波器进行处理，得到超像素回归伪标签对于每个细胞在维诺图分类伪标签中的前景区域r
i
,计算细胞中心标注点在m个方向上的到r
i
区域边界的距离集合其中，表示在第m个方向上到r
i
区域边界的距离，m∈[0,m)，最终得到细胞实例距离回归伪标签其中|c|表示标注点集合中的元素个数；步骤5，采用五种不同任务支路训练深度学习网络，包括但不限于维诺图分类支路、超像素分类支路、超像素回归支路、细胞实例距离回归支路以及局部温度调节支路等；细胞图像通过深度学习网络提取图像特征，并计算得到细胞预测概率图；特别地，在细胞实例距离回归支路中，使用逐实例极坐标交并比损失函数计算预测细胞实例回归结果与细胞实例回归伪标签y
dis
之间的损失，之间的损失，与的定义如下：
其中，m＝8，与分别表示y
dis
与中第n个细胞实例的第m个方向上的细胞中心点到细胞边界的距离；特别地，在局部温度调节支路中，生成温度调控图用于得到调控后的预测结果以增加网络对多模态图像分割的泛化性：并使用交叉熵损失函数计算与之间的损失其中，和y
n
分别表示和中的第n个像素，n表示像素个数，1{y
n
≠ign}表示中的非忽略区域；特别地，为了增加网络的预测稳定性，在网络训练中添加正则化项，使用均方差损失函数计算与之间的损失，其中，和分别表示和中的第n个像素，n表示像素个数；步骤6，利用基于分水岭算法的后处理方法处理细胞预测概率图，以得到最终的细胞分割结果。2.如权利要求1所述一种基于点标注的弱监督多模态细胞图像分割方法，其特征在于，在步骤1中，针对每个病例，获取其多模态细胞图像，并进行预处理，具体为：通过多种医学成像技术将病例p的组织成像为数字图像x0，其中包含但不限于病理图像、荧光图像、相位对比图像、微分干涉对比图像等；由于多模态图像的通道数量与值域各不相同，需要对其进行预处理，其方法包括但不限于统一细胞图像通道数量，归一化图像值域等；最终得到处理后的图像x。3.如权利要求1所述一种基于点标注的弱监督多模态细胞图像分割方法，其特征在于，在步骤2中，邀请专家对每个细胞使用两个点进行标注，其中一个点为细胞中心点另一个点为距离最远的细胞边界点最终得到细胞标注点集合最终得到细胞标注点集合
其中|c|为图像中的细胞数量。4.如权利要求1所述一种基于点标注的弱监督多模态细胞图像分割方法，其特征在于，在步骤3中，提取多模态细胞图像颜色特征和点标注空间特征，使用slic算法计算得到超像素图像x
sp
，使用细胞中心标注点集合c
c
生成维诺图x
vor
。5.如权利要求1所述一种基于点标注的弱监督多模态细胞图像分割方法，其特征在于，在步骤4中，使用超像素图像x
sp
，维诺图x
vor
以及标注点集合c生成四种伪标签，其中包括但不限于维诺图分类伪标签超像素分类伪标签超像素回归伪标签以及细胞实例距离回归伪标签y
dis
，具体为：对于每个细胞c
i
，使用为圆心，到之间的距离为半径做圆，得到细胞区域同时在维诺图x
vor
中找到属于细胞c
i
的区域并将与的交集作为该细胞的前景区域最终得到维诺图分类伪标签对于细胞图像x，采用局部k-means算法对所有像素进行k类聚类，从中心标注点个数占比最少的k个聚类簇中，k取值为10，k取值为3，随机抽取n个像素点作为背景点b
i
，采用细胞中心标注点作为前景点，并将b
i
和所在超像素区域置为背景或前景，超像素区域置为忽略区域，最终得到超像素分类伪标签将超像素分类伪标签中的前景区域置为1，其他区域置为0，并使用高斯滤波器进行处理，得到超像素回归伪标签对于每个细胞在维诺图分类伪标签中的前景区域r
i
,计算细胞中心标注点在m个方向上的到r
i
区域边界的距离集合其中，表示在第m个方向上到r
i
区域边界的距离，m∈[0,m)，m取值为8，最终得到细胞实例距离回归伪标签离，m∈[0,m)，m取值为8，最终得到细胞实例距离回归伪标签6.如权利要求1所述一种基于点标注的弱监督多模态细胞图像分割方法，其特征在于，在步骤5中，采用五种不同任务支路训练深度学习网络，包括但不限于以下五种任务支路：维诺图分类支路超像素分类支路超像素回归支路细胞实例距离回归支路b
dis
以及局部温度调控支路b
lts
，具体为：采用两个卷积层组成维诺图分类支路以预测维诺图分类结果并使用交叉熵损失函数计算与之间的损失，其中，和y
n
分别表示和中的第n个像素，n表示像素个数；采用两个卷积层组成超像素分类支路以预测超像素分类结果并使用交叉熵损失函数计算与之间的损失，
其中，和y
n
分别表示和中的第n个像素，n表示像素个数，1{y
n
≠ign}表示中的非忽略区域；采用两个卷积层组成超像素回归支路以预测超像素回归结果并使用均方差损失函数计算与之间的损失，其中，和分别表示分别表示和中的第n个像素，n表示像素个数，表示中的非忽略区域；采用三个卷积层组成细胞实例回归支路b
dis
，以预测细胞实例回归结果并使用逐实例极坐标交并比损失函数计算与y
dis
之间的损失，之间的损失，与的定义如下：其中，m＝8，与分别表示y
dis
与中第n个细胞实例的第m个方向上的细胞中心点到细胞边界的距离；采用两个卷积层组成局部温度调控回路b
lts
，以生成温度调控图用于得到调控后的预测结果
并使用交叉熵损失函数计算与之间的损失其中，和y
n
分别表示和中的第n个像素，n表示像素个数，1{y
n
≠ign}表示中的非忽略区域；为了增加网络的预测稳定性，在网络训练中添加正则化项，使用均方差损失函数计算与之间的损失，其中，和分别表示和中的第n个像素，n表示像素个数。7.如权利要求1所述一种基于点标注的弱监督多模态细胞图像分割方法，其特征在于，在步骤6中，采用基于分水岭算法的后处理方法精修网络的预测结果，具体为：对于网络的预测概率图，分别采用两个阈值t
seed
与t
cell
得到细胞中心区域s
seed
与细胞区域s
cell
，赋予s
seed
中每个联通域以不同的细胞id，并使用分水岭算法将这些细胞在细胞区域中扩散，得到最终的细胞分割结果

技术总结
本发明提供了一种基于点标注的弱监督多模态细胞图像分割方法。所述方法包括：针对多个病例，获取并预处理多模态细胞图像；根据细胞图像的颜色特征和点标注的空间特征，绘制四种不同的细胞分割伪标签，包括但不限于维诺图分类伪标签、超像素分类伪标签、超像素回归伪标签以及细胞实例距离回归伪标签等；搭建多模态细胞图像分割网络，提取图像深度特征，并使用五种不同的任务支路训练网络，包括但不限于维诺图分类支路、超像素分类支路、超像素回归支路、细胞实例距离回归支路以及局部温度调节支路等；将待分割细胞图像输入训练好的分割网络中，分割网络将提取图像特征，并计算得出细胞的概率；最后使用基于分水岭算法的后处理方法处理预测概率图，得到最终的细胞分割结果。本发明设计的基于点标注的弱监督多模态细胞图像分割方法，大幅降低了人为标注的工作量，并能高质量完成对于多模态细胞图像的细胞分割任务，进而辅助医生进行病情诊断。进而辅助医生进行病情诊断。进而辅助医生进行病情诊断。


技术研发人员：赵志诚 张滨宇
受保护的技术使用者：北京邮电大学
技术研发日：2023.06.12
技术公布日：2023/9/14