基于跨尺度交互式融合Transformer模型的医学图像实例分割方法

基于跨尺度交互式融合transformer模型的医学图像实例分割方法
技术领域
1.本发明涉及图像实例分割处理技术领域，更具体的说是涉及基于跨尺度交互式融合transformer模型的医学图像实例分割方法。


背景技术：

2.图像分割是根据医学图像中的某种相似性特征将图像分割为若干个具有特定性质和独特含义的感兴趣区域；语义分割是预测输入医学图像中每一个像素点的所属类别；不同于前两者，实例分割是在像素级语义分割基础上结合目标检测任务，对检测框内器官或病灶进行实例级分割和对象级识别，其分割精度和效率都较好。除此之外，传统分割方法只能处理较简单的场景，由于医学图像特征复杂，不同组织之间或者组织和病灶之间的边缘模糊，病灶区域的形状不规则，心脏等器官不规则跳动导致存在数据噪声，使得传统方法容易出现漏检误检问题，分割效果不理想。
3.近年来，基于卷积神经网络的深度学习方法在计算机视觉领域中广泛应用，尤其是在ct图像、x光图像、超声图像、pet图像和mri图像分割等医学图像处理领域中有良好表现，能够实现对病变区域的精准定位和精确分割。
4.目前，mask rcnn、cascade rcnn、yolact、solo等实例分割模型证明了卷积神经网络不仅可以在像素级别取得良好效果，而且还可以实现实例级别的学习，有效提供逐对象标记的肿瘤病变信息。2017年，he等人提出mask rcnn模型，在faster r-cnn基础上增加掩膜预测分支和采用roi align代替roi pooling，有效解决两阶段实例分割问题；2019年，huang等人提出mask scoring r-cnn模型，在mask r-cnn基础上使用maskiou头进行掩膜评分，有效提升实例定位或掩膜分割的精确度；2019年，针对mask rcnn模型不能精确分割出目标对象的细节和边缘部分，h.zhou等人提出corner mask-rcnn模型，该模型增加角点预测头来拟合边缘部分，有效获得实例细节信息。
5.尽管较多研究者对实例分割已经进行大量相关研究工作，但是上述方法在实际使用总存在对医学图像中病灶特征的表达能力欠缺、不同尺度的病灶特征提取不充分等问题。
6.因此，如何充分提取医学图像中病灶特征是本领域技术人员亟需解决的问题。


技术实现要素：

7.有鉴于此，本发明提供了一种基于跨尺度交互式融合transformer模型的医学图像实例分割方法，用以充分提取医学图像中病灶特征。
8.为了实现上述目的，本发明采用如下技术方案：
9.一种基于跨尺度交互式融合transformer模型的医学图像实例分割方法，包括以下步骤：
10.特征提取步骤：
11.将预处理后的pet/ct图像输入主干网络，所述主干网络包括依次连接的多个基础瓶颈残差模块和一个多头自注意模块，所述基础瓶颈残差模块用于获取局部特征图，所述多头自注意模块用于获取非局部特征图；
12.利用跨尺度交互式特征增强模块对局部特征图和非局部特征图进行聚合，获取增强特征图；
13.特征融合步骤：
14.利用跨尺度交互式融合fpn网络对增强特征图进行特征融合，获取融合特征图；
15.特征预测步骤：
16.针对融合特征图，利用区域建立网络提取候选框；
17.基于roi align对提取的候选框进行预测，获取pet/ct图像实例分割结果。
18.优选的，特征提取步骤前，还包括以下步骤：
19.获取肺部肿瘤的pet/ct图像，并对所述pet/ct图像进行预处理。
20.优选的，所述主干网络，包括依次连接的四个基础瓶颈残差模块和一个多头自注意模块；
21.所述基础瓶颈残差模块包括一个残差模块，和与所述残差模块串联堆叠的多个瓶颈块。
22.优选的，所述多头自注意模块用于获取非局部特征图，具体包括以下步骤：
23.将病灶特征图输入多头自注意模块；
24.使用参数向量rh表示病灶特征图高度的相对位置编码，参数向量rw表示病灶特征图宽度的相对位置编码，所述参数向量rh和rw的维度为d；
25.将参数向量rh和参数向量rw相加后，与查询矩阵query相乘，获取相乘结果a；
26.计算查询矩阵query和键矩阵key的相乘结果b；
27.将所述相乘结果a与相乘结果b进行元素级相加，并将相加结果经softmax函数处理；
28.将softmax函数处理结果与value矩阵相乘，获取非局部特征图。
29.优选的，利用跨尺度交互式特征增强模块对相邻基础瓶颈残差模块输出的局部特征图进行聚合，获取增强特征图，具体包括以下步骤：
30.将当前特征图xi与相邻的上一层特征图x
i-1
进行1*1卷积操作，并调整上一层特征图x
i-1
的通道和尺寸，所述特征图包括局部特征图和非局部特征图；将调整后的上一层特征图与当前特征图xi进行相加融合，获取融合结果f
(i-1,i)
；
31.将相加融合结果f
(i-1,i)
和上一层特征图x
i-1
的输出结果cifem
i-1
进行逐元素相加融合，获取跨尺度输入特征f
(i-1,i-1)
；
32.将跨尺度输入特征f
(i-1,i-1)
输入soft attention单元，分别通过通道注意力分支和空间注意力分支对跨尺度输入特征f
(i-1,i-1)
进行处理；
33.将经过通道注意力分支和空间注意力分支处理后的结果进行拼接，获取组内融合信息特征图；
34.采用随机混合层在通道维度上对跨组特征信息进行融合，获取聚合特征图，所述聚合特征图即为增强特征图。
35.优选的，利用跨尺度交互式融合fpn网络对增强特征图进行特征融合，具体包括以
下步骤：
36.将低层增强特征图x
j-1
和相邻高层增强特征图xj进行逐元素相加，获取合成特征图f
(j-1,j)
；
37.将所述合成特征图f
(j-1,j)
分别进行平均池化处理和最大池化处理，并将处理结果进行合并，获取池化后的特征；
38.将池化后的特征依次经1*1卷积层、relu激活层和1*1卷积层处理后，输入sigmoid激活函数，获取权重注意图；
39.将获取的权重注意图与相邻高层增强特征图xj相乘后，再与相邻高层增强特征图xj相加得到最终融合特征图。
40.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于跨尺度交互式融合transformer模型的医学图像实例分割方法，具有以下
41.有益效果：
42.本发明通过resnet-transformer主干网络，结合肺部图像中全局和局部特征信息，将多头自注意的bot模块引入肺部肿瘤的特征提取过程中，通过在最高层建立全局像素之间的长距离依赖关系，从多个维度关注病变区域提高特征表征能力；
43.本发明利用跨尺度交互式特征增强模块(cifem)将主干网络提取的不同尺度特征图进行交互关联，通过聚合相邻上下文信息增强主干病灶区域的特征表达，有效补充丢失的细节信息；本发明通过跨尺度交互式融合模块(cifm)将低层细节信息与高层语义信息进行双向交互融合，通过汇聚相邻阶段的特征信息来进一步增强对肿瘤病变的关注程度。
附图说明
44.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
45.图1为本发明实施例提供的mcif-transformer mask rcnn模型结构示意图；
46.图2为本发明实施例提供的bottleneck transformer(bot)模块结构示意图；
47.图3为本发明实施例提供的多头自注意层(mhsa)结构示意图；
48.图4为本发明实施例提供的跨尺度交互式特征增强模块(cifem)结构示意图；
49.图5为本发明实施例提供的跨尺度交互式融合模块(cifm)结构示意图；
50.图6为本发明实施例提供的pet/ct肺部肿瘤图像和标注示例图；
51.图7为本发明实施例提供的mcif-transformer mask rcnn模型不同模块实例分割结果的雷达图对比；
52.图8为本发明实施例提供的mcif-transformer mask rcnn模型的实例分割结果示意图，其中图8(a)(d)表示pet/ct图像；图8(b)(e)表示pet/ct图像三维灰度图；图8(c)(f)表示实例分割结果。
具体实施方式
53.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
transformer(bot)
15.构成的第五个阶段两部分组成，如图1所示。本网络通过添加多头自注意模块提取最高特征图中非局部空间信息，通过关注全局区域以提高模型对pet/ct肺部图像中病变特征的提取能力，从而获取更加准确的病灶特征。
70.将pet/ct肺部肿瘤图像输入主干网络中，从低层向高层依次经过五个阶段(stage0-stage4)处理，在前四个阶段分别由四个基础残差块提取不同大小的病变特征图，在c2-c4每一个残差块中又分别串联堆叠3、4、6个瓶颈块；在第五个阶段stage4中，将最高层包含的3个瓶颈块替换为bot模块，其由1
×
1卷积、平均池化、多头自注意力(multi-head self-attention，mhsa)、批量归一化(batch normalization，bn)和relu激活函数构成，使用mhsa多头自注意力替换resnet瓶颈块中对应位置的3
×
3空间卷积用以学习高层肺部肿瘤特征图中的全局信息，如图2(b)所示。主干网络在原有捕捉局部病灶信息的基础上，建立像素之间的全局依赖关系，学习同一特征图中像素之间的远距离空间相关性。
71.bot的核心模块是多头自注意力mhsa，自注意力层结构如图3所示。首先输入尺寸为h
×w×
d的病灶特征图x，h、w、d分别表示其高度、宽度和维度；q，k，r分别表示查询、键和位置编码。使用两个参数向量rh和rw分别表示高度和宽度的相对位置编码，将两个d维向量相加后与query矩阵进行相乘，相乘结果与query和key矩阵相乘结果进行元素级相加，再经过softmax函数处理后与value矩阵进行相乘得到最终输出结果，通过建模远程语义特征关系来学习肺部图像中丰富的病灶关联特征。
72.浅层肺部肿瘤特征图具有丰富的轮廓、纹理、位置等病灶细节特征，但缺乏整体图像的粗粒度语义信息；深层肺部肿瘤特征图具有抽象的语义特征，但缺乏病灶区域的细粒度空间信息。为了提取更丰富的病变特征且充分关注细微信息，本发明设计辅助网络实现对跨尺度浅层特征信息和深层语义信息的交互式融合，利用跨尺度交互式特征增强模块(cifem，cross scale interactive feature enhancement module)聚合主干网络相邻阶段的不同分辨率特征图，加强对通道之间和各通道内的病变特征的关注程度，抑制除病变外的无关噪声，如图1所示，在特征提取部分采用主辅网络方式实现对肺部图像中全局和邻近肿瘤特征选择，使模型更聚焦于病灶区域。
73.跨尺度交互式特征增强辅助网络cifen(cross-scale interactive feature enhancement network,cifen)由stage0-stage4五个阶段组成。第一阶段是将主干网络提取的c1采用1
×
1卷积调整通道数后与相邻特征层c2经过cifem1进行跨尺度融合，再与主干网络中c2进行元素级相加，第一阶段的融合结果作为特征融合网络的第一阶段输入；第二阶段是将c2采用1
×
1卷积调整通道数和尺寸大小后与相邻特征层c3进行跨尺度融合，并将二者的融合结果与cifem1输出相结合后经过cifem2处理，再与主干网络中c3进行元素级相加，第二阶段的融合结果作为后续特征融合网络的第二阶段输入；同理，第三和第四阶段采用与第二阶段相同的跨尺度特征交互增强方式。
74.跨尺度交互式特征增强模块cifem(cross-scale interactive feature enhancement module,cifem)是辅助网络的核心部分，如图4所示。通过考虑相邻特征以增强五个阶段间及各个阶段内病灶特征间的联系，对跨尺度特征采用交互式融合手段进一步细化肿瘤实例分割任务，不断增强主干网络对于病变的特征表征能力，从而实现对肺部肿瘤的细粒度实例分割和粗粒度语义分割。当i-1＝1时，cifem1的输入只有两个邻近特征层c1和c2；当i-1≥2时，cifem2至cifem4的输入还包括上一个cifem的输出。
75.该模块伪代码(算法1)表示为
[0076][0077][0078]
跨尺度交互式特征增强模块(cifem)的输入由相邻上一层特征图χ
i-1
，当前特征图χi以及上一个cifem输出cifem
i-1
构成，x∈rc×h×w。首先将χ
i-1
经过1
×
1卷积操作来调整通道和尺寸大小，然后与χi进行元素级相加融合,再与cifem
i-1
逐元素相加融合后得到跨尺度输入特征f
(i-1,i,i-1)
。其次经过sa unit
[16]
处理，首先将输入特征f
(i-1,i,i-1)
沿着通道维度分为g组，f
kgroup
＝[f1,...,fg],f
kgroup
∈r
c/g
×h×w，然后对每一组特征进行分割，即沿着f
kgroup
的通道方向分为2块，分别输入通道注意力分支和空间注意力分支中，ca
in
,sa
in
∈r
c/2g
×h×w；ca和sa分别表示通道注意(cha nnel attention)和空间注意力(spatial attention)；在ca中，首先对ca
in
采用全局平均池化gap(global averagepooling)整合全局空间信息，然后使用sigmoid激活函数将特征映射转换为概率激活值，以重标定特征图通道的重要性；在sa中，首先对sa
in
采用组归一化groupnorm(group normalization，gn)处理获得空间病灶特征信息，然后采用fc(
·
)强化对sa
in
的特征表示；接着将ca和sa输出按照通道数进行拼接，f
′k＝concat(ca,sa)∈r
c/g
×h×w，实现组内部特征信息融合；最后对所有汇集的子特征采用随机混合层在通道维度上对跨组特征信息进行融合，得到最终的输出图。本发明利用跨尺度邻近信息以促进模型对病变区域的特征感知能力，在不同阶段通过依次叠加以反复聚焦到更细尺度和更具辨别的细粒度病灶特征，增强对肺部图像中肿瘤病变的关注程度。
[0079]
跨尺度交互式特征增强模块(cifem)具体过程如公式(1)所示：
[0080][0081]
式中，χ
i-1
和χi分别表示相邻上一层特征和当前特征，cifem
i-1
表示上一个cifem输出；cs(
·
)表示通道随机混合操作(channel shuffle)，chunk(
·
)表示分块操作，reshape(
·
)表示对通道分组，globalavgpool(
·
)表示全局平均池化，σ表示sigmoid操作，表示相乘，表示元素级相加；w1,w2∈r
c/2g
×1×1，b1,b2∈r
c/2g
×1×1[0082]
在fpn低层网络中感受野较小，能够捕获肺部图像中病变局部特征，具有较强的细节感知能力；在fpn高层网络中感受野较大，能够获取肺部图像的整体全局特征，具有较强的语义表达能力，因此将局部低级信息与全局高级信息相融合可以有效增强病变区域。为此，本发明在特征融合部分采用从低层向高层和从高层向低层的双向交互融合方式，通过自下而上和自上而下两条路径以获取相邻特征层之间的跨尺度互补信息，如图1所示。其中，自下而上路径有效加强高层特征图中的低级特征信息，自上而下路径有效强化低层特征图中的高级语义信息，利用二次融合来增强肿瘤病变的特征表达，有效提高病变的识别准确率。
[0083]
跨尺度交互式融合的fpn(feature pyramid networks)网络cif-fpn(cross-scale interactive feature fusion fpn network)包括四个阶段(stage1-stage4)，每一阶段将低层特征与邻近高层特征输入到跨尺度交互式融合模块(cifm)中处理，如图5所示，以自下而上方式进行交互式融合，不断加强高层特征图中病变的细节、纹理和位置等低级信息，再把逐层交互后的融合特征以自上而下方式依次进行逐元素相加融合，强化低层特征图中高级语义信息。通过汇聚各个阶段特征信息来增强模型对病变区域的表述和识别能力。
[0084]
主辅网络中生成的四个阶段特征图作为cif-fpn的输入，包括自下而上和自上而下两部分。第一部分首先将第一阶段特征图c2经过1
×
1卷积调整通道数，将第二阶段特征图c3经过1
×
1卷积和反卷积操作处理，将二者同时输入到cifm1中进行交互式融合；其次将经过1
×
1卷积的第二阶段特征图c3和经过1
×
1卷积和反卷积操作处理的第三阶段特征图c4输入到cifm2中进行交互式融合；同理，处理后的第三阶段特征图c4与第四阶段特征图c5输入到cifm3中进行交互式融合。这里的1
×
1卷积都是将特征图的通道数调整为256。第二部分首先将cifm3的输出进行三种处理，一是直接经过3
×
3卷积输出p5，二是经过最大池化操作输出p6，三是经过上采样处理后与cifm2的输出进行逐元素相加；该结果经过3
×
3卷积输出p4，且经过上采样处理后与cifm1的输出进行逐像素相加；该结果经过3
×
3卷积输出p3，且与c2进行逐像素相加后采用3
×
3卷积处理输出p2。p2-p6特征图作为后续rpn的输入。
[0085]
该模块伪代码(算法2)表示为：
[0086][0087]
跨尺度交互式融合模块(cifm)的输入是相邻尺度特征图x
j-1
和xj，首先将低层特征图x
j-1
和高层特征图xj进行逐元素相加，合成的特征f
(j-1,j)
经过平均池化和最大池化处理后合并，接着经过1
×
1卷积、relu激活层、1
×
1卷积、sigmoid激活函数，使权重压缩映射在0-1之间，系数越大表示更加关注该像素特征，最后将权重注意图与高层特征图xj相乘后再相加得到最终融合特征图。本发明利用跨尺度交互式融合模块能够进一步精细地表示病变特征，以二次融合方式突出肿瘤特征，抑制无关背景噪声。
[0088]
跨尺度交互式融合模块(cifm)具体过程如公式(2)所示：
[0089][0090]
式中，avgpool(
·
)表示平均池化，maxpool(
·
)表示最大池化。
[0091]
实验结果与分析
[0092]
医学影像在诊断、规划、实施手术和放射治疗等领域的临床事件跟踪应用中起着至关重要的作用。pet图像能够反映功能代谢区域，对异常区域具有一定的敏感性。由于肿瘤病变新陈代谢速度快，对氟(18f)脱氧葡萄糖(18f-fdg)的摄取量多，因此恶性肿瘤和正常组织之间对比度明显，但是pet图像存在空间分辨率较低问题；ct图像能够反映基础解剖结构，具有较高的空间分辨率，可以提供精确的病灶位置信息，但是肿瘤和正常软组织的强度接近，导致不易辨别区分；pet/ct图像有效结合功能代谢和解剖结构信息，通过融合两模态的互补信息以提供更高的灵敏度和特异性，因此利用多模态pet/ct图像对肺癌患者的早期干预和监测治疗具有重要作用。本发明采用pet/ct医学图像可以更好地定位和分割肺部图像中肿瘤病变区域。
[0093]
数据集及数据预处理
[0094]
在一个具体应用实施例中，所用数据集来源于宁夏某三甲医院核医学科提供的肺癌患者原始pet/ct检查图，以及相关的临床病理诊断数据。临床病理诊断数据包括：年龄、
性别、肿瘤良恶性、医嘱检查结论及临床诊断等文本信息。pet/ct模态数据集包括年龄范围在29～76岁患者于2018年1月至2020年6月之间的1052幅样本图像，其中946幅图像作为训练集，106幅图像作为测试集。首先将原始pet/ct图像的医学数字成像和通信格式(digital imaging and communication in medicine，dicom)文件导入图像处理软件microdicom viewer中转换为jpg格式数据；其次利用算法将纵膈窗和肺窗两种形式的肺部肿瘤图像进行裁剪，最大化整个肺部在图像中所占比例，减少背景(像素值为0的位置)冗余信息；然后在专业放射科医生指导下利用labelme软件完成对病灶轮廓的金标准标注，最终生成相应的json标注文件以及标注图，标注文件中包括病灶的类别标签、标注点坐标值、图像宽度和高度以及图像路径等信息。
[0095]
本发明可采用基于pytorch的深度学习框架实现本发明提出的mcif-transformer mask rcnn模型，实验环境配置为服务器intel xeon gold6154gpu，内存256gb，显卡nvidia titan v,python 3.7,pytorch 1.7.0,cuda版本为11.1.106。网络训练过程中设置训练周期(epoch)为300，初始化学习率(learning rate)为0.0001，批处理大小(batch size)为2，采用随机梯度下降(stochastic gradient descent，sgd)算法作为优化器对模型进行优化，其中参数动量(momentum)为0.9，权值衰减系数(weight decay)为1
×
10-4
[0096]
为全面、客观地评估本发明所采用的mcif-transformer mask rcnn的实例分割性能，在一个具体实施例中采用交并比(intersection over union，iou)、平均精度(average precision，ap)、平均召回率(average recall，ar)作为评价标准对模型性能定量评估。在肺部肿瘤的检测和分割任务中，真阳性(true positives，tp)表示模型正确识别出病灶区域；假阳性(false positive，fp)表示模型将正常组织区域误诊为病灶区域；假阴性(false negative，fn)表示模型将病灶区域漏诊为正常组织区域；真阴性(true negative，tn)表示模型正确识别出正常组织区域。评价指标的定义和公式如下：
[0097]
交并比(intersection over union，iou)是在特定数据集中检测分割目标准确度的一种度量标准。包括两个部分：人为标记的正确结果(ground truth，gt)和模型算法的预测结果。iou用于测量标注框和预测框之间的相关度，数值越大则表示相关度越高，该模型的性能越好。具体计算公式如(3)所示：
[0098]
iou＝tp/(tp+fp+fn) (3)
[0099]
平均精度(average precision，ap)是正确识别的目标个数占总识别的目标个数的百分数。用于衡量在每个类别上模型检测器的性能优劣
[22]
。其中ap
50
表示iou阈值为0.5时的ap值。具体计算公式如(4)所示：
[0100][0101]
式中，c为检测类别，通常是指单个类别，th表示每一类别的阈值，t为检测样本数。
[0102]
平均召回率(average recall，ar)是正确识别的目标个数占测试集中识别的目标个数的百分数。对于同一模型结构，测试集规模越大，ar效果越好
[22]
。该文采用iou阈值在[0.5,0.95]区间中每隔0.05计算一次ar值，取所有结果的平均值作为最终结果。具体计算公式如(5)所示：
[0103]
[0104]
为了客观评估mcif-transformer mask rcnn模型的先进性和有效性，在相同数据集上分别进行消融和对比两组实验。第一组实验是探索各个模块对该模型实例分割性能的影响；第二组实验是将该模型与两阶段和单阶段实例分割网络作对比。两组实验均使用pet/ct肺部肿瘤图像作为输入，采用平均精度ap、平均召回率ar进行定量比较和定性分析，从检测(det)和分割(seg)两方面评估模型性能。
[0105]
消融实验
[0106]
为了验证本发明提出的resnet-transformer主干网络、跨尺度交互式特征增强辅助网络cifen以及跨尺度交互式融合网络cif-fpn对模型性能提升的有效性和可行性，以resnet50为主干的maskrcnn为基准模型，共进行四次消融实验：实验一，mask rcnn(resnet50)，采用resnet50作为主干的maskrcnn；实验二，cifen-mask rcnn，在resnet50为主干的基础上增加跨尺度交互式特征增强辅助网络(cifen)；实验三，rt+cifen-mask rcnn，将实验二的主干替换为resnet-transformer主干网络，该主干网络在最高层将基础残差块替换为多头自注意的bot模块；实验四，mcif-transformer mask rcnn，在实验三的基础上增加跨尺度交互式融合的fpn网络(cif-fpn)。表1为该文所提模型消融实验结果的定量指标比较。
[0107]
表1消融实验结果(％)
[0108][0109]
该消融实验量化子模块对整体模型检测(det)和分割(seg)性能的影响，实验结果如表1所示。基准模型mask rcnn(resnet50)的apdet为60.05％、apseg为62.98％、ardet为41.89％、arseg为42.83％；基准模型结合跨尺度交互式特征增强模块cifem，cifen-mask rcnn的各项指标相对提升3.95％、3.09％、2.31％、6.23％，说明构建基于cifem的辅助网络通过聚合相邻尺度特征和加强对肺部图像中肿瘤病变的关注程度，有效缓解在特征提取过程中病灶信息丢失导致的漏检问题；基准模型结合cifem和bottleneck transformer(bot)，rt+cifen-mask rcnn相较于mask rcnn(resnet50)模型指标均得到进一步提升，相对于cifen-mask rcnn的apdet提升0.95％，apseg、ardet、arseg指标略有下降，原因是在中小型数据集上训练时，相较于卷积神经网络，transformer缺乏cnn固有的归纳偏置，如空间局部性和平移不变性
[23]
，所以当数据集数量不充足时，难以训练好引入bot模块的主干网络权重，因而泛化能力不强导致效果并不是很好；基础模型结合cifem、bot以及cifm后，四项指标均得到提升，apdet、apseg、ardet、arseg分别为65.55％，68.13％，45.00％，49.62％，说明该文所提主干网络、辅助网络以及cif-fpn网络通过利用跨尺度相邻高低层信息以增强对肺部图像中肿瘤病变的特征表征和识别能力，采用浅层特征信息和深层语义信息相互融合方式以解决病灶特征忽视问题。为了更直观显示该模型的实例分割效果，图7采用雷达图比较不同组合模块的模型性能，由此可见mcif-transformer mask rcnn的检测和分割性能均优于其他组合方式模型，说明在特征提取和特征融合阶段引入跨尺度特征信息交互有助于保留病变的细节信息，有效缓解肺部图像实例分割任务中病灶区域特征提取不充分问题。图8展示了pet/ct图像的三维灰度图以及mcif-transformermask rcnn模型的
实例分割结果，表明该文模型的整体架构和各个模块设计具有合理性，能够较好地实现在pet/ct肺部图像中肿瘤病变的实例分割任务。
[0110]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0111]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种基于跨尺度交互式融合transformer模型的医学图像实例分割方法，其特征在于，所述方法包括以下步骤：特征提取步骤：将预处理后的pet/ct图像输入主干网络，所述主干网络包括依次连接的多个基础瓶颈残差模块和一个多头自注意模块，所述基础瓶颈残差模块用于获取局部特征图，所述多头自注意模块用于获取非局部特征图；利用跨尺度交互式特征增强模块对局部特征图和非局部特征图进行聚合，获取增强特征图；特征融合步骤：利用跨尺度交互式融合fpn网络对增强特征图进行特征融合，获取融合特征图；特征预测步骤：针对融合特征图，利用区域建立网络提取候选框；基于roi align对提取的候选框进行预测，获取pet/ct图像实例分割结果。2.根据权利要求1所述的基于跨尺度交互式融合transformer模型的医学图像实例分割方法，其特征在于，特征提取步骤前，还包括以下步骤：获取肺部肿瘤的pet/ct图像，并对所述pet/ct图像进行预处理。3.根据权利要求1所述的基于跨尺度交互式融合transformer模型的医学图像实例分割方法，其特征在于，所述主干网络，包括依次连接的四个基础瓶颈残差模块和一个多头自注意模块；所述基础瓶颈残差模块包括一个残差模块，和与所述残差模块串联堆叠的多个瓶颈块。4.根据权利要求1所述的基于跨尺度交互式融合transformer模型的医学图像实例分割方法，其特征在于，获取非局部特征图，具体包括：将病灶特征图输入多头自注意模块；使用参数向量rh表示病灶特征图高度的相对位置编码，参数向量rw表示病灶特征图宽度的相对位置编码，所述参数向量rh和rw的维度为d；将参数向量rh和参数向量rw相加后，与查询矩阵query相乘，获取相乘结果a；计算查询矩阵query和键矩阵key的相乘结果b；将所述相乘结果a与相乘结果b进行元素级相加，并将相加结果经softmax函数处理；将softmax函数处理结果与value矩阵相乘，获取非局部特征图。5.根据权利要求1所述的基于跨尺度交互式融合transformer模型的医学图像实例分割方法，其特征在于，利用跨尺度交互式特征增强模块对局部特征图和非局部特征图进行聚合，获取增强特征图，具体包括以下步骤：将当前特征图x
i
与相邻的上一层特征图x
i-1
进行1*1卷积操作，并调整上一层特征图x
i-1
的通道和尺寸，所述特征图包括局部特征图和非局部特征图；将调整后的上一层特征图与当前特征图x
i
进行相加融合，获取融合结果f
(i-1,i)
；将相加融合结果f
(i-1,i)
和上一层特征图x
i-1
的输出结果cifem
i-1
进行逐元素相加融合，获取跨尺度输入特征f
(i-1,i-1)
；将跨尺度输入特征f
(i-1,i-1)
输入softattention单元，分别通过通道注意力分支和空间
注意力分支对跨尺度输入特征f
(i-1,i-1)
进行处理；将经过通道注意力分支和空间注意力分支处理后的结果进行拼接，获取组内融合信息特征图；采用随机混合层在通道维度上对跨组特征信息进行融合，获取聚合特征图，所述聚合特征图即为增强特征图。6.根据权利要求1所述的基于跨尺度交互式融合transformer模型的医学图像实例分割方法，其特征在于，利用跨尺度交互式融合fpn网络对所述增强特征图进行特征融合，具体包括以下步骤：将低层增强特征图x
j-1
和相邻高层增强特征图x
j
进行逐元素相加，获取合成特征图f
(j-1,j)
；将所述合成特征图f
(j-1,j)
分别进行平均池化处理和最大池化处理，并将处理结果进行合并，获取池化后的特征；将池化后的特征依次经1*1卷积层、relu激活层和1*1卷积层处理后，输入sigmoid激活函数，获取权重注意图；将获取的权重注意图与相邻高层增强特征图x
j
相乘后，再与相邻高层增强特征图x
j
相加得到最终融合特征图。

技术总结
本发明公开了一种基于跨尺度交互式融合Transformer模型的医学图像实例分割方法，属于图像实例分割处理技术领域。包括步骤：将预处理后的PET/CT图像输入主干网络，所述主干网络包括依次连接的多个基础瓶颈残差模块和一个多头自注意模块，所述基础瓶颈残差模块用于获取局部特征图，所述多头自注意模块用于获取非局部特征图；利用跨尺度交互式特征增强模块对相邻基础瓶颈残差模块输出的局部特征图进行聚合，获取增强特征图；利用跨尺度交互式融合FPN网络对所述增强特征图进行特征融合，获取融合特征图；针对融合特征图，利用区域建立网络提取候选框；基于ROIAlign对提取的候选框进行预测，获取PET/CT图像实例分割结果。通过上述方法解决了不同尺度特征提取不充分问题。上述方法解决了不同尺度特征提取不充分问题。上述方法解决了不同尺度特征提取不充分问题。


技术研发人员：陆惠玲 周涛 赵雅楠
受保护的技术使用者：宁夏医科大学
技术研发日：2023.05.16
技术公布日：2023/8/14