一种非结核分枝杆菌肺病与肺结核CT影像分类方法

一种非结核分枝杆菌肺病与肺结核ct影像分类方法
技术领域
1.本发明涉及计算机视觉、医学图像分析等技术领域，以分类非结核分枝杆菌肺病与肺结核的ct影像为应用场景，具体为一种非结核分枝杆菌肺病与肺结核ct影像分类方法。


背景技术：

2.随着计算机算力的飞速提升和深度学习的广泛研究，图像分类技术在不断发展，在速度和准确度上都在不断飞跃。然而，这些图像分类方法主要应用于背景与前景区别明显的自然图像分类任务中。非结核分枝杆菌肺病与肺结核ct影像高度相似，且两者影像内均含有多种的影像学征象，如空洞、支气管扩张、实变、结节等，部分征象与人体正常组织高度相似(如胸膜增厚)，还有部分征象尺寸过小难以识别(如单发结节和钙化灶)。非结核分枝杆菌肺病与肺结核ct影像复杂的征象使目前主流的图像分类算法难以发挥其有效性能。
3.准确分类非结核分枝杆菌肺病与肺结核ct影像对于许多工作都有重要价值。鉴于多示例学习框架的发展，其将图像的类别视作由图像内多个示例共同决定的思想，适合处理图像内目标种类多，各目标共同决定图像类别的图像分类问题。多示例学习架构打破了传统监督学习图像类别与图像内目标一一对应的关系，能够有效建立图像类别与图像内目标一对多的关系，适合非结核分枝杆菌肺病与肺结核ct影像征象多且复杂的情况。但目前多示例学习方法主要应用2d病理图像的分类任务中，没有算法解决3dct图像且征象复杂的任务。
4.本发明针对非结核分枝杆菌肺病患者与肺结核患者的ct影像分类问题，提出一种非结核分枝杆菌肺病与肺结核ct影像分类方法，实现对非结核分枝杆菌肺病与肺结核ct影像分类的准确分类。
5.参考文献
6.[1]ratnatunga c n,lutzky v p,kupz a,et al.the rise of non-tuberculosis mycobacterial lung disease[j].frontiers in immunology,2020,11:303.
[0007]
[2]nasiri m j,dabiri h,darban-sarokhalil d,et al.prevalence of non-tuberculosis mycobacterial infections among tuberculosis suspects in iran:systematic review and meta-analysis[j].plos one,2015,10(6):e0129073.
[0008]
[3]chu h q,li b,zhao l,et al.chest imaging comparison between non-tuberculous and tuberculosis mycobacteria in sputum acid fast bacilli smear-positive patients[j].eur rev med pharmacol sci,2015,19(13):2429-2439..
[0009]
[4]吴晓光,高孟秋,马丽萍.非结核分枝杆菌病50例临床分析[j].中国防痨杂志,2009,31(8):481.
[0010]
[5]赖燕芬,吴东玲,杨林.非结核分枝杆菌肺病50例误诊分析[j].右江民族医学院学报,2014,36(3):374
–
375.


技术实现要素：

[0011]
为了解决现有技术中非结核分支杆菌肺病与肺结核ct影像分类的问题，本发明提供一种非结核分枝杆菌肺病与肺结核ct影像分类方法，来实现非结核分枝杆菌肺病与肺结核的二分类问题。
[0012]
本发明的技术方案:
[0013]
一种非结核分枝杆菌肺病与肺结核ct影像分类方法，包括如下步骤：
[0014]
步骤s1，通过神经网络对非结核分枝杆菌肺病与肺结核ct图像进行特征提取，然后将提取后特征图沿长、宽、高划分的每一特征像素视为示例，每个示例表示图像一定区域内的特征信息。
[0015]
步骤s2，计算步骤s1)得到的各个示例与分类任务的相关性权重，并通过相关性权重加权聚合为包特征表示，用以表示ct图像的特征。
[0016]
步骤s3，通过分类器将步骤s2)得到的包特征表示预测为ct图像的类别。
[0017]
步骤s4，根据步骤s2)得到示例相关性权重选出权重值高的示例，并进行通过分类器进行评估，表示网络的学习内容与期望内容的关联度。
[0018]
步骤s5，构建损失函数，损失函数包含包分类损失和关联度损失，包分类损失表示ct预测值与真实值的差异，关联度损失表示模型学习内容与期望内容的差异。
[0019]
其中步骤s1)的具体步骤如下:
[0020]
步骤s11,训练集中的数据依次流经网络中每一个卷积模块，输入图像先进入改进的resnet编码器提取特征；
[0021]
步骤s12，将步骤s11)的特征送入局部-全局特征提取模块lge以提取特征图；
[0022]
步骤s13,将步骤s12)所得特征图，沿长、宽、高的每一个特征像素划分为示例。
[0023]
所述改进的resnet编码器由resnet18去掉低四阶段，并将前三阶段基本块堆叠层数调整成3、3、3层。
[0024]
步骤s2)使用了基于注意力机制的特征聚合模块fa。
[0025]
步骤s4)用于评估网络的学习内容与期望内容的关联度的分类器是由病灶标注预训练并固定参数的。
[0026]
与现有技术相比，本发明具有的优点：
[0027]
与现有技术相比，本发明提出来的非结核分枝杆菌肺病与肺结核ct影像分类方法具有以下优点：
[0028]
1)采用了卷积和自注意力机制并联结构的编码器，有效建模图像内局部、全局尺度的信息。
[0029]
2)设计了辅助预测任务以及辅助预测损失函数，实现了利用少量病灶标注辅助模型训练，有效提高了模型对病灶的辨识力。
[0030]
3)实验比较结果验证了本发明的有效性。通过和目前流行的分类方法比较，验证了提出方法对于非结核分枝杆菌肺病与肺结核预测任务的有效性。
附图说明
[0031]
图1为本发明一种非结核分枝杆菌肺病与肺结核ct影像分类方法模型结构图；
[0032]
图2为本发明设计的局部-全局特征提取模块lge模块结构图；
[0033]
图3为本发明设计的特征聚合模块fa模块结构图；
[0034]
图4为本发明改进的resnet编码器结构图。
具体实施方式
[0035]
如图1所示，一种非结核分枝杆菌肺病与肺结核ct影像分类方法，包括如下步骤：
[0036]
(一)示例特征提取
[0037]
ct图像由神经网络进行特征提取，并转换为示例表达。具体步骤如下：
[0038]
(1)ct图像x输入至改进的resnet编码器中提取特征x
conv
。改进的resnet编码器结构可见图4，具体改进方式为去掉resnet18编码器的第四阶段，并将前三阶段的模块堆叠次数调整为3、3、3。改进的resnet编码器增加了前三阶段的层数并减少了特征提取时降采样的次数，避免了较小的病灶在特征提取时消失：
[0039]
x
conv
＝t
conv
(x)，#(1)
[0040]
其中t
conv
(.)表示本发明改进的resnet编码器。
[0041]
(2)将特征x
conv
输入至本发明提出的lge模块建模特征图x
enc
。lge模块结构可见图2。lge模块由1个1*1*1分组卷积、由两个3*3*3分组卷积模块组成的卷积分支、由一个3*3*3卷积和两个1*1*1分组卷积构成的自注意力分支和一个1*1*1卷积分支构成。lge整体采用卷积和自注意力机制并联结构，以实现在保留图像局部特征的同时提取图像全局特征：
[0042]
x
enc
＝t
conv+mhsa
(x)，#(2)
[0043]
其中t
conv+mhsa
(.)表示三个本发明改进的lge模块。
[0044]
(3)将特征图x
enc
的沿长、宽、高的每一特征像素视作示例特征编码x
enc
。每一特征像素对应原ct图像16*16*16尺寸的区域，每一示例特征编码则对应原图16*16*16区域的特征编码。
[0045]
x
enc
＝t
conv+mhsa
(x).#(3)
[0046]
(二)示例特征聚合
[0047]
由(一)得到的所有示例还需要经过特征聚合模块fa(具体结构可见图3)聚合为包特征编码，以表示整个ct图像信息。特征聚合过程如下：
[0048]
(1)由(一)得到的所有示例分别通过3*3*3卷积和1*1*1卷积计算示例其key和value。采用3*3*3卷积能够在计算时为每一个示例在key中增加周围示例的信息。以上过程公式如下表示：
[0049]
key＝x
enc
·
wk，value＝x
enc
·
wv，#(4)
[0050]
其中，wk和wv表示可学习权重，分别对应3*3*3卷积和1*1*1卷积。
[0051]
(2)由(1)得到各示例的key经过mlp(多层感知机)结构计算其相关性权重similarity。上述提及的mlp由两层线性层和双曲正切激活函数构成。以上过程可如下公式表示：
[0052]
similarity＝fc1(tanh(fc2(x
enc
)))，#(5)
[0053]
其中，fc1和fc2表示线性层，tanh表示双曲正切激活函数。
[0054]
将(1)得到各示例的key与value沿通道拼接，并依据(2)得到的相关性权重similarity特征加权聚合，得到包特征编码x
bag
。以上可用如下公式表示：
[0055]
x
bag
＝similarity
·
concat(key，value)，#(6)
[0056]
其中，concat(.)表示延通道拼接。
[0057]
(三)包类别预测
[0058]
(1)在(二)中得到的包特征编码由线性层预测包的类别y
predict
(包类别反应整个ct图像的类别)。可以用如下公式表示：
[0059]ypredict
＝fc
bag
(x
bag
)，#(7)
[0060]
其中，fc
bag
表示用于线性层，用于将包特征编码预测为ct图像类别。
[0061]
(四)模型学习内容评估
[0062]
根据(二)得到示例相关性权重选出权重值高的示例，并进行通过分类器进行评估，表示网络的学习内容与期望内容的关联度，具体步骤如下：
[0063]
(1)通过(二)得到的相关性权重similarity对示例特征编码进行筛选，选出前k个值(一般选取3个)权重较高的重要示例x
imp
，用以表示网络的学习内容。可用如下公式表示：
[0064]
x
imp
＝topk(similarity，x
enc
)，#(8)
[0065]
其中，topk(similarity，x
enc
)表示从x
enc
选择出前k个similarity权重高的的示例。
[0066]
(2)通过的预训练的分类器计算(1)得到的重要示例x
imp
是与病灶信息的关联度，分类器由病灶标注预训练的，主要用于判别输入的示例是否与病灶相关联。以上过程可以表示为：
[0067]sinstance
＝fc
instace
(x
imp
)，#(10)
[0068]
其中，fc
instace
表示预训练的分类器。该分类器的具体训练方式为：首先，单独进行(一)得到的每一个示例编码x
enc(i)
∈x
enc
；随后，使用该分类器预测每一个示例编码是否含有病灶预测值；最后，通过交叉熵损失函数计算每一个示例预测值与病灶标注值的损失。
[0069]
(五)损失函数构建
[0070]
损失函数共包含包分类损失l
bag
和关联度损失lc两部分，其具体步骤如下：
[0071]
(1)采用交叉熵损失函数构建包分类损失l
bag
，用于衡量模型对ct类别的预测值与ct类别真实值的距离。
[0072]
(2)构建关联度损失，衡量模型学习内容是否与病灶相关程度。构建关联度损失公式如下：
[0073][0074]
(3)最终的损失函数形式如下：
[0075]
l＝l
bag
+0.2
×
lc#(12)
[0076]
本发明结果以及与其他图像分类方法的比较结果如表1所示，主要比较了分类性能，具体包含准确度、特异度、敏感度和auc分数。其中准确度表示分类正确的样本数占样本总数的比率；特异度表示所有肺结核样本的分类正确率；敏感度表示所有非结核分枝杆菌肺病样本的分类正确率；auc为最主要的衡量指标，表示随机给定任一样本，算法分类正确的概率。本发明在非结核分枝杆菌肺病与肺结核ct图像分类任务中准确度达到了0.83，敏感度达到了0.76，auc分数达到了0.84。本发明的准确度、敏感度、auc分数指标均优于其它方法，特别是在衡量分类器性能主指标的auc分数上较其他方法有明显提升，充分证明了本发明的有效性。
[0077]
表1本发明与其他图像分类方法的对比结果
[0078]
模型提出年份准确度特异度敏感度auccotnet20210.750.830.560.74botnet20210.760.830.600.77resnet1820160.720.790.560.73vit20200.740.940.260.74proposed-0.830.860.760.84

技术特征：
1.一种非结核分枝杆菌肺病与肺结核ct影像分类方法，其特征在于，包括以下步骤：步骤s1，通过神经网络对非结核分枝杆菌肺病与肺结核ct图像进行特征提取，然后将提取后特征图沿长、宽、高划分的每一特征像素视为示例，每个示例表示图像特定区域内的特征信息；步骤s2，计算步骤s1)得到的各个示例与分类任务的相关性权重，并通过相关性权重加权聚合为包特征表示，用以表示ct图像的特征；步骤s3，通过分类器将步骤s2)得到的包特征表示预测为ct图像的类别；步骤s4，根据步骤s2)得到示例相关性权重选出权重值高的示例，并通过分类器进行评估，表示网络的学习内容与期望内容的关联度；步骤s5，构建损失函数，损失函数包含包分类损失和关联度损失，包分类损失表示ct预测值与真实值的差异，关联度损失表示模型学习内容与期望内容的差异。2.根据权利要求1所述的一种非结核分枝杆菌肺病与肺结核ct影像分类方法，其特征在于，步骤s1)的具体步骤如下:步骤s11,训练集中的数据依次流经网络中每一个卷积模块，输入图像先进入改进的resnet编码器提取特征；步骤s12，将步骤s11)的特征送入局部-全局特征提取模块lge以提取特征图，其实现过程可见图2；步骤s13,将步骤s12)所得特征图，沿长、宽、高的每一个特征像素划分为示例。3.根据权利要求2所述的一种非结核分枝杆菌肺病与肺结核ct影像分类方法，其特征在于，所述改进的resnet编码器由resnet18去掉第四阶段，并将前三阶段基本块堆叠层数调整成3、3、3层。4.根据权利要求1所述的一种非结核分枝杆菌肺病与肺结核ct影像分类方法，其特征在于，步骤s2)使用了基于注意力机制的特征聚合模块fa。5.根据权利要求1所述的一种非结核分枝杆菌肺病与肺结核ct影像分类方法，其特征在于，步骤s4)用于评估网络的学习内容与期望内容的关联度的分类器是由病灶标注预训练并固定参数的。

技术总结
本发明公开了一种非结核分枝杆菌肺病与肺结核CT影像分类方法，主要包括以下步骤：通过编码器提取图像特征图并将图像特征图被划分为多个示例，每个示例表示图像一定区域内的特征信息；计算示例与分类任务的相关性权重，根据权重将示例聚合为包特征表示，以表达CT图像的特征；通过分类器将包特征表示预测为CT图像类别；根据相关性权重选出重要示例，并进行通过分类器进行评估，表示网络的学习内容与期望内容的关联度；构建损失函数，包含包分类损失和关联度损失，分别表示CT预测值与真实值的差异和模型学习内容与期望内容的差异。该方法能够实现对非结核分枝杆菌肺病与肺结核CT影像的二分类，优于现有方法的分类准确度。优于现有方法的分类准确度。优于现有方法的分类准确度。


技术研发人员：万亮 马昊东 邢志珩 田云彤
受保护的技术使用者：天津大学
技术研发日：2023.05.22
技术公布日：2023/8/13