基于混合高阶非对称卷积网络的CD严重程度分级系统

基于混合高阶非对称卷积网络的cd严重程度分级系统
技术领域
1.本发明涉及智能医疗技术领域，尤其涉及基于混合高阶非对称卷积网络的cd严重程度分级系统。


背景技术：

2.cd，即crohn’s disease的简称，表示克罗恩病。临床上针对cd内镜图像严重程度评估的常用量表有cdeis和ses-cd，鉴于cd病变呈节段性的特点，这些评分细则里面包含了肠段位置信息或肠段狭窄数目，这对回顾性研究的数据标注是非常不友好的。通常情况下，cd诱发的炎症、溃疡是透壁性的，内镜成像只能提供肠腔内的肠粘膜信息，而ct成像可提供肠壁信息。因此，ct小肠造影成像(computed-tomography enterography，cte)在cd的诊断与评价中发挥着越来越重要的作用。cte图像对肠壁特征呈现更全面，有助于深度学习模型捕捉更多的特征，若基于cte图像探索cd的严重程度分级，会带来更好的分级效果。随着人工智能的高速发展，已出现了很多现有的成熟分类网络结构，如vgg19、resnet50、densenet121、googlenet等经典网络，但是这些经典网络缺少基于cte图像特征的设计，利用这些经典网络基于cte图像进行cd严重程度分级时，准确率等性能指标还有待提升。


技术实现要素：

3.本发明旨在至少解决现有技术中存在的技术问题，提供基于混合高阶非对称卷积网络的cd严重程度分级系统。
4.为了实现本发明的上述目的，本发明提供了基于混合高阶非对称卷积网络的cd严重程度分级系统，包括：输入模块，用于获取待分级ct图像；预处理模块，对待分级ct图像进行预处理获得待分级肠壁图像；分级模块，将待分级肠壁图像输入训练好的分级模型，分级模型输出分级结果，所述分级结果为cd严重程度等级；输出模块，输出分级结果；所述分级模型包括串行连接的非对称卷积模块和混合高阶模块，所述混合高阶模块的阶数大于等于2。
5.本发明基于ct图像中肠壁图像的图像特点构建了对应的分级模型，该分级模型采用非对称卷积网络尽可能多的捕获横向或纵向的肠壁有效信息，同时有助于建模长距离关系，利用混合高阶模块捕获不同阶信息并进行融合，这样能够提高分级模型准确率、真实性等性能指标，进而提升cd严重程度分级的准确性和应用价值。
附图说明
6.图1是本发明一种优选实施方式中基于混合高阶非对称卷积网络的cd严重程度分级系统的系统框图；
7.图2是本发明一种优选实施方式中ct图像中肠壁图像提取与勾画示意图；
8.图3是本发明一种优选实施方式中肠壁图像放大前后的效果图；
9.图4是本发明一种优选实施方式中分级模型的网络结构示意图；
10.图5是本发明一种优选实施方式中非对称卷积模块结构示意图；
11.图6是本发明一种优选实施方式中混合三阶模块的结构示意图；
12.图7是本发明一种优选实施方式中生成对抗网络结构示意图；
13.图8是本发明混合高阶阶数与分级模型性能关系示意图；
14.图9是本发明数据增广实验效果图；
15.图10是本发明分级模型压力测试效果图。
具体实施方式
16.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
17.在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
18.在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
19.本发明公开了一种基于混合高阶非对称卷积网络的cd严重程度分级系统，在一种优选实施方式中，该分级系统如图1所示，包括：
20.输入模块，用于获取待分级ct图像。输入模块优选但不限于为数据接口，用于从存储有ct图像的存储介质中读取待分级ct图像或者用于从ct设备的主机读取患者的ct图像。
21.预处理模块，对待分级ct图像进行预处理获得待分级肠壁图像。考虑到腹腔内器官较多、情况复杂，而cd的cte征象主要集中在肠壁部分，若以原始ct图像作为输入，在数据量较少的条件下，对基于深度学习的分级模型的特征提取是非常不利的，故本技术仅将肠壁部分作为分级模型的神经网络的输入，因此预处理的过程包括从待分级ct图像中提取出肠壁图像。优选地，预处理模块包括肠壁勾画单元和提取单元，肠壁勾画单元可为电脑主机装载的labelme软件单元，提取单元用于在肠壁勾画单元勾画出肠壁内圈和外圈后通过掩膜提取肠壁部分图像。如图2所示，左起第一张图为原始ct图像，左起第二张图为在ct图像中勾画出肠壁部分，分别勾画出肠壁的外圈与内圈，具体的可使用labelme软件勾画出肠壁部分，左起第三张图为通过现有的算法生成掩膜码获得的肠壁部分图像，即肠壁图像。
22.从图2可知，勾画出的肠壁部分在一张图像中只占很小一部分，在输入分级模型时，直接裁剪成输入预设图像大小(如224
×
224)会存在大量黑色0像素值无效信息，对分级模型的准确率和真实性等性能指标存在影响，为解决这个问题，进一步优选地，对提取出的肠壁图像进行放大处理获得待分级肠壁图像，即裁剪肠壁部分后将图像放大到预设图像大小以减少无效信息，图3展示了肠壁图像放大前后的效果示意图，左起第一张图为肠壁部分放大前的图像，左起第二张图为肠壁部分放大后的图像。
23.分级模块，将待分级肠壁图像输入训练好的分级模型，分级模型输出分级结果，分级结果为cd严重程度等级；分级模型包括串行连接的非对称卷积模块和混合高阶模块，混合高阶模块的阶数大于等于2。
24.输出模块，输出分级结果。输出模块优选但不限于为显示器或数据输出接口。
25.在本实施方式中，优选地，如图4所示，分级模型包括依次连接的第一卷积归一化层conv k7s 2p3+bn 1、第一最大池化层maxpool k3s21、第二卷积归一化层conv k1s1+bn2、第三卷积归一化层conv k3s1p1+bn3、第二最大池化层maxpool k3s22、第一非对称卷积模块acm(a)、第二非对称卷积模块acm(b)、第三最大池化层maxpool k3s23、第三非对称卷积模块acm(c)、混合高阶模块h2om、第四非对称卷积模块acm(d)、第五非对称卷积模块acm(e)、第四最大池化层maxpool k2s2 4、第六非对称卷积模块acm(f)、第七非对称卷积模块acm(g)、平均池化层adaptive avgpool、dropout层和线性层linear。卷积归一化层为卷积层加批量归一化层。由于输入分级模型神经网络的图像数据只包含肠壁部分，几何形态上多呈现“圆环状”，相比于经典对称卷积，非对称卷积将尽可能多的捕获横向或纵向的有效信息，同时有助于建模长距离关系，因此在分级模型的网络结构中通过非对称卷积模块(asymmetric convolution module，acm)实现对肠壁特征的捕获，利用混合高阶模块(hybrid high order module，h2om)提取高阶信息。
26.在本实施方式中，在如图4所示的分级模型中，在非对称卷积模块之前设置多层卷积，用具有更大感受野的7
×
7卷积进行图像信息初步提取，以最大可能保留图像的原始信息，避免提取过于局部的特征。多层卷积与最大池化相配合实现下采样过程，使进入非对称卷积模块中的特征图尺寸不至于过大，进而可采用更多的通道，实现特征提取的多样性。
27.在本实施方式中，在如图4所示的分级模型中，针对肠壁图像特点，将非对称卷积模块acm与混合高阶模块h2om串联，以非对称卷积模块acm契合肠壁“圆环状”几何形态特点，尽可能多地提取相似信息，以混合高阶模块h2om表征高阶信息，捕获类间细微差异。混合高阶模块h2om位于第三非对称卷积模块acm(c)之后，有利于对中层次抽象特征实现高阶表征，通过之后的4个第三非对称卷积模块提取更高层次的特征，并对高阶信息实现深层次建模。在分级模型中，使用7级非对称卷积模块在保证特征提取丰富性的同时，也避免过多参数带来过大的计算量，进而避免对任务的过拟合。
28.在本实施方式中，在如图4所示的分级模型中，在多级串联的非对称卷积模块中串联接入第三最大池化层和第四最大池化层使得在抽象特征提取过程中加入浓缩信息，避免网络因过于依赖细节特征而产生识别偏差。
29.在本实施方式中，优选地，如图5所示，非对称卷积模块包括输入单元input和连接单元concat，以及连接输入单元input和连接单元concat的并联的四路分支；其中，第一分支包括依次连接的第一分支卷积conv k1s1和第一bn-激活层batchnorm+relu1；第二分支包括依次连接的第一非对称卷积层conv k(3
×
1)slp(1，0)、第二bn-激活层batchnorm+relu2、第二非对称卷积层conv k(7
×
3)slp(3，1)和第三bn一激活层batchnorm+relu3；第三分支包括依次连接的第三非对称卷积层conv k(1
×
3)slp(0，1)、第四bn一激活层batchnorm+relu4、第四非对称卷积层conv k(3
×
7)slp(1，3)和第五bn-激活层batchnorm+relu5；第四分支包括依次连接的最大池化层maxpool k3s1p1、卷积层conv k1s1和第六bn一激活层batchnorm+relu6。acm由四个分支组成，其中，第二分支和第三分支为非对称卷积
分支，第一非对称卷积层conv k(3
×
1)slp(1，0)的卷积核大小为3
×
1，第二非对称卷积层conv k(7
×
3)slp(3，1)的卷积核大小为7
×
3，第三非对称卷积层conv k(1
×
3)slp(0，1)的卷积核大小为1
×
3，第四非对称卷积层conv k(3
×
7)slp(1，3)的卷积核大小为3
×
7。acm分别在横向上采用1
×
3和3
×
7卷积，在纵向上采用3
×
1和7
×
3卷积。另两个分支利用1
×
1卷积实现通道降维，其中一个分支添加最大池化进行信息浓缩。
30.在本实施方式中，设非对称卷积模块acm的输入和输出特征映射分别为知c
in
和c
out
分别表示acm输入和输出特征映射的维度，在图5中，第一分支的输出维度为c
conv
；两个非对称卷积分支的隐藏维度为c
hid
，输出维度为c
asy
；第四分支的输出维度为c
maxc
，经不同分支的特征提取后特征图在通道维度上进行concat拼接得到c
out
＝c
conv
+c
maxc
+2c
asy
。
31.在本实施方式中，分级模型(h2o-acn)中acm各通道的详细设置见表1。
32.表1 h2o-acn的特征映射细节
[0033][0034]
在本实施方式中，为建模二阶以上高阶信息的交互作用，定义一个关于x的线性多项式预测符a(x)，为输入h2om的特征映射在空间位置(m，n)处的一维张量。
[0035][0036]
其中，《
·
，
·
》为两个相同尺寸张量的内积，为x的r阶张量积，其包含了x的所有r阶单项，wr为需要学习的r阶张量，包含x中r次变量组合的权重，r为阶数。当r较大时，wr会引入过多的参数，引起过拟合问题，设r＞1时，wr可通过张量分解由dr维的秩-1张量来近似，表示如下：
[0037][0038]
其中，为中间向量，为外积，α
r，d
为第d个秩-1张量的权重。此时，式(1)可表示为：
[0039][0040]
其中，为权重向量，为权重向量，设1
t
为全1行向量，
⊙
为哈达玛积，式(3)可以简化成(4)，引入辅助矩阵pr以获得的向量，如式(5)所示。
[0041][0042][0043]
其中，r＞1时，由于pr，w1和αr均为可学习参数，可通过矩阵代数将{p1，w1}合并到一个新的矩阵中，{pr，wr}合并为此时，式(5)可表示为式(6)，设可用两个矩阵的乘法近似，即式(6)可简化为更一般的式(7)形式。
[0044][0045][0046]
a(x)可以建模和使用的高阶统计量，利用relu函数引入非线性关系，并通过sigmoid函数实现高阶映射，得到表示如下：
[0047][0048]
a(x)定义在空间局部一维张量上，在三维空间推广式(8)，使在不同空间位置上权值共享，即a(χ)＝{a(x
(1，1)
)，
…
，a(x
(h，w)
)}。在h20m的构建中，当r＝1时，知分别由输出通道为dr和c的1
×
1卷积实现，当r＞1且r＞1时，同样用1
×
1卷积完成，为一系列输出通道为dr的1
×
1卷积，其生成一系列特征映射生成的通过元素级相乘结合得到
[0049]
在一种优选实施方式中，混合高阶模块的阶数为3，阶数为3时分级模型的性能达到最优。
[0050]
在本实施方式中，优选地，如图6所示，混合高阶模块的阶数为3时，混合高阶模块包括：
[0051]
一阶支路，执行：对混合高阶模块的输入特征映射进行1
×
1卷积处理获得第一特征映射，对第一特征映射进行relu激活函数处理和1
×
1卷积处理获得第二特征映射，对第二特征映射进行sigmoid函数处理获得一阶支路特征映射；
[0052]
二阶支路，执行：利用两个1
×
1卷积分别对混合高阶模块的输入特征映射进行卷积处理获得第一二阶卷积结果和第二二阶卷积结果，将第一二阶卷积结果和第二二阶卷积结果进行元素级相乘获得第三特征映射，对第三特征映射进行relu激活函数处理和1
×
1卷积处理获得第四特征映射，对第四特征映射进行sigmoid函数处理获得二阶支路特征映射；
[0053]
三阶支路，执行：利用三个1
×
1卷积分别对混合高阶模块的输入特征映射进行卷积处理获得第一三阶卷积结果、第二三阶卷积结果和第三三阶卷积结果，将第一三阶卷积结果、第二三阶卷积结果和第三三阶卷积结果进行元素级相乘获得第五特征映射，对第五特征映射进行relu激活函数处理和1
×
1卷积处理获得第六特征映射，对第六特征映射进行sigmoid函数处理获得三阶支路特征映射；
[0054]
一阶跳线，将混合高阶模块的输入特征映射输送至一阶通道融合单元；
[0055]
一阶通道融合单元，执行：将一阶支路特征映射和混合高阶模块的输入特征映射进行元素级相乘获得一阶通道特征映射；
[0056]
二阶跳线，将混合高阶模块的输入特征映射输送至二阶通道融合单元；
[0057]
二阶通道融合单元，执行：将一阶支路特征映射和二阶支路特征映射进行元素级相加融合获得第七特征映射，对第七特征映射进行sigmoid函数处理获得第八特征映射，将第八特征映射和混合高阶模块的输入特征映射进行元素级相乘获得二阶通道特征映射；
[0058]
三阶跳线，将混合高阶模块的输入特征映射输送至三阶通道融合单元；
[0059]
三阶通道融合单元，执行：将一阶支路特征映射、二阶支路特征映射和三阶支路特征映射进行元素级相加融合获得第九特征映射，对第九特征映射进行sigmoid函数处理获得第十特征映射，将第十特征映射和混合高阶模块的输入特征映射进行元素级相乘获得三阶通道特征映射；
[0060]
总融合单元，将一阶通道特征映射、二阶通道特征映射和三阶通道特征映射进行元素级相加融合获得混合高阶模块的输出特征映射。
[0061]
上述混合三阶模块结构获取的高阶信息a(χ)通过简单的1
×
1卷积实现，极大地减少了预算量，加快执行速度；上述结构中不同空间位置权值共享避免了大量参数的产生，不同阶信息之间通过元素级相加融合。h2om的输入输出特征映射大小不发生变化，考虑到捕获的高阶信息仍需进一步建模，故h2om在分级模h2o-acn整体的中间位置。优选地，输入h2om的特征映射通道c为512，设置dr为128。
[0062]
在本实施方式中，优选地，还包括用于增强分级模型训练样本图像集的数据增强模块，数据增强模块对原始样本图像进行随机水平翻转和随机垂直翻转获得新的样本图像，执行概率均设置为0.3。通过数据增强，增加样本的多样性，使训练出来的分级模型具有更好的鲁棒性。
[0063]
在本实施方式中，为弥补收集的样本数量不足导致的每个cd严重程度等级包含的特征信息不足的问题，以便使训练集包含的总体特征信息在实质上有很大改变，避免造成
分级模型的过拟合。优选地，分级系统还包括用于扩增分级模型训练样本图像的生成对抗网络模块，生成对抗网络模块包括：生成器，用于从随机噪声生成模拟肠壁图像；鉴别器，用于学习鉴别样本图像集中的真实肠壁图像与生成器生成的模拟肠壁图像。在生长对抗网络模块训练过程中，生成器不断从随机噪声生成模拟的图像，而鉴别器学习鉴别样本集中的真实图像与生成器生成的模拟图像，直到鉴别器无法区分真模拟图像，此时生长对抗网络模块训练完成。
[0064]
在本实施方式中，进一步优选地，如图7所示，生成器由多层转置卷积串行组成，生成器的最后一层转置卷积采用tanh激活函数，生成器中除最后一层之外的其余层转置卷积采用batchnorm和relu激活函数；鉴别器由多层卷积串行组成，第一层卷积采用leakyrelu激活函数，最后一层卷积没有激活函数，鉴别器中除第一层和最后一层之外的其余层卷积采用batchnorm和relu激活函数。在一种优选实施方式中，提供了分级模型的训练方法，该方法包括：
[0065]
步骤1，构建样本集，收集多个cd患者横断面ct小肠造影图像，简称cte图像，对每个cte图像进行预处理获得放大后的肠壁图像，将该肠壁图像作为样本。
[0066]
步骤2，建立cte评分细则，专家根据评分细则对每个样本图像进行打分，根据样本图像总评分进行cd严重程度等级标注。
[0067]
尽管cte常用于评估cd的活动性与严重程度，并呈现出与内镜检查和活检具有中度相关性，但目前临床上缺乏cte评分系统。cd病变与小肠炎症相关的cte图像表现包括肠壁增厚、粘膜增厚、壁层分化、直肠血管充血或扩张扭曲，也称为梳状征。本技术利用这些ct征象来评判cd严重程度等级。表2展示了详细的评分细则，其包括肠壁厚度、强化方式、强化程度和有无梳状症四个方面。强化程度越高，其灰度值越高，均一强化表现为透壁性强化，黏膜明显强化表现为肠壁黏膜层灰度值明显改变，而分层强化表现为肠壁分层改变，黏膜内环和浆膜外环明显强化，呈现靶征或双晕征。对每项细则按患者的严重程度进行打分，最终将每项的评分相加得到总评分。当无单个评分≥1时，为临床缓解，当总评分为1-3分时为轻度活动；4-6分为中度活动；7-10分为重度活动，即cd严重程度等级包括临床缓解、轻度活动、中度活动和重度活动，分别表示为cte 0、cte 1、cte 2和cte 3。专家基于评分细则对样本图像进行评分，根据总评分高低获得对应的cd严重程度等级，将获得的cd严重程度等级与样本图像关联完成图像标注。在样本集数量较少的情况下，也可以合并cd严重程度等级，如将cte0和cte1合并为轻度，cte2和cte3合并为中重度，利用分级模型进行2分类。
[0068]
表2 cd活动性的cte等级评分
[0069][0070]
步骤3，实际标注完成后，整个数据集中cte0、cte1、cte2和cte3的图像数目分别为304、194、213和214张。由于图像数目较少，实现cd严重程度4级分类比较困难，将cte0和cte1合并为轻度，cte2和cte3合并为中重度，进行2分类研究。合并后轻度类有498张图像，中重度类427张图像。优选地，还包括样本增强步骤，对原始样本图像进行随机水平翻转和
随机垂直翻转获得新的样本图像；利用生成对抗网络模块生成新的样本图像。
[0071]
步骤4，在样本集中随机划分训练集与测试集。训练集包含657张图像，其中轻度和中重度分别有364和293张，而测试集包含268张图像，其中轻度和中重度各有134张。
[0072]
步骤5，利用训练集对分级模型进行训练，利用测试集对训练后的分级模型进行验证和测试，调节分级模型参数完成分级模型训练。在模型训练过程中，采用交叉熵损失函数和sgd优化器并设置weight-decay为1
×
10，momentum为0.9。batch size设置为32，初始学习率设置为0.01，采用指数衰减下降策略调整学习率，即：lr＝0.01
×
e-epoch/5
，一共训练30个epoch。
[0073]
下面是本技术的部分模块功能和分级模型整体性能的实验验证结果。
[0074]
实验一预处理模块中肠壁图像放大有益效果验证实验
[0075]
为验证肠壁放大的有效性，并评估不同模型在cd严重程度二分类分级任务中的性能，选择vgg系列网络、resnet系列网络、densenet121以及googlenet对所有数据进行五折交叉验证，实验结果如表3所示，其中s和l分别表示采用原始图像和放大后的图像。
[0076]
表3所有数椐交叉验证实验结果
[0077][0078][0079]
由表3的实验结果可知，采用放大后的图像对大多数模型的性能有一定的提升，而这种现象在vgg网络中并不明显，在使用原图时，vgg表现的性能与resnet相当，但在使用放大图像时，resnet的性能明显优于vgg，这暗示vgg网络对于细微信息的捕获能力可能相对差一些。在resnet系列网络对比中，resnet101也没有展现出深度上的优势，鉴于任务简单且数据量较少，过多的网络参数可能会带来过拟合问题。
[0080]
实验二混合高阶模块h2om中阶数效果验证
[0081]
h2om中的混合高阶阶数是一个值得探索的超参数，混合阶数越高，h2om构建越复杂，高阶信息越多，可能存在过拟合问题，以及信息的冗杂可能给分级模型的特征捕获带去一定的偏差，影响分级模型性能；混合阶数较低又不能有效提取出肠壁图像的特征，降低分级模型分级的准确性；因此，混合高阶的阶数如何选择十分重要。
[0082]
本实验设置了1-6阶，图8展示了运用不同混合阶数时，h2o-acn模型(本技术分级
模型)对所有数据五折交叉验证的auc与acc变化情况，其中阶数为0表示不采用h2om，此时，模型的acc为84.97％(95％ci：82.53-87.13)，auc为0.908(95％ci：0.887-0.928)，随着混合高阶阶数的增加，在3阶时h2o-acn性能达到最高，acc为85.41％(95％ci：82.98-87.53)，auc为0.916(95％ci：0.898-0.934)，而大于3阶之后，模型性能开始下降，因此，混合高阶阶数设置为3。
[0083]
实验三模型对比实验
[0084]
为验证h2o-acn的有效性，选择现有分类模型网络结构中表现较好的vgg19、resnet50、densenet121、googlenet以及vit-s等模型进行对比，五折交叉验证结果如表4所示，h2o-can(本技术分级模型)在各个评价指标上均取得了显著优势。
[0085]
表4不同模型交叉验证结果对比
[0086][0087]
实验四数据增广实验
[0088]
为探索基于生成对抗的数据增广方法的有效性，实验设置以40张为步长，向训练集中添加gan生成的图像，因训练集中两个类别的图像分别有364和293张，故最多每个类添加320张，此时真实图像仅占一半。选择在交叉验证中性能较好的resnet50、densenet121、googlenet以及本技术所提出的h2o-acn进行数据增广实验，生成图像添加数目与模型在测试集的auc变化曲线如图9所示。从图9分析实验结果可知，基于gan的数据增广方式在googlenet和h2o-acn上具有一定的有效性，但却给resnet50和densenet121造成了不利影响。
[0089]
实验五分级模型压力测试实验
[0090]
对h2o-acn模型进行了压力测试，由于对灰度图像来说，饱和度没有意义，故压力测试只包含了亮度和对比度，压力测试结果如图10所示，h2o-acn具有一定的抗压能力。总体而言，根据曲线变化趋势可知，亮度与对比度对模型的影响基本相似，在保证模型的auc能达到0.8以上时，亮度的变化度在0.6-1.6之间，而对比度的变化度在0.5-1.7之间。
[0091]
本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0092]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

技术特征：
1.基于混合高阶非对称卷积网络的cd严重程度分级系统，其特征在于，包括：输入模块，用于获取待分级ct图像；预处理模块，对待分级ct图像进行预处理获得待分级肠壁图像；分级模块，将待分级肠壁图像输入训练好的分级模型，分级模型输出分级结果，所述分级结果为cd严重程度等级；输出模块，输出分级结果；所述分级模型包括串行连接的非对称卷积模块和混合高阶模块，所述混合高阶模块的阶数大于等于2。2.如权利要求1所述的基于混合高阶非对称卷积网络的cd严重程度分级系统，其特征在于，所述分级模型包括依次连接的第一卷积归一化层、第一最大池化层、第二卷积归一化层、第三卷积归一化层、第二最大池化层、第一非对称卷积模块、第二非对称卷积模块、第三最大池化层、第三非对称卷积模块、混合高阶模块、第四非对称卷积模块、第五非对称卷积模块、第四最大池化层、第六非对称卷积模块、第七非对称卷积模块、平均池化层、dropout层和线性层。3.如权利要求2所述的基于混合高阶非对称卷积网络的cd严重程度分级系统，其特征在于，所述非对称卷积模块包括输入单元和连接单元，以及连接输入单元和连接单元的并联的四路分支；其中，第一分支包括依次连接的第一分支卷积和第一bn-激活层；第二分支包括依次连接的第一非对称卷积层、第二bn-激活层、第二非对称卷积层和第三bn-激活层；第三分支包括依次连接的第三非对称卷积层、第四bn-激活层、第四非对称卷积层和第五bn-激活层；第四分支包括依次连接的最大池化层、卷积层和第六bn-激活层。4.如权利要求3所述的基于混合高阶非对称卷积网络的cd严重程度分级系统，其特征在于，第一非对称卷积层的卷积核大小为3
×
1，第二非对称卷积层的卷积核大小为7
×
3，第三非对称卷积层的卷积核大小为1
×
3，第四非对称卷积层的卷积核大小为3
×
7。5.如权利要求1-4之一所述的基于混合高阶非对称卷积网络的cd严重程度分级系统，其特征在于，所述混合高阶模块的阶数为3。6.如权利要求5所述的基于混合高阶非对称卷积网络的cd严重程度分级系统，其特征在于，所述混合高阶模块包括：一阶支路，所述一阶支路执行：对混合高阶模块的输入特征映射进行1
×
1卷积处理获得第一特征映射，对第一特征映射进行relu激活函数处理和1
×
1卷积处理获得第二特征映射，对第二特征映射进行sigmoid函数处理获得一阶支路特征映射；二阶支路，所述二阶支路执行：利用两个1
×
1卷积分别对混合高阶模块的输入特征映射进行卷积处理获得第一二阶卷积结果和第二二阶卷积结果，将第一二阶卷积结果和第二二阶卷积结果进行元素级相乘获得第三特征映射，对第三特征映射进行relu激活函数处理和1
×
1卷积处理获得第四特征映射，对第四特征映射进行sigmoid函数处理获得二阶支路特征映射；三阶支路，所述三阶支路执行：利用三个1
×
1卷积分别对混合高阶模块的输入特征映射进行卷积处理获得第一三阶卷积结果、第二三阶卷积结果和第三三阶卷积结果，将第一三阶卷积结果、第二三阶卷积结果和第三三阶卷积结果进行元素级相乘获得第五特征映
射，对第五特征映射进行relu激活函数处理和1
×
1卷积处理获得第六特征映射，对第六特征映射进行sigmoid函数处理获得三阶支路特征映射；一阶跳线，将混合高阶模块的输入特征映射输送至一阶通道融合单元；一阶通道融合单元，所述一阶通道融合单元执行：将一阶支路特征映射和混合高阶模块的输入特征映射进行元素级相乘获得一阶通道特征映射；二阶跳线，将混合高阶模块的输入特征映射输送至二阶通道融合单元；二阶通道融合单元，所述二阶通道融合单元执行：将一阶支路特征映射和二阶支路特征映射进行元素级相加融合获得第七特征映射，对第七特征映射进行sigmoid函数处理获得第八特征映射，将第八特征映射和混合高阶模块的输入特征映射进行元素级相乘获得二阶通道特征映射；三阶跳线，将混合高阶模块的输入特征映射输送至三阶通道融合单元；三阶通道融合单元，所述三阶通道融合单元执行：将一阶支路特征映射、二阶支路特征映射和三阶支路特征映射进行元素级相加融合获得第九特征映射，对第九特征映射进行sigmoid函数处理获得第十特征映射，将第十特征映射和混合高阶模块的输入特征映射进行元素级相乘获得三阶通道特征映射；总融合单元，将一阶通道特征映射、二阶通道特征映射和三阶通道特征映射进行元素级相加融合获得混合高阶模块的输出特征映射。7.如权利要求1或2或3或4或6所述的基于混合高阶非对称卷积网络的cd严重程度分级系统，其特征在于，所述预处理的过程包括：从待分级ct图像中提取出肠壁图像，对提取出的肠壁图像进行放大处理获得待分级肠壁图像。8.如权利要求1或2或3或4或6所述的基于混合高阶非对称卷积网络的cd严重程度分级系统，其特征在于，还包括用于扩增分级模型训练样本图像的生成对抗网络模块，所述生成对抗网络模块包括：生成器，用于从随机噪声生成模拟肠壁图像；鉴别器，用于学习鉴别训练样本集中的真实肠壁图像与生成器生成的模拟肠壁图像。9.如权利要求8所述的基于混合高阶非对称卷积网络的cd严重程度分级系统，其特征在于，所述生成器由多层转置卷积串行组成，生成器的最后一层转置卷积采用tanh激活函数，生成器中除最后一层之外的其余层转置卷积采用batchnorm和relu激活函数；所述鉴别器由多层卷积串行组成，第一层卷积采用leakyrelu激活函数，最后一层卷积没有激活函数，鉴别器中除第一层和最后一层之外的其余层卷积采用batchnorm和relu激活函数。10.如权利要求8所述的基于混合高阶非对称卷积网络的cd严重程度分级系统，其特征在于，还包括用于增强分级模型的训练样本集的数据增强模块，所述数据增强模块对原始样本图像进行随机水平翻转和随机垂直翻转获得新的样本图像。

技术总结
本发明提供了基于混合高阶非对称卷积网络的CD严重程度分级系统，包括：输入模块，用于获取待分级CT图像；预处理模块，对待分级CT图像进行预处理获得待分级肠壁图像；分级模块，将待分级肠壁图像输入训练好的分级模型，分级模型输出分级结果，分级结果为CD严重程度等级；输出模块，输出分级结果；分级模型包括串行连接的非对称卷积模块和混合高阶模块，混合高阶模块的阶数大于等于2。分级模型采用非对称卷积网络尽可能多的捕获横向或纵向的有效信息，同时有助于建模长距离关系，利用混合高阶模块捕获不同阶信息并进行融合，这样能够提高分级模型准确率、真实性等性能指标，进而提升CD严重程度分级的准确性和应用价值。CD严重程度分级的准确性和应用价值。CD严重程度分级的准确性和应用价值。


技术研发人员：戚婧 魏艳玲 粘永健
受保护的技术使用者：中国人民解放军陆军军医大学
技术研发日：2023.04.10
技术公布日：2023/7/7