基于深度学习和影像组学的分层分类方法及系统

1.本发明涉及磁共振医学影像的技术领域，具体地，涉及基于深度学习和影像组学的分层分类方法及系统。


背景技术：

2.在基于磁共振医学影像的疾病分类的研究中，大部分都使用某一种深度学习或影像组学方法、基于手动或自动分割的感兴趣区域，进行疾病的单次分类，不涉及分层分类。而事实上，某些感兴趣区域，可能涉及多种疾病；这些相关疾病的鉴别涉及到不同层次和范畴的特征，例如某些疾病可能涉及目标结构及其周围区域的信号、纹理、位置等特征的改变，而另外一些疾病则不存在临床影像上肉眼可见的前述特征异常、而是可能存在与微观形态学特征相关的微结构异常。在这些情况下，不宜使用传统多分类方法和流程，而应该针对不同层级使用不同的鉴别方法，即本专利提出的分层分类方法及系统。
3.文献a novel cascade machine learning pipeline for alzheimer’s disease identification and prediction中，首先使用神经网络方法，进行海马结构的自动分割，并基于海马结构的感兴趣区域，使用影像组学方法，进行阿尔兹海默症和正常人的二分类。


技术实现要素：

4.针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习和影像组学的分层分类方法及系统。
5.根据本发明提供的一种基于深度学习和影像组学的分层分类方法，所述方法包括如下步骤：
6.步骤s1：数据收集及目标结构检测，生成目标结构区域的检测框；
7.步骤s2：从目标结构区域检测框内提取组学特征集f1，完成类别a与类别b的分类；
8.步骤s3：基于深度卷积神经网络的目标结构对类别a进行自动分割；
9.步骤s4：基于影像组学完成类别a的亚分类。
10.优选地，所述步骤s1：使用目标检测算法完成目标结构的检测，生成目标结构区域的检测框；目标检测模型包括但不限于yolo系列检测算法。
11.优选地，所述步骤s2包括如下步骤：
12.步骤s2.1：基于目标结构区域的检测框bb，使用影像组学方法从目标结构检测框内提取影像组学特征集f1；
13.步骤s2.2：使用特征筛选方法完成特征选择；
14.步骤s2.3：基于筛选后的特征集合，使用机器学习的方法完成目标结构区域的分类，分为类别a与类别b。
15.优选地，所述步骤s3：对目标结构区域为类别a的图像，使用基于深度学习方法的自动分割模型，进行目标结构的自动分割；所采用的医学图像真实标注，为步骤s1中目标结构的手动标注结果。
16.优选地，所述步骤s4包括如下步骤：
17.步骤s4.1：从目标结构的分割结果中，提取影像组学特征集f2；
18.步骤s4.2：将影像组学特征集f2与步骤s2中提取的目标区域的影像组学特征集f1合并，形成特征集f；
19.步骤s4.3：使用特征筛选方法完成特征选择；
20.步骤s4.4：基于筛选后的特征集合，使用机器学习的方法完成类别a的亚分类，分为a1，
…
，an。
21.本发明还提供一种基于深度学习和影像组学的分层分类系统，所述系统包括如下模块：
22.模块m1：数据收集及目标结构检测，生成目标结构区域的检测框；
23.模块m2：从目标结构区域检测框内提取组学特征集f1，完成类别a与类别b的分类；
24.模块m3：基于深度卷积神经网络的目标结构对类别a进行自动分割；
25.模块m4：基于影像组学完成类别a的亚分类。
26.优选地，所述模块m1：使用目标检测算法完成目标结构的检测，生成目标结构区域的检测框；目标检测模型包括但不限于yolo系列检测算法。
27.优选地，所述模块m2包括如下模块：
28.模块m2.1：基于目标结构区域的检测框bb，使用影像组学系统从目标结构检测框内提取影像组学特征集f1；
29.模块m2.2：使用特征筛选系统完成特征选择；
30.模块m2.3：基于筛选后的特征集合，使用机器学习的系统完成目标结构区域的分类，分为类别a与类别b。
31.优选地，所述模块m3：对目标结构区域为类别a的图像，使用基于深度学习系统的自动分割模型，进行目标结构的自动分割；所采用的医学图像真实标注，为模块m1中目标结构的手动标注结果。
32.优选地，所述模块m4包括如下模块：
33.模块m4.1：从目标结构的分割结果中，提取影像组学特征集f2；
34.模块m4.2：将影像组学特征集f2与模块m2中提取的目标区域的影像组学特征集f1合并，形成特征集f；
35.模块m4.3：使用特征筛选系统完成特征选择；
36.模块m4.4：基于筛选后的特征集合，使用机器学习的系统完成类别a的亚分类，分为a1，
…
，an。
37.与现有技术相比，本发明具有如下的有益效果：
38.本发明通过深度学习和机器学习的方法，构建了一套基于特定结构及其周围区域影像特征进行两个层级的自动分类的算法和系统，为与特定结构相关疾病的诊断流程提供了新思路，弥补了当前基于单个结构进行单次分类鉴别的方法的不足。
附图说明
39.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
40.图1为本发明分层分类疾病诊断方法流程图；
41.图2为本发明分层分类疾病诊断方法和系统使用流程图；
42.图3为本发明用于海马自动分割的网络示意图。
具体实施方式
43.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
44.实施例1：
45.根据本发明提供的一种基于深度学习和影像组学的分层分类方法，所述方法包括如下步骤：
46.步骤s1：数据收集及目标结构检测，生成目标结构区域的检测框；使用目标检测算法完成目标结构的检测，生成目标结构区域的检测框；目标检测模型包括但不限于yolo系列检测算法。
47.步骤s2：从目标结构区域检测框内提取组学特征集f1，完成类别a与类别b的分类；
48.步骤s2.1：基于目标结构区域的检测框bb，使用影像组学方法从目标结构检测框内提取影像组学特征集f1；
49.步骤s2.2：使用特征筛选方法完成特征选择；
50.步骤s2.3：基于筛选后的特征集合，使用机器学习的方法完成目标结构区域的分类，分为类别a与类别b。
51.步骤s3：基于深度卷积神经网络的目标结构对类别a进行自动分割；对目标结构区域为类别a的图像，使用基于深度学习方法的自动分割模型，进行目标结构的自动分割；所采用的医学图像真实标注，为步骤s1中目标结构的手动标注结果。
52.步骤s4：基于影像组学完成类别a的亚分类；
53.步骤s4.1：从目标结构的分割结果中，提取影像组学特征集f2；
54.步骤s4.2：将影像组学特征集f2与步骤s2中提取的目标区域的影像组学特征集f1合并，形成特征集f；
55.步骤s4.3：使用特征筛选方法完成特征选择；
56.步骤s4.4：基于筛选后的特征集合，使用机器学习的方法完成类别a的亚分类，分为a1，
…
，an。
57.本发明还提供一种基于深度学习和影像组学的分层分类系统，所述基于深度学习和影像组学的分层分类系统可以通过执行所述基于深度学习和影像组学的分层分类方法的流程步骤予以实现，即本领域技术人员可以将所述基于深度学习和影像组学的分层分类方法理解为所述基于深度学习和影像组学的分层分类系统的优选实施方式。
58.实施例2：
59.本发明还提供一种基于深度学习和影像组学的分层分类系统，所述系统包括如下模块：
60.模块m1：数据收集及目标结构检测，生成目标结构区域的检测框；使用目标检测算
法完成目标结构的检测，生成目标结构区域的检测框；目标检测模型包括但不限于yolo系列检测算法。
61.模块m2：从目标结构区域检测框内提取组学特征集f1，完成类别a与类别b的分类；
62.模块m2.1：基于目标结构区域的检测框bb，使用影像组学方法从目标结构检测框内提取影像组学特征集f1；
63.模块m2.2：使用特征筛选方法完成特征选择；
64.模块m2.3：基于筛选后的特征集合，使用机器学习的方法完成目标结构区域的分类，分为类别a与类别b。
65.模块m3：基于深度卷积神经网络的目标结构对类别a进行自动分割；对目标结构区域为类别a的图像，使用基于深度学习方法的自动分割模型，进行目标结构的自动分割；所采用的医学图像真实标注，为模块m1中目标结构的手动标注结果。
66.模块m4：基于影像组学完成类别a的亚分类；
67.模块m4.1：从目标结构的分割结果中，提取影像组学特征集f2；
68.模块m4.2：将影像组学特征集f2与模块m2中提取的目标区域的影像组学特征集f1合并，形成特征集f；
69.模块m4.3：使用特征筛选方法完成特征选择；
70.模块m4.4：基于筛选后的特征集合，使用机器学习的方法完成类别a的亚分类，分为a1，
…
，an。
71.实施例3：
72.本发明基于磁共振医学影像，使用深度学习和影像组学算法构建分层分类疾病诊断方法和系统，主要分为两个层级：(一)首先使用基于深度学习的目标检测算法生成目标结构区域的定位框；(二)在目标结构检测框中提取影像组学特征，使用机器学习方法对目标结构区域进行二分类：类别a与类别b；(三)针对类别a的目标结构区域，使用深度学习算法完成目标结构的分割；(四)提取类别a的目标结构的影像组学特征，将其与(一)中获得的影像组学特征合并后，使用机器学习方法完成类别a的亚分类a1,
…
,an。
73.本发明涵盖使用影像组学和深度学习的方法，基于磁共振医学影像，构建分层分类疾病诊断方法和系统。
74.具体操作过程如下：
75.s1.数据收集及目标结构检测
76.s1.1使用目标检测算法完成目标结构的检测，生成目标结构区域的检测框(bounding box,bb)；
77.可选的，目标检测模型包括但不限于yolo系列检测算法。所采用的医学图像真实标注，由专业的技术人员使用医学影像设备获取某一种或某几种模态的医学影像，并由有经验的医生完成目标结构的勾勒，并以之为中心，向周围扩展一定距离后，生成目标区域的真实定位框。
78.s2.从目标结构区域检测框内提取组学特征集f1，完成类别a与类别b的分类.
79.s2.1.基于目标结构区域的检测框bb，使用影像组学方法从目标结构检测框内提取影像组学特征集f1
80.s2.2.使用特征筛选方法(lasso、pca、pearson相关系数、互信息和最大信息系数
等)完成特征选择；
81.s2.3.基于筛选后的特征集合，使用机器学习(lr、svm、rf、gbt等)的方法完成目标结构区域的分类：类别a与类别b。
82.s3.基于深度卷积神经网络的目标结构自动分割
83.s3.1.对目标结构区域为类别a的图像，使用基于深度学习方法的自动分割模型(u-net系列、v-net系列算法等)，进行目标结构的自动分割。
84.所采用的医学图像真实标注，为s1中目标结构的手动标注结果。
85.s4.基于影像组学的类别a亚分类
86.s4.1.从目标结构的分割结果中，提取影像组学特征集f2；
87.s4.2.将其与s2步骤中提取的目标区域的影像组学特征集f1合并，形成特征集f；
88.s4.3.使用特征筛选方法(lasso、pca、pearson相关系数、互信息和最大信息系数等)完成特征选择；
89.s2.3.基于筛选后的特征集合，使用机器学习(lr、svm、rf、gbt等)的方法完成类别a的亚分类：a1,
…
,an。
90.本实施例基于脑部磁共振图像，目标结构为海马，目标类别a的海马无肉眼可见的明显异常，目标类别b的海马为有肉眼可见的明显异常。类别a的亚类包括：阿尔兹海默症(alzheimer's disease,ad)、其他疾病、健康。
91.将对阿尔兹海默症(alzheimer's disease,ad)亚型分类，所用的图像是由华山医院的磁共振设备采集的。整个方法和系统的使用流程图参见图2。
92.1.数据收集及目标结构检测
93.1.1由专业的技术人员操作磁共振设备完成磁共振图像的采集。
94.1.2使用目标检测算法完成海马区域预定位
95.1.2.1预处理。去除磁共振影像具有明显伪影(会对后续结果有显著影响)的被试。
96.1.2.2海马区域预定位。使用现有的经典目标检测网络yolox在磁共振图像(记为i)上完成海马区域的检测，生成检测框(bounding box,bb)，并将该检测框内的图像裁剪出来，记为ibb。
97.2.从目标结构区域检测框内提取组学特征集f1，完成类别a与类别b的分类.
98.2.1特征集合。基于海马区域的预定位，利用影像组学方法从海马区域检测框中提取影像组学特征，包括一阶统计学特征、纹理学特征，构成特征集合fbbp，并使用特征筛选方法(最大相关最小冗余方法和lasso回归)完成特征的筛选。
99.2.2异常信号筛查模型的构建。基于筛选后的特征集合，使用机器学习的方法，这里使用logistic回归的方法完成海马区域异常信号/无异常信号被试的分类。
100.3.基于深度卷积神经网络的目标结构自动分割
101.3.1数据准备。由具有临床经验的医师对海马轮廓进行勾画，作为金标准。将勾画后的数据按照8:2的比例分为训练集和测试集，用于评估分割结果的指标为dice系数。
102.3.2网络训练。实验采用3d denseu-net网络训练自动分割模型(图3为示意图)，选择log-cosh dice loss作为损失函数。网络输入为裁剪后的多模态海马区域图像块，输出为医生勾画的海马标注，训练epoch由模型训练情况决定，当loss值在30个epoch内下降不超过0.001时，停止模型训练，并保存此时的分割模型文件。
103.3.3网络推理。使用保存的分割模型，对未经过训练的测试集数据进行海马分割，并将分割的结果保存下来。
104.4.基于影像组学的类别a亚分类
105.4.1特征集合。将基于海马检测框提取的影像组学特征记为fbb1,
…
,bbp；基于海马自动分割结果，提取海马的影像组学特征，包括一阶统计学特征、形态学特征、原始纹理学特征及小波纹理学特征等，记为fs1,
…
,sq，
106.4.2将两部分特征合并后进行特征筛选，构成特征集合fbs。
107.4.3诊断模型的构建。以医生的诊断(ad/其他疾病/健康)结果为监督学习目标，在特征集合fbs的基础上，使用随机森林算法，对类别a(无异常信号)完成ad/其他疾病/健康被试分类诊断模型的构建。
108.本发明通过深度学习和机器学习的方法，构建了一套基于特定结构及其周围区域影像特征进行两个层级的自动分类的算法和系统，为与特定结构相关疾病的诊断流程提供了新思路。
109.本领域技术人员可以将本实施例理解为实施例1、实施例2的更为具体的说明。
110.本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
111.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。

技术特征：
1.一种基于深度学习和影像组学的分层分类方法，其特征在于，所述方法包括如下步骤：步骤s1：数据收集及目标结构检测，生成目标结构区域的检测框；步骤s2：从目标结构区域检测框内提取组学特征集f1，完成类别a与类别b的分类；步骤s3：基于深度卷积神经网络的目标结构对类别a进行自动分割；步骤s4：基于影像组学完成类别a的亚分类。2.根据权利要求1所述的基于深度学习和影像组学的分层分类方法，其特征在于，所述步骤s1：使用目标检测算法完成目标结构的检测，生成目标结构区域的检测框；目标检测模型包括但不限于yolo系列检测算法。3.根据权利要求1所述的基于深度学习和影像组学的分层分类方法，其特征在于，所述步骤s2包括如下步骤：步骤s2.1：基于目标结构区域的检测框bb，使用影像组学方法从目标结构检测框内提取影像组学特征集f1；步骤s2.2：使用特征筛选方法完成特征选择；步骤s2.3：基于筛选后的特征集合，使用机器学习的方法完成目标结构区域的分类，分为类别a与类别b。4.根据权利要求1所述的基于深度学习和影像组学的分层分类方法，其特征在于，所述步骤s3：对目标结构区域为类别a的图像，使用基于深度学习方法的自动分割模型，进行目标结构的自动分割；所采用的医学图像真实标注，为步骤s1中目标结构的手动标注结果。5.根据权利要求1所述的基于深度学习和影像组学的分层分类方法，其特征在于，所述步骤s4包括如下步骤：步骤s4.1：从目标结构的分割结果中，提取影像组学特征集f2；步骤s4.2：将影像组学特征集f2与步骤s2中提取的目标区域的影像组学特征集f1合并，形成特征集f；步骤s4.3：使用特征筛选方法完成特征选择；步骤s4.4：基于筛选后的特征集合，使用机器学习的方法完成类别a的亚分类，分为a1，
…
，an。6.一种基于深度学习和影像组学的分层分类系统，其特征在于，所述系统包括如下模块：模块m1：数据收集及目标结构检测，生成目标结构区域的检测框；模块m2：从目标结构区域检测框内提取组学特征集f1，完成类别a与类别b的分类；模块m3：基于深度卷积神经网络的目标结构对类别a进行自动分割；模块m4：基于影像组学完成类别a的亚分类。7.根据权利要求6所述的基于深度学习和影像组学的分层分类系统，其特征在于，所述模块m1：使用目标检测算法完成目标结构的检测，生成目标结构区域的检测框；目标检测模型包括但不限于yolo系列检测算法。8.根据权利要求6所述的基于深度学习和影像组学的分层分类系统，其特征在于，所述模块m2包括如下模块：模块m2.1：基于目标结构区域的检测框bb，使用影像组学系统从目标结构检测框内提
取影像组学特征集f1；模块m2.2：使用特征筛选系统完成特征选择；模块m2.3：基于筛选后的特征集合，使用机器学习的系统完成目标结构区域的分类，分为类别a与类别b。9.根据权利要求6所述的基于深度学习和影像组学的分层分类系统，其特征在于，所述模块m3：对目标结构区域为类别a的图像，使用基于深度学习系统的自动分割模型，进行目标结构的自动分割；所采用的医学图像真实标注，为模块m1中目标结构的手动标注结果。10.根据权利要求6所述的基于深度学习和影像组学的分层分类系统，其特征在于，所述模块m4包括如下模块：模块m4.1：从目标结构的分割结果中，提取影像组学特征集f2；模块m4.2：将影像组学特征集f2与模块m2中提取的目标区域的影像组学特征集f1合并，形成特征集f；模块m4.3：使用特征筛选系统完成特征选择；模块m4.4：基于筛选后的特征集合，使用机器学习的系统完成类别a的亚分类，分为a1，
…
，an。

技术总结
本发明提供了一种基于深度学习和影像组学的分层分类方法及系统，所述方法包括如下步骤：步骤S1：数据收集及目标结构检测，生成目标结构区域的检测框；步骤S2：从目标结构区域检测框内提取组学特征集F1，完成类别A与类别B的分类；步骤S3：基于深度卷积神经网络的目标结构对类别A进行自动分割；步骤S4：基于影像组学完成类别A的亚分类。本发明通过深度学习和机器学习的方法，构建了一套基于特定结构及其周围区域影像特征进行两个层级的自动分类的算法和系统，为与特定结构相关疾病的诊断流程提供了新思路。供了新思路。供了新思路。


技术研发人员：杨丽琴 辛恩慧 李郁欣 罗啸 朴思蓉
受保护的技术使用者：复旦大学附属华山医院
技术研发日：2023.03.28
技术公布日：2023/7/22