基于脑网络和深度学习的MCI转化智能预测方法及系统

基于脑网络和深度学习的mci转化智能预测方法及系统
技术领域
1.本发明涉及医学图像处理技术领域，具体地，涉及一种基于脑网络和深度学习的mci转化智能预测方法及系统。


背景技术：

2.多年来，医学信息学研究人员一直在追求数据驱动的方法来自动执行疾病诊断，以早期发现许多致命疾病。阿尔茨海默氏病(ad)已成为全球第六大死亡原因，这是可以从计算机辅助诊断技术中受益的疾病之一。阿尔茨海默氏病的一个特殊挑战是，在精神衰退开始之前的早期阶段很难检测到。通常，脑部医学影像(例如pet和mri)一直来被作为阿尔茨海默病请诊断的不可或缺的工具。深度学习为自动处理医学图像提供了潜在解决方案，可以使早期ad诊断更加高效。近些年来，深度学习方法被广泛用于各类大脑影像扫描自动分类。
3.公开号为cn112353381b的发明专利，公开了一种基于多模态大脑影像的阿尔茨海默症综合诊断系统，包括基于多模态神经影像的深度学习系统，所述基于多模态神经影像的深度学习系统对患者认知状态自动化分类；患者认知状态包括正常状态，轻度认知障碍状态和阿尔茨海默症状态；还包括基于领域对抗的神经网络，所述基于领域对抗的神经网络将mri所提供的大脑结构信息和pet所提供的认知功能信息融合，以对大脑认知退化的程度以及阶段进行诊断；所述pet所提供的认知功能信息包括反映相关蛋白的代谢水平，以定位到大脑认知退化的区域；所述相关蛋白包括aβ淀粉样蛋白或tau蛋白。
4.公开号为cn113616184a的发明专利，公开了一种基于多模态磁共振图像的脑网络建模与个体预测方法，包括：构建t1结构协变脑网络、dti白质脑网络、fmri功能脑网络、脑网络分析和计算。可基于已建立的中国人群痴呆队列的样本库，同时构建多模态脑网络并计算各类相关脑网络指标，统一各模态脑网络输出结果格式，便于对多模态脑网络的应用。从多模态脑网络的特征指标中选择信息特征，构建基于支持向量机的轻度认知障碍自动判别分析模型以及脑龄预测模型。
5.以上方法均使用多模态图像，分别使用pet影像和静态功能磁共振特征进行脑疾病分类及脑龄预测，无法全面表征疾病发展过程中大脑功能变化的的总体特征，因此无法获得更优的分类及预测效果。


技术实现要素：

6.针对现有技术中的缺陷，本发明提供一种基于脑网络和深度学习的mci转化智能预测方法及系统。
7.根据本发明提供的一种基于脑网络和深度学习的mci转化智能预测方法及系统，所述方案如下：
8.第一方面，提供了一种基于脑网络和深度学习的mci转化智能预测方法，所述方法包括：
9.步骤s1：获取脑结构磁共振图像数据a，和脑功能磁共振图像数据b；
10.步骤s2：根据所述脑结构磁共振图像数据a，计算脑结构矩阵；
11.步骤s3：通过所述脑结构矩阵，构建脑结构深度学习分类模型；
12.步骤s4：根据所述脑功能磁共振图像数据b，计算脑静态功能矩阵；
13.步骤s5：通过所述脑静态功能矩阵，构建脑静态功能深度学习分类模型；
14.步骤s6：通过所述脑静态功能矩阵，计算脑动态功能矩阵；
15.步骤s7：根据所述脑动态功能矩阵，构建脑动态功能深度学习分类模型；
16.步骤s8：通过所述脑结构深度学习分类模型、脑静态功能深度学习分类模型以及脑动态功能深度学习分类模型，构建基于多模态磁共振的深度学习分类模型，输出基于多模态磁共振的统一决策的预测分类结果。
17.优选地，所述步骤s2包括：
18.步骤s2.1：对脑结构磁共振图像数据a进行预处理；所述预处理包括：数据格式转换、组织分割、配准以及空间标准化；
19.步骤s2.2：根据配准和空间标准化过程中产生的变形场信息，对预处理后生成的灰质图像进行调制，得到调制后的灰质参数图，即标准化的mgm图，作为脑结构矩阵s。
20.优选地，所述步骤s3包括：
21.将脑结构矩阵s输入到预训练的脑结构深度学习网络n1，得到脑结构深度学习分类概率向量ps；
22.其中，所述脑结构深度学习网络n1的预训练步骤为，将脑结构矩阵s输入模型后得到的结果和真实分类之间的差异，作为监督学习目标，进行分类模型的训练。
23.优选地，所述步骤s4包括：
24.步骤s4.1：对脑功能磁共振图像数据b进行预处理，得到b
p
；所述预处理包括：数据格式转换、时间层校正、配准、标准化、平滑及滤波；
25.步骤s4.2：基于b
p
，计算特定脑静态功能指标，得到脑静态活动参数图fr；
26.步骤s4.3：对b
p
进行独立成分分析，得到属于一种或多种目标静态功能网络的独立成分icr；
27.步骤s4.4：基于独立成分icr，计算得到每个网络的全脑静态功能连接图fcr。
28.优选地，所述步骤s5包括：
29.将所述脑静态活动参数图fr和全脑静态功能连接图fcr输入到预训练的脑静态功能深度学习网络n2，得到脑静态功能深度学习分类概率向量pr；
30.其中，所述脑静态功能深度学习网络n2的预训练步骤为，将脑静态活动参数图fr和全脑静态功能连接图fcr输入模型后得到的结果和真实分类之间的差异作为监督学习目标，进行分类模型的训练。
31.优选地，所述步骤s6包括：
32.步骤s6.1：利用步骤s4.1得到的b
p
，利用滑动时间窗方法，在b
p
的整个时间序列上进行滑动，得到若干个时间窗w1,w2,
…
,wt；
33.步骤6.2：计算各时间窗内的特定脑静态功能指标，得到各时间窗内的脑活动参数图f
w1
,f
w2
,
…
,f
wt
，然后计算[f
w1
,f
w2
,
…
,f
wt
]在时间维度的变异系数或标准差，得到脑动态活动参数图fd；
[0034]
步骤s6.3：基于独立成分icr，在每个时间窗w1,w2,
…
,wt内，计算得到每个时间窗上的脑动态功能连接图fc
w1
,fc
w2
,
…
,fc
wt
，然后计算[fc
w1
,fc
w2
,
…
,fc
wt
]在时间维度上的变异系数或标准差，得到脑动态功能连接图fcd。
[0035]
优选地，所述步骤s7包括：
[0036]
将所述等脑动态活动参数图fd和全脑动态功能连接图fcd输入到预训练的脑动态功能深度学习网络n3，得到脑静态功能深度学习分类概率向量pd；
[0037]
其中，所述脑动态功能深度学习网络n3的预训练步骤为，将脑动态活动参数图fd和全脑动态功能连接图fcd输入模型后得到的结果和真实分类之间的差异作为监督学习目标，进行分类模型的训练。
[0038]
优选地，所述步骤s8包括：
[0039]
步骤s8.1：将脑结构深度学习分类概率向量ps、脑静态功能深度学习分类概率向量pr、脑静态功能深度学习分类概率向量pd拼接为多模态概率向量p
all
；
[0040]
或将脑结构深度学习分类概率向量ps、脑静态功能深度学习分类概率向量pr、脑静态功能深度学习分类概率向量pd，与临床特征拼接为多模态概率向量p
all
；
[0041]
其中，临床特征包括年龄、性别、教育年限及认知评分；
[0042]
步骤s8.2：将多模态概率向量p
all
输入到预训练的由一个全连接层和一个带有softmax函数的输出层级联的神经网络n4，输出基于多模态磁共振的统一决策的预测分类结果；
[0043]
所述神经网络n4的预训练步骤为，将多模态概率向量p
all
输入模型后得到的结果和真实分类之间的差异作为监督学习目标，进行分类模型的训练。
[0044]
第二方面，提供了一种基于脑网络和深度学习的mci转化智能预测系统，所述系统包括：
[0045]
模块m1：获取脑结构磁共振图像数据a，和脑功能磁共振图像数据b；
[0046]
模块m2：根据所述脑结构磁共振图像数据a，计算脑结构矩阵；
[0047]
模块m3：通过所述脑结构矩阵，构建脑结构深度学习分类模型；
[0048]
模块m4：根据所述脑功能磁共振图像数据b，计算脑静态功能矩阵；
[0049]
模块m5：通过所述脑静态功能矩阵，构建脑静态功能深度学习分类模型；
[0050]
模块m6：通过所述脑静态功能矩阵，计算脑动态功能矩阵；
[0051]
模块m7：根据所述脑动态功能矩阵，构建脑动态功能深度学习分类模型；
[0052]
模块m8：通过所述脑结构深度学习分类模型、脑静态功能深度学习分类模型以及脑动态功能深度学习分类模型，构建基于多模态磁共振的深度学习分类模型，输出基于多模态磁共振的统一决策的预测分类结果。
[0053]
优选地，所述模块m2包括：
[0054]
模块m2.1：对脑结构磁共振图像数据a进行预处理；所述预处理包括：数据格式转换、组织分割、配准以及空间标准化；
[0055]
模块m2.2：根据配准和空间标准化过程中产生的变形场信息，对预处理后生成的灰质图像进行调制，得到调制后的灰质参数图，即标准化的mgm图，作为脑结构矩阵s；
[0056]
所述模块m3包括：
[0057]
将脑结构矩阵s输入到预训练的脑结构深度学习网络n1，得到脑结构深度学习分
类概率向量ps；
[0058]
其中，所述脑结构深度学习网络n1的预训练步骤为，将脑结构矩阵s输入模型后得到的结果和真实分类之间的差异，作为监督学习目标，进行分类模型的训练；
[0059]
所述模块m4包括：
[0060]
模块m4.1：对脑功能磁共振图像数据b进行预处理，得到b
p
；所述预处理包括：数据格式转换、时间层校正、配准、标准化、平滑及滤波；
[0061]
模块m4.2：基于b
p
，计算特定脑静态功能指标，得到脑静态活动参数图fr；
[0062]
模块m4.3：对b
p
进行独立成分分析，得到属于一种或多种目标静态功能网络的独立成分icr；
[0063]
模块m4.4：基于独立成分icr，计算得到每个网络的全脑静态功能连接图fcr；
[0064]
所述模块m5包括：
[0065]
将所述脑静态活动参数图fr和全脑静态功能连接图fcr输入到预训练的脑静态功能深度学习网络n2，得到脑静态功能深度学习分类概率向量pr；
[0066]
其中，所述脑静态功能深度学习网络n2的预训练步骤为，将脑静态活动参数图fr和全脑静态功能连接图fcr输入模型后得到的结果和真实分类之间的差异作为监督学习目标，进行分类模型的训练；
[0067]
所述模块m6包括：
[0068]
模块m6.1：利用步骤s4.1得到的b
p
，利用滑动时间窗方法，在b
p
的整个时间序列上进行滑动，得到若干个时间窗w1,w2,
…
,wt；
[0069]
模块m6.2：计算各时间窗内的特定脑静态功能指标，得到各时间窗内的脑活动参数图f
w1
,f
w2
,
…
,f
wt
，然后计算[f
w1
,f
w2
,
…
,f
wt
]在时间维度的变异系数或标准差，得到脑动态活动参数图fd；
[0070]
模块m6.3：基于独立成分icr，在每个时间窗w1,w2,
…
,wt内，计算得到每个时间窗上的脑动态功能连接图fc
w1
,fc
w2
,
…
,fc
wt
，然后计算[fc
w1
,fc
w2
,
…
,fc
wt
]在时间维度上的变异系数或标准差，得到脑动态功能连接图fcd；
[0071]
所述模块m7包括：
[0072]
将所述等脑动态活动参数图fd和全脑动态功能连接图fcd输入到预训练的脑动态功能深度学习网络n3，得到脑静态功能深度学习分类概率向量pd；
[0073]
其中，所述脑动态功能深度学习网络n3的预训练步骤为，将脑动态活动参数图fd和全脑动态功能连接图fcd输入模型后得到的结果和真实分类之间的差异作为监督学习目标，进行分类模型的训练；
[0074]
所述模块m8包括：
[0075]
模块m8.1：将脑结构深度学习分类概率向量ps、脑静态功能深度学习分类概率向量pr、脑静态功能深度学习分类概率向量pd拼接为多模态概率向量p
all
；
[0076]
或将脑结构深度学习分类概率向量ps、脑静态功能深度学习分类概率向量pr、脑静态功能深度学习分类概率向量pd，与临床特征拼接为多模态概率向量p
all
；
[0077]
其中，临床特征包括年龄、性别、教育年限及认知评分；
[0078]
模块m8.2：将多模态概率向量p
all
输入到预训练的由一个全连接层和一个带有softmax函数的输出层级联的神经网络n4，输出基于多模态磁共振的统一决策的预测分类
结果；
[0079]
所述神经网络n4的预训练步骤为，将多模态概率向量p
all
输入模型后得到的结果和真实分类之间的差异作为监督学习目标，进行分类模型的训练。
[0080]
与现有技术相比，本发明具有如下的有益效果：
[0081]
通过采用结合结构和动静态功能特征信息，利用多模态、多类别的大脑特征为mci转化预测提供更为全面的信息，解决了单模态图像无法全面表征疾病发展过程中病理变化的问题，取得了较单模态、单类别特征更优的分类预测效果。
[0082]
本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。
附图说明
[0083]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0084]
图1为本发明整体流程图；
[0085]
图2为3d-cnn神经网络模型。
具体实施方式
[0086]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0087]
本发明实施例提供了一种基于脑网络和深度学习的mci转化智能预测方法，参照图1所示，该方法具体包括以下内容：
[0088]
步骤s1：获取脑结构磁共振图像数据a，和脑功能磁共振图像数据b。
[0089]
将基于多模态磁共振影像的轻度认知障碍(mci)患者是否转化为阿尔兹海默症(ad)的智能预测作为具体实施例。实施例中，脑结构磁共振图像为3d-t1磁共振图像，功能磁共振图像为静息状态下的bold-fmri图像。
[0090]
步骤s2：根据脑结构磁共振图像数据a，计算脑结构矩阵。
[0091]
该步骤s2具体包括：
[0092]
步骤s2.1：对脑结构磁共振图像数据a进行预处理；预处理包括：数据格式转换、组织分割、配准以及空间标准化。
[0093]
实施例中，组织分割的结果是生成灰质、白质的组织概率图；配准和空间标准化使用dartel算法，将被试个体灰质、白质图配准至mni标准空间。
[0094]
步骤s2.2：根据配准和空间标准化过程中产生的变形场信息，对预处理后生成的灰质图像进行调制，得到调制后的灰质参数图，即标准化的mgm图，作为脑结构矩阵s。
[0095]
步骤s3：通过脑结构矩阵，构建脑结构深度学习分类模型。
[0096]
该步骤s3具体包括：
[0097]
将脑结构矩阵s输入到预训练的脑结构深度学习网络n1，得到脑结构深度学习分
类概率向量ps。深度学习网络n1，常用的网络有fcn、resnet、densenet等等。
[0098]
其中，脑结构深度学习网络n1的预训练步骤为，将数据输入模型后得到的结果和真实分类之间的差异(损失函数ls)，作为监督学习目标，进行分类模型的训练。实施例中，采用3d-cnn神经网络模型如图2所示。
[0099]
步骤s4：根据脑功能磁共振图像数据b，计算脑静态功能矩阵。
[0100]
该步骤s4具体包括：
[0101]
步骤s4.1：对脑功能磁共振图像数据b进行预处理，得到b
p
；预处理包括：数据格式转换、时间层校正、配准、标准化、平滑及滤波等。
[0102]
步骤s4.2：基于b
p
，计算特定脑静态功能指标，得到脑静态活动参数图fr；脑静态活动可选择alff、reho、dc等。
[0103]
步骤s4.3：对b
p
进行独立成分分析，得到默认网络、内侧颞叶网络、额顶网络、突显网络作为目标静息态功能网络的独立成分icr；
[0104]
步骤s4.4：基于独立成分icr，计算得到每个网络的全脑静态功能连接图fcr。
[0105]
步骤s5具体包括：
[0106]
将脑静态活动参数图fr和全脑静态功能连接图fcr输入到预训练的脑静态功能深度学习网络n2，得到脑静态功能深度学习分类概率向量pr。深度学习网络n2，常用的网络有fcn、resnet、densenet等等。
[0107]
其中，脑静态功能深度学习网络n2的预训练步骤为，将脑静态活动参数图fr和全脑静态功能连接图fcr输入模型后得到的结果和真实分类之间的差异作为监督学习目标，进行分类模型的训练。实施例中，采用3d-cnn神经网络模型如图2所示。
[0108]
步骤s6：通过脑静态功能矩阵，计算脑动态功能矩阵。
[0109]
该步骤s6具体包括：
[0110]
步骤s6.1：利用步骤s4.1得到的b
p
，利用滑动时间窗方法，使用合适的一个窗口大小，以特定的步长，在b
p
的整个时间序列上进行滑动，得到若干个时间窗w1,w2,
…
,wt；
[0111]
步骤6.2计算各时间窗内的特定脑静态功能指标，得到各时间窗内的脑活动参数图f
w1
,f
w2
,
…
,f
wt
，然后计算[f
w1
,f
w2
,
…
,f
wt
]在时间维度的变异系数或标准差，得到脑动态活动参数图fd；脑动态活动可选择dalff、dreho、ddc等。
[0112]
步骤s6.3：基于独立成分icr，在每个时间窗w1,w2,
…
,wt内，计算得到每个时间窗上的脑动态功能连接图fc
w1
,fc
w2
,
…
,fc
wt
，然后计算[fc
w1
,fc
w2
,
…
,fc
wt
]在时间维度上的变异系数或标准差，得到脑动态功能连接图fcd。
[0113]
步骤s7：根据脑动态功能矩阵，构建脑动态功能深度学习分类模型。
[0114]
该步骤s7具体包括：
[0115]
将等脑动态活动参数图fd和全脑动态功能连接图fcd输入到预训练的脑动态功能深度学习网络n3，得到脑静态功能深度学习分类概率向量pd。深度学习网络n3，常用的网络有fcn、resnet、densenet等等。
[0116]
其中，脑动态功能深度学习网络n3的预训练步骤为，将脑动态活动参数图fd和全脑动态功能连接图fcd输入模型后得到的结果和真实分类之间的差异(损失函数ls)作为监督学习目标，进行分类模型的训练。实施例中，采用3d-cnn神经网络模型如图2所示。
[0117]
步骤s8：通过脑结构深度学习分类模型、脑静态功能深度学习分类模型以及脑动
态功能深度学习分类模型，构建基于多模态磁共振的深度学习分类模型，输出基于多模态磁共振的统一决策的预测分类结果。
[0118]
步骤s8具体包括：
[0119]
步骤s8.1：将脑结构深度学习分类概率向量ps、脑静态功能深度学习分类概率向量pr、脑静态功能深度学习分类概率向量pd拼接为多模态概率向量p
all
；
[0120]
或将脑结构深度学习分类概率向量ps、脑静态功能深度学习分类概率向量pr、脑静态功能深度学习分类概率向量pd，与临床特征拼接为多模态概率向量p
all
；其中，临床特征包括年龄、性别、教育年限及认知评分等。
[0121]
步骤s8.2：将多模态概率向量p
all
输入到预训练的由一个全连接层和一个带有softmax函数的输出层级联的神经网络n4，输出基于多模态磁共振的统一决策的预测分类结果。
[0122]
神经网络n4的预训练步骤为，将数据输入模型后得到的结果和真实分类之间的差异(损失函数ls)作为监督学习目标，进行分类模型的训练。
[0123]
本发明还提供一种基于脑网络和深度学习的mci转化智能预测系统，所述基于脑网络和深度学习的mci转化智能预测系统可以通过执行所述基于脑网络和深度学习的mci转化智能预测方法的流程步骤予以实现，即本领域技术人员可以将所述基于脑网络和深度学习的mci转化智能预测方法理解为所述基于脑网络和深度学习的mci转化智能预测系统的优选实施方式。该系统具体包括：
[0124]
模块m1：获取脑结构磁共振图像数据a，和脑功能磁共振图像数据b。
[0125]
将基于多模态磁共振影像的轻度认知障碍(mci)患者是否转化为阿尔兹海默症(ad)的智能预测作为具体实施例。实施例中，脑结构磁共振图像为3d-t1磁共振图像，功能磁共振图像为静息状态下的bold-fmri图像。
[0126]
模块m2：根据脑结构磁共振图像数据a，计算脑结构矩阵。
[0127]
该模块m2具体包括：
[0128]
模块m2.1：对脑结构磁共振图像数据a进行预处理；预处理包括：数据格式转换、组织分割、配准以及空间标准化。
[0129]
实施例中，组织分割的结果是生成灰质、白质的组织概率图；配准和空间标准化使用dartel算法，将被试个体灰质、白质图配准至mni标准空间。
[0130]
模块m2.2：根据配准和空间标准化过程中产生的变形场信息，对预处理后生成的灰质图像进行调制，得到调制后的灰质参数图，即标准化的mgm图，作为脑结构矩阵s。
[0131]
模块m3：通过脑结构矩阵，构建脑结构深度学习分类模型。
[0132]
该模块m3具体包括：
[0133]
将脑结构矩阵s输入到预训练的脑结构深度学习网络n1，得到脑结构深度学习分类概率向量ps。深度学习网络n1，常用的网络有fcn、resnet、densenet等等。
[0134]
其中，脑结构深度学习网络n1的预训练步骤为，将数据输入模型后得到的结果和真实分类之间的差异(损失函数ls)，作为监督学习目标，进行分类模型的训练。实施例中，采用3d-cnn神经网络模型如图2所示。
[0135]
模块m4：根据脑功能磁共振图像数据b，计算脑静态功能矩阵。
[0136]
该模块m4具体包括：
[0137]
模块m4.1：对脑功能磁共振图像数据b进行预处理，得到b
p
；预处理包括：数据格式转换、时间层校正、配准、标准化、平滑及滤波等。
[0138]
模块m4.2：基于b
p
，计算特定脑静态功能指标，得到脑静态活动参数图fr；脑静态活动可选择alff、reho、dc等。
[0139]
模块m4.3：对b
p
进行独立成分分析，得到默认网络、内侧颞叶网络、额顶网络、突显网络作为目标静息态功能网络的独立成分icr；
[0140]
模块m4.4：基于独立成分icr，计算得到每个网络的全脑静态功能连接图fcr。
[0141]
模块m5：通过脑静态功能矩阵，构建脑静态功能深度学习分类模型。
[0142]
模块m5具体包括：
[0143]
将脑静态活动参数图fr和全脑静态功能连接图fcr输入到预训练的脑静态功能深度学习网络n2，得到脑静态功能深度学习分类概率向量pr。深度学习网络n2，常用的网络有fcn、resnet、densenet等等。
[0144]
其中，脑静态功能深度学习网络n2的预训练步骤为，将脑静态活动参数图fr和全脑静态功能连接图fcr输入模型后得到的结果和真实分类之间的差异作为监督学习目标，进行分类模型的训练。实施例中，采用3d-cnn神经网络模型如图2所示。
[0145]
模块m6：通过脑静态功能矩阵，计算脑动态功能矩阵。
[0146]
该模块m6具体包括：
[0147]
模块m6.1：利用模块m4.1得到的b
p
，利用滑动时间窗方法，使用合适的一个窗口大小，以特定的步长，在b
p
的整个时间序列上进行滑动，得到若干个时间窗w1,w2,
…
,wt；
[0148]
模块m6.2计算各时间窗内的特定脑静态功能指标，得到各时间窗内的脑活动参数图f
w1
,f
w2
,
…
,f
wt
，然后计算[f
w1
,f
w2
,
…
,f
wt
]在时间维度的变异系数或标准差，得到脑动态活动参数图fd；脑动态活动可选择dalff、dreho、ddc等。
[0149]
模块m6.3：基于独立成分icr，在每个时间窗w1,w2,
…
,wt内，计算得到每个时间窗上的脑动态功能连接图fc
w1
,fc
w2
,
…
,fc
wt
，然后计算[fc
w1
,fc
w2
,
…
,fc
wt
]在时间维度上的变异系数或标准差，得到脑动态功能连接图fcd。
[0150]
模块m7：根据脑动态功能矩阵，构建脑动态功能深度学习分类模型。
[0151]
该模块m7具体包括：
[0152]
将等脑动态活动参数图fd和全脑动态功能连接图fcd输入到预训练的脑动态功能深度学习网络n3，得到脑静态功能深度学习分类概率向量pd。深度学习网络n3，常用的网络有fcn、resnet、densenet等等。
[0153]
其中，脑动态功能深度学习网络n3的预训练步骤为，将数据输入模型后得到的结果和真实分类之间的差异(损失函数ls)作为监督学习目标，进行分类模型的训练。实施例中，采用3d-cnn神经网络模型如图2所示。
[0154]
模块m8：通过脑结构深度学习分类模型、脑静态功能深度学习分类模型以及脑动态功能深度学习分类模型，构建基于多模态磁共振的深度学习分类模型，输出基于多模态磁共振的统一决策的预测分类结果。
[0155]
模块m8具体包括：
[0156]
模块m8.1：将脑结构深度学习分类概率向量ps、脑静态功能深度学习分类概率向量pr、脑静态功能深度学习分类概率向量pd拼接为多模态概率向量p
all
；
[0157]
或将脑结构深度学习分类概率向量ps、脑静态功能深度学习分类概率向量pr、脑静态功能深度学习分类概率向量pd，与临床特征拼接为多模态概率向量p
all
；其中，临床特征包括年龄、性别、教育年限及认知评分等。
[0158]
模块m8.2：将多模态概率向量p
all
输入到预训练的由一个全连接层和一个带有softmax函数的输出层级联的神经网络n4，输出基于多模态磁共振的统一决策的预测分类结果。
[0159]
神经网络n4的预训练步骤为，将数据输入模型后得到的结果和真实分类之间的差异(损失函数ls)作为监督学习目标，进行分类模型的训练。
[0160]
本发明实施例提供了一种基于脑网络和深度学习的mci转化智能预测方法及系统，基于多模态磁共振影像分别得到轻度认知障碍患者转化阶段的结构及动静态特征图谱，并通过深度学习方法获得轻度认知障碍患者转化的预测模型。
[0161]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0162]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。

技术特征：
1.一种基于脑网络和深度学习的mci转化智能预测方法，其特征在于，包括：步骤s1：获取脑结构磁共振图像数据a，和脑功能磁共振图像数据b；步骤s2：根据所述脑结构磁共振图像数据a，计算脑结构矩阵；步骤s3：通过所述脑结构矩阵，构建脑结构深度学习分类模型；步骤s4：根据所述脑功能磁共振图像数据b，计算脑静态功能矩阵；步骤s5：通过所述脑静态功能矩阵，构建脑静态功能深度学习分类模型；步骤s6：通过所述脑静态功能矩阵，计算脑动态功能矩阵；步骤s7：根据所述脑动态功能矩阵，构建脑动态功能深度学习分类模型；步骤s8：通过所述脑结构深度学习分类模型、脑静态功能深度学习分类模型以及脑动态功能深度学习分类模型，构建基于多模态磁共振的深度学习分类模型，输出基于多模态磁共振的统一决策的预测分类结果。2.根据权利要求1所述的基于脑网络和深度学习的mci转化智能预测方法，其特征在于，所述步骤s2包括：步骤s2.1：对脑结构磁共振图像数据a进行预处理；所述预处理包括：数据格式转换、组织分割、配准以及空间标准化；步骤s2.2：根据配准和空间标准化过程中产生的变形场信息，对预处理后生成的灰质图像进行调制，得到调制后的灰质参数图，即标准化的mgm图，作为脑结构矩阵s。3.根据权利要求2所述的基于脑网络和深度学习的mci转化智能预测方法，其特征在于，所述步骤s3包括：将脑结构矩阵s输入到预训练的脑结构深度学习网络n1，得到脑结构深度学习分类概率向量p
s
；其中，所述脑结构深度学习网络n1的预训练步骤为，将脑结构矩阵s输入模型后得到的结果和真实分类之间的差异，作为监督学习目标，进行分类模型的训练。4.根据权利要求2所述的基于脑网络和深度学习的mci转化智能预测方法，其特征在于，所述步骤s4包括：步骤s4.1：对脑功能磁共振图像数据b进行预处理，得到b
p
；所述预处理包括：数据格式转换、时间层校正、配准、标准化、平滑及滤波；步骤s4.2：基于b
p
，计算特定脑静态功能指标，得到脑静态活动参数图f
r
；步骤s4.3：对b
p
进行独立成分分析，得到属于一种或多种目标静态功能网络的独立成分ic
r
；步骤s4.4：基于独立成分ic
r
，计算得到每个网络的全脑静态功能连接图fc
r
。5.根据权利要求4所述的基于脑网络和深度学习的mci转化智能预测方法，其特征在于，所述步骤s5包括：将所述脑静态活动参数图f
r
和全脑静态功能连接图fc
r
输入到预训练的脑静态功能深度学习网络n2，得到脑静态功能深度学习分类概率向量p
r
；其中，所述脑静态功能深度学习网络n2的预训练步骤为，将脑静态活动参数图f
r
和全脑静态功能连接图fc
r
输入模型后得到的结果和真实分类之间的差异作为监督学习目标，进行分类模型的训练。6.根据权利要求5所述的基于脑网络和深度学习的mci转化智能预测方法，其特征在
于，所述步骤s6包括：步骤s6.1：利用步骤s4.1得到的b
p
，利用滑动时间窗方法，在b
p
的整个时间序列上进行滑动，得到若干个时间窗w1,w2,
…
,wt；步骤6.2：计算各时间窗内的特定脑静态功能指标，得到各时间窗内的脑活动参数图f
w1
,f
w2
,
…
,f
wt
，然后计算[f
w1
,f
w2
,
…
,f
wt
]在时间维度的变异系数或标准差，得到脑动态活动参数图f
d
；步骤s6.3：基于独立成分ic
r
，在每个时间窗w1,w2,
…
,wt内，计算得到每个时间窗上的脑动态功能连接图fc
w1
,fc
w2
,
…
,fc
wt
，然后计算[fc
w1
,fc
w2
,
…
,fc
wt
]在时间维度上的变异系数或标准差，得到脑动态功能连接图fc
d
。7.根据权利要求6所述的基于脑网络和深度学习的mci转化智能预测方法，其特征在于，所述步骤s7包括：将所述等脑动态活动参数图f
d
和全脑动态功能连接图fc
d
输入到预训练的脑动态功能深度学习网络n3，得到脑静态功能深度学习分类概率向量p
d
；其中，所述脑动态功能深度学习网络n3的预训练步骤为，将脑动态活动参数图f
d
和全脑动态功能连接图fc
d
输入模型后得到的结果和真实分类之间的差异作为监督学习目标，进行分类模型的训练。8.根据权利要求7所述的基于脑网络和深度学习的mci转化智能预测方法，其特征在于，所述步骤s8包括：步骤s8.1：将脑结构深度学习分类概率向量p
s
、脑静态功能深度学习分类概率向量p
r
、脑静态功能深度学习分类概率向量p
d
拼接为多模态概率向量p
all
；或将脑结构深度学习分类概率向量p
s
、脑静态功能深度学习分类概率向量p
r
、脑静态功能深度学习分类概率向量p
d
，与临床特征拼接为多模态概率向量p
all
；其中，临床特征包括年龄、性别、教育年限及认知评分；步骤s8.2：将多模态概率向量p
all
输入到预训练的由一个全连接层和一个带有softmax函数的输出层级联的神经网络n4，输出基于多模态磁共振的统一决策的预测分类结果；所述神经网络n4的预训练步骤为，将多模态概率向量p
all
输入模型后得到的结果和真实分类之间的差异作为监督学习目标，进行分类模型的训练。9.一种基于脑网络和深度学习的mci转化智能预测系统，其特征在于，包括：模块m1：获取脑结构磁共振图像数据a，和脑功能磁共振图像数据b；模块m2：根据所述脑结构磁共振图像数据a，计算脑结构矩阵；模块m3：通过所述脑结构矩阵，构建脑结构深度学习分类模型；模块m4：根据所述脑功能磁共振图像数据b，计算脑静态功能矩阵；模块m5：通过所述脑静态功能矩阵，构建脑静态功能深度学习分类模型；模块m6：通过所述脑静态功能矩阵，计算脑动态功能矩阵；模块m7：根据所述脑动态功能矩阵，构建脑动态功能深度学习分类模型；模块m8：通过所述脑结构深度学习分类模型、脑静态功能深度学习分类模型以及脑动态功能深度学习分类模型，构建基于多模态磁共振的深度学习分类模型，输出基于多模态磁共振的统一决策的预测分类结果。10.根据权利要求9所述的基于脑网络和深度学习的mci转化智能预测系统，其特征在
于，所述模块m2包括：模块m2.1：对脑结构磁共振图像数据a进行预处理；所述预处理包括：数据格式转换、组织分割、配准以及空间标准化；模块m2.2：根据配准和空间标准化过程中产生的变形场信息，对预处理后生成的灰质图像进行调制，得到调制后的灰质参数图，即标准化的mgm图，作为脑结构矩阵s；所述模块m3包括：将脑结构矩阵s输入到预训练的脑结构深度学习网络n1，得到脑结构深度学习分类概率向量p
s
；其中，所述脑结构深度学习网络n1的预训练步骤为，将脑结构矩阵s输入模型后得到的结果和真实分类之间的差异，作为监督学习目标，进行分类模型的训练；所述模块m4包括：模块m4.1：对脑功能磁共振图像数据b进行预处理，得到b
p
；所述预处理包括：数据格式转换、时间层校正、配准、标准化、平滑及滤波；模块m4.2：基于b
p
，计算特定脑静态功能指标，得到脑静态活动参数图f
r
；模块m4.3：对b
p
进行独立成分分析，得到属于一种或多种目标静态功能网络的独立成分ic
r
；模块m4.4：基于独立成分ic
r
，计算得到每个网络的全脑静态功能连接图fc
r
；所述模块m5包括：将所述脑静态活动参数图f
r
和全脑静态功能连接图fc
r
输入到预训练的脑静态功能深度学习网络n2，得到脑静态功能深度学习分类概率向量p
r
；其中，所述脑静态功能深度学习网络n2的预训练步骤为，将脑静态活动参数图f
r
和全脑静态功能连接图fc
r
输入模型后得到的结果和真实分类之间的差异作为监督学习目标，进行分类模型的训练；所述模块m6包括：模块m6.1：利用步骤s4.1得到的b
p
，利用滑动时间窗方法，在b
p
的整个时间序列上进行滑动，得到若干个时间窗w1,w2,
…
,wt；模块m6.2：计算各时间窗内的特定脑静态功能指标，得到各时间窗内的脑活动参数图f
w1
,f
w2
,
…
,f
wt
，然后计算[f
w1
,f
w2
,
…
,f
wt
]在时间维度的变异系数或标准差，得到脑动态活动参数图f
d
；模块m6.3：基于独立成分ic
r
，在每个时间窗w1,w2,
…
,wt内，计算得到每个时间窗上的脑动态功能连接图fc
w1
,fc
w2
,
…
,fc
wt
，然后计算[fc
w1
,fc
w2
,
…
,fc
wt
]在时间维度上的变异系数或标准差，得到脑动态功能连接图fc
d
；所述模块m7包括：将所述等脑动态活动参数图f
d
和全脑动态功能连接图fc
d
输入到预训练的脑动态功能深度学习网络n3，得到脑静态功能深度学习分类概率向量p
d
；其中，所述脑动态功能深度学习网络n3的预训练步骤为，将脑动态活动参数图f
d
和全脑动态功能连接图fc
d
输入模型后得到的结果和真实分类之间的差异作为监督学习目标，进行分类模型的训练；所述模块m8包括：
模块m8.1：将脑结构深度学习分类概率向量p
s
、脑静态功能深度学习分类概率向量p
r
、脑静态功能深度学习分类概率向量p
d
拼接为多模态概率向量p
all
；或将脑结构深度学习分类概率向量p
s
、脑静态功能深度学习分类概率向量p
r
、脑静态功能深度学习分类概率向量p
d
，与临床特征拼接为多模态概率向量p
all
；其中，临床特征包括年龄、性别、教育年限及认知评分；模块m8.2：将多模态概率向量p
all
输入到预训练的由一个全连接层和一个带有softmax函数的输出层级联的神经网络n4，输出基于多模态磁共振的统一决策的预测分类结果；所述神经网络n4的预训练步骤为，将多模态概率向量p
all
输入模型后得到的结果和真实分类之间的差异作为监督学习目标，进行分类模型的训练。

技术总结
本发明提供一种基于脑网络和深度学习的MCI转化智能预测方法及系统，包括：步骤S1：获取脑结构磁共振图像数据A，和脑功能磁共振图像数据B；步骤S2：根据脑结构磁共振图像数据A，计算脑结构矩阵；步骤S3：构建脑结构深度学习分类模型；步骤S4：根据脑功能磁共振图像数据B，计算脑静态功能矩阵；步骤S5：构建脑静态功能深度学习分类模型；步骤S6：通过脑静态功能矩阵，计算脑动态功能矩阵；步骤S7：构建脑动态功能深度学习分类模型；步骤S8：构建基于多模态磁共振的深度学习分类模型，输出基于多模态磁共振的统一决策的预测分类结果。本发明能够解决单模态图像无法全面表征疾病发展过程中病理变化的问题。病理变化的问题。病理变化的问题。


技术研发人员：杨丽琴 陈芷涵 罗啸
受保护的技术使用者：复旦大学附属华山医院
技术研发日：2023.03.29
技术公布日：2023/7/25