一种基于多任务学习的脑影像分类及脑认知评分预测方法

1.本技术属于图像分类技术领域，尤其涉及一种基于多任务学习的脑影像分类及脑认知评分预测方法。


背景技术：

2.脑影像分类是医学影像领域的重要组成部分，在脑龄评估、衰老进展判断以及疾病识别等领域都有重要的应用。由于能够无创而且精细地对大脑进行成像，磁共振影像(mri，magnetic resonance imaging)等神经影像技术已经被广泛应用于脑影像分类领域中，成为脑影像分类的重要数据载体。早期的基于mri的脑影像分类主要依靠手工特征。然而，手工制作的特征有时无法识别大脑区域内的微小变化。因此，更多的研究将卷积神经网络(cnn，convolution neural network)作为脑影像分类的主要框架。一些基于2d切片的脑影像分类方法借鉴了经典的cnn结构，如深度残差网络(resnet，deep residual network)和超深卷积网络(vggnet，visual geometry group network)。为了进一步利用空间信息，一些研究通过先验知识选择了一些特定区域的图像块作为3d cnn的输入，也有一些研究设计了新的网络结构，以适应整个大脑图像作为输入。对于微小的结构变化，mri能够反映的大脑结构变化依然不够明显，进而无法准确的对脑影像进行分类。
3.从已有的临床经验来看，脑影像分类不仅能依赖于mri，还与一些与大脑认知功能相关的指标都有密切的关联，比如衡量认知功能的简易精神状态量表(mmse，mini-mental state examination)、临床痴呆量表(cdr，clinical dementia rating)。其中，关键的大脑结构比如海马体已经被研究证实与认知功能存在高度的关联，并验证了通过mri影像预测脑认知评分的可能行。与脑影像分类方法类似，脑认知评分预测方法领域也陆续出现了基于传统机器学习的预测方法、基于cnn的预测方法和基于弱监督学习等其他深度学习技术的预测方法。但是，现有的绝大多数方法并没有考虑脑影像分类和脑认知评分预测之间的关联关系。


技术实现要素：

4.本技术提供了一种基于多任务学习的脑影像分类及脑认知评分预测方法，可以解决目前脑影像分类准确度较低和脑认知评分预测精度较差的问题。
5.第一方面，本技术提供了一种基于多任务学习的脑影像分类及脑认知评分预测方法，包括：
6.获取训练脑磁共振图像集；训练脑磁共振图像集包括n个脑磁共振图像样本；
7.构建脑影像分类及脑认知评分预测模型；脑影像分类及脑认知评分预测模型包括用于提取脑影像分类特征的第一特征提取模块、用于提取脑认知评分特征的第二特征提取模块、用于对脑影像分类特征和脑认知评分特征进行交互的特征交互模块、用于生成脑影像分类结果的识别模块以及用于生成脑认知评分预测结果的预测模块，第一特征提取模块的输入端和第二特征提取模块的输入端接收脑磁共振图像，第一特征提取模块的第一输出
端输出脑影像分类特征，第二特征提取模块的第一输出端输出脑认知评分特征，特征交互模块的第一输入端连接第一特征提取模块的第二输出端，特征交互模块的第二输入端连接第二特征提取模块的第二输出端，特征交互模块的第一输出端连接识别模块的第一输入端，识别模块的第二输入端连接第一特征提取模块的第一输出端，识别模块的输出端输出脑影像分类结果，特征交互模块的第二输出端连接预测模块的第一输入端，预测模块的第二输入端连接第二特征提取模块的第一输出端，预测模块的输出端输出脑认知评分预测值；
8.将训练脑磁共振图像集中的脑磁共振图像逐个输入脑影像分类及脑认知评分预测模型，得到n个脑影像分类结果、n个脑认知评分预测值以及n个交互特征；
9.根据n个脑影像分类结果，构建第一损失函数；
10.根据n个脑认知评分预测值，构建第二损失函数；
11.根据n个交互特征，构建第三损失函数；
12.根据预先获取的n个脑磁共振图像样本中每个脑磁共振图像样本的脑认知评分实际值，构建第四损失函数；
13.根据第一损失函数、第二损失函数、第三损失函数以及第四损失函数，确定脑影像分类及脑认知评分预测模型的损失值；
14.利用损失值对脑影像分类及脑认知评分预测模型进行反向传播，直至脑影像分类及脑认知评分预测模型收敛，得到训练后的脑影像分类及脑认知评分预测模型；
15.将待分类脑磁共振图像输入训练后的脑影像分类及脑认知评分预测模型，得到待分类脑磁共振图像的脑影像分类结果及脑认知评分预测值。
16.可选的，将训练脑磁共振图像集中的脑磁共振图像逐个输入脑影像分类及脑认知评分预测模型，得到n个脑影像分类结果、n个脑认知评分预测值以及n个交互特征，包括：
17.分别针对每个脑磁共振图像，执行以下操作：
18.通过计算公式
19.z
m1，i
＝z
0，i-z
m2，i
20.z
m2，i
＝(csm(z
0，i
)
⊙
ssm(z
0，i
))
×z0，i
21.得到脑影像分类特征z
m1，i
；其中，z
m1，i
表示第i个脑磁共振图像的脑影像分类特征，z
m2，i
表示第一特征模块的第二输出端输出的特征数据，csm表示第一特征模块中的空间注意力网络，ssm表示第一特征模块中的通道注意力网络，z
0，i
表示第i个脑磁共振图像的原始特征，原始特征由脑磁共振图像经过卷积和池化运算得到，
⊙
表示克罗内克积，
×
表示逐元素乘，i＝1，2，...，n；
22.通过计算公式
23.z
a1，i
＝z
0，i-z
a2，i
24.z
a2，i
＝(csa(z
0，i
)
⊙
ssa(z
0，i
))
×z0，i
25.得到脑认知评分特征z
a1，i
；其中，z
a1，i
表示第i个脑磁共振图像的脑认知评分特征，z
a2，i
表示第二特征提取模块的第二输出端输出的特征数据，csa表示第二特征提取模块中的空间注意力网络，ssa表示第二特征提取模块中的通道注意力网络；
26.通过计算公式
27.z
s，i
＝conv
111
(z
l，i
)+z
r，i
28.z
l，i
＝(cs
s1
(z
a2，i
)
⊙
ss
s1
(z
a2，i
))
×za2，i
+(cs
s2
(z
m2，i
)
⊙
ss
s2
(z
m2，i
))
×zm2，i
29.z
r，i
＝e(concat(z
a2，i
，z
m2，i
，ec(z
s，i，-1
)))
30.得到交互特征z
s，i
；其中，z
s，i
表示第i个脑磁共振图像的交互特征，cs
s2
，cs
s1
表示特征交互模块中两个不同的空间注意力网络，ss
s1
，ss
s2
表示特征交互模块中两个不同的通道注意力网络，conv
111
表示卷积核为1的卷积，e(
·
)表示包含两个卷积层的特征提取层，ec(
·
)表示包含一个卷积层和一个池化层的特征提取层，concat(
·
)表示特征的级联，z
s，i，-1
表示前一个特征交互模块输出的结果；
31.根据交互特征z
s，i
和脑影像分类特征z
m1，i
，得到脑影像分类特征序列，并对脑影像分类特征序列进行全连接处理，得到脑影像分类结果pi；其中，pi表示第i个脑磁共振图像的脑影像分类结果，脑影像分类结果包括该影像属于相应类别的概率；
32.根据交互特征z
s，i
和脑认知评分特征z
a1，i
，得到脑认知评分特征序列，并对脑认知评分特征序列进行全连接处理，得到脑认知评分预测值其中，表示第i个脑磁共振图像的脑认知评分预测值。
33.可选的，第一损失函数的表达式如下：
[0034][0035]
其中，l
ce
表示第一损失函数，yi表示第i个脑磁共振图像的真实标签。
[0036]
可选的，第二损失函数的表达式如下：
[0037][0038][0039]
其中，ls表示第二损失函数，mi表示预先获取的第i个样本的脑认知评分实际值。
[0040]
可选的，第三损失函数的表达式如下：
[0041][0042][0043]
其中，lc表示第三损失函数，j＝1，2，...，i，i表示脑影像分类及脑认知评分预测模型中每个模块的总数量，脑影像分类及脑认知评分预测模型中各模块的数量相同，表示第j个第二特征提取模块的第二输出端输出的特征数据，表示第j个第一特征提取模块的第二输出端输出的特征数据，sa表示平均池化，sm表示最大池化，||
·
||1表示向量的1范数。
[0044]
可选的，第四损失函数的表达式如下：
[0045]
[0046][0047]
其中，ld表示第四损失函数，fc表示分布函数，au(fc)表示分布函数fc下的面积，第四损失函数的梯度计算表达式为：
[0048][0049]
可选的，根据第一损失函数、第二损失函数、第三损失函数以及第四损失函数，确定脑影像分类及脑认知评分预测模型的损失值，包括：
[0050]
通过计算公式
[0051]
l
total
＝l
ce
+ls+lc+ld[0052]
得到损失值l
total
；其中，l
ce
表示第一损失函数，ls表示第二损失函数，lc表示第三损失函数，ld表示第四损失函数。
[0053]
可选的，利用损失值对脑影像分类及脑认知评分预测模型进行反向传播，直至脑影像分类及脑认知评分预测模型收敛，得到训练后的脑影像分类及脑认知评分预测模型，包括：
[0054]
步骤i，根据损失值对脑影像分类及脑认知评分预测模型进行反向传播，得到新脑影像分类及脑认知评分预测模型；
[0055]
步骤ii，计算新脑影像分类及脑认知评分预测模型对应的新损失值，并判断新损失值是否小于等于预设损失阈值；
[0056]
步骤iii，若新损失值小于等于预设损失阈值，则确定新脑影像分类及脑认知评分预测模型已经收敛，并将新脑影像分类及脑认知评分预测模型作为训练后的脑影像分类及脑认知评分预测模型；否则，确定新脑影像分类及脑认知评分预测模型未收敛，将新脑影像分类及脑认知评分预测模型作为步骤i中的脑影像分类及脑认知评分预测模型，返回执行步骤i。
[0057]
第二方面，本技术提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的基于多任务学习的脑影像分类及脑认知评分预测方法。
[0058]
第三方面，本技术提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于多任务学习的脑影像分类及脑认知评分预测方法。
[0059]
本技术的上述方案有如下的有益效果：
[0060]
本技术提供的脑影像分类及脑认知评分预测模型有效的结合了脑认知评分和脑影像分类两个任务之间的相关性，极大的提高了脑影像分类和脑认知评分预测的准确度；本技术通过构建四个不同的损失函数对脑影像分类及脑认知评分预测模型模型进行反向传播，使脑影像分类及脑认知评分预测模型模型的分类和预测效果更加准确；本技术提供的脑影像分类及脑认知评分预测方法，通过准确的脑影像分类及脑认知评分预测方法模型对待识别脑磁共振图像进行分类和预测，能够有效提升脑磁共振图像分类和认知评分预测的准确度。
[0061]
本技术的其它有益效果将在随后的具体实施方式部分予以详细说明。
附图说明
[0062]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0063]
图1为本技术一实施例提供的基于多任务学习的脑影像分类及脑认知评分预测方法的流程图；
[0064]
图2为本技术一实施例提供的脑影像分类及脑认知评分预测模型的结构示意图；
[0065]
图3为本技术一实施例提供的脑认知评分的分布示意图；
[0066]
图4为本技术一实施例提供的第一特征提取模块的结构示意图；
[0067]
图5为本技术一实施例提供的特征交互模块的结构示意图；
[0068]
图6为本技术一实施例提供的终端设备的结构示意图。
具体实施方式
[0069]
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
[0070]
应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0071]
还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0072]
如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0073]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0074]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0075]
针对目前脑影像分类准确度较低和脑认知评分预测精度较差的问题，本技术提供了一种基于多任务学习的脑影像分类及脑认知评分预测方法，本技术提供的脑影像分类及
脑认知评分预测模型有效的结合了脑认知评分与脑影像分类之间的相关性，极大的提高了脑影像分类的准确度，降低了脑认知评分预测的误差；本技术通过构建四个不同的损失函数对脑影像分类及脑认知评分预测模型模型进行反向传播，使脑影像分类及脑认知评分预测模型模型的分类效果更加准确；本技术提供的脑影像分类方法，通过准确的脑影像分类方法模型对待识别脑磁共振图像进行分类以及对脑认知评分进行预测，能够有效提升脑磁共振图像分类和脑认知评分预测的准确度。
[0076]
如图1所示，本技术提供的一种基于多任务学习的脑影像分类及脑认知评分预测方法，包括以下步骤：
[0077]
步骤111，获取训练脑磁共振图像集。
[0078]
在本技术的一实施例中，上述训练脑磁共振图像集包括n个脑磁共振图像样本。
[0079]
需要说明的是，为了确保训练脑磁共振图像集中脑磁共振图像能够有效的训练脑影像分类及脑认知评分预测模型，还需对获取到的脑磁共振图像样本进行预处理，具体步骤如下：
[0080]
步骤111.1，脑磁共振图像配准。
[0081]
采用fsl(英国牛津大学fmrib图像学研究中心推出的一套用于脑成像数据分析和处理的工具)中的线性图像配准工具(flirt，fmrib’s linear image registration tool)将n个样本的核磁共振图像(mri，nmr imaging)从原始空间转换到标准mni空间，mni(montreal neurological institute)是由montreal neurological institute根据正常人大脑的mri数据建立的标准坐标系统。
[0082]
步骤111.2，颅骨去除。
[0083]
由于医学影像的稀少和三维(3d，three dimensional dimensional)图像带来的高维数据，有必要将原始数据中的任务无关区域去除。在本技术的实施例中，这一步骤可采用fsl中的大脑提取工具(bet，brain extraction tool)进行颅骨去除，该工具能够保留样本中脑磁共振图像数据中的大脑部分，并将其余器官、组织等去除。
[0084]
步骤111.3，数据规范化。
[0085]
具体的，将样本的脑磁共振图像的体素平均值和标准差分别设置为0和1，得到预处理后的训练脑磁共振图像集。其中，每个脑磁共振图像的大小为181
×
217
×
181。
[0086]
步骤112，构建脑影像分类及脑认知评分预测模型。
[0087]
如图2所示，脑影像分类及脑认知评分预测模型包括用于提取脑影像分类特征的第一特征提取模块(如图2中21所示)、用于提取脑认知评分特征的第二特征提取模块(如图2中22所示)、用于对脑影像分类特征和脑认知评分特征进行交互的特征交互模块(如图2中23所示)、用于生成脑影像分类结果的识别模块(如图2中24所示)以及用于生成脑认知评分预测结果的预测模块(如图2中25所示)，第一特征提取模块的输入端和第二提取模块的输入端接收脑磁共振图像(经过预处理得到脑磁共振图像)，第一特征提取模块的第一输出端输出脑影像分类特征，特征交互模块的第一输入端连接第一特征提取模块的第二输出端，特征交互模块的第二输入端连接第二特征提取模块的第二输出端，特征交互模块的第一输出端连接识别模块的第一输入端，识别模块的第二输入端连接第一特征提取模块的第一输出端，识别模块的输出端输出脑影像分类结果，特征交互模块的第二输出端连接预测模块的第一输入端，预测模块的第二输入端连接第二特征提取模块的第一输出端，预测模块的
输出端输出脑认知评分预测值。
[0088]
此处需要说明的是，脑影像分类特征表示通过多层的卷积和池化运算从mri中提取的可以用于对脑影像进行分类的特征，例如：与年龄变化和衰老相关的海马体特征、与情绪和性别相关的杏仁核特征以及与结构的异常变化相关的大脑皮质特征。脑认知评分特征表示通过多层的卷积和池化运算从mri中提取的对脑影像进行脑认知评分预测的特征，例如：与记忆认知相关的海马体特征、与空间认知和视觉认知相关的顶叶特征以及与注意力和语言认知相关的额叶特征。
[0089]
应理解，为了便于说明，此处仅对脑影像分类及脑认知评分预测模型中各模块的数量为1的情况进行了说明，在本技术的另一实施例中，脑影像分类及脑认知评分预测模型中各模块的数量可能为多个，相应的，可将这些模块分为多组，每组中模块的类型、功能、数量以及模块之间的连接方式跟上述内容一致，各组之间的区别在于各模块中的网络结构参数不同，例如卷积核的数量不同。
[0090]
需要说明的是，在本技术的实施例中，上述识别模块由两个全连接层构成，第一个全连接层包括32个神经元，其输入为脑影像分类特征和交互特征第二个全连接层包括2个神经元，其输入为上层输出，其输出为输入脑磁共振图像对应的脑影像分类结果。
[0091]
在识别模块的处理过程如下：
[0092]
首先将脑影像分类特征和交互特征进行串联，然后通过两个全连接层对串联后的结果进行线性变换、激活和降维，输出为输入脑磁共振图像对应的脑影像分类结果。
[0093]
上述预测模块由两个全连接层构成，第一个全连接层包括32个神经元，其输入为脑影像分类特征和交互特征，该交互特征与识别模块中的交互特征一致，第二个全连接层包括1个神经元，其输入为上层输出，其输出为输入脑磁共振图像对应的脑认知评分预测值。
[0094]
在预测模块的处理过程如下：
[0095]
首先将脑认知评分特征和交互特征进行串联，然后通过两个全连接层对串联后的结果进行线性变换、激活和降维，输出为输入脑磁共振图像对应的脑认知评分的预测值。
[0096]
步骤113，将训练脑磁共振图像集中的脑磁共振图像逐个输入脑影像分类及脑认知评分预测模型，得到n个脑影像分类结果、n个脑认知评分预测值以及n个交互特征。
[0097]
步骤114，根据n个脑影像分类结果，构建第一损失函数。
[0098]
具体的，第一损失函数的表达式如下：
[0099][0100]
其中，l
ce
表示第一损失函数，yi表示第i个脑磁共振图像的真实标签，真实标签为脑影像在分类任务中的所属类别。示例性的，类别包括老年/青年，男/女，疾病/健康。示例性的，脑认知评分包括简易精神状态量表、临床痴呆以及蒙特利尔认知评估量表(moca，montreal cognitive assessment scale)。
[0101]
需要说明的是，在此根据n个脑影像分类结果，构建第一损失函数是为了使脑影像分类及脑认知评分预测模型能够更好的对脑磁共振图像进行分类，以此提高脑影像分类的准确性。
[0102]
步骤115，根据n个脑认知评分预测值，构建第二损失函数。
[0103]
具体的，第二损失函数的表达式如下：
[0104][0105][0106]
其中，ls表示第二损失函数，mi表示预先获取的第i个样本的脑认知评分实际值。
[0107]
需要说明的是，在此根据n个脑认知评分预测值，构建第二损失函数是为了提高脑影像分类及脑认知评分预测模型预测脑认知评分的准确性。
[0108]
步骤116，根据n个交互特征，构建第三损失函数。
[0109]
具体的，第三损失函数的表达式如下：
[0110][0111][0112]
其中，lc表示第三损失函数，j＝1，2，...，i，i表示脑影像分类及脑认知评分预测模型中每个模块的总数量，脑影像分类及脑认知评分预测模型中各模块的数量相同，表示第j个第二特征提取模块的第二输出端输出的特征数据，表示第j个第一特征提取模块的第二输出端输出的特征数据，sa表示平均池化，sm表示最大池化，||
·
||1表示向量的1范数。
[0113]
需要说明的是，在此根据n个交互特征，构建第三损失函数，是考虑到当脑影像分类及脑认知评分预测模型存在多个特征交互模块时，通过多个特征交互模块进行脑影像分类特征和脑认知评分特征之间的特征交互，会使脑影像分类及脑认知评分预测模型存在过拟合的风险。而因为本技术提供的脑影像分类及脑认知评分预测模型对脑磁共振影像分类和脑认知评分预测都有效，基于先验知识，根据脑影像分类特征和脑认知评分特征得到的交互特征往往具有一致的特征分布，所以本技术通过构建第三损失函数来约束交互特征之间的分布差异。
[0114]
步骤117，根据预先获取的n个脑磁共振图像样本中每个脑磁共振图像样本的脑认知评分实际值，构建第四损失函数。
[0115]
具体的，第四损失函数的表达式如下：
[0116][0117][0118]
其中，ld表示第四损失函数，fc表示分布函数，au(fc)表示分布函数fc下的面积，第四损失函数的梯度计算表达式为：
[0119][0120]
需要说明的是，从群体的角度来看，脑认知评分与脑影像的所属类别相关的一个
表现是类别和分布彼此对应，即特定类别下脑认知评分服从特定分布，为了利用脑认知评分的分布信息，实现对分布的拟合，本技术预先对样本进行了脑认知评分，并构建了如图3所示的mmse分布图，根据mmse分布图，选择原始分布中函数值不为0的离散点，并通过连接这些离散点来构造分布函数(描述脑认知评分与属于c类的人数之间的对应关系)，以此构建第四损失函数。
[0121]
值得一提的是，在本技术的一实施例中，存在当mmse预测值不处于集合ac的时候，集合ac表示脑认知评分对应的区间，反向传播的梯度为0，这使得分布损失(第四损失函数)此时不能进行反向传播，因此，本技术根据规则在此时将修改为固定值λfc(min(ac))和λfc(max(ac))，以确保分布损失进行稳定的训练。
[0122]
步骤118，根据第一损失函数、第二损失函数、第三损失函数以及第四损失函数，确定脑影像分类及脑认知评分预测模型的损失值。
[0123]
具体的，通过计算公式
[0124]
l
total
＝l
ce
+ls+lc+ld[0125]
得到损失值；其中，l
ce
表示第一损失函数，ls表示第二损失函数，lc表示第三损失函数，ld表示第四损失函数。
[0126]
步骤119，利用损失值对脑影像分类及脑认知评分预测模型进行反向传播，直至脑影像分类及脑认知评分预测模型收敛，得到训练后的脑影像分类及脑认知评分预测模型。
[0127]
具体的，执行以下步骤：
[0128]
步骤i，根据损失值对脑影像分类及脑认知评分预测模型进行反向传播，得到新脑影像分类及脑认知评分预测模型。
[0129]
步骤ii，计算新脑影像分类及脑认知评分预测模型对应的新损失值，并判断新损失值是否小于等于预设损失阈值。
[0130]
示例性的，在本技术的一实施例中，可将损失阈值预先设置为0.05。
[0131]
步骤iii，若新损失值小于等于预设损失阈值，则确定新脑影像分类及脑认知评分预测模型已经收敛，并将新脑影像分类及脑认知评分预测模型作为训练后的脑影像分类及脑认知评分预测模型；否则，确定新脑影像分类及脑认知评分预测模型未收敛，将新脑影像分类及脑认知评分预测模型作为步骤i中的脑影像分类及脑认知评分预测模型，返回执行步骤i。
[0132]
步骤120，将待分类脑磁共振图像输入到训练后的脑影像分类及脑认知评分预测模型，得到待分类脑磁共振图像的脑影像分类结果及脑认知评分预测值。
[0133]
上述待识别脑磁共振图像表示需要进行脑影像分类和脑认知评分预测的脑磁共振图像。
[0134]
下面对步骤步骤113(将训练脑磁共振图像集中的脑磁共振图像逐个输入脑影像分类及脑认知评分预测模型，得到n个脑影像分类结果、n个脑认知评分预测值以及n个交互特征)的过程进行示例性说明。
[0135]
分别针对每个脑磁共振图像，执行以下操作：
[0136]
步骤113.1，通过计算公式
[0137]zm1，i
＝z
0，i-z
m2，i
[0138]zm2，i
＝(csm(z
0，i
)
⊙
ssm(z
0，i
))
×z0，i
[0139]
得到脑影像分类特征z
m1，i
。
[0140]
其中，z
m1，i
表示第i个脑磁共振图像的脑影像分类特征，z
m2，i
表示第一特征模块的第二输出端输出的特征数据，csm表示第一特征模块中的空间注意力网络，ssm表示第一特征模块中的通道注意力网络，z
0，i
表示第i个脑磁共振图像的原始特征，原始特征由脑磁共振图像经过卷积和池化运算得到，
⊙
表示克罗内克积，
×
表示逐元素乘，i＝1，2，...，n。
[0141]
如图4所示，在本技术的实施例中，上述第一特征提取模块包括空间注意力网络(如图中41所示)和通道注意力网络(如图中42所示)，其中，ca和cm表示通道维度的全局平均池化和全局最大池化，sa和sm表示空间维度的全局平均池化和全局最大池化。本技术使用全局平均池化和最大池化来获得不同空间和通道中的信息。然后，分别使用多个全连接层和卷积层来获得通道和空间上的注意力权重。具体的，空间注意力网络的处理过程为：
[0142]
csm(z
0，i
)＝e
cs
(concat(ca(z
0，i
)，cm(z
0，i
)))
[0143]
其中，e
cs
表示包含两个全连接层的多层感知器。
[0144]
通道注意力网络的处理过程为：
[0145]
ssm(z
0，i
)＝e
ss
(concat(sa(z
0，i
)，sm(z
0，i
)))
[0146]
其中，e
ss
表示包含两个卷积层的编码层。
[0147]
第一特征提取模块将通道和空间维度中的注意力权重进行按元素相乘，得到交互特征的注意力矩阵。然后，使用这个注意力矩阵来选择交互特征。
[0148]
步骤113.2，通过计算公式
[0149]za1，i
＝z
0，i-z
a2，i
[0150]za2，i
＝(csa(z
0，i
)
⊙
ssa(z
0，i
))
×z0，i
[0151]
得到脑认知评分特征z
a1，i
。
[0152]
其中，z
a1，i
表示第i个脑磁共振图像的脑认知评分特征，z
a2，i
表示第二特征提取模块的第二输出端输出的特征数据，csa表示第二特征提取模块中的空间注意力网络，ssa表示第二特征提取模块中的通道注意力网络。
[0153]
由于本技术的实施例中，第二特征提取模块的网络结构与脑影像分类特征提取模块的网络结构相同，只是参数数值存在差异，所以可具体参考第一特征提取模块的网络结构，在此不再赘述。
[0154]
步骤113.3，通过计算公式
[0155]zs，i
＝conv
111(zl，i
)+z
r，i
[0156]zl，i
＝(cs
s1
(z
a2，i
)
⊙
ss
s1
(z
a2，i
))
×za2，i
+(cs
s2
(z
m2，i
)
⊙
ss
s2
(z
m2，i
))
×zm2，i
[0157]zr，i
＝e(concat(z
a2，i
，z
m2，i
，ec(z
s，i，-1
)))
[0158]
得到交互特征z
s，i
。
[0159]
其中，z
s，i
表示第i个脑磁共振图像的交互特征，cs
s2
，cs
s1
表示特征交互模块中两个不同的空间注意力网络，ss
s1
，ss
s2
表示特征交互模块中两个不同的通道注意力网络，conv
111
表示卷积核为1的卷积，e(
·
)表示包含两个卷积层的特征提取层，ec(
·
)表示包含一个卷积层和一个池化层的特征提取层，concat(
·
)表示特征的级联，z
s，i-1
表示前一个特征交互模块输出的结果。
[0160]
在本技术的实施例中，上述特征交互模块的网络结构如图5所示，脑影像分类和脑
认知评分预测都有其更关注的大脑区域。因此，有必要为特征交互生成针对不同大脑区域的特定权重。同时，由于通道之间可能出现的表征差异，所以特征交互模块中也使用了空间注意力网络(如图5中52和53所示)和通道注意力网络(如图5中51和54所示)，来为不同的空间位置和通道生成不同的权重。此外，由于使用基于线性变换进行交互的可行性之一是特征与原始图像区域之间具有空间对应关系，因为卷积和池化满足空间位置不变性。然而，由于卷积核从多个空间位置上聚合特征信息，在经过多个卷积和池化层之后，这种对应可能并不是很精确。因此，本技术在特征交互中额外加入了一条由卷积组成的路径(如图5中虚线框的部分)，该路径不仅可以为特征交互提供有用的信息，还可以纠正可能的空间不匹配带来的误差。
[0161]
步骤113.4，根据交互特征z
s，i
和脑影像分类特征z
m1，i
，得到脑影像分类特征序列，并对脑影像分类特征序列进行全连接处理，得到脑影像分类结果pi。
[0162]
示例性的，在本技术的实施例中，所述全连接处理表示利用两个全连接层对第i个脑影像分类特征序列进行处理，得到脑影像分类结果
[0163]
其中，pi表示第i个脑磁共振图像的脑影像分类结果，脑影像分类结果包括该mri影像属于或者不属于某一特定类别的概率。
[0164]
步骤113.5，根据交互特征z
s，i
和脑认知评分特征z
a1，i
，得到脑认知评分特征序列，并对脑认知评分特征序列进行全连接处理，得到脑认知评分预测值
[0165]
其中，表示第i个脑磁共振图像的脑认知评分预测值。
[0166]
对脑认知评分特征序列进行全连接处理的过程与对脑影像分类特征序列进行全连接处理的过程类似，具体可参考对脑影像分类特征序列进行全连接处理的过程。
[0167]
如图6所示，本技术的实施例提供了一种终端设备，如图6所示，该实施例的终端设备d10包括：至少一个处理器d100(图6中仅示出一个处理器)、存储器d101以及存储在所述存储器d101中并可在所述至少一个处理器d100上运行的计算机程序d102，所述处理器d100执行所述计算机程序d102时实现上述任意各个方法实施例中的步骤。
[0168]
具体的，所述处理器d100执行所述计算机程序d102时，先获取训练脑磁共振图像集，然后构建脑影像分类及脑认知评分预测模型，再将训练脑磁共振图像集中的脑磁共振图像逐个输入脑影像分类及脑认知评分预测模型，得到n个脑影像分类结果、n个脑认知评分预测值以及n个交互特征，随后根据n个脑影像分类结果，构建第一损失函数，然后根据n个脑认知评分预测值，构建第二损失函数，再根据n个交互特征，构建第三损失函数，然后根据预先获取的n个样本中每个样本的脑认知评分实际值，构建第四损失函数，随后根据第一损失函数、第二损失函数、第三损失函数以及第四损失函数，确定脑影像分类及脑认知评分预测模型的损失值，再利用损失值对脑影像分类及脑认知评分预测模型进行反向传播，直至脑影像分类及脑认知评分预测模型收敛，得到训练后的脑影像分类及脑认知评分预测模型，最后将待识别脑磁共振图像输入到训练后的脑影像分类及脑认知评分预测模型，得到待识别脑磁共振图像的识别结果。本技术提供的脑影像分类及脑认知评分预测模型有效的结合了脑认知评分对脑影像分类的影响，极大的提高了脑影像分类的准确度；本技术通过构建四个不同的损失函数对脑影像分类及脑认知评分预测模型模型进行反向传播，使脑影像分类及脑认知评分预测模型模型的识别效果更加准确；本技术提供的脑影像分类方法，通过准确的脑影像分类方法模型对待识别脑磁共振图像进行识别，能够有效提升脑磁共振
图像识别的准确度。
[0169]
所称处理器d100可以是中央处理单元(cpu，central processing unit)，该处理器d100还可以是其他通用处理器、数字信号处理器(dsp，digital signal processor)、专用集成电路(asic，application specific integrated circuit)、现成可编程门阵列(fpga，field-programmable gatearray)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0170]
所述存储器d101在一些实施例中可以是所述终端设备d10的内部存储单元，例如终端设备d10的硬盘或内存。所述存储器d101在另一些实施例中也可以是所述终端设备d10的外部存储设备，例如所述终端设备d10上配备的插接式硬盘，智能存储卡(smc，smart media card)，安全数字(sd，secure digital)卡，闪存卡(flash card)等。进一步地，所述存储器d101还可以既包括所述终端设备d10的内部存储单元也包括外部存储设备。所述存储器d101用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器d101还可以用于暂时地存储已经输出或者将要输出的数据。
[0171]
本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
[0172]
本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
[0173]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0174]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0175]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0176]
在本技术所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所
述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0177]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0178]
本技术提供的基于多任务学习的脑影像分类及脑认知评分预测方法具备以下优点：
[0179]
1)本技术提出了一种多任务特征交互机制，用于进行脑影像分类和脑认知评分预测的联合学习利用不同任务的表征的相关性，该机制能够获取具有跨任务泛化性的交互性表征，并通过来自不同任务的交互性表征的互补性获取对两个任务都有效的共享表征。
[0180]
2)本技术提出了一种多损失联合学习机制，利用用于脑认知评分预测的平滑l1损失、用于脑影像分类的交叉熵损失、用于约束特征交互的特征一致性损失和用于充分获取脑认知评分中分布信息的分布损失等多项损失来对脑影像分类及脑认知评分预测模型进行联合优化。
[0181]
以上所述是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。

技术特征：
1.一种基于多任务学习的脑影像分类及脑认知评分预测方法，其特征在于，包括：获取训练脑磁共振图像集；所述训练脑磁共振图像集包括n个脑磁共振图像样本；构建脑影像分类及脑认知评分预测模型；所述脑影像分类及脑认知评分预测模型包括用于提取脑影像分类特征的第一特征提取模块、用于提取脑认知评分特征的第二特征提取模块、用于对所述脑影像分类特征和所述脑认知评分特征进行交互的特征交互模块、用于生成脑影像分类结果的识别模块以及用于生成脑认知评分预测结果的预测模块，所述第一特征提取模块的输入端和所述第二特征提取模块的输入端接收脑磁共振图像，所述第一特征提取模块的第一输出端输出脑影像分类特征，所述第二特征提取模块的第一输出端输出脑认知评分特征，所述特征交互模块的第一输入端连接所述第一特征提取模块的第二输出端，所述特征交互模块的第二输入端连接所述第二特征提取模块的第二输出端，所述特征交互模块的第一输出端连接所述识别模块的第一输入端，所述识别模块的第二输入端连接所述第一特征提取模块的第一输出端，所述识别模块的输出端输出脑影像分类结果，所述特征交互模块的第二输出端连接所述预测模块的第一输入端，所述预测模块的第二输入端连接所述第二特征提取模块的第一输出端，所述预测模块的输出端输出脑认知评分预测值；将所述训练脑磁共振图像集中的脑磁共振图像逐个输入所述脑影像分类及脑认知评分预测模型，得到n个脑影像分类结果、n个脑认知评分预测值以及n个交互特征；根据所述n个脑影像分类结果，构建第一损失函数；根据所述n个脑认知评分预测值，构建第二损失函数；根据所述n个交互特征，构建第三损失函数；根据预先获取的所述n个脑磁共振图像样本中每个脑磁共振图像样本的脑认知评分实际值，构建第四损失函数；根据所述第一损失函数、所述第二损失函数、所述第三损失函数以及所述第四损失函数，确定所述脑影像分类及脑认知评分预测模型的损失值；利用所述损失值对所述脑影像分类及脑认知评分预测模型进行反向传播，直至所述脑影像分类及脑认知评分预测模型收敛，得到训练后的脑影像分类及脑认知评分预测模型；将待分类脑磁共振图像输入训练后的脑影像分类及脑认知评分预测模型，得到所述待分类脑磁共振图像的脑影像分类结果及脑认知评分预测值。2.根据权利要求1所述的脑影像分类及脑认知评分预测方法，其特征在于，所述将所述训练脑磁共振图像集中的脑磁共振图像逐个输入所述脑影像分类及脑认知评分预测模型，得到n个脑影像分类结果、n个脑认知评分预测值以及n个交互特征，包括：分别针对每个脑磁共振图像，执行以下操作：通过计算公式z
m1，i
＝z
0，i-z
m2，i
z
m2，i
＝(cs
m
(z
0，i
)
⊙
ss
m
(z
0，i
))
×
z
0，i
得到所述脑影像分类特征z
m1，i
；其中，z
m1，i
表示第i个脑磁共振图像的脑影像分类特征，z
m2，i
表示所述第一特征模块的第二输出端输出的特征数据，cs
m
表示所述第一特征模块中的空间注意力网络，ss
m
表示所述第一特征模块中的通道注意力网络，z
0，i
表示第i个脑磁共振图像的原始特征，所述原始特征由脑磁共振图像经过卷积和池化运算得到，
⊙
表示克罗内
克积，
×
表示逐元素乘，i＝1，2，...，n；通过计算公式z
a1，i
＝z
0,i-z
a2,i
z
a2,i
＝(cs
a
(z
0,i
)
⊙
ss
a
(z
0,i
))
×
z
0,i
得到所述脑认知评分特征z
a1，i
；其中，z
a1，i
表示第i个脑磁共振图像的脑认知评分特征，z
a2，i
表示所述第二特征提取模块的第二输出端输出的特征数据，cs
a
表示所述第二特征提取模块中的空间注意力网络，ss
a
表示所述第二特征提取模块中的通道注意力网络；通过计算公式z
s，i
＝conv
111
(z
l,i
)+z
r,i
z
l，i
＝(cs
s1
(z
a2，i
)
⊙
ss
s1
(z
a2,i
))
×
z
a2，i
+(cs
s2
(z
m2,i
)
⊙
ss
s2
(z
m2,i
))
×
z
m2,i
z
r，i
＝e(concat(z
a2，i
，z
m2，i
，e
c
(z
s，i，-1
)))得到所述交互特征z
s，i
；其中，z
s，i
表示第i个脑磁共振图像的交互特征，cs
s2
，cs
s1
表示特征交互模块中两个不同的空间注意力网络，ss
s1
，ss
s2
表示特征交互模块中两个不同的通道注意力网络，conv
111
表示卷积核为1的卷积，e(
·
)表示包含两个卷积层的特征提取层，e
c
(
·
)表示包含一个卷积层和一个池化层的特征提取层，concat(
·
)表示特征的级联，z
s，i，-1
表示前一个特征交互模块输出的结果；根据所述交互特征z
s,i
和所述脑影像分类特征z
m1，i
，得到脑影像分类特征序列，并对所述脑影像分类特征序列进行全连接处理，得到所述脑影像分类结果p
i
；其中，p
i
表示第i个脑磁共振图像的脑影像分类结果，所述脑影像分类结果包括该影像属于相应类别的概率；根据所述交互特征z
s，i
和所述脑认知评分特征z
a1，i
，得到所述脑认知评分特征序列，并对所述脑认知评分特征序列进行全连接处理，得到所述脑认知评分预测值其中，表示第i个脑磁共振图像的脑认知评分预测值。3.根据权利要求2所述的脑影像分类及脑认知评分预测方法，其特征在于，所述第一损失函数的表达式如下：其中，l
ce
表示所述第一损失函数，y
i
表示第i个脑磁共振图像的真实标签，所述真实标签为该脑磁共振图像所属的类别。4.根据权利要求2所述的脑影像分类及脑认知评分预测方法，其特征在于，所述第二损失函数的表达式如下：失函数的表达式如下：其中，l
s
表示所述第二损失函数，m
i
表示预先获取的第i个脑磁共振图像样本的脑认知评分实际值。5.根据权利要求2所述的脑影像分类及脑认知评分预测方法，其特征在于，所述第三损失函数的表达式如下：
其中，l
c
表示所述第三损失函数，j＝1，2，...，i，i表示所述脑影像分类及脑认知评分预测模型中每个模块的总数量，所述脑影像分类及脑认知评分预测模型中各模块的数量相同，表示第j个第二特征提取模块的第二输出端输出的特征数据，表示第j个第一特征提取模块的第二输出端输出的特征数据，sa表示平均池化，sm表示最大池化，||
·
||1表示向量的1范数。6.根据权利要求2所述的脑影像分类及脑认知评分预测方法，其特征在于，所述第四损失函数的表达式如下：失函数的表达式如下：其中，l
d
表示所述第四损失函数，f
c
表示分布函数，au(f
c
)表示分布函数f
c
下的面积，所述第四损失函数的梯度计算表达式为：7.根据权利要求1所述的脑影像分类及脑认知评分预测方法，其特征在于，所述根据所述第一损失函数、所述第二损失函数、所述第三损失函数以及所述第四损失函数，确定所述脑影像分类及脑认知评分预测模型的损失值，包括：通过计算公式l
total
＝l
ce
+l
s
+l
c
+l
d
得到所述损失值l
total
；其中，l
ce
表示所述第一损失函数，l
s
表示所述第二损失函数，l
c
表示所述第三损失函数，l
d
表示所述第四损失函数。8.根据权利要求1所述的脑影像分类及脑认知评分预测方法，其特征在于，所述利用所述损失值对所述脑影像分类及脑认知评分预测模型进行反向传播，直至所述脑影像分类及脑认知评分预测模型收敛，得到训练后的脑影像分类及脑认知评分预测模型，包括：步骤i，根据所述损失值对所述脑影像分类及脑认知评分预测模型进行反向传播，得到新脑影像分类及脑认知评分预测模型；步骤ii，计算所述新脑影像分类及脑认知评分预测模型对应的新损失值，并判断所述新损失值是否小于等于预设损失阈值；步骤iii，若所述新损失值小于等于预设损失阈值，则确定所述新脑影像分类及脑认知评分预测模型已经收敛，并将所述新脑影像分类及脑认知评分预测模型作为所述训练后的脑影像分类及脑认知评分预测模型；否则，确定所述新脑影像分类及脑认知评分预测模型未收敛，将所述新脑影像分类及脑认知评分预测模型作为所述步骤i中的所述脑影像分类及脑认知评分预测模型，返回执行步骤i。

技术总结
本申请适用于图像分类技术领域，提供了一种基于多任务学习的脑影像分类及脑认知评分预测方法，包括获取训练脑磁共振影像图像集；构建脑影像分类及脑认知评分预测型；将训练脑磁共振图像集输入该模型，得到脑影像分类结果、脑认知评分预测值以及交互特征；分别构建第一、第二、第三以及第四损失函数；根据上述损失函数，确定脑影像分类及脑认知评分预测模型的损失值；利用损失值对该模型进行反向传播，得到训练后的脑影像分类及脑认知评分预测模型；将待识别脑磁共振图像输入到训练后的脑影像分类及脑认知评分预测模型，得到脑影像分类结果和脑认知评分预测值。本申请能够提高脑影像分类和脑认知评分预测的准确度。像分类和脑认知评分预测的准确度。像分类和脑认知评分预测的准确度。


技术研发人员：刘锦 田旭 李洪东
受保护的技术使用者：中南大学
技术研发日：2023.07.19
技术公布日：2023/10/7