一种基于多模态融合的胚胎多焦平面图像着床预测装置

1.本发明属于医学图像处理技术领域，具体地说，涉及一种基于多模态融合的胚胎多焦平面图像着床预测装置。


背景技术：

2.体外受精(in vitro fertilization,ivf)是治疗无生育能力患者的最常用医学方法之一。在体外受精过程中，多胚移植是一种常见的技术，但是它会增加怀孕的固有风险。因此，在胚胎移植过程中选择最优质的胚胎非常重要。通常情况下，胚胎移植有第三日(day3，d3)胚胎移植和第五日(day5，d5)胚胎移植两种形式，也可以称为卵裂期胚胎移植和囊胚期胚胎移植。研究表明，囊胚期胚胎移植有助于提高着床成功率。
3.针对d5胚胎，胚胎专家采用内置显微镜的培养箱进行胚胎的培养。这种方式提供了一个稳定的记录环境，同时避免了将胚胎从培养箱中取出对胚胎发育质量的影响。在第五日结束时，胚胎专家通过显微镜拍摄不同的焦平面图像，记录囊胚的透明带(zona pellucida，zp)、内细胞团(inner cell mass，icm)和滋养层(trophectoderm，te)。通过观察胚胎发育的3个焦平面图像对胚胎进行评分。研究表明，优质的胚胎具有更大的着床可能性，而不良的胚胎则相应地着床困难。
4.囊胚发育阶段分为1-6期，分期越高代表囊胚发育越完全，其中3期及以后的囊胚常用于移植，对于3期及以后囊胚的内细胞团和滋养层均可用代表质量由高到低的三个abc等级进行评级，a级表示细胞数目多、排列紧密，b级上皮细胞层由不多的细胞组成，结构松散，c级表示细胞数目很少、排列稀疏。传统的囊胚评级方法是基于胚胎学家手动综合分析多张焦平面图像，从而得出囊胚评级。然而，这种手动分析过程非常繁琐，而且人为评分得出的结果“数目多”、“少”、“紧密”、“松散”等带有主观因素，在不同胚胎学家中得出的结果区别较大。
5.随着人工智能技术和医疗影像分析的发展，机器学习和深度学习的方法都应用于医疗影像的辅助诊断中，帮助专家做出更精确的诊断。在ivf的胚胎多焦平面图像(multiple focal plane,mfp)着床预测中也有深度学习技术的应用，用于辅助胚胎专家对囊胚进行评级分类从而选出优质胚胎，提高母体的妊娠成功率。
6.针对辅助胚胎专家进行胚胎评级分类从而选出优质胚胎这一任务，需要对胚胎囊胚期多焦平面图像进行记录。然而，现有的胚胎多焦平面图像着床预测方法仍然存在以下问题：在囊胚着床分类过程中，胚胎专家分别对zp、icm和te的焦平面图像进行分级，以此对整个囊胚发育质量打分，以此挑选出发育较好的胚胎用于多胚移植，但是，囊胚期多焦图像非聚焦区域模糊冗余较大，囊胚期多焦图像不易融合、信息交互不够彻底，无法完整地提取囊胚期多焦图像信息，数据计算量过大等问题，导致无法准确地对胚胎进行评级分类，从而无法筛选出优质胚胎用于胚胎移植。


技术实现要素：

7.鉴于上述，本发明的目的是提供一种基于多模态融合的胚胎多焦平面图像着床预测装置，通过结合多模态焦平面图像来提高胚胎着床预测精准度。
8.为实现上述发明目的，本发明提供了一种基于多模态融合的胚胎多焦平面图像着床预测装置，包括存储器和处理器，所述存储器用于存储执行基于多模态融合的胚胎多焦平面图像着床预测的计算机可执行程序，所述处理器与所述存储器通信连接，并配置为执行存储器存储的计算机可执行程序，所述处理器执行所述计算机可执行程序时，实现以下步骤：
9.对于第五日囊胚期的透明带、内细胞团以及滋养层三个焦平面图像，标注着床标签以获取胚胎多焦平面图像样本；
10.构建多模态融合的胚胎多焦平面图像着床预测模型，包括生成核心图像模块、深度特征提取模块、特征融合模块以及着床预测模块，其中生成核心图像模块用于对三个焦平面图像进行自适应加权操作生成核心图像，深度特征提取模块用于将多个焦平面图像及核心图像在各自的提取网络中提取对应的深度特征，特征融合模块用于将三个焦平面图像提取到的深度特征分别与核心图像提取到的深度特征通过通道-空间分离的多头注意力机制smha计算关键特征后，对三个关键特征降维后与核心图像对应的深度特征拼接得到融合特征，以加强各个焦平面图像之间的信息交互，将融合特征用于最终预测，着床预测模块用于对输入的融合特征进行胚胎着床预测；
11.将所有胚胎多焦平面图像样本送入该胚胎多焦平面图像着床预测模型中进行训练，并通过更新模型参数不断优化；
12.利用参数优化的胚胎多焦平面图像着床预测模型进行胚胎着床预测。
13.优选地，所述的生成核心图像模块采用卷积操作计算三个焦平面图像的区域权重，并将三个焦平面图像加权组合后生成核心图像。
14.优选地，所述的深度特征提取模块包括三个焦平面图像各自所在的提取网络以及核心图像所在的提取网络，提取网络采用残差网络提取多个焦平面图像的深度特征及核心图像的深度特征。
15.优选地，所述的通道-空间分离的多头注意力机制smha计算关键特征，包括：该通道-空间分离的多头注意力机制smha只存在于残差网络最后两个特征提取层之后，假设特征形态都为c
×h×
w，其中h代表向量特征的高度，w代表宽度，c代表通道数，fq表示输入的查询向量，f
kv
指键向量和值向量，
16.fq和f
kv
输入空间smha经过平均池化操作、reshape操作变成二维矩阵后，经过空间smha，具体为：
17.spatial-smha(fq,f
kv
)＝mha(avgpool(fq),f
kv
)
18.avgpool操作为一个平均池化操作，将输入的fq转化成一个形状为1
×
c的二维矩阵，通过reshape操作将输入的f
kv
转化成一个形状(h
×
w)
×
c的二维矩阵，将这两个矩阵用于计算mha值；
19.将fq和f
kv
输入进行卷积操作变成二维矩阵，具体为：
20.channel-smha(fq,f
kv
)＝mha(conv(fq),f
kv
)
21.conv操作是一个卷积操作，将输入的fq通过输出通道为1，卷积核大小为1
×
1的卷
积层转变为1
×
(h
×
w)的二维矩阵，使用reshape操作将f
kv
转变成c
×
(h
×
w)的二维矩阵，将这两个矩阵用于计算mha值，
22.综合上述两个操作，在核心图像的深度特征f
core
的监督下，三个焦平面对应的关键特征f`i的提取步骤如下：
23.f`i＝channel-smha(f
core
,spatial-smha(fi,fi))
24.其中fi用于指代透明带、内细胞团以及滋养层这三个焦平面图像对应的深度特征。
25.优选地，所述的特征融合模块对三个关键特征与核心图像对应的深度特征拼接得到融合特征，包括：将三个关键特征降维后与核心图像的深度特征拼接，将拼接后的深度特征降维到原始通道数进一步融合得到融合特征。
26.优选地，所述的着床预测模块采用残差网络将融合特征输入到全连接层进行计算，输出胚胎着床预测结果。
27.优选地，所述的胚胎多焦平面图像着床预测模型还包括多组交替连接的深度特征提取模块和特征融合模块，其中，深度特征提取模块用于将从前组输入的三个关键特征及融合特征在各自的提取网络中提取对应的高阶深度特征，特征融合模块用于将提取到的三个高阶深度特征分别与融合特征提取到的高阶深度特征通过通道-空间分离的多头注意力机制计算高阶关键特征后，对三个高阶关键特征降维后与融合特征对应的高阶深度特征拼接得到高阶融合特征，其中，三个高阶关键特征和高阶融合特征作为下一组深度特征提取模块的输入。
28.优选地，训练时，使用交叉熵函数计算胚胎着床预测结果与着床标签之间的损失并更新模型参数，不断优化。
29.为实现上述发明目的，本发明还提供了一种基于多模态融合的胚胎多焦平面图像着床预测装置，其特征在于，包括数据获取单元、模型构建单元、训练单元、应用单元，
30.所述数据获取单元用于，对于第五日囊胚期的透明带、内细胞团以及滋养层三个焦平面图像，标注着床标签以获取胚胎多焦平面图像样本；
31.所述模型构建单元用于构建多模态融合的胚胎多焦平面图像预测模型，包括生成核心图像模块、深度特征提取模块、特征融合模块以及胚胎多焦平面图像着床预测模块，其中生成核心图像模块用于对批量增强后的多焦平面图像样本进行自适应加权操作生成核心图像，深度特征提取模块用于将多个焦平面图像及核心图像在各自的提取网络中提取对应的深度特征向量，特征融合模块用于将多个焦平面图像提取到的深度特征向量分别与核心图像提取到的深度特征向量通过改进的多头注意力机制smha进行融合，以加强各个焦平面图像之间的信息交互，经过多个特征提取层和特征融合层后，将最终输出的核心图像融合特征用于最终预测，胚胎多焦平面图像着床预测模块用于根据核心图像融合特征进行胚胎着床预测；
32.所述训练单元用于将所有胚胎多焦平面图像样本送入该多模态融合的胚胎多焦平面图像着床预测装置中进行训练，并通过更新参数来不断优化；
33.所述应用单元用于利用参数优化的多模态融合的胚胎多焦平面图像着床预测装置进行胚胎着床预测。
34.与现有技术相比，本发明的技术效果至少包括：
35.对训练样本d5胚胎的多焦平面图像标注时只需要作是否成功着床的标注，而不需要对每个多焦平面图像进行分割标注，减少了训练样本制作时间，通过核心图像与其他多个焦平面图像两两信息交互的方式解决了在一般多模态任务中难以在3个以上平等模态中信息交互的问题，从而获得更加丰富准确的核心图像融合特征，增加预测准确度，通过通道-空间分离的多头注意力机制(channel-spatial separatedmha，smha)减少了在卷积神经网络中计算量过大的问题，提升预测模型的运行效率，有效提升了胚胎着床预测的准确率，能够帮助胚胎学家更加准确高效地选取优质胚胎，提升胚胎移植的成功率。
附图说明
36.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
37.图1是本发明实施例提供的基于多模态融合的胚胎多焦平面图像着床预测方法流程图；
38.图2是本发明实施例提供的基于多模态融合的胚胎多焦平面图像着床预测模型训练流程图；
39.图3是本发明实施例提供的基于多模态融合的胚胎多焦平面图像着床预测模型的结构图；
40.图4是本发明实施例提供的基于多模态融合的胚胎多焦平面图像着床预测模型中通道-空间分离的多头注意力机制smha的结构图；
41.图5是本发明实施例提供的基于多模态融合的胚胎多焦平面图像着床预测装置的结构图。
具体实施方式
42.为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
43.为了解决现有技术中囊胚期多焦图像非聚焦区域模糊冗余较大，囊胚期多焦图像不易融合、信息交互不够彻底，无法完整地提取囊胚期多焦图像信息，数据计算量过大等导致胚胎着床预测不够准确的问题，实施例提供了一种基于多模态融合的胚胎多焦平面图像着床预测方法和装置。
44.如图1所示，实施例提供的一种基于多模态融合的胚胎多焦平面图像着床预测方法，包括以下步骤：
45.s110，对于第五日囊胚期的透明带、内细胞团以及滋养层三个焦平面图像，标注着床标签以获取胚胎多焦平面图像样本。
46.实施例中，通过多焦平面显微镜拍摄d5囊胚图像，包含透明带(zp)、内细胞团(icm)、滋养层(te)三个焦平面图像，其中每张图像为224*224大小的三通道rgb图像，包含了多焦平面显微镜下的胚胎图像和少量病人信息，胚胎主体一般处于图像正中间，但是少
量胚胎图像中的胚胎会存在偏移现象。
47.由胚胎专家对每个独立样本是否可以成功在母体着床进行标注，其中标签0、1，分别对应着无法着床和可以着床。基于标注数据，按照8:1:1的比例对两个类别进行相同的训练集、验证集和测试集划分，其中成囊与不成囊的比例均为52:48。通过划分数据以随即挑选，以避免相似数据处于同一集合中。
48.实施例中，由于拍摄不同焦距的多焦平面图像时需要调整相机，并且在这期间胚胎也会有小幅度摆动，因此需要首先对每组图像中的三张多焦平面图像进行统一对齐操作，使其特征基本保持在同一位置。对训练集中的胚胎囊胚期图像数据，需要对单个胚胎的所有多焦平面图像统一进行缩放裁剪，随机水平翻转，随机垂直翻转，随机亮度变化，随机角度旋转。因为要保证同一个样本的数据是处于同一角度的，因此上述数据增强对于单个样本的3张多焦平面图像需要统一处理。
49.s120，构建多模态融合的胚胎多焦平面图像着床预测模型，包括生成核心图像模块、深度特征提取模块、特征融合模块以及着床预测模块。
50.实施例中，整体训练流程如图2所示，将多组(一般为batch＝8)多焦平面图像集(每个集合包含3张图像)输入到多模态融合的胚胎多焦平面图像着床预测模型中，多模态融合的胚胎多焦平面图像着床预测模型的结构如图3所示。由于在多模态任务中，对3个模态的数据两两交换信息是非常困难的，因此首先通过3层使用大卷积核的卷积层计算出每个多焦平面图像的区域权重，之后通过对这3张图像进行加权操作得到生成的核心图像。
51.如图3所示，深度特征提取模块包括多个焦平面图像各自所在的提取网络以及核心图像所在的提取网络，采用预训练的resnet-18提取多个焦平面图像的深度特征及核心图像的深度特征。具体采用resnet-18的前五层提取深度特征，具体包括5个卷积块，第一个卷积模块为单层卷积层(convolutionallayer)，之后2-4卷积块通过串联多个bottleneck块形成信道数越来越大的残差网络块，每个卷积块后通过relu函数激活。由于在多模态任务中，对3个模态的数据两两交换信息是非常困难的，因此首先通过3层使用大卷积核的卷积层计算出每个多焦平面图像的区域权重，之后通过对这3张图像进行加权操作得到生成的核心图像。
52.如图3所示，深度特征提取模块包括多个焦平面图像各自所在的提取网络以及核心图像所在的提取网络，采用预训练的resnet-18提取多个焦平面图像的深度特征及核心图像的深度特征。
53.如图4所示，特征融合模块包括通道-空间分离的的多头注意力机制smha，用于计算多个焦平面图像和核心图像的深度特征的smha值，以及对每个smha进行降维并与核心图像的深度特征拼接，将拼接后的深度特征降维到原始通道数进一步融合并输出融合特征。在resnet-18最后两个特征提取层之后，将多焦平面图像特征和核心图像特征展平并计算mha用于信息交互，为了减少其计算量，将mha改为通道-空间分离的mha(channel-spatial separated mha，smha)。mha操作为：
[0054][0055]
其中wq∈r
dk
×
dk
,wk∈r
dk
×
dk
,wv∈r
dk
×
dk
分别代表了query，key和value的投影矩阵。
在mha中，f
x
代表了query而fy代表了key和value，d和k用于表示query和key向量的维度大小。softmax操作则是将输出转化成在0～1上的概率分布，用与表示各个特征值的权重关系。
[0056]
空间smha的具体操作是首先将query向量fq通过平均池化层转变为1
×
c的二维矩阵，再通过reshape操作将key-value向量f
kv
转变成(h
×
w)
×
c的二维矩阵，然后计算mha：
[0057]
spatial-smha(fq,f
kv
)＝mha(avgpool(fq),f
kv
)
[0058]
通道smha的具体操作是首先将fq通过输出通道为1，卷积核大小为1
×
1的卷积层转变为1
×
(h
×
w)的二维矩阵，再通过reshape操作将f
kv
转变成c
×
(h
×
w)的二维矩阵，然后计算mha：
[0059]
channel-smha(fq,f
kv
)＝mha(conv(fq),f
kv
)
[0060]
综合上述两个操作，在核心图像的深度特征f
core
的监督下，三个焦平面对应的关键特征f`i的提取步骤如下：
[0061]
f`i＝channel-smha(f
core
,spatial-smha(fi,fi))
[0062]
其中fi用于指代透明带、内细胞团以及滋养层这三个焦平面图像对应的深度特征。
[0063]
在关键特征提取完成之后f`i将被输入到下一个特征提取单元，为了减少关键特征中的冗余，对每个多焦平面图像的关键特征进行降维(从当前通道压缩成4通道)并与核心图像特征进行拼接操作，最后在将拼接后的特征降维到原始通道数用于进一步融合。
[0064]
如图3所示，胚胎多焦平面图像着床预测模块用于根据核心图像融合特征进行胚胎着床预测。
[0065]
s130，将所有胚胎多焦平面图像样本送入该胚胎多焦平面图像着床预测模型中进行训练，并通过更新模型参数不断优化。
[0066]
训练过程中，训练样本图像经生成核心图像模块由resnet-18加权计算生成核心图像，与胚胎的多个焦平面图像的提取特征两两交互，经smha降维、与核心图像的深度特征拼接，将拼接后的深度特征降维到原始通道数进一步融合并输出融合特征，将融合特征输入胚胎着床预测模型中预测最终结果。模型训练的分类损失函数是crossentropyloss，迭代轮次设置为250轮，每轮按照batchsize＝8输入数据，计算上述损失并反向传播，更新模型参数，直至训练完毕，每轮训练过程中都会保存具有最佳验证效果的模型。并通过修改超参数，包括学习率(learning rate，lr)，lr下降速度(每n轮下降k％)，使得验证集上的损失值、准确率、召回率等指标达到最优，使得模型的泛化性能更好。
[0067]
s140，利用参数优化的胚胎多焦平面图像着床预测模型进行胚胎着床预测。
[0068]
实施例中，利用参数优化的胚胎多焦平面图像着床预测模型进行胚胎着床预测，包括：将对于待预测的d5胚胎多焦平面图像样本数据输入至胚胎多焦平面图像着床预测模型进行预测，输出胚胎着床和胚胎不能着床两类结果。
[0069]
对于囊胚期多焦图像非聚焦区域模糊冗余较大，囊胚期多焦图像不易融合、信息交互不够彻底的问题，实施例中，通过resnet-18构建生成核心图像模块，基于resnet-18的前五层，该模型具有5个卷积模块，第一个卷积模块为单层卷积层(convolutional layer)，之后2-4卷积模块通过串联多个bottleneck模块形成信道数越来越大的残差模块，每个卷积模块后通过relu函数激活。由于在多模态任务中，对3个模态的数据两两交换信息是非常
困难的，因此首先通过3层使用大卷积核的卷积层计算出每个mfp图像的区域权重，之后通过对这3张图像进行加权操作得到生成的核心图像，通过生成核心图像并以两两交互的方式解决了多模态任务重难以在3个平等模态中信息交互的问题，从而提高了胚胎多焦图像的清晰度以及各图像之间的交互程度，从而提高了模型的预测精准度。
[0070]
对于数据计算量过大的问题，实施例中，之后通过预训练的resnet-18的每个特征提取层对胚胎多焦平面图像以及核心图像这四张图像提取特征。在resnet-18最后两个特征提取层之后，将mfp图像特征和核心图像特征展平并计算mha用于信息交互，为了减少其计算量，将mha改为通道-空间分离的mha(channel-spatial separated mha，smha)。为了减少关键特征中的冗余，对每个mfp图像的关键特征进行降维(从当前通道压缩成4通道)并与核心图像特征进行拼接操作，最后在将拼接后的特征降维到原始通道数用于进一步融合，因此减少了数据计算量，提高预测模型的计算效率。
[0071]
基于同样的发明构思，实施例还提供了一种基于多模态融合的胚胎多焦平面图像着床预测装置，包括存储器和处理器，存储器用于存储计算机程序，其处理器执行计算机程序时，实现上述实施例提供的基于多模态融合的胚胎多焦平面图像着床预测方法的步骤，包括以下步骤：
[0072]
s110，对于第五日囊胚期的透明带、内细胞团以及滋养层三个焦平面图像，标注着床标签以获取胚胎多焦平面图像样本；
[0073]
s120，构建多模态融合的胚胎多焦平面图像着床预测模型，包括生成核心图像模块、深度特征提取模块、特征融合单元以及胚胎多焦平面图像着床预测模块；
[0074]
s130，将所有胚胎多焦平面图像样本送入该胚胎多焦平面图像着床预测模型中进行训练，并通过更新模型参数不断优化；
[0075]
s140，利用参数优化的胚胎多焦平面图像着床预测模型进行胚胎着床预测。
[0076]
实施例中，存储器可以为在近端的易失性存储器，如ram，还可以是非易失性存储器，如rom，flash，软盘，机械硬盘等，还可以是远端的存储云。处理器可以为中央处理器(cpu)、微处理器(mpu)、数字信号处理器(dsp)、或现场可编程门阵列(fpga)，即可以通过这些处理器实现基于多模态融合的胚胎多焦平面图像着床预测方法的步骤。
[0077]
基于同样的发明构思，实施例还提供了基于多模态融合的胚胎多焦平面图像着床预测装置500，包括数据获取单元510、模型构建单元520、训练单元530、应用单元540，
[0078]
其中，数据获取单元510用于对于第五日囊胚期的透明带、内细胞团以及滋养层三个焦平面图像，标注着床标签以获取胚胎多焦平面图像样本。
[0079]
模型构建单元520用于构建多模态融合的胚胎多焦平面图像预测模型，包括生成核心图像模块、深度特征提取模块、特征融合模块以及胚胎多焦平面图像着床预测模块，其中生成核心图像模块用于对批量增强后的多焦平面图像样本进行自适应加权操作生成核心图像，深度特征提取模块用于将多个焦平面图像及核心图像在各自的提取网络中提取对应的深度特征向量，特征融合模块用于将多个焦平面图像提取到的深度特征向量分别与核心图像提取到的深度特征向量通过改进的多头注意力机制smha进行融合，以加强各个焦平面图像之间的信息交互，经过多个特征提取层和特征融合层后，将最终输出的核心图像融合特征用于最终预测，胚胎多焦平面图像着床预测模块用于根据核心图像融合特征进行胚胎着床预测。
[0080]
训练单元530用于将所有胚胎多焦平面图像样本送入该多模态融合的胚胎多焦平面图像着床预测装置中进行训练，并通过更新参数来不断优化。
[0081]
应用单元540用于利用参数优化的多模态融合的胚胎多焦平面图像着床预测装置进行胚胎着床预测。
[0082]
需要说明的是，上述实施例提供的基于多模态融合的胚胎多焦平面图像着床预测装置在进行胚胎着床预测时，应以上述各功能单元的划分进行举例说明，可以根据需要将上述功能分配由不同的功能单元完成，即在终端或服务器的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于多模态融合的胚胎多焦平面图像着床预测装置与基于模态融合的胚胎多焦平面图像着床预测方法实施例属于同一构思，其具体实现过程详见基于多模态融合的胚胎多焦平面图像着床预测方法实施例，这里不再赘述。
[0083]
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于多模态融合的胚胎多焦平面图像着床预测装置，包括存储器和处理器，所述存储器用于存储执行基于多模态融合的胚胎多焦平面图像着床预测的计算机可执行程序，所述处理器与所述存储器通信连接，并配置为执行存储器存储的计算机可执行程序，其特征在于：所述处理器执行所述计算机可执行程序时，实现以下步骤：对于第五日囊胚期的透明带、内细胞团以及滋养层三个焦平面图像，标注着床标签以获取胚胎多焦平面图像样本；构建多模态融合的胚胎多焦平面图像着床预测模型，包括生成核心图像模块、深度特征提取模块、特征融合模块以及着床预测模块，其中生成核心图像模块用于对三个焦平面图像进行自适应加权操作生成核心图像，深度特征提取模块用于将多个焦平面图像及核心图像在各自的提取网络中提取对应的深度特征，特征融合模块用于将三个焦平面图像提取到的深度特征分别与核心图像提取到的深度特征通过通道-空间分离的多头注意力机制smha计算关键特征后，对三个关键特征降维后与核心图像对应的深度特征拼接得到融合特征，以加强各个焦平面图像之间的信息交互，将融合特征用于最终预测，着床预测模块用于对输入的融合特征进行胚胎着床预测；将所有胚胎多焦平面图像样本送入该胚胎多焦平面图像着床预测模型中进行训练，并通过更新模型参数不断优化；利用参数优化的胚胎多焦平面图像着床预测模型进行胚胎着床预测。2.根据权利要求1所述的基于多模态融合的胚胎多焦平面图像着床预测装置，其特征在于，所述的生成核心图像模块采用卷积操作计算三个焦平面图像的区域权重，并将三个焦平面图像加权组合后生成核心图像。3.根据权利要求1所述的基于多模态融合的胚胎多焦平面图像着床预测装置，其特征在于，所述的深度特征提取模块包括三个焦平面图像各自所在的提取网络以及核心图像所在的提取网络，提取网络采用残差网络提取三个焦平面图像的深度特征及核心图像的深度特征。4.根据权利要求1所述的基于多模态融合的胚胎多焦平面图像着床预测装置，其特征在于，通过通道-空间分离的多头注意力机制smha计算关键特征，包括：该通道-空间分离的多头注意力机制smha只存在于残差网络最后两个特征提取层之后，假设特征形态都为c
×
h
×
w，其中h代表向量特征的高度，w代表宽度，c代表通道数，f
q
表示输入的查询向量，f
kv
指键向量和值向量，f
q
和f
kv
输入空间smha经过平均池化操作、reshape操作变成二维矩阵，具体为：spatial-smha(f
q
,f
kv
)＝mha(avgpool(f
q
),f
kv
)avgpool操作为一个平均池化操作，将输入的f
q
转化成一个形状为1
×
c的二维矩阵，通过reshape操作将输入的f
kv
转化成一个形状(h
×
w)
×
c的二维矩阵，将这两个矩阵用于计算mha值；将f
q
和f
kv
输入进行卷积操作变成二维矩阵，具体为：channel-smha(f
q
,f
kv
)＝mha(conv(f
q
),f
kv
)conv操作是一个卷积操作，将输入的f
q
通过输出通道为1，卷积核大小为1
×
1的卷积层转变为1
×
(h
×
w)的二维矩阵，使用reshape操作将f
kv
转变成c
×
(h
×
w)的二维矩阵，将这两
个矩阵用于计算mha值，综合上述两个操作，在核心图像的深度特征f
core
的监督下，三个焦平面对应的关键特征f`
i
的提取步骤如下：f`
i
＝channel-smha(f
core
,spatial-smha(f
i
,f
i
))其中f
i
用于指代透明带、内细胞团以及滋养层这三个焦平面图像对应的深度特征。5.根据权利要求1所述的基于多模态融合的胚胎多焦平面图像着床预测装置，其特征在于，所述的特征融合模块对三个关键特征与核心图像对应的深度特征拼接得到融合特征，包括：将三个关键特征降维后与核心图像的深度特征拼接，将拼接后的深度特征降维到原始通道数进一步融合得到融合特征。6.根据权利要求1所述的基于多模态融合的胚胎多焦平面图像着床预测装置，其特征在于，所述的着床预测模块采用残差网络将融合特征输入到全连接层中进行计算，输出胚胎着床预测结果。7.根据权利要求1-6任一项所述的基于多模态融合的胚胎多焦平面图像着床预测装置，其特征在于，胚胎多焦平面图像着床预测模型还包括多组交替连接的深度特征提取模块和特征融合模块，其中，深度特征提取模块用于将从前组输入的三个关键特征及融合特征在各自的提取网络中提取对应的高阶深度特征，特征融合模块用于将提取到的三个高阶深度特征分别与融合特征提取到的高阶深度特征通过通道-空间分离的多头注意力机制计算高阶关键特征后，对三个高阶关键特征降维后与融合特征对应的高阶深度特征拼接得到高阶融合特征，其中，三个高阶关键特征和高阶融合特征作为下一组深度特征提取模块的输入。8.根据权利要求1-6任一项所述的基于多模态融合的胚胎多焦平面图像着床预测装置，其特征在于，训练时使用交叉熵函数计算胚胎着床预测结果与着床标签之间的损失并更新模型参数，不断优化。9.一种基于多模态融合的胚胎多焦平面图像着床预测装置，其特征在于，包括数据获取单元、模型构建单元、训练单元、应用单元，所述数据获取单元用于，对于第五日囊胚期的透明带、内细胞团以及滋养层三个焦平面图像，标注着床标签以获取胚胎多焦平面图像样本；所述模型构建单元用于构建多模态融合的胚胎多焦平面图像预测模型，包括生成核心图像模块、深度特征提取模块、特征融合模块以及胚胎多焦平面图像着床预测模块，其中生成核心图像模块用于对批量增强后的多焦平面图像样本进行自适应加权操作生成核心图像，深度特征提取模块用于将多个焦平面图像及核心图像在各自的提取网络中提取对应的深度特征向量，特征融合模块用于将多个焦平面图像提取到的深度特征向量分别与核心图像提取到的深度特征向量通过改进的多头注意力机制smha进行融合，以加强各个焦平面图像之间的信息交互，经过多个特征提取层和特征融合层后，将最终输出的核心图像融合特征用于最终预测，胚胎多焦平面图像着床预测模块用于根据核心图像融合特征进行胚胎着床预测；所述训练单元用于将所有胚胎多焦平面图像样本送入该多模态融合的胚胎多焦平面图像着床预测装置中进行训练，并通过更新参数来不断优化；所述应用单元用于利用参数优化的多模态融合的胚胎多焦平面图像着床预测装置进
行胚胎着床预测。

技术总结
本发明公开了一种基于多模态融合的胚胎多焦平面图像着床预测装置，属于医学图像处理技术领域，包括：在提取胚胎三个焦平面图像深度特征基础及核心图像的深度特征的基础上，对这些深度特征使用通道-空间分离的多头注意力机制计算得到三个焦平面的关键特征，再将三个焦平面的关键特征与核心图像的深度特征进行拼接得到融合特征，利用该融合特征进行胚胎着床预测，提升了预测效率和精度，帮助胚胎专家更加精准高效率地分类筛选优质胚胎进行移植，从而提高胚胎着床成功率。从而提高胚胎着床成功率。从而提高胚胎着床成功率。


技术研发人员：吴健 程奕 陈婷婷 应豪超 叶志前
受保护的技术使用者：浙江大学
技术研发日：2023.03.22
技术公布日：2023/7/18