一种基于代价体积的电子显微镜图像配准方法

1.本发明涉及电子显微镜图像处理技术领域，具体地说是一种基于代价体积的电子显微镜图像配准方法。


背景技术：

2.随着生物技术和脑科学的发展，探索生物组织介观结构的重要性日益凸显。电子显微镜成像作为获取生物组织纳米级图像数据的一项重要技术，近年来得到迅速发展。为获取电子显微镜图像，通常的步骤是先将生物样本切割成纳米级厚度的超薄切片，再经由电子显微镜对切片进行成像以得到图像数据。由于生物组织质地柔软，切割的过程将不可避免地改变样本的原有形状；对于每个切片而言，切割将引入独立的变形以及断裂、折叠、杂质污染等多种类型的失真。这些失真将阻碍神经回路重建及生物组织解剖学分析等后续研究。
3.在上述背景下，电子显微镜图像配准技术应运而生，其目的即为消除图像中存在的形变，获取高质量的配准图像。给出两张需要配准的电子显微镜图像，即固定图像和浮动图像，电子显微镜图像配准的目标是计算出一种空间变换将浮动图像映射到固定图像，力求使浮动图像上的像素点与固定图像上的像素点一一对应，达到具有相同语义信息的图像特征在空间上具有相同坐标的目的。这里，这种空间变换即为变形场。
4.现有的针对电子显微镜图像配准的方法主要分为传统的配准方法和基于深度学习的配准方法。传统的配准方法大多依赖于图像的特征提取与特征匹配：首先提取图像特征并生成特征描述子，进而根据描述子的相似程度进行特征匹配，得到图像配准的变换参数。此类方法依赖于图像特征的准确计算及匹配进而获得可靠的配准结果，而通常特征的提取及匹配过程是极其耗时的，在对配准速度有实际要求的现实场景中，为缩减配准时间将不得不降低特征提取及匹配的准确度，进而导致配准精度的降低。此外，为了获得符合要求的配准结果，传统方法需要反复调整配准参数及人工干预配准过程，这对于提升配准的效率是不利的。
5.目前基于深度学习的电子显微镜图像配准方法主要是基于卷积神经网络构建的回归网络模型。此类方法利用端到端的深度学习框架极大减少了配准过程对人工的要求。然而，由于卷积神经网络只能关注到局部语义信息的内在局限性，此类方法只能通过卷积运算获取到局部的图像特征匹配关系，进而只能处理小范围内的图像变形，而无法矫正更大的变形。因此，针对现有电子显微镜图像配准技术中存在的这些问题，有必要针对获取更加全局的语义信息并提升大变形图像配准精度进行进一步的研究。


技术实现要素：

6.本发明是为了克服上述现有技术存在的不足之处，提出一种基于代价体积的电子显微镜图像配准方法，以期能编码图像中更加具有全局语义的信息，从而能提高对于电子显微镜图像中大变形的处理能力，以实现电子显微镜图像配准精度的提升。
7.本发明为达到上述发明目的，采用如下技术方案：
8.本发明一种基于代价体积的电子显微镜图像配准方法的特点在于，包括如下步骤：
9.步骤1：构建输入数据，包括数据的获取以及数据的预处理；
10.步骤1.1：从已配准的电子显微镜图像数据集中通过随机裁剪操作获取若干个固定图像及其对应的已配准的浮动图像；其中，将固定图像集合记为f∈rh×w，已配准的浮动图像集合记为m∈rh×w，h表示图像的高度，w表示图像的宽度；
11.步骤1.2：对所述浮动图像集合m中的所有浮动图像施加随机变形以合成对应的未配准图像，从而得到变形浮动图像集合，记为w∈rh×w；
12.步骤1.3：由固定图像集合f以及变形浮动图像集合w构建输入数据对集合{(fi,wi)|i＝1,
…
,n}；其中，fi表示第i张固定图像，wi表示第i张变形浮动图像，n表示集合中图像对的总数；
13.步骤2：构建基于代价体积的电子显微镜图像配准网络，包括：特征提取与特征增强分支、变形场预测分支；
14.步骤2.1：所述特征提取与特征增强分支包含n个层级，每个层级均由特征提取子网络和特征增强子网络级联组成；其中，第j级特征提取子网络记为encoderj，第j级特征增强子网络记为enhancerj，j＝1,
…
,n；
15.当j＝1时，第i个图像对(fi,wi)输入第j级特征提取子网络encoderj中进行处理，并输出第j级的第i个中间特征其中，表示encoderj输出的第i个中间固定特征，表示encoderj输出的第i个中间浮动特征；经过第j级特征增强子网络enhancerj的处理后，获得第j层级最终的第i个输出特征其中，表示第j层级输出的第i个增强固定特征，表示第j层级输出的第i个增强浮动特征；
16.当j＝2,
…
,n时，第j-1层级最终输出的第i个特征输入第j级特征提取子网络encoderj中进行处理后再输入第j级特征增强子网络enhancerj中进行处理，获得第j层级最终的第i个输出特征从而由第n级特征增强子网络enhancern输出第n级最终的第i个输出特征
17.步骤2.2：所述变形场预测分支包含n个层级的变形场残差估计子网络，并将第j级的变形场残差估计子网络记为dfrej，j＝1,
…
,n；
18.利用式(1)确定第j层级的第i个初始变形场
[0019][0020]
式(1)中，表示第j+1级的变形场残差估计子网络最终输出的第i个变形场；
[0021]
当j＝n时，将第j级的最终输出特征和初始变形场输入第j级的变形场残差估计子网络dfrej中进行处理，获得第j级的第i个变形场残差并利用式(2)获得第j级的第i个变形场输出
[0022][0023]
式(2)中，
⊕
表示逐元素相加操作，
↑
表示上采样操作；
[0024]
当j＝1,
…
,n-1时，将第n-1级的第i个最终输出特征和第n-1级的第i个初始变形场输入第n-1级的变形场残差估计子网络dfre
n-1
中进行处理，获得第n-1级的第i个变形场残差并利用式(2)获得第n-1级的第i个变形场输出从而由第1级的变形场残差估计子网络dfre1获得第1级的第i个变形场输出
[0025]
步骤2.3：利用第1级的第i个变形场输出对第i个图像对(fi,wi)中第i张变形后的浮动图像wi进行空间插值，获得第i张配准后的浮动图像ri；
[0026]
步骤3：基于代价体积的电子显微镜图像配准网络的训练与优化；
[0027]
步骤3.1：对第2级至第n级的第i个变形场分别进行上采样操作，使得与的像素分辨率相同，从而得到上采样后的变形场，记为其中，表示第j级的第i个上采样后的变形场；当j＝1时，令
[0028]
步骤3.2：利用对第i张变形后的浮动图像wi进行插值，从而获得由各级上采样后的变形场配准得到的配准图像集合其中，表示第j级的第i张配准图像；当j＝1时，令
[0029]
步骤3.3：利用式(4)建立第j级的第i张配准图像与第i张固定图像fi之间的均方误差相似度损失函数
[0030][0031]
式(4)中，(fi)k表示fi的第k个像素值，表示的第k个像素值，n表示fi中像素的总数；
[0032]
步骤3.4：利用式(3)建立第j级的第i个上采样后的变形场的空间梯度损失函数
[0033]
[0034]
式(3)中，表示空间梯度运算，‖
·
‖2表示l2范数运算；
[0035]
步骤3.5：利用式(5)建立对于第i个图像对(fi,wi)的总损失函数
[0036][0037]
式(5)中，λ是超参数；
[0038]
步骤3.6：基于所述输入数据对集合{(fi,wi)|i＝1,
…
,n}对电子显微镜图像配准网络进行训练，并利用梯度下降算法优化每个图像对的总损失函数直到迭代训练达到设定的次数后停止训练，从而获得最优的图像配准网络模型，用于电子显微镜图像对的配准。
[0039]
本发明所述的一种基于代价体积的电子显微镜图像配准方法的特点也在，步骤2.1中每个层级的特征提取子网络均包含m个二维卷积层和m个relu激活函数层；
[0040]
每个二维卷积层后均连接一个relu激活函数层以组成一个基本卷积块，m个基本卷积块顺次连接构成所述特征提取子网络；其中，每个二维卷积层的卷积核大小均为3
×
3，第一个二维卷积层的卷积步幅为2，其余二维卷积层的卷积步幅为1。
[0041]
步骤2.1中每个层级的特征增强子网络均包含：三个二维卷积块、三个池化块和两个sigmoid激活函数层；
[0042]
将三个二维卷积块分别记为convblock1、convblock2和convblock3，且每个二维卷积块均由一个二维卷积层和一个relu激活函数层连接构成；
[0043]
将三个池化块分别记为poolingblock1、poolingblock2和poolingblock3，且每个池化块均由一个最大池化层和一个平均池化层组成；
[0044]
将两个sigmoid激活函数层分别记为sigmoid1和sigmoid2；
[0045]
将和在通道维度上连接后输入convblock1，并获得融合特征
[0046]
将和分别经过池化块poolingblock1、poolingblock2和poolingblock3的处理，由最大池化层和平均池化层分别对所输入的特征在通道维度上进行池化，再将两个池化的结果在通道维度上连接后，获得对应的池化特征和
[0047]
将和分别与在通道维度上连接后，分别输入二维卷积块convblock2和convblock3中进行处理，获得空间注意力特征和
[0048]
将和分别经过激活函数层sigmoid1和sigmoid2的处理后，得到固定特征空间注意力权重和浮动特征空间注意力权重
[0049]
将与通过逐元素相乘运算后，得到增强固定特征将与通过逐元素相乘运算后，得到增强浮动特征
[0050]
所述步骤2.2中每个层级的变形场残差估计子网络均包含：代价体积计算模块和门控循环单元模块；
[0051]
第j级的变形场残差估计子网络dfrej中的代价体积计算模块利用式(6)计算第j级的第i个增强固定特征和增强浮动特征之间的代价体积
[0052][0053]
式(6)中，c表示增强特征的通道数，t表示转置操作；
[0054]
利用第j级的第i个初始变形场对代价体积进行插值操作，获得第j级的第i个相关特征
[0055]
将初始变形场相关特征和增强固定特征输入所述门控循环单元模块中进行处理，输出第j级的第i个变形场残差
[0056]
本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行任一所述电子显微镜图像配准方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
[0057]
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行任一所述电子显微镜图像配准方法的步骤。
[0058]
与现有技术相比，本发明的有益效果在于：
[0059]
1、本发明在构建电子显微镜图像配准网络时引入代价体积，以新颖而有效的方式提升了配准方法处理图像中大变形的能力，提高了电子显微镜图像配准的精度，且在图像中存在较大变形时本发明的优势明显。代价体积通过计算特征间逐像素对的内积记录了特征的匹配程度，相比于卷积神经网络所采用的局部卷积方式，代价体积能够关注到特征间更加全局的语义联系，从而有利于配准网络关注到更大的图像变形，提升了配准精度；
[0060]
2、本发明在提取输入的固定及浮动图像的特征并建立其各自的特征金字塔的支路中加入特征增强模块，用以加强固定特征和浮动特征之间相关联的特征。一方面，为了获得准确的变形场，配准过程应力图将固定特征和浮动特征之间具有相同语义信息的特征的联系加强，并弱化无法找到语义对应关系的特征对配准过程的影响，特征增强模块通过空间注意力机制对特征施以不同的权重，以达到上述目标；另一方面，代价体积记录了固定特征和浮动特征之间的关联程度，通过特征增强模块处理后突出相关性高的特征，使得代价体积记录的特征的关联程度更加鲁棒和准确；
[0061]
3、本发明在变形场预测支路中采取多层级的残差估计策略，不断修正变形场的估
计结果，从而提升最终变形场的预测精度，并获得更加准确的配准结果。受光流估计相关方法的启发，该发明利用门控循环单元计算各层级变形场的残差，并构建了多层级的残差估计网络，从低分辨率到高分辨率逐级估计残差并修正当前层级的变形场，不断优化变形场预测结果，以实现更为精确的配准；
[0062]
4、本发明在网络的训练阶段采用多层级的损失函数对各层级的变形场预测结果同时施加约束，促进各层级的变形场残差估计子网络学习到图像特征间更加准确的语义联系，以加速网络训练的收敛并提升配准精度。
附图说明
[0063]
图1为本发明方法流程图；
[0064]
图2为本发明基于代价体积的电子显微镜图像配准方法的整体框架图；
[0065]
图3为本发明中特征提取子网络的结构图；
[0066]
图4为本发明中第j层级特征增强子网络的结构图；
[0067]
图5为本发明中第j层级变形场残差估计子网络的结构图。
具体实施方式
[0068]
本实施例中，如图2所示，一种基于代价体积的电子显微镜图像配准方法，是通过获取具有高语义相关性的图像特征并通过代价体积编码特征间的相关程度，获得图像特征更加全局的语义对应关系，并采取多层级的残差估计策略迭代更新变形场预测结果，实现电子显微镜图像配准精度的提升。具体地说，如图1所示，该方法包括如下步骤：
[0069]
步骤1：构建输入数据，包括数据的获取以及数据的预处理；
[0070]
步骤1.1：从已配准的电子显微镜图像数据集中通过随机裁剪操作获取若干个固定图像及其对应的已配准的浮动图像；其中，将固定图像集合记为f∈rh×w，已配准的浮动图像集合记为m∈rh×w，h表示图像的高度，w表示图像的宽度；
[0071]
步骤1.2：对浮动图像集合m中的所有浮动图像施加随机变形以合成对应的未配准图像，从而得到变形浮动图像集合，记为w∈rh×w；在具体实施中，取h＝w＝512。
[0072]
步骤1.3：由固定图像集合f以及变形浮动图像集合w构建输入数据对集合{(fi,wi)|i＝1,
…
,n}；其中，fi表示第i张固定图像，wi表示第i张变形浮动图像，n表示集合中图像对的总数；
[0073]
在具体实施中，使用三个公开的电子显微镜图像数据集：cremi、fib-25和fafb数据集；通过裁剪操作从数据集中获取图像大小为512
×
512的数据集合f和m；利用基于窄带样条函数的插值方法对集合m中的图像施加随机变形，获得变形浮动图像集合w，进而获得输入数据对集合{(fi,wi)|i＝1,
…
,n}；在本实施例中，从cremi、fib-25和fafb数据集中获取的输入数据对总数分别为992、1496和1074；
[0074]
步骤2：构建基于代价体积的电子显微镜图像配准网络，包括：特征提取与特征增强分支、变形场预测分支；
[0075]
步骤2.1：特征提取与特征增强分支包含n个层级，每个层级均由特征提取子网络和特征增强子网络级联组成；其中，第j级特征提取子网络记为encoderj，第j级特征增强子网络记为enhancerj，j＝1,
…
,n；
[0076]
每个层级的特征提取子网络均包含m个二维卷积层和m个relu激活函数层；每个二维卷积层后均连接一个relu激活函数层以组成一个基本卷积块，m个基本卷积块顺次连接构成特征提取子网络；其中，每个二维卷积层的卷积核大小均为3
×
3，第一个二维卷积层的卷积步幅为2，其余二维卷积层的卷积步幅为1；本实施例中，取m＝3；特征提取子网络的结构如图3所示。
[0077]
每个层级的特征增强子网络均包含：三个二维卷积块、三个池化块和两个sigmoid激活函数层；将三个二维卷积块分别记为convblock1、convblock2和convblock3，且每个二维卷积块均由一个二维卷积层和一个relu激活函数层连接构成；将三个池化块分别记为poolingblock1、poolingblock2和poolingblock3，且每个池化块均由一个最大池化层和一个平均池化层组成；将两个sigmoid激活函数层分别记为sigmoid1和sigmoid2；
[0078]
第j层级特征增强子网络的结构如图4所示；将和在通道维度上连接后输入convblock1，并获得融合特征对于每个池化块，其输入分别由最大池化层和平均池化层在通道维度上池化，得到的结果进一步在通道维度上连接得到池化块的输出；将和分别经过池化块poolingblock1、poolingblock2和poolingblock3的处理后，获得对应的池化特征的处理后，获得对应的池化特征和将和分别与在通道维度上连接并分别输入二维卷积块convblock2和convblock3，获得空间注意力特征和将和分别经过激活函数层sigmoid1和sigmoid2的处理后得到固定特征空间注意力权重和浮动特征空间注意力权重将与通过逐元素相乘运算得到增强固定特征将与通过逐元素相乘运算得到增强浮动特征
[0079]
当j＝1时，第i个图像对(fi,wi)输入第j级特征提取子网络encoderj中进行处理，并输出第j级的第i个中间特征其中，表示encoderj输出的第i个中间固定特征，表示encoderj输出的第i个中间浮动特征；经过第j级特征增强子网络enhancerj的处理后，获得第j层级最终的第i个输出特征其中，表示第j层级输出的第i个增强固定特征，表示第j层级输出的第i个增强浮动特征；
[0080]
当j＝2,
…
,n时，第j-1层级最终输出的第i个特征输入第j级特征提取子网络encoderj中进行处理后再输入第j级特征增强子网络enhancerj中
进行处理，获得第j层级最终的第i个输出特征从而由第n级特征增强子网络enhancern输出第n级最终的第i个输出特征在具体实施中，取n＝6。
[0081]
步骤2.2：变形场预测分支包含n个层级的变形场残差估计子网络，并将第j级的变形场残差估计子网络记为dfrej，j＝1,
…
,n；
[0082]
变形场残差估计子网络的结构如图5所示；每个层级的变形场残差估计子网络均包含：代价体积计算模块和门控循环单元模块；
[0083]
对于第j级的变形场残差估计子网络dfrej，其代价体积计算模块利用式(6)计算第j级的第i个增强固定特征和增强浮动特征之间的代价体积
[0084][0085]
式(6)中，c表示增强特征的通道数，t表示转置操作；获得代价体积后，利用第j级的第i个初始变形场对代价体积进行插值操作，获得第j级的第i个相关特征将初始变形场相关特征和增强固定特征输入门控循环单元模块中进行处理，获得第j级的第i个变形场残差作为dfrej的输出；
[0086]
利用式(1)确定第j层级的第i个初始变形场
[0087][0088]
式(1)中，表示第j+1级的变形场残差估计子网络最终输出的第i个变形场；
[0089]
当j＝n时，由式(1)获得第j级的第i个初始变形场并将第j级的最终输出特征和初始变形场输入第j级的变形场残差估计子网络dfrej中进行处理，获得第j级的第i个变形场残差并利用式(2)获得第j级的第i个变形场输出
[0090][0091]
式(2)中，
⊕
表示逐元素相加操作，
↑
表示上采样操作；
[0092]
当j＝1,
…
,n-1时，由式(1)获得第j级的第i个初始变形场并将第n-1级的第i个最终输出特征和第n-1级的第i个初始变形场输入第n-1级的变形场残差估计子网络dfre
n-1
中进行处理，获得第n-1级的第i个变形场残差并利用式(2)获得第n-1级的第i个变形场输出从而由第1级的变形场残差
估计子网络dfre1获得第1级的第i个变形场输出
[0093]
步骤2.3：利用第1级的第i个变形场输出对第i个图像对(fi,wi)中第i张变形后的浮动图像wi进行空间上的双线性插值，获得第i张配准后的浮动图像ri；
[0094]
步骤3：基于代价体积的电子显微镜图像配准网络的训练与优化；
[0095]
步骤3.1：对第2级至第n级的第i个变形场分别进行上采样操作，使得与的像素分辨率相同，从而得到上采样后的变形场,记为其中，表示第j级的第i个上采样后的变形场；当j＝1时，令在具体实施中，第2级至第n级的第i个变形场均由双线性插值方法上采样至大小为512
×
512。
[0096]
步骤3.2：利用对第i张变形后的浮动图像wi进行插值，从而获得由各级上采样后的变形场配准得到的配准图像集合其中，表示第j级的第i张配准图像；当j＝1时，令
[0097]
步骤3.3：为了使第j级的第i张配准图像与第i张固定图像fi之间的视觉相似度最大化，达到像素级别的语义对应，本方法中通过约束与fi的相似度以实现上述目标；利用式(4)建立与fi之间的均方误差相似度损失函数
[0098][0099]
式(4)中，(fi)k表示fi的第k个像素值，表示的第k个像素值，n表示fi中像素的总数。
[0100]
步骤3.4：简单约束图像间的相似度而对变形场的空间变换不加以约束将导致配准图像与固定图像保持过高的视觉相似度而使得配准图像的空间变换不平滑且可能导致变形后的浮动图像中部分信息的丢失，因此需要对变形场的空间变换施加约束；利用式(5)建立第j级的第i个上采样后的变形场的空间梯度损失函数
[0101][0102]
式(3)中，表示空间梯度运算，‖
·
‖2表示l2范数运算。
[0103]
步骤3.5：利用式(5)建立对于第i个图像对(fi,wi)的总损失函数
[0104][0105]
式(5)中，λ是平衡空间梯度损失函数与相似度损失函数的超参数；在具体实施中，取λ＝0.5。
[0106]
步骤3.6：基于输入数据对集合{(fi,wi)|i＝1,
…
,n}对电子显微镜图像配准网络
进行训练，并利用梯度下降算法优化总损失函数迭代训练达到设定的次数后停止训练，获得最优的图像配准网络模型，用于电子显微镜图像对的配准。
[0107]
在具体实施中，实验环境采用pytorch深度学习框架；网络训练和测试采用的计算设备分别选择nvidia v100 gpu和nvidia 1080ti gpu；梯度下降算法选择adam优化算法；训练迭代轮次取500；
[0108]
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
[0109]
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。
[0110]
为定量评估网络的配准效果，本实施例中将传统电子显微镜图像配准方法elastic和bunwarpj、基于深度学习的配准方法ssemnet和zhou’s作为对比方法；采用dice系数、互相关系数(ncc)和结构相似度(ssim)作为评估指标；
[0111]
步骤3.6.1：为验证网络在cremi、fib-25和fafb三个数据集上的配准精度，本实施例中首先以8：1：1的比例分别对由上述数据集获得的数据对集合进行划分，获得各自对应的训练集、验证集和测试集；利用划分得到的三个训练集分别对网络进行训练并得到每个训练集所对应的最佳模型，并在测试集上与四个对比方法比较配准精度；在dice系数、ncc和ssim三个评估指标上的结果对比如表1所示；
[0112]
表1基于代价体积的配准方法与其它方法在不同数据集上的结果对比：
[0113][0114]
表1中，ours表示本发明方法；
[0115]
在三个电子显微镜图像数据集上的测试结果对比表明，相较于以往的电子显微镜图像配准方法，本发明提供的方法在量化指标上均取得了最好的结果，能够有效提升电子显微镜图像的配准精度；
[0116]
步骤3.6.2：为验证本发明方法对电子显微镜图像中大变形的处理能力，本实施例首先基于步骤1.3cremi数据集和窄带样条函数插值方法构造四个包含不同变形大小的数据集，分别记为cremi-1、cremi-2、cremi-3和cremi-4，且四个数据集中待配准图像中的变形依次增大；为量化验证本发明方法对具有大变形的电子显微镜图像的配准性能，本实施
例基于dice系数、ssim和ncc三个指标，将本发明方法与ssemnet和zhou’s两种基于深度学习的配准方法进行对比；实验结果如表2所示；
[0117]
表2基于代价体积的配准方法与其它方法在不同变形数据集上的结果对比：
[0118][0119]
表2的结果表明，本发明方法相较于对比方法，能够在图像中具有大变形时捕捉更为全局的语义信息对应关系，从而获得更高的处理大变形的能力，提升电子显微镜图像配准的精度。

技术特征：
1.一种基于代价体积的电子显微镜图像配准方法，其特征在于，包括如下步骤：步骤1：构建输入数据，包括数据的获取以及数据的预处理；步骤1.1：从已配准的电子显微镜图像数据集中通过随机裁剪操作获取若干个固定图像及其对应的已配准的浮动图像；其中，将固定图像集合记为f∈r
h
×
w
，已配准的浮动图像集合记为m∈r
h
×
w
，h表示图像的高度，w表示图像的宽度；步骤1.2：对所述浮动图像集合m中的所有浮动图像施加随机变形以合成对应的未配准图像，从而得到变形浮动图像集合，记为w∈r
h
×
w
；步骤1.3：由固定图像集合f以及变形浮动图像集合w构建输入数据对集合{(f
i
，w
t
)|i＝1，
…
，n}；其中，f
i
表示第i张固定图像，w
i
表示第i张变形浮动图像，n表示集合中图像对的总数；步骤2：构建基于代价体积的电子显微镜图像配准网络，包括：特征提取与特征增强分支、变形场预测分支；步骤2.1：所述特征提取与特征增强分支包含n个层级，每个层级均由特征提取子网络和特征增强子网络级联组成；其中，第j级特征提取子网络记为encoder
j
，第j级特征增强子网络记为enhancer
j
，j＝1，...，n；当j＝1时，第i个图像对(f
i
，w
i
)输入第j级特征提取子网络encoder
j
中进行处理，并输出第j级的第i个中间特征其中，表示encoder
j
输出的第i个中间固定特征，表示encoder
j
输出的第i个中间浮动特征；经过第j级特征增强子网络enhancer
j
的处理后，获得第j层级最终的第i个输出特征其中，表示第j层级输出的第i个增强固定特征，表示第j层级输出的第i个增强浮动特征；当j＝2，...，n时，第j-1层级最终输出的第i个特征输入第j级特征提取子网络encoder
j
中进行处理后再输入第j级特征增强子网络enhancer
j
中进行处理，获得第j层级最终的第i个输出特征从而由第n级特征增强子网络enhancer
n
输出第n级最终的第i个输出特征步骤2.2：所述变形场预测分支包含n个层级的变形场残差估计子网络，并将第j级的变形场残差估计子网络记为dfre
j
，j＝1，...，n；利用式(1)确定第j层级的第i个初始变形场利用式(1)确定第j层级的第i个初始变形场式(1)中，表示第j+1级的变形场残差估计子网络最终输出的第i个变形场；当j＝n时，将第j级的最终输出特征和初始变形场输入第j级的变形场残差估计子网络dfre
j
中进行处理，获得第j级的第i个变形场残差并
利用式(2)获得第j级的第i个变形场输出利用式(2)获得第j级的第i个变形场输出式(2)中，表示逐元素相加操作，
↑
表示上采样操作；当j＝1，
…
，n-1时，将第n-1级的第i个最终输出特征和第n-1级的第i个初始变形场输入第n-1级的变形场残差估计子网络dfre
n-1
中进行处理，获得第n-1级的第i个变形场残差并利用式(2)获得第n-1级的第i个变形场输出从而由第1级的变形场残差估计子网络dfre1获得第1级的第i个变形场输出步骤2.3：利用第1级的第i个变形场输出对第i个图像对(f
i
，w
i
)中第i张变形后的浮动图像w
i
进行空间插值，获得第i张配准后的浮动图像r
i
；步骤3：基于代价体积的电子显微镜图像配准网络的训练与优化；步骤3.1：对第2级至第n级的第i个变形场分别进行上采样操作，使得与的像素分辨率相同，从而得到上采样后的变形场，记为其中，表示第j级的第i个上采样后的变形场；当j＝1时，令步骤3.2：利用对第i张变形后的浮动图像w
i
进行插值，从而获得由各级上采样后的变形场配准得到的配准图像集合其中，表示第j级的第i张配准图像；当j＝1时，令步骤3.3：利用式(4)建立第j级的第i张配准图像与第i张固定图像f
i
之间的均方误差相似度损失函数差相似度损失函数式(4)中，(f
i
)
k
表示f
i
的第k个像素值，表示的第k个像素值，n表示f
i
中像素的总数；步骤3.4：利用式(3)建立第j级的第i个上采样后的变形场的空间梯度损失函数的空间梯度损失函数式(3)中，表示空间梯度运算，||
·
||2表示l2范数运算；步骤3.5：利用式(5)建立对于第i个图像对(f
i
，w
i
)的总损失函数)的总损失函数
式(5)中，λ是超参数；步骤3.6：基于所述输入数据对集合{(f
i
，w
i
)|i＝1，...，n}对电子显微镜图像配准网络进行训练，并利用梯度下降算法优化每个图像对的总损失函数直到迭代训练达到设定的次数后停止训练，从而获得最优的图像配准网络模型，用于电子显微镜图像对的配准。2.根据权利要求1所述的一种基于代价体积的电子显微镜图像配准方法，其特征在于，步骤2.1中每个层级的特征提取子网络均包含m个二维卷积层和m个relu激活函数层；每个二维卷积层后均连接一个relu激活函数层以组成一个基本卷积块，m个基本卷积块顺次连接构成所述特征提取子网络；其中，每个二维卷积层的卷积核大小均为3
×
3，第一个二维卷积层的卷积步幅为2，其余二维卷积层的卷积步幅为1。3.根据权利要求1所述的一种基于代价体积的电子显微镜图像配准方法，其特征在于，步骤2.1中每个层级的特征增强子网络均包含：三个二维卷积块、三个池化块和两个sigmoid激活函数层；将三个二维卷积块分别记为convblock1、convblock2和convblock3，且每个二维卷积块均由一个二维卷积层和一个relu激活函数层连接构成；将三个池化块分别记为poolingblock1、poolingblock2和poolingblock3，且每个池化块均由一个最大池化层和一个平均池化层组成；将两个sigmoid激活函数层分别记为sigmoid1和sigmoid2；将和在通道维度上连接后输入convblock1，并获得融合特征将和分别经过池化块poolin
g
block1、poolingblock2和poolingblock3的处理，由最大池化层和平均池化层分别对所输入的特征在通道维度上进行池化，再将两个池化的结果在通道维度上连接后，获得对应的池化特征和将和分别与在通道维度上连接后，分别输入二维卷积块convblock2和convblock3中进行处理，获得空间注意力特征和将和分别经过激活函数层sigmoid1和si.
g
moid2的处理后，得到固定特征空间注意力权重和浮动特征空间注意力权重将与通过逐元素相乘运算后，得到增强固定特征将与通过逐元素相乘运算后，得到增强浮动特征4.根据权利要求1所述的一种基于代价体积的电子显微镜图像配准方法，其特征在于，
所述步骤2.2中每个层级的变形场残差估计子网络均包含：代价体积计算模块和门控循环单元模块；第j级的变形场残差估计子网络dfre
j
中的代价体积计算模块利用式(6)计算第j级的第i个增强固定特征和增强浮动特征之间的代价体积之间的代价体积式(6)中，c表示增强特征的通道数，t表示转置操作；利用第j级的第i个初始变形场对代价体积进行插值操作，获得第j级的第i个相关特征将初始变形场相关特征和增强固定特征输入所述门控循环单元模块中进行处理，输出第j级的第i个变形场残差5.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求l-4中任一所述电子显微镜图像配准方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。6.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-4中任一所述电子显微镜图像配准方法的步骤。

技术总结
本发明公开了一种基于代价体积的电子显微镜图像配准方法，包括：第一步，构建多层级的特征提取和特征增强网络分支；第二步，逐级进行变形场残差的估计并更新变形场的预测结果，包括：代价体积计算、变形场残差估计和变形场更新。本发明能编码图像中更加具有全局语义的信息，从而能提升对于电子显微镜图像中大变形的处理能力，实现电子显微镜图像配准精度的提升。升。升。


技术研发人员：张越一 刘鑫钊 孙晓艳
受保护的技术使用者：中国科学技术大学
技术研发日：2023.04.18
技术公布日：2023/7/25