X射线光栅多模态图像自适应融合方法、系统及装置

x射线光栅多模态图像自适应融合方法、系统及装置
技术领域
1.本发明涉及图像处理技术领域，尤其涉及一种x射线光栅多模态图像自适应融合方法、系统及装置。


背景技术：

2.传统的x射线成像只能够获得单一的吸收衬度图像，其反映的特征信息较为局限，能够反映微分相位衬度特征和暗场衬度特征的x射线成像系统对于x射线光源的相干性要求很高，往往是同步辐射源或者造价较高的液态金属靶x射线源。
3.而引入基于talbot-lau效应的x射线三光栅相衬成像系统后，利用传统的x射线源就可以获得被测试实验样品的吸收衬度图像、微分相位衬度图像及暗场衬度图像，但是所获得的三种衬度图像无法直接反应到单张图像内，在图像比较的过程中需要进行来回切换，实际应用中较为繁琐。
4.现有的图像融合方法中大多基于先验性分解技术，如小波分解或傅里叶技术分解等，此类技术会造成融合图像的特征信息损失明显，容易导致关键特征信息的损失。


技术实现要素：

5.本发明针对现有技术中的缺点，提供了一种x射线光栅多模态图像自适应融合方法、系统及装置。
6.为了解决上述问题，本发明通过下述技术方案得以解决：一种x射线光栅多模态图像自适应融合方法，包括以下步骤：获取被测样品的吸收衬度图像、暗场衬度图像及微分相位衬度图像；分别对吸收衬度图像、暗场衬度图像及微分相位衬度图像进行分解，得到对应的第一分解分量、第二分解分量及第三分解分量，其中，第一分解分量包括第一经验模态分量和第一残差分量，第二分解分量包括第二经验模态分量和第二残差分量，第三分解分量包括第三经验模态分量和第三残差分量；对第一分解分量、第二分解分量及第三分解分量分别进行融合前预处理，得到预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量，第三经验模态分量和第三残差分量；将预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量分别进行融合，得到第一融合分量的第一融合经验模态分量和第一融合残差分量，将第一融合经验模态分量和第一融合残差分量与预处理后第三经验模态分量和第三残差分量进行融合，得到第二融合分量的第二融合经验模态分量和第二融合残差分量；对所述第二融合经验模态分量进行细节增强处理，得到第二增强经验模态分量，对所述第二融合残差分量进行对比度增强处理，得到第二增强残差分量；基于第二增强经验模态分量及第二增强残差分量进行重建，并进行图像清晰度处理，得到重建图像。
7.作为一种可实施方式，所述获取被测样品的吸收衬度图像、暗场衬度图像及微分相位衬度图像，包括以下步骤：获取未经过被测样品产生的第一摩尔条纹图像，其中，在x射线光源前方放置光栅，通过光源及多个光栅间相互作用，形成摩尔条纹图像；获取经过被测样品产生的第二摩尔条纹图像，在不同相位下得到多张第一摩尔条纹图像及第二摩尔条纹图像，进而得到被测样品的吸收衬度图像、暗场衬度图像及微分相位衬度图像。
8.作为一种可实施方式，分别对吸收衬度图像、暗场衬度图像及微分相位衬度图像进行分解，得到对应的第一分解分量、第二分解分量及第三分解分量，包括以下步骤：将所述吸收衬度图像、暗场衬度图像及微分相位衬度图像进行分解，调整分解层数、阈值、分解窗口大小及停止条件，得到第一分解分量、第二分解分量及第三分解分量，第一分解分量包括第一经验模态分量和第一残差分量，第二分解分量包括第二经验模态分量和第二残差分量，第三分解分量包括第三经验模态分量和第三残差分量；所述第一分解分量、第二分解分量及第三分解分量表示为：其中，表示分解分量，时分别对应吸收衬度图像、暗场衬度图像及微分相位衬度图像，表示第阶经验模态分量，表示分解层数，表示分解剩余的残差分量。
9.作为一种可实施方式，所述对第一分解分量、第二分解分量及第三分解分量分别进行融合前预处理，得到预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量，第三经验模态分量和第三残差分量，包括以下步骤：分别对第一分解分量、第二分解分量及第三分解分量进行去噪和背景优化，减少不规则噪声、不均匀光照照明及变化缓慢的分量对融合质量的影响；并对第一分解分量、第二分解分量及第三分解分量的剩余其他分量进行自适应滤波处理，得到预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量，第三经验模态分量和第三残差分量。
10.作为一种可实施方式，所述自适应滤波处理，表示如下：作为一种可实施方式，所述自适应滤波处理，表示如下：作为一种可实施方式，所述自适应滤波处理，表示如下：其中，表示输入经验模态分量，表示自适应滤波处理后的经验模态分量，为输入经验模态分量的均值，为输入经验模态分量的方差，为预估的噪声方差。
11.作为一种可实施方式，还包括以下步骤：对预处理后第一经验模态分量、第二经验模态分量和第三经验模态分量分别进行标准化处理，得到标准化处理后的第一经验模态分量、第二经验模态分量和第三经验模态分量；基于标准化处理后的第一经验模态分量、第二经验模态分量和第三经验模态分量，得到对应的分量主成分；将所有参与融合的标准化处理后的第一经验模态分量、第二经验模态分量和第三经验模态分量的进行主成分分析变换反变换得到融合后的经验模态分量，即第一融合经验模态分量和第二融合经验模态分量；所述标准化处理，表示如下：基于雅可比方法得到相关系数矩阵的特征值及相应的特征分量，相关系数矩阵表示如下：所述分量主成分，表示如下：其中，为经标准化处理后的各个经验模态分量，表示各个输入经验模态分量，为各个输入经验模态分量的均值，为各个输入经验模态分量的标准差。
12.作为一种可实施方式，第一残差分量、第二残差分量及第三残差分量采用最大能量融合方法进行融合，表示如下：量融合方法进行融合，表示如下：量融合方法进行融合，表示如下：量融合方法进行融合，表示如下：量融合方法进行融合，表示如下：其中，、分别为每次参与融合的两个分解分量中的残差分量，和分别为和的均值，和分别为
和的方差，为调制因子，为融合后的残差分量即第一融合残差分量和第一融合残差分量。
13.作为一种可实施方式，通过细节增强处理得到第二增强经验模态分量，表示如下：通过对比度增强处理得到第二增强残差分量，表示如下：其中，表示卷积计算，表示频域高通滤波器函数，表示直方图均衡操作，表示第二增强经验模态分量，表示第二增强残差分量。
14.作为一种可实施方式，所述重建图像，表示如下：其中，为权重因子，为阶数，表示重建图像，表示第二增强经验模态分量，表示第二增强残差分量。
15.作为一种可实施方式，所述第一摩尔条纹图像强度，表示如下：所述第二摩尔条纹图像强度，表示如下：其中，表示第二摩尔条纹图像强度，表示第一摩尔条纹图像强度，表示横坐标，表示纵坐标，和分别表示分解后的零级和一级系数，和分别表示分解后的零级和一级系数，表示不同的步进次数；吸收衬度图像、暗场衬度图像及微分相位衬度图像，分别表示如下：吸收衬度图像、暗场衬度图像及微分相位衬度图像，分别表示如下：吸收衬度图像、暗场衬度图像及微分相位衬度图像，分别表示如下：其中，表示吸收衬度图像，表示暗场衬度图像，表示微
分相位衬度图像，表示放置被测样品时的图像相位，表示未放置被测样品时的图像相位，表示分析光栅的周期，表示相位光栅和分析光栅之间的距离，表示放置被测样品时的微分相位，表示未放置被测样品时的微分相位，arg表示求俯角运算，rem表示复数求模运算。
16.一种x射线光栅多模态图像自适应融合系统，包括图像获取模块、图像分解模块、分量处理模块、分量融合模块及图像重建模块；所述图像获取模块，用于获取被测样品的吸收衬度图像、暗场衬度图像及微分相位衬度图像；所述图像分解模块，分别对吸收衬度图像、暗场衬度图像及微分相位衬度图像进行分解，得到对应的第一分解分量、第二分解分量及第三分解分量，其中，第一分解分量包括第一经验模态分量和第一残差分量，第二分解分量包括第二经验模态分量和第二残差分量，第三分解分量包括第三经验模态分量和第三残差分量；所述分量处理模块，用于对第一分解分量、第二分解分量及第三分解分量分别进行融合前预处理，得到预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量，第三经验模态分量和第三残差分量；所述分量融合模块，用于将预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量分别进行融合，得到第一融合分量的第一融合经验模态分量和第一融合残差分量，将第一融合经验模态分量和第一融合残差分量与预处理后第三经验模态分量和第三残差分量进行融合，得到第二融合分量的第二融合经验模态分量和第二融合残差分量；所述图像重建模，用于对所述第二融合经验模态分量进行细节增强处理，得到第二增强经验模态分量，对所述第二融合残差分量进行对比度增强处理，得到第二增强残差分量；基于第二增强经验模态分量及第二增强残差分量进行重建，并进行图像清晰度处理，得到重建图像。
17.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下所述的方法：获取被测样品的吸收衬度图像、暗场衬度图像及微分相位衬度图像；分别对吸收衬度图像、暗场衬度图像及微分相位衬度图像进行分解，得到对应的第一分解分量、第二分解分量及第三分解分量，其中，第一分解分量包括第一经验模态分量和第一残差分量，第二分解分量包括第二经验模态分量和第二残差分量，第三分解分量包括第三经验模态分量和第三残差分量；对第一分解分量、第二分解分量及第三分解分量分别进行融合前预处理，得到预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量，第三经验模态分量和第三残差分量；将预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量分别进行融合，得到第一融合分量的第一融合经验模态分量和第一融合残差分量，将第一融合经验模态分量和第一融合残差分量与预处理后第三经验模态分量和第三残差分量进行融合，得到第二融合分量的第二融合经验模态分量和第二融合残差分量；
对所述第二融合经验模态分量进行细节增强处理，得到第二增强经验模态分量，对所述第二融合残差分量进行对比度增强处理，得到第二增强残差分量；基于第二增强经验模态分量及第二增强残差分量进行重建，并进行图像清晰度处理，得到重建图像。
18.一种x射线光栅相称多模态图像快速自适应融合装置，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下所述的方法：获取被测样品的吸收衬度图像、暗场衬度图像及微分相位衬度图像；分别对吸收衬度图像、暗场衬度图像及微分相位衬度图像进行分解，得到对应的第一分解分量、第二分解分量及第三分解分量，其中，第一分解分量包括第一经验模态分量和第一残差分量，第二分解分量包括第二经验模态分量和第二残差分量，第三分解分量包括第三经验模态分量和第三残差分量；对第一分解分量、第二分解分量及第三分解分量分别进行融合前预处理，得到预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量，第三经验模态分量和第三残差分量；将预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量分别进行融合，得到第一融合分量的第一融合经验模态分量和第一融合残差分量，将第一融合经验模态分量和第一融合残差分量与预处理后第三经验模态分量和第三残差分量进行融合，得到第二融合分量的第二融合经验模态分量和第二融合残差分量；对所述第二融合经验模态分量进行细节增强处理，得到第二增强经验模态分量，对所述第二融合残差分量进行对比度增强处理，得到第二增强残差分量；基于第二增强经验模态分量及第二增强残差分量进行重建，并进行图像清晰度处理，得到重建图像。
19.本发明由于采用了以上技术方案，具有显著的技术效果：通过本发明的方法解决在图像比较过程中需要进行图片的来回切换问题，同时解决了现有的图像融合方法中容易导致关键特征信息损失的问题。
20.实现了在原有图像特征信息的基础上，使得图像具有更清晰的细节表达和视觉效果。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
22.图1是本发明方法的流程示意图；图2是本发明系统的整体示意图；图3是本发明方法的整体流程图；图4是本发明获取三种衬度图像结构示意图；图5是本发明融合图像主观评价结果示意图。
具体实施方式
23.下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
24.实施例1：一种x射线光栅相称多模态图像自适应融合方法，如图1所示，包括以下步骤：s100、获取被测样品的吸收衬度图像、暗场衬度图像及微分相位衬度图像；s200、分别对吸收衬度图像、暗场衬度图像及微分相位衬度图像进行分解，得到对应的第一分解分量、第二分解分量及第三分解分量，其中，第一分解分量包括第一经验模态分量和第一残差分量，第二分解分量包括第二经验模态分量和第二残差分量，第三分解分量包括第三经验模态分量和第三残差分量；s300、对第一分解分量、第二分解分量及第三分解分量分别进行融合前预处理，得到预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量，第三经验模态分量和第三残差分量；s400、将预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量分别进行融合，得到第一融合分量的第一融合经验模态分量和第一融合残差分量，将第一融合经验模态分量和第一融合残差分量与预处理后第三经验模态分量和第三残差分量进行融合，得到第二融合分量的第二融合经验模态分量和第二融合残差分量；s500、对所述第二融合经验模态分量进行细节增强处理，得到第二增强经验模态分量，对所述第二融合残差分量进行对比度增强处理，得到第二增强残差分量；s600、基于第二增强经验模态分量及第二增强残差分量进行重建，并进行图像清晰度处理，得到重建图像。
25.通过本发明的方法解决了三种衬度图像在比较过程中来回切换的繁琐问题，同时解决了现有图像融合方法容易导致关键特征信息损失的问题，提高图像的细节表现和视觉效果，图3为本发明方法的整体流程图，描述了本发明方法的具体实施过程。
26.在现有的图像融合中，在分解时会对原始图像的数据造成一定的失真影响，不能够从本质上反映出原始图像的特征信息。而通过本发明的方法，基于快速自适应二维经验模态分解对吸收衬度图像、暗场衬度图像及微分相位衬度图像已经完成图像配准的图像进行图像分解，获得对应的二维经验模态分量与残差分量，分别体现原始数据的高频特征和低频信息。进而进行预处理，并利用不同的融合规则分别对高频分量和低频信息进行图像融合操作。最后对融合后获得的各个分量进行线性加权和对比度增强，从而进一步提高重建图像的图像质量。
27.与传统的小波分解和傅里叶分解的方法不同，本发明的方法从图像的原始数据出发，利用原始数据中提供的信息特征，通过
‘
窗口’对原图像不断进行分解，最后将得到一系列分量，它们被称为二维经验模态分量。利用不同层级的二维经验模态分量和残差的组合，能够将图像的特征信息由粗略到精细分别分解到各个经验模态分量中。由于二维经验模态分量完全来源自图像的原始数据，因此不会对图像质量造成影响。
28.不同层级的二维经验模态分量反映了原始图像的不同特征，较低级次的经验模态分量体现的是图像的高频信息，如纹理、细节和图像边界等特征，较高级次的经验模态分量和残差主要体现的是图像的低频特征，如图像的灰度分布，概貌和轮廓等。获得分解后图像
的不同级经验模态分量和残差后，根据各级经验模态分量所体现的图像特征信息采取相应的图像预处理方法、图像融合方法和融合后的图像增强方法，在维持原有图像特征信息的基础上提高图像对比度，使得图像具有更加清晰的细节表现和视觉效果，从而实现基于图像原始数据特征的自适应多模态图像融合。对于不同层级经验模态分量和残差的处理方法分别为主成分分析图像融合方法与最大能量图像融合方法，主成分分析图像融合方法的优点在于融合前后图像的能量和光谱特性保持得较好，而对于包含低频信息较多的残差等所采用的是最大能量图像融合方法可以更好的保留图像的灰度分布。
29.在步骤s100中，获取被测样品的吸收衬度图像、暗场衬度图像及微分相位衬度图像，获取三种衬度图像装置结构如图4所示，包括以下步骤：s110：在x射线桌面式光源1前方加入一块吸收光栅称为光源光栅g0，将圆斑状光源分割为数个彼此之间不相干的线状光源，提高光源相干性，使得低相干实验室性能的x射线光源可以用于相衬成像实验；s120：对于光源光栅g0处被分割产生的若干子光源，每一个在垂直分割的方向上具有较高的相干性，可独自在相位光栅g1后的一定距离上形成talbot自成像；s130：通过特定的几何距离参数设计，互不相干的子光源自成像在一个或若干个周期后，在分析光栅g2处不会发生干涉效应，将完成单独强度叠加，获得实验所要求的自成像条纹的条件；s140：在探测器平面，线状子光源强度叠加的自成像条纹将与分析光栅g2产生的吸收条纹图样组合，共同作用形成了摩尔条纹；s150：等间隔步长运动g2光栅5次，利用相位步进法获得不同相位状态下未放置被测样品时产生的第一摩尔条纹图像p1
1-p15和放置被测样品时产生的第二摩尔条纹图像p2
1-p25；s160：通过分析p1
1-p15和p2
1-p25的变化，可以获得被测试实验样品的吸收衬度图像、微分相位衬度图像及暗场衬度图像。
30.可以理解为：获取未经过被测样品产生的第一摩尔条纹图像；获取经过被测样品产生的第二摩尔条纹图像，则有以下各种表示：所述第一摩尔条纹图像强度，表示如下：所述第二摩尔条纹图像强度，表示如下：其中，表示第二摩尔条纹图像强度，表示第一摩尔条纹图像强度，表示横坐标，表示纵坐标，和分别表示分解后的零级和一级系数，和分别表示分解后的零级和一级系数，表示不同的步进次数；吸收衬度图像、暗场衬度图像及微分相位衬度图像，分别表示如下：
其中，表示吸收衬度图像，表示暗场衬度图像，表示微分相位衬度图像，表示放置被测样品时的图像相位，表示未放置被测样品时的图像相位，表示分析光栅的周期，表示相位光栅和分析光栅之间的距离，表示放置被测样品时的微分相位，表示未放置被测样品时的微分相位，arg表示求俯角运算，rem表示复数求模运算。
31.对于吸收衬度图像、暗场衬度图像及微分相位衬度图像，每一个像素点的灰度值计算均从原始两组的有无被测样本的摩尔条纹图像相对应像素点的值经过一系列运算获得，在像素级的运算关系下，三种衬度图像彼此之间的空间关系一一对应，因此自动完成了图像融合前需要进行的空间配准工作。
32.在三种衬度图像装置结构也即x射线三光栅相衬干涉系统中，由于图像融合所需的吸收衬度图像、暗场衬度图像及微分相位衬度图像获取过程，避免了在图像配准过程中可能产生的误差影响。由于吸收衬度图像、暗场衬度图像及微分相位衬度图像三张图像是从一组原始图像数据中获得的，因此在空间分布上几乎完全相同，使得图像配准工作相较于其它类型的融合工作更加简易。
33.在步骤s200中，分别对吸收衬度图像、暗场衬度图像及微分相位衬度图像进行分解，得到对应的第一分解分量、第二分解分量及第三分解分量，包括以下步骤：s210：调整分解层数、阈值及停止条件获得吸收衬度图像、暗场衬度图像及微分相位衬度图像不同程度的分解分量，包括以下步骤：step1：初始化分解层数参数；step2：初始化分解过程中需要的残差函数,其中为输入衬度图像的灰度值分布；step3：令过渡函数；step4：遍历输入图像，通过每个像素的8邻域计算的极大值点集和极小值点集；step5：对步骤step4获得的极大值点集插值拟合求得的上包
络曲面；step6：通过对步骤step4获得的极小值点集插值拟合求得的下包络曲面；step7：计算步骤step5、步骤step6中获得的上、下包络曲面与的均值；step8：由均值面和原始的过渡函数计算，获得新的过渡函数；step9：验证是否满足在分解初始设定的二维经验模态分解的迭代终止条件，一般用标准差sd；step10：如果计算的标准差sd值较小，可以认为是分解过程中的第个经验模态分量，将新的中间过渡函数返回步骤step4作为新的输入，继续进行迭代操作，直到满足迭代终止条件或者达预先设定的最大迭代次数；step11：计算，如果的极值点小于预设的个数或分解尺度的层数达到了二维经验模态分解的预设层数要求上限，结束分解过程，作为残差输出；否则，，返回步骤step2继续进行操作。
34.s220：选择合适的分解参数，经s210分解步骤之后，得到第一分解分量、第二分解分量及第三分解分量。
35.在一个实施例中，所述第一分解分量、第二分解分量及第三分解分量表示为：其中，表示分解分量，时分别对应吸收衬度图像、暗场衬度图像及微分相位衬度图像，表示第阶经验模态分量，表示分解层数，表示分解剩余的残差分量。
36.在步骤s400中，所述对第一分解分量、第二分解分量及第三分解分量分别进行融合前预处理，得到预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量，第三经验模态分量和第三残差分量，包括以下步骤：分别对第一分解分量、第二分解分量及第三分解分量进行去噪和背景优化，减少不规则噪声、不均匀光照照明及变化缓慢的分量对融合质量的影响；并对第一分解分量、第二分解分量及第三分解分量的剩余其他分量进行自适应滤波处理，得到预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量，第三经验模态分量和第三残差分量。
37.具体地，所述自适应滤波处理，表示如下：
其中，表示输入经验模态分量，表示自适应滤波处理后的经验模态分量，为输入经验模态分量的均值，为输入经验模态分量的方差，为预估的噪声方差。
38.通过以上的预处理，噪声将得到抑制的同时，背景光照分布不均匀的情况也得到了改善。
39.在融合过程中，融合过程根据不同频率的特性，即高频信息反映图像的细节特征，低频信息反应图像的纹理细节和能量分布进行相应的图像融合策略，因此对残差分量和经验模态分量分别进行融合。
40.经验模态分量的融合过程详见以下步骤：对预处理后第一经验模态分量、第二经验模态分量和第三经验模态分量分别进行标准化处理，得到标准化处理后的第一经验模态分量、第二经验模态分量和第三经验模态分量；基于标准化处理后的第一经验模态分量、第二经验模态分量和第三经验模态分量，得到对应的分量主成分；将所有参与融合的标准化处理后的第一经验模态分量、第二经验模态分量和第三经验模态分量的进行主成分分析变换反变换得到融合后的经验模态分量，即第一融合经验模态分量和第二融合经验模态分量；其中，标准化处理，表示如下：基于雅可比方法得到相关系数矩阵的特征值及相应的特征分量，相关系数矩阵表示如下：所述分量主成分，表示如下：其中，为经标准化处理后的各个经验模态分量，表示各个输入经验模态分量，为各个输入经验模态分量的均值，为各个输入经验模态分量的标准差。
41.残差分量融合的过程如下：第一残差分量、第二残差分量及第三残差分量采用最
大能量融合方法进行融合，表示如下：大能量融合方法进行融合，表示如下：大能量融合方法进行融合，表示如下：大能量融合方法进行融合，表示如下：大能量融合方法进行融合，表示如下：其中，、分别为每次参与融合的两个分解分量中的残差分量，和分别为和的均值，和分别为和的方差，为调制因子，为融合后的残差分量即第一融合残差分量和第一融合残差分量。
42.在一个实施例中，为了获得更好的图像质量，更加丰富的图像细节特征和更好的视觉效果，需要对获得的融合后的经验模态分量与残差进行图像质量增强。利用不同频率反映图像不同特征的特点，将最体现图像细节部分的高频信息进行图像锐化，将最体现图像灰度分布的残差进行对比度增强和直方图均衡。
43.通过细节增强处理得到第二增强经验模态分量，表示如下：通过对比度增强处理得到第二增强残差分量，表示如下：其中，表示卷积计算，表示频域高通滤波器函数，表示直方图均衡操作，表示第二增强经验模态分量，表示第二增强残差分量。
44.在一个实施例中，重建图像，表示如下：其中，为权重因子，为阶数，表示重建图像，表示第二增强经验模态分量，表示第二增强残差分量，包含边缘信息较高的阶分量，权重因子取值一般大于1.5，其他阶数取值0.9~1.1。
45.最后，还会对图像质量进行评价，获得重建图像，基于客观的图像质量评价指标（如：信息熵，结构相似度，峰值信噪比等条件）和主观的图像评价结果（如三种反映图像不同信息的衬度图像的特征信息是否体现在融合中的图像，直观性和区别度等因素）对融合图像的质量及逆行评价，以对多模态特征图像融合过程形成负反馈。客观的图像质量评价
指标分别为平均梯度，标准差，峰值信噪比和计算速度四个指标。
46.平均梯度，用于表述图像的边界或影线两侧附近灰度有明显差异，即灰度变化率，这种变化率的大小可用来表示图像清晰度。反映了图像微小细节反差变化的速率，即图像多维方向上密度变化的速率，表征图像的相对清晰程度。平均梯度越大，图像细节信息越丰富，相对更加清晰。标准差，用于描述图像像素值与图像整体均值之间的离散程度，反映了图像灰度分布，亮度变化等信息。一幅图像的标准差越大，明暗对比度增加，图像质量更好。峰值信噪比，基于实际图像和参考图像之间对应像素点间的误差，评价融合后的图像受到噪声等的影响程度。峰值信噪比越大，表明图像的质量越高。
47.如图5所示，为本发明融合图像主观评价结果示意图。
48.另外，通过表1可以得到本发明融合图像客观评价结果，表1如下：表1通过表1中各数据的对比，可以得到本发明的方法效果最好。
49.实施例2：一种x射线光栅相称多模态图像快速自适应融合系统，如图2所示，包括图像获取模块100、图像分解模块200、分量处理模块300、分量融合模块400及图像重建模块500；所述图像获取模块100，用于获取被测样品的吸收衬度图像、暗场衬度图像及微分相位衬度图像；所述图像分解模块200，分别对吸收衬度图像、暗场衬度图像及微分相位衬度图像进行分解，得到对应的第一分解分量、第二分解分量及第三分解分量，其中，第一分解分量包括第一经验模态分量和第一残差分量，第二分解分量包括第二经验模态分量和第二残差分量，第三分解分量包括第三经验模态分量和第三残差分量；所述分量处理模块300，用于对第一分解分量、第二分解分量及第三分解分量分别进行融合前预处理，得到预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量，第三经验模态分量和第三残差分量；所述分量融合模块400，用于将预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量分别进行融合，得到第一融合分量的第一融合经验模态分量和第一融合残差分量，将第一融合经验模态分量和第一融合残差分量与预处理后第三经验
模态分量和第三残差分量进行融合，得到第二融合分量的第二融合经验模态分量和第二融合残差分量；所述图像重建模500，用于对所述第二融合经验模态分量进行细节增强处理，得到第二增强经验模态分量，对所述第二融合残差分量进行对比度增强处理，得到第二增强残差分量；基于第二增强经验模态分量及第二增强残差分量进行重建，并进行图像清晰度处理，得到重建图像。
50.在不脱离本发明的精神和范围的情况下做出的各种变化和变型,所有等同的技术方案也属于本发明的范畴。
51.本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同、相似的部分互相参见即可。
52.本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
53.本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
54.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
55.这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
56.需要说明的是：说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
57.此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

技术特征：
1.一种x射线光栅多模态图像自适应融合方法，其特征在于，包括以下步骤：获取被测样品的吸收衬度图像、暗场衬度图像及微分相位衬度图像；分别对吸收衬度图像、暗场衬度图像及微分相位衬度图像进行分解，得到对应的第一分解分量、第二分解分量及第三分解分量，其中，第一分解分量包括第一经验模态分量和第一残差分量，第二分解分量包括第二经验模态分量和第二残差分量，第三分解分量包括第三经验模态分量和第三残差分量；对第一分解分量、第二分解分量及第三分解分量分别进行融合前预处理，得到预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量，第三经验模态分量和第三残差分量；将预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量分别进行融合，得到第一融合分量的第一融合经验模态分量和第一融合残差分量，将第一融合经验模态分量和第一融合残差分量与预处理后第三经验模态分量和第三残差分量进行融合，得到第二融合分量的第二融合经验模态分量和第二融合残差分量；对所述第二融合经验模态分量进行细节增强处理，得到第二增强经验模态分量，对所述第二融合残差分量进行对比度增强处理，得到第二增强残差分量；基于第二增强经验模态分量及第二增强残差分量进行重建，并进行图像清晰度处理，得到重建图像。2.根据权利要求1所述的一种x射线光栅多模态图像自适应融合方法，其特征在于，所述获取被测样品的吸收衬度图像、暗场衬度图像及微分相位衬度图像，包括以下步骤：获取未经过被测样品产生的第一摩尔条纹图像，其中，在x射线光源前方放置光栅，通过光源及多个光栅间相互作用，形成摩尔条纹图像；获取经过被测样品产生的第二摩尔条纹图像，在不同相位下得到多张第一摩尔条纹图像及第二摩尔条纹图像，进而得到被测样品的吸收衬度图像、暗场衬度图像及微分相位衬度图像。3.根据权利要求1所述的一种x射线光栅多模态图像自适应融合方法，其特征在于，分别对吸收衬度图像、暗场衬度图像及微分相位衬度图像进行分解，得到对应的第一分解分量、第二分解分量及第三分解分量，包括以下步骤：将所述吸收衬度图像、暗场衬度图像及微分相位衬度图像进行分解，调整分解层数、阈值、分解窗口大小及停止条件，得到第一分解分量、第二分解分量及第三分解分量，第一分解分量包括第一经验模态分量和第一残差分量，第二分解分量包括第二经验模态分量和第二残差分量，第三分解分量包括第三经验模态分量和第三残差分量；所述第一分解分量、第二分解分量及第三分解分量表示为：其中，表示分解分量，时分别对应吸收衬度图像、暗场衬度图像及微分相位衬度图像，表示第阶经验模态分量，表示分解层数，表示分解剩余的残差分量。4.根据权利要求1所述的一种x射线光栅多模态图像自适应融合方法，其特征在于，所
述对第一分解分量、第二分解分量及第三分解分量分别进行融合前预处理，得到预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量，第三经验模态分量和第三残差分量，包括以下步骤：分别对第一分解分量、第二分解分量及第三分解分量进行去噪和背景优化，减少不规则噪声、不均匀光照照明及变化缓慢的分量对融合质量的影响；并对第一分解分量、第二分解分量及第三分解分量的剩余其他分量进行自适应滤波处理，得到预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量，第三经验模态分量和第三残差分量。5.根据权利要求4所述的一种x射线光栅多模态图像自适应融合方法，其特征在于，所述自适应滤波处理，表示如下：述自适应滤波处理，表示如下：述自适应滤波处理，表示如下：其中，表示输入经验模态分量，表示自适应滤波处理后的经验模态分量，为输入经验模态分量的均值，为输入经验模态分量的方差，为预估的噪声方差。6.根据权利要求1所述的一种x射线光栅多模态图像自适应融合方法，其特征在于，还包括以下步骤：对预处理后第一经验模态分量、第二经验模态分量和第三经验模态分量分别进行标准化处理，得到标准化处理后的第一经验模态分量、第二经验模态分量和第三经验模态分量；基于标准化处理后的第一经验模态分量、第二经验模态分量和第三经验模态分量，得到对应的分量主成分；将所有参与融合的标准化处理后的第一经验模态分量、第二经验模态分量和第三经验模态分量的进行主成分分析变换反变换得到融合后的经验模态分量，即第一融合经验模态分量和第二融合经验模态分量；所述标准化处理，表示如下：基于雅可比方法得到相关系数矩阵的特征值及相应的特征分量，相关系数矩阵表示如下：所述分量主成分，表示如下：
其中，为经标准化处理后的各个经验模态分量，表示各个输入经验模态分量，为各个输入经验模态分量的均值，为各个输入经验模态分量的标准差。7.根据权利要求1所述的一种x射线光栅多模态图像自适应融合方法，其特征在于，第一残差分量、第二残差分量及第三残差分量采用最大能量融合方法进行融合，表示如下：一残差分量、第二残差分量及第三残差分量采用最大能量融合方法进行融合，表示如下：一残差分量、第二残差分量及第三残差分量采用最大能量融合方法进行融合，表示如下：一残差分量、第二残差分量及第三残差分量采用最大能量融合方法进行融合，表示如下：一残差分量、第二残差分量及第三残差分量采用最大能量融合方法进行融合，表示如下：其中，、分别为每次参与融合的两个分解分量中的残差分量，和分别为和的均值，和分别为和的方差，为调制因子，为融合后的残差分量即第一融合残差分量和第一融合残差分量。8.根据权利要求1所述的一种x射线光栅多模态图像自适应融合方法，其特征在于，通过细节增强处理得到第二增强经验模态分量，表示如下：通过对比度增强处理得到第二增强残差分量，表示如下：其中，表示卷积计算，表示频域高通滤波器函数，表示直方图均衡操作，表示第二增强经验模态分量，表示第二增强残差分量。9.根据权利要求1所述的一种x射线光栅多模态图像自适应融合方法，其特征在于，所述重建图像，表示如下：其中，为权重因子，为阶数，表示重建图像，表示第二增强经验模态分量，表示第二增强残差分量。10.根据权利要求2所述的一种x射线光栅多模态图像自适应融合方法，其特征在于，所述第一摩尔条纹图像强度，表示如下：
所述第二摩尔条纹图像强度，表示如下：其中，表示第二摩尔条纹图像强度，表示第一摩尔条纹图像强度，表示横坐标，表示纵坐标，和分别表示分解后的零级和一级系数，和分别表示分解后的零级和一级系数，表示不同的步进次数；吸收衬度图像、暗场衬度图像及微分相位衬度图像，分别表示如下：吸收衬度图像、暗场衬度图像及微分相位衬度图像，分别表示如下：吸收衬度图像、暗场衬度图像及微分相位衬度图像，分别表示如下：其中，表示吸收衬度图像，表示暗场衬度图像，表示微分相位衬度图像，表示放置被测样品时的图像相位，表示未放置被测样品时的图像相位，表示分析光栅的周期，表示相位光栅和分析光栅之间的距离，表示放置被测样品时的微分相位，表示未放置被测样品时的微分相位，arg表示求俯角运算，rem表示复数求模运算。11.一种x射线光栅多模态图像自适应融合系统，其特征在于，包括图像获取模块、图像分解模块、分量处理模块、分量融合模块及图像重建模块；所述图像获取模块，用于获取被测样品的吸收衬度图像、暗场衬度图像及微分相位衬度图像；所述图像分解模块，分别对吸收衬度图像、暗场衬度图像及微分相位衬度图像进行分解，得到对应的第一分解分量、第二分解分量及第三分解分量，其中，第一分解分量包括第一经验模态分量和第一残差分量，第二分解分量包括第二经验模态分量和第二残差分量，第三分解分量包括第三经验模态分量和第三残差分量；所述分量处理模块，用于对第一分解分量、第二分解分量及第三分解分量分别进行融合前预处理，得到预处理后第一经验模态分量和第一残差分量，第二经验模态分量和第二残差分量，第三经验模态分量和第三残差分量；所述分量融合模块，用于将预处理后第一经验模态分量和第一残差分量，第二经验模
态分量和第二残差分量分别进行融合，得到第一融合分量的第一融合经验模态分量和第一融合残差分量，将第一融合经验模态分量和第一融合残差分量与预处理后第三经验模态分量和第三残差分量进行融合，得到第二融合分量的第二融合经验模态分量和第二融合残差分量；所述图像重建模，用于对所述第二融合经验模态分量进行细节增强处理，得到第二增强经验模态分量，对所述第二融合残差分量进行对比度增强处理，得到第二增强残差分量；基于第二增强经验模态分量及第二增强残差分量进行重建，并进行图像清晰度处理，得到重建图像。12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任意一项所述的方法。13.一种x射线光栅相称多模态图像快速自适应融合装置，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10任意一项所述的方法。

技术总结
本发明公开一种X射线光栅多模态图像自适应融合方法、系统与装置，方法包括：获取被测样品的吸收衬度图像、暗场衬度图像及微分相位衬度图像；并进行分解，得到对应的第一分解分量、第二分解分量及第三分解分量；分别进行融合前预处理，得到预处理后的结果；将预处理后的结果分别进行融合，得到第二融合经验模态分量和第二融合残差分量；进行细节增强处理得到第二增强经验模态分量，进行对比度增强处理得到第二增强残差分量；进行重建，并进行图像清晰度处理，得到重建图像。本发明解决了三种特征图像所反映的特征信息无法直接反映到统一结果之内的问题，融合后图像数据不受影响，具有直接在分解重建过程中进行图像降噪和增强的优势。势。势。


技术研发人员：徐月暑 田宗翰 匡翠方 陶思玮 柏凌 刘旭
受保护的技术使用者：浙江大学杭州国际科创中心
技术研发日：2023.08.28
技术公布日：2023/10/7