基于孪生神经网络的自监督快速CS-MRI重建方法

基于孪生神经网络的自监督快速cs-mri重建方法
技术领域
1.本发明涉及mri图像重建，尤其是涉及一种基于孪生神经网络的自监督快速cs-mri重建方法。


背景技术：

2.磁共振成像(mri)是一种应用非常广泛的医学成像技术，具有低辐射、对软组织的分辨率高、各种参数均可成像等优点，在医学成像领域具有重要的地位。但是由于mri成像的机制受制于奈克斯特采样频率，导致扫描时间过长，容易引起患者不适和产生运动伪影(陈军波.基于k
‑‑
空间欠采样的动态mri重建方法研究[d].华中师范大学)。近年来，快速mri重建备受关注，其中一个重要的方向是探索压缩感知理论的应用，称为压缩感知mri(cs-mri)。压缩感知mri对k空间数据进行部分采样，利用先验知识如小波稀疏性、字典学习等来实现非线性快速mri重建，从欠采样k空间数据中恢复图像，它允许数据采样率远低于奈奎斯特率，而不显著降低图像质量，大大减少图像采集的时间(j.sun,h.li,z.xu et al.,“deep admm-net for compressive sensingmri,”advances in neural information processing systems,vol.29,2016)。
[0003]
基于深度学习的mri重建方法能够利用丰富的历史和外部数据来提取不同视觉任务的图像特征，学习从k空间欠采样的mri图像到完全采样的mri图像的端到端映射关系。但是，获取全监督学习所需要的高质量训练参考图片是非常困难的。比如，由于采集完全采样的mri图像的过程极其缓慢，可能会损坏带有运动伪影的图像，采样时间长也会导致t2弛豫在回波序列中迅速衰减，因此得到所谓高质量“黄金标准”的图像不符合实际(yaman b,hosseini s ah,moeller s,et al.self-supervised learning of physics-guided reconstruction neural networks without fully sampled reference data[j].magnetic resonance in medicine,2020,84(6):3172-3191)。


技术实现要素：

[0004]
本发明的目的是为了实现快速、高清晰度和高质量的mri图像重建，提供一种基于孪生神经网络的自监督快速cs-mri重建方法，以减少因采集时间过长造成患者不适以及所采集图像因患者活动产生运动伪影从而造成专家误判的情况。在不使用完全采样的训练参考目标的情况下，仅使用欠采样的k空间数据实现快速、高清晰度和高质量的mri图像重建。
[0005]
一种基于孪生神经网络的自监督快速cs-mri重建方法，包括以下步骤：
[0006]
(1)cs-mri重建网络的预训练：
[0007]
将欠采样k空间测量值划分为两个互不相交的向量，分别为训练分量和损失分量；重建网络以训练分量作为输入，以损失分量作为约束，网络得到的输出和损失分量作一致性惩罚，通过多次按照相同的比例随机划分不同的训练分量和损失分量对重建网络进行训练，得到一个预训练完毕的cs-mri重建网络，同时保留该重建网络的参数得到一个与其完全相同的可学习孪生网络；
[0008]
(2)cs-mri重建网络的训练：
[0009]
建立孪生自监督训练网络，前后串联网络都由步骤(1)的预训练网络初始化。在训练阶段，首先采用梯度停止的方法将其中一个cs-mri重建网络的参数冻结，下称冻结网络，另一个与其完全相同的可学习孪生神经网络，下称重建网络；将采集到的欠采样k空间数据输入冻结网络，得到伪清晰mri重建图像；再预先设置采样规则以得到的二元掩码对伪清晰mri图像进行k空间重采样得到人工增强视图，将重采样数据输入重建网络得到mri重建图像，对该重建的mri图像与准确测量的k空间值施加一致性惩罚，以此优化重建网络，在重建网络的重建能力变强后替换冻结网络的参数，以此不断迭代更新，最终得到重建效果好的cs-mri重建网络；
[0010]
(3)cs-mri重建网络的测试：
[0011]
对步骤(2)训练好的cs-mri重建网络进行测试，仅使用欠采样k空间测量数据输入cs-mri重建网络，输出高清晰度和高质量的mri重建图像。
[0012]
在步骤(1)中，将输入的原始自然图像进行部分k空间采样得到欠采样k空间数据，将欠采样k空间数据进行初始化后通过两个对称的非线性变换模块进行稀疏化，其中前向变换f(
·
)包括两个无偏置项的线性卷积运算符，两个线性卷积运算符由一个线性整流单元relu分隔；第一个线性卷积运算符对应于nf个大小为3
×
3的滤波器，第二个线性卷积运算符对应于nf个大小为3
×3×
nf的滤波器，nf为特征映射的数量；在预训练阶段，对输入的自然图像进行部分k空间采样得到欠采样k空间数据，欠采样k空间数据先被分为互不相交的训练分量和损失分量，训练分量经过初始化后输入第一个线性卷积运算符，第一次提取到的特征先通过一个线性整流函数relu激活，再输入第二个线性卷积运算符提取特征；后向变换与前向变换f
(k)
呈对称结构，满足对称约束i为恒等式算子，k为迭代的阶段数，前向变换和后向变换中间由带有阈值θ的软阈值运算符soft(
·
)连接；训练分量先后通过两个对称的非线性变换模块进行稀疏化，整个预训练步骤共有n
p
个阶段，每个阶段对应cs-mri重建预训练网络的一次迭代，通过对每次迭代的输出与作为约束信号的损失分量做一致性惩罚来更新网络参数，对于给定的训练数据对yi是cs测量值，xi是原始信号，为重建结果，一致性惩罚所用的损失函数由公式(1)确定：
[0013][0014]
其中，n
p
表示迭代的总阶段数，nc表示训练块的阶段数，n表示每个块的大小，β表示正则化参数。
[0015]
步骤(1)中的预训练阶段在以下更新步骤中迭代，更新步骤由公式(2)和公式(3)确定：
[0016][0017][0018]
其中，x∈rn表示原始信号，k表示迭代次数，ρ表示步长，φ
σ
∈rm×n表示部分傅里叶矩阵(m＜n)，下标σ表示k空间采样的位置，该矩阵对原始信号x做傅里叶变换，只保留k空间采样的位置σ上的值，y
σ
表示欠采样k空间数据，f(
·
)表示前向变换，表示后向变换，两
者由卷积运算符实现。
[0019]
预训练阶段结束后得到一个预训练完毕的cs-mri重建网络，同时保留该重建网络的参数得到一个与其完全相同的可学习孪生神经网络。
[0020]
在步骤(2)中，将步骤(1)预训练好的cs-mri重建网络的参数g
θ
冻结，称为冻结网络，将欠采样k空间数据输入冻结网络g
θ
得到伪清晰mri重建图像，该过程由公式(4)确定：
[0021]
z＝g
θ
(y
σ
)
ꢀꢀꢀ4[0022]
其中z表示在傅里叶域重建的伪清晰mri图像，g
θ
表示cs-mri重建网络，y
σ
表示欠采样k空间数据，下标σ表示k空间采样的位置。
[0023]
同时，为了有助于模型训练时的稳定，本发明使用梯度停止的操作来固定中间变量z。然后使用二进制掩码m对伪清晰mri图像在相同的采样位置σ进行k空间重采样扩充另一个视图，以得到一个人工增强视图，二进制掩码m是从均匀分布u(0,1)中随机抽取的；同时，为了保留重建视图的大部分能量，伪清晰mri图像的中间部分被密集采样，边缘部分采样较少。该过程由公式(5)确定：
[0024]
zm＝mz|
σ
ꢀꢀꢀ
(5)
[0025]
将所得到的k空间重采样数据输入与冻结网络完全相同的可学习孪生神经网络，下称重建网络，得到重建的mri图像，基于两个网络对一个原始部分k空间观测的不同分量应该产生一致的结果这一假设，将该重建的mri图像与准确的欠采样k空间测量数据施加一致性惩罚来优化孪生网络的参数，在孪生网络重建能力变强，即g
θ
(zm)|
σ
非常接近欠采样k空间数据y
σ
时，将孪生网络替换冻结网络的参数，以此不断迭代更新，优化孪生网络的参数，最终得到好的cs-mri重建网络，一致性惩罚的损失函数由公式(6)确定：
[0026][0027]
在步骤(3)中，对步骤(2)训练好的cs-mri重建网络进行测试，将欠采样k空间测量数据输入训练好的cs-mri重建网络，输出高清晰度和高质量的mri重建图像。
[0028]
本发明是一种仅使用欠采样的k空间数据重建完整清晰mri图像的自监督方法。实现快速、高清晰度和高质量的mri图像重建，以减少因采集时间过长造成患者不适以及所采集图像因患者活动产生运动伪影而造成专家误判的情况。可应用于mri图像重建。
附图说明
[0029]
图1为本发明重建预训练网络结构；
[0030]
图2为本发明重建方法的整体流程图；
[0031]
图3为对人体腹部mri图像欠采样后的结果；
[0032]
图4为人体腹部mri图像重建结果；
[0033]
图5为人体头部mri图像欠采样后的结果、预训练网络重建结果、本发明重建方法的重建结果、真实标签图像(由上到下)。
具体实施方式
[0034]
为了使本发明所要解决的技术问题、技术方案及有益效果更为清晰，以下结合附图和实施例，对本发明进行进一步详细说明。
[0035]
本发明实施例包括以下步骤；
[0036]
步骤一：将一张原始自然图像图像进行部分k空间采样得到欠采样k空间测量值，所得欠采样的测量值为全采样数据的20％，将所得到的欠采样k空间测量值按照3:2的比例进一步分成训练分量和损失分量，分别占全采样数据的的12％和8％，划分训练分量时，对采样的数据低频区域进行密集采样，以保存数据的主要能量。而高频区域随机采样，所得分量占整个k空间的12％。；接着，重建网络以训练分量作为输入，以损失分量作为约束，网络得到的输出和损失分量作一致性惩罚，通过多次按照相同的比例随机划分不同的训练分量和损失分量对重建网络进行训练，得到一个预训练完毕的cs-mri重建网络，同时保留该重建网络的参数得到一个与其完全相同的可学习孪生神经网络；
[0037]
在本实施例中，如图1所示，将输入的原始自然图像进行部分k空间采样得到欠采样k空间数据，将欠采样k空间数据进行初始化后通过两个对称的非线性变换模块进行稀疏化，其中前向变换f(
·
)包括两个无偏置项的线性卷积运算符，两个线性卷积运算符由一个线性整流单元relu分隔；第一个线性卷积运算符对应于nf个大小为3
×
3的滤波器，第二个线性卷积运算符对应于nf个大小为3
×3×
nf的滤波器，nf为特征映射的数量；在预训练阶段，对输入的自然图像进行部分k空间采样得到欠采样k空间数据，欠采样k空间数据先被分为互不相交的训练分量和损失分量，训练分量经过初始化后输入第一个线性卷积运算符，第一次提取到的特征先通过一个线性整流函数relu激活，再输入第二个线性卷积运算符提取特征；后向变换与前向变换f
(k)
呈对称结构，满足对称约束i为恒等式算子，k为迭代的阶段数，前向变换和后向变换中间由带有阈值θ的软阈值运算符soft(
·
)连接；训练分量先后通过两个对称的非线性变换模块进行稀疏化，整个预训练步骤共有n
p
个阶段，每个阶段对应cs-mri重建预训练网络的一次迭代，通过对每次迭代的输出与作为约束信号的损失分量做一致性惩罚来更新网络参数，对于给定的训练数据对yi是cs测量值，xi是原始信号，为重建结果，一致性惩罚所用的损失函数由公式(1)确定：
[0038][0039]
其中，n
p
表示迭代的总阶段数，nc表示训练块的阶段数，n表示每个块的大小，β表示正则化参数，在本发明中，β设置为0.01。
[0040]
本实施例的预训练阶段在以下更新步骤中迭代，更新步骤由公式(2)和公式(3)确定：
[0041][0042][0043]
其中x∈rn表示原始信号，k表示迭代次数，ρ表示步长，φ
σ
∈rm×n表示部分傅里叶矩阵(m＜n)，下标σ表示k空间采样的位置，该矩阵对原始信号x做傅里叶变换，只保留k空间采样的位置σ上的值，y
σ
表示欠采样k空间数据，f(
·
)表示前向变换，表示后向变换，两者如权利要求2所述，由卷积运算符实现。
[0044]
预训练阶段结束后得到一个预训练完毕的cs-mri重建网络，同时保留该重建网络的参数得到一个与其完全相同的可学习孪生神经网络。
[0045]
步骤二：将步骤一预训练好的cs-mri重建网络的参数g
θ
冻结，称为冻结网络，将欠采样k空间数据输入冻结网络g
θ
得到伪清晰mri重建图像，该过程由公式(4)确定：
[0046]
z＝g
θ
(y
σ
)
ꢀꢀꢀ
(4)
[0047]
其中，z表示在傅里叶域重建的伪清晰mri图像，g
θ
表示cs-mri重建网络，y
σ
表示欠采样k空间数据，下标σ表示k空间采样的位置。
[0048]
同时，为了有助于模型训练时的稳定，本发明使用梯度停止的操作来固定中间变量z。然后使用二进制掩码m对伪清晰mri图像在相同的采样位置σ进行k空间重采样扩充另一个视图，以得到一个人工增强视图，二进制掩码m是从均匀分布u(0,1)中随机抽取的；同时，为了保留重建视图的大部分能量，伪清晰mri图像的中间部分被密集采样，边缘部分采样较少。该过程由公式(5)确定：
[0049]
zm＝mz|
σ
ꢀꢀꢀ
(5)
[0050]
接着，将所得到的k空间重采样数据输入与冻结网络完全相同的可学习孪生神经网络，下称重建网络，得到重建的mri图像，基于两个网络对一个原始部分k空间观测的不同分量应该产生一致的结果这一假设，将该重建的mri图像与准确的欠采样k空间测量数据施加一致性惩罚来优化孪生网络的参数，在孪生网络重建能力变强，即g
θ
(zm)|
σ
非常接近欠采样k空间数据y
σ
时，将孪生网络替换冻结网络的参数，以此不断迭代更新，优化孪生网络的参数，最终得到好的cs-mri重建网络，一致性惩罚的损失函数由公式(6)确定：
[0051][0052]
所述自监督快速cs-mri重建方法的过程如图2所示。
[0053]
步骤三：对步骤二训练好的cs-mri重建网络进行测试，将欠采样k空间测量数据输入cs-mri重建网络，输出高清晰度和高质量的mri重建图像，输入的人体腹部欠采样mri图像和人体头部欠采样mri图像像素为256*256，对人体腹部mri图像欠采样后的结果见图3，重建结果如图4和图5所示。
[0054]
本实施例中，所述步骤二的网络训练使用adam优化算法，学习率设置为1
×
10-5
，最大周期数设置为500，正则化参数γ设置为0.01，批次大小设置为1，训练集采样率0.032，验证集采样率0.035，采用xavier初始化方法对本发明网络参数进行初始化，gain值设置为1.0。训练数据采样率设置为0.032，验证数据采样率设置为0.035，测试数据采样率设置为1。该网络是在pytorch框架上训练的，显卡使用11gb容量的nvidia geforce gtx 1080ti。
[0055]
本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同形变或替换，这些变化均包含在本技术权利要求所限定的范围内。

技术特征：
1.基于孪生神经网络的自监督快速cs-mri重建方法，其特征在于包括以下步骤：(1)cs-mri重建网络的预训练：将欠采样k空间测量值划分为两个互不相交的向量，分别为训练分量和损失分量；重建网络以训练分量作为输入，以损失分量作为约束，网络得到的输出和损失分量作一致性惩罚，通过多次按照相同的比例随机划分不同的训练分量和损失分量对重建网络进行训练，得到一个预训练完毕的cs-mri重建网络，同时保留该重建网络的参数得到一个与其完全相同的可学习孪生网络；(2)cs-mri重建网络的训练：建立孪生自监督训练网络，前后串联网络都由步骤(1)的预训练网络初始化；在训练阶段，首先采用梯度停止的方法将其中一个cs-mri重建网络的参数冻结，下称冻结网络，另一个与其完全相同的可学习孪生神经网络，下称重建网络；将采集到的欠采样k空间数据输入冻结网络，得到伪清晰mri重建图像；再预先设置采样规则以得到的二元掩码对伪清晰mri图像进行k空间重采样得到人工增强视图，将重采样数据输入重建网络得到mri重建图像，对该重建的mri图像与准确测量的k空间值施加一致性惩罚，以此优化重建网络，在重建网络的重建能力变强后替换冻结网络的参数，以此不断迭代更新，最终得到重建效果好的cs-mri重建网络；(3)cs-mri重建网络的测试：对步骤(2)训练好的cs-mri重建网络进行测试，仅使用欠采样k空间测量数据输入cs-mri重建网络，输出高清晰度和高质量的mri重建图像。2.如权利要求1所述基于孪生神经网络的自监督快速cs-mri重建方法，其特征在于步骤(1)中，所述cs-mri重建网络的预训练，将输入的原始自然图像进行部分k空间采样得到欠采样k空间数据，将欠采样k空间数据进行初始化后通过两个对称的非线性变换模块进行稀疏化，其中前向变换f(
·
)包括两个无偏置项的线性卷积运算符，两个线性卷积运算符由一个线性整流单元relu分隔；第一个线性卷积运算符对应于n
f
个大小为3
×
3的滤波器，第二个线性卷积运算符对应于n
f
个大小为3
×3×
n
f
的滤波器，n
f
为特征映射的数量；在预训练阶段，对输入的自然图像进行部分k空间采样得到欠采样k空间数据，欠采样k空间数据先被分为互不相交的训练分量和损失分量，训练分量经过初始化后输入第一个线性卷积运算符，第一次提取到的特征先通过一个线性整流函数relu激活，再输入第二个线性卷积运算符提取特征；后向变换与前向变换f
(k)
呈对称结构，满足对称约束i为恒等式算子，k为迭代的阶段数，前向变换和后向变换中间由带有阈值θ的软阈值运算符soft(
·
)连接；训练分量先后通过两个对称的非线性变换模块进行稀疏化，整个预训练步骤共有n
p
个阶段，每个阶段对应cs-mri重建预训练网络的一次迭代，通过对每次迭代的输出与作为约束信号的损失分量做一致性惩罚来更新网络参数；对于给定的训练数据对y
i
是cs测量值，x
i
是原始信号，为重建结果，一致性惩罚所用的损失函数由公式(1)确定：其中，n
p
表示迭代的总阶段数，n
c
表示训练块的阶段数，n表示每个块的大小，β表示正则
化参数，在本发明中，β设置为0.01。3.如权利要求2所述基于孪生神经网络的自监督快速cs-mri重建方法，其特征在于整个预训练阶段在以下更新步骤中迭代，更新步骤由公式(2)和公式(3)确定：个预训练阶段在以下更新步骤中迭代，更新步骤由公式(2)和公式(3)确定：其中，x∈r
n
表示原始信号，k表示迭代次数，ρ表示步长，φ
σ
∈r
m
×
n
表示部分傅里叶矩阵(m＜n)，下标σ表示k空间采样的位置，该矩阵对原始信号x做傅里叶变换，只保留k空间采样的位置σ上的值，y
σ
表示欠采样k空间数据，f(
·
)表示前向变换，表示后向变换，两者如权利要求2所述，由卷积运算符实现；预训练阶段结束后得到一个预训练完毕的cs-mri重建网络，同时保留该重建网络的参数得到一个与其完全相同的可学习孪生神经网络。4.如权利要求1所述基于孪生神经网络的自监督快速cs-mri重建方法，其特征在于步骤(2)中，所述cs-mri重建网络的训练，先将步骤(1)预训练好的cs-mri重建网络的参数g
θ
冻结，称为冻结网络，将欠采样k空间数据输入冻结网络g
θ
得到伪清晰mri重建图像，该过程由公式(4)确定：z＝g
θ
(y
σ
)
ꢀꢀꢀ
(4)其中，z表示在傅里叶域重建的伪清晰mri图像，g
θ
表示cs-mri重建网络，y
σ
表示欠采样k空间数据，下标σ表示k空间采样的位置；为有助于模型训练时的稳定，使用梯度停止的操作来固定中间变量z；使用二进制掩码m对伪清晰mri图像在相同的采样位置σ进行k空间重采样扩充另一个视图，以得到一个人工增强视图，二进制掩码m是从均匀分布u(0,1)中随机抽取的；为保留重建视图的大部分能量，伪清晰mri图像的中间部分被密集采样，边缘部分采样较少；该过程由公式(5)确定：z
m
＝mz|
σ
ꢀꢀꢀ
(5)将所得到的k空间重采样数据输入与冻结网络完全相同的可学习孪生神经网络，下称重建网络，得到重建的mri图像，基于两个网络对一个原始部分k空间观测的不同分量应该产生一致的结果这一假设，将该重建的mri图像与准确的欠采样k空间测量数据施加一致性惩罚来优化重建网络的参数，在重建网络的重建能力变强，即g
θ
(z
m
)|
σ
非常接近欠采样k空间数据y
σ
时，将重建网络替换冻结网络的参数，以此不断迭代更新，优化重建网络的参数，最终得到好的cs-mri重建网络，一致性惩罚的损失函数由公式(6)确定：

技术总结
基于孪生神经网络的自监督快速CS-MRI重建方法，涉及MRI图像重建，1)将欠采样k空间测量值划分为两个互不相交的训练分量和损失分量，重建网络以训练分量作为输入，损失分量作为约束，得到一个预训练的CS-MRI重建网络，保留重建网络的参数；2)基于步骤1)所得两个孪生神经网络，冻结其中一个网络的参数，分别以欠采样k空间数据和重采样k空间数据为输入，对两个网络的输出作一致性惩罚训练重建网络，孪生网络重建能力变强后替换冻结参数的重建网络，迭代该过程得到训练好的CS-MRI重建网络；3)基于步骤2)所得CS-MRI重建网络的测试。实现快速、高清晰度和高质量的MRI图像重建，减少运动伪影。伪影。伪影。


技术研发人员：丁兴号 赖灿兴 余少聪 涂晓彤 黄悦
受保护的技术使用者：厦门大学
技术研发日：2023.04.20
技术公布日：2023/7/21