一种图像重构模型建立、应用方法及装置

1.本发明涉及图像处理技术领域，具体涉及一种图像重构模型建立、应用方法及装置。


背景技术：

2.在传统光声图像重建领域的研究中，初始的方法是使用重建算法例如时间反演，傅里叶变换之类，在深度卷积神经网络兴起之后，neda davoudi等人创新性的将深度卷积神经网络结合其新式扫描仪，得到了更好的图像重建质量，但是在光声成像中，传感器数量和成本一直是一个需要解决的问题，在低数量传感器成像条件下例如16数量、32数量获取的欠采样图像，采用普通卷积神经网络例如cnn，resnet，unet等重建后的成像效果不好，成像过程中丢失信息较多。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种图像重构模型建立、应用方法及装置，以解决现有技术中，在低数量传感器成像条件下例如16数量、32数量获取的欠采样图像，采用普通卷积神经网络例如cnn，resnet，unet等重建后的成像效果不好，成像过程中丢失信息较多的问题。
4.根据本发明实施例的第一方面，提供一种图像重构模型建立方法，所述方法包括：
5.获取多组欠采样图像以及对应的真实图像，得到训练集数据；
6.选取所述训练集数据中任意一组欠采样图像及其对应的真实图像，将所述欠采样图像输入到gan网络结构中，得到网络生成图像；
7.在所述网络生成图像中选取任意一个像素点，获取与该像素点在水平方向以及垂直方向相邻的两个像素点，通过水平方向以及垂直方向相邻的两个像素点计算该像素点的差异值，对所述网络生成图像中所有像素点的差异值进行求和，得到总变分损失；
8.通过l1损失、感知损失、bce损失以及总变分损失表示所述网络生成图像与真实图像的损失值，以所述网络生成图像与真实图像的损失值最小为目标，通过所述训练集数据对gan网络结构进行训练，调整所述gan网络结构的参数，直到损失值不再下降为止，建立图像重构模型。
9.优选地，
10.所述通过所述训练集数据对gan网络结构进行训练，直到损失值不再下降为止，建立图像重构模型包括：
11.通过所述训练集数据对所述gan网络结构的生成器进行训练，直到所述生成器的损失值不再下降为止，得到训练好的生成器；
12.通过所述训练集数据对所述gan网络结构的判别器进行训练，直到所述判别器的损失值不再下降为止，得到训练好的判别器；
13.通过所述训练好的生成器以及判别器建立图像重构模型。
14.优选地，
15.所述图像重构模型建立过程中，所述生成器以及所述判别器交替进行训练，当所述生成器训练时，所述判别器的参数固定，当所述判别器训练时，所述生成器的参数固定。
16.优选地，
17.所述通过所述训练集数据对所述gan网络结构的生成器进行训练，直到所述生成器的损失值不再下降为止，得到训练好的生成器包括：
18.将所述欠采样图像输入到gan网络结构的生成器中，得到网络生成图像；
19.将所述网络生成图像以及欠采样图像一并输入到所述gan网络结构的判别器中，得到第一相似度矩阵；
20.通过所述网络生成图像以及真实图像得到感知损失，通过预设的l1损失函数得到l1损失，通过所述第一相似度矩阵以及n阶1矩阵得到第一bce损失；
21.通过所述感知损失、l1损失、第一bce损失以及总变分损失得到生成器损失，以所述生成器损失最小为目标，通过所述训练集数据对生成器进行训练，直到所述生成器损失不再下降，得到训练好的生成器。
22.优选地，
23.所述通过所述感知损失、l1损失、第一bce损失以及总变分损失得到生成器损失包括：
24.引入阻尼系数，根据预设的阻尼系数计算公式计算每一次迭代的阻尼系数；
25.将每一次迭代的感知损失、l1损失以及总变分损失相加之和与该次迭代的阻尼系数相乘，得到阻尼损失；
26.将所述阻尼损失与该次迭代的第一bce损失相加，得到生成器损失；
27.优选地，
28.所述通过所述训练集数据对所述gan网络结构的判别器进行训练，直到所述判别器的损失值不再下降为止，得到训练好的判别器包括：
29.将所述欠采样图像以及真实图像一并输入到所述判别器中，得到第二相似度矩阵；
30.通过所述第一相似度矩阵以及n阶0矩阵得到第二bce损失，通过所述第二相似度矩阵以及n阶1矩阵得到第三bce损失；
31.通过所述第二bce损失以及第三bce损失得到判别器损失，以所述判别器损失最小为目标，通过所述训练集数据对所述判别器进行训练，直到所述判别器损失不再下降，得到训练好的判别器。
32.优选地，
33.所述通过所述网络生成图像以及真实图像得到感知损失包括：
34.将所述网络生成图像以及真实图像分别输入到所述生成器的特征提取模块中，所述特征提取模块分别输出网络特征以及真实特征，通过网络特征以及真实特征获取感知损失。
35.根据本发明实施例的第二方面，提供一种图像重构模型应用方法，所述方法基于上述建立的图像重构模型，所述方法包括：
36.获取所述待处理的欠采样图像，将所述待处理的欠采样图像输入到图像重构模型
中；
37.所述图像重构模型基于感知损失增强所述待处理的欠采样图像的内部细节信息，基于l1损失增强所述待处理的欠采样图像的边缘轮廓，以及基于总变分损失使得输出图像平滑，输出增强图像。
38.根据本发明实施例的第三方面，提供一种图像重构模型建立装置，所述装置包括：
39.数据获取模块：用于获取多组欠采样图像以及对应的真实图像，得到训练集数据；
40.网络图像获取模块：用于选取所述训练集数据中任意一组欠采样图像及其对应的真实图像，将所述欠采样图像输入到gan网络结构中，得到网络生成图像；
41.总变分损失获取模块：用于在所述网络生成图像中选取任意一个像素点，获取与该像素点在水平方向以及垂直方向相邻的两个像素点，通过水平方向以及垂直方向相邻的两个像素点计算该像素点的差异值，对所述网络生成图像中所有像素点的差异值进行求和，得到总变分损失；
42.模型建立模块：用于通过l1损失、感知损失、bce损失以及总变分损失表示所述网络生成图像与真实图像的损失值，以所述网络生成图像与真实图像的损失值最小为目标，通过所述训练集数据对gan网络结构进行训练，调整所述gan网络结构的参数，直到损失值不再下降为止，建立图像重构模型。
43.根据本发明实施例的第四方面，提供一种图像重构模型应用装置，所述装置包括：
44.输入模块：用于获取所述待处理的欠采样图像，将所述待处理的欠采样图像输入到图像重构模型中；
45.输出模块：用于所述图像重构模型基于感知损失增强所述待处理的欠采样图像的内部细节信息，基于l1损失增强所述待处理的欠采样图像的边缘轮廓，以及基于总变分损失使得输出图像平滑，输出增强图像。
46.本发明的实施例提供的技术方案可以包括以下有益效果：
47.本技术通过在模型的训练过程中，基于传统的gan网络结构，引入了l1损失、感知损失以及总变分损失，l1正则项能够使gan网络在训练成对图片时，得到更好的成像效果，通过感知损失逼近真实图像与网络生成图像之间的深层信息，也就是感知信息，可以增强输出特征的细节信息，通过总变分损失去除不需要的细节，同时保留诸如边缘的重要细节，使得图像更为平滑，通过l1损失、感知损失以及总变分损失的加入，从稀疏光声数据中高效恢复图像质量的新框架，当提供由少量欠采样数据或有限视角扫描重建的图像时，训练好的网络能够增强任意方向结构的可见性，进而在图像的轮廓边缘、内部细节方面取得了更好的效果，尽可能的恢复预期的图像质量。
48.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
49.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
50.图1是根据一示例性实施例示出的一种图像重构模型建立方法的流程示意图；
51.图2是根据另一示例性实施例示出的生成器训练原理示意图；
52.图3是根据另一示例性实施例示出的判别器训练原理示意图；
53.图4是本根据另一示例性实施例示出的vgg16特征提取模块的结构示意图；
54.图5是根据另一示例性实施例示出的一种图像重构模型应用方法的流程示意图；
55.图6是根据另一示例性实施例示出的一种图像重构模型建立装置的系统示意图；
56.图7是根据另一示例性实施例示出的一种图像重构模型应用装置的系统示意图；
57.附图中：101-数据获取模块，102-网络图像获取模块，103-总变分损失获取模块，104-模型建立模块，201-输入模块，202-输出模块。
具体实施方式
58.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
59.实施例一
60.图1是根据一示例性实施例示出的一种图像重构模型建立方法的流程示意图，如图1所示，该方法包括：
61.s1，获取多组欠采样图像以及对应的真实图像，得到训练集数据；
62.s2，选取所述训练集数据中任意一组欠采样图像及其对应的真实图像，将所述欠采样图像输入到gan网络结构中，得到网络生成图像；
63.s3，在所述网络生成图像中选取任意一个像素点，获取与该像素点在水平方向以及垂直方向相邻的两个像素点，通过水平方向以及垂直方向相邻的两个像素点计算该像素点的差异值，对所述网络生成图像中所有像素点的差异值进行求和，得到总变分损失；
64.s4，通过l1损失、感知损失、bce损失以及总变分损失表示所述网络生成图像与真实图像的损失值，以所述网络生成图像与真实图像的损失值最小为目标，通过所述训练集数据对gan网络结构进行训练，调整所述gan网络结构的参数，直到损失值不再下降为止，建立图像重构模型；
65.可以理解的是，本技术中，将成对的欠采样图片和512数量高精度采样图片输入gan网络结构进行模型训练，值得强调的是，本技术中输入的图像为光声图像，本技术围绕光声图像的重建提出了一种新的模型，光声层析成像技术(pat)在实际应用中，通常会涉及断层扫描数据的次优采样，在数据采集的过程中，为了得到高质量的图像，通常需要使用较多的换能器数量进行测量，但是更多的换能器数量会带来更高的制作成本、硬件复杂度以及对设备计算能力带来的更大挑战，因此需要对换能器数量进行限制，在稀疏视角情况下进行测量，稀疏视角下的光声成像可以有效降低系统复杂度，减少成本，同时减少需要处理的数据量以加快成像速度，但是也会导致重建的光声图像质量下降，出现伪影和模糊现象，所以需要提出一种新的模型使得光声图像在重建过程中，保留更多的细节信息以及边框轮廓；现有的gan(生成对抗网络)的主要结构包括一个生成器g(generator)和一个判别器d(discriminator)，通过生成器基于欠采样图片生成新的网络图像，通过判别器对网络生成图像以及高精度采样图片进行相似判断，本技术在现有的gan网络结构的基础上，引入了l1loss，l1正则项能够使gan网络在训练成对图片时，得到更好的成像效果，同时为了解决
图片中的稀疏视角的问题和边缘模糊的问题，本技术还在gan网络结构的基础上引用了感知损失函数，感知损失用于实时超分辨任务和风格迁移任务，后来也被应用于更多的领域，在图像去噪方向也有不少工作使用到了感知损失，在提取特征的过程中，较浅层通常提取边缘、颜色、亮度等低频信息，而网络较深层则提取一些细节纹理等高频信息，再深一点的网络层则提取一些具有辨别性的关键特征，也就是说，网络层越深提取的特征越抽象越高级，而感知损失就可以实现关注深层特征，从而在图像的轮廓边缘、内部细节方面取得了更好的效果，还引入了总变分损失，全变分在图像处理中最有效的应用为图像去噪和复原，受噪声污染的图像的总变分比无噪图像的总变分明显的大，限制总变分就会限制噪声，用在图像上，total variation loss(tv loss)可以使图像变得平滑，它基于这样的原理：具有过多和可能是虚假细节的信号具有高的总变分，即，信号的绝对梯度的积分是高的，根据该原理，减小信号的总变分，使其与原始信号紧密匹配，去除不需要的细节，同时保留诸如边缘的重要细节；tv loss全称total variation loss(总变分损失)，计算网络生成图像的总变分，tv loss常用作正则项出现在总体函数中去约束网络学习，可以有效促进网络输出结果的空间平滑性，在数字图像处理中，其定义通常如下：
[0066][0067]
式中，x
i,j
表示网络生成图像中的任意一个像素点，上述公式的含义是：分别计算每个像素点x
i,j
与水平方向(图像的宽w)、垂直方向(图像的高h)的下一个紧邻像素x
i,j-1
、x
i+1,j
之间的差的平方，然后开方，针对所有像素求和即可得到总变分损失；
[0068]
通过l1损失、感知损失以及总变分损失的加入，从稀疏光声数据中高效恢复图像质量的新框架，当提供由少量欠采样数据或有限视角扫描重建的图像时，训练好的网络能够增强任意方向结构的可见性，进而在图像的轮廓边缘、内部细节方面取得了更好的效果，尽可能的恢复预期的图像质量。
[0069]
优选地，
[0070]
所述通过所述训练集数据对gan网络结构进行训练，直到损失值不再下降为止，建立图像重构模型包括：
[0071]
通过所述训练集数据对所述gan网络结构的生成器进行训练，直到所述生成器的损失值不再下降为止，得到训练好的生成器；
[0072]
通过所述训练集数据对所述gan网络结构的判别器进行训练，直到所述判别器的损失值不再下降为止，得到训练好的判别器；
[0073]
通过所述训练好的生成器以及判别器建立图像重构模型；
[0074]
可以理解的是，在模型的建立过程，也就是训练过程中，需要分别对gan网络结构的生成器以及判别器进行对抗循环训练，使用梯度下降法，以各自的损失值不再下降为止，分别完成生成器以及判别器的训练工作，且在训练过程中引入l1损失以及感知损失的概念，而训练好的生成器以及判别器组成相较于现有的gan网络结构对图像重建更有优势的lp-gan网络结构。
[0075]
优选地，
[0076]
所述图像重构模型建立过程中，所述生成器以及所述判别器交替进行训练，当所述生成器训练时，所述判别器的参数固定，当所述判别器训练时，所述生成器的参数固定；
[0077]
可以理解的是，由于是生成器与判别器交替对抗训练，为了避免生成器训练过程中，由于判别器的参数变化导致的干扰，所以在生成器的训练过程中，判别器的参数固定，通过一组数据先完成生成器的训练，调整生成器的参数，再基于这一组数据完成判别器的训练，调整判别器的参数，再选择下一组数据再分别对生成器以及判别器进行训练，直到生成器与判别器各自的损失不再下降为止。
[0078]
优选地，
[0079]
所述通过所述训练集数据对所述gan网络结构的生成器进行训练，直到所述生成器的损失值不再下降为止，得到训练好的生成器包括：
[0080]
将所述欠采样图像输入到gan网络结构的生成器中，得到网络生成图像；
[0081]
将所述网络生成图像以及欠采样图像一并输入到所述gan网络结构的判别器中，得到第一相似度矩阵；
[0082]
通过所述网络生成图像以及真实图像得到感知损失，通过预设的l1损失函数得到l1损失，通过所述第一相似度矩阵以及n阶1矩阵得到第一bce损失；
[0083]
通过所述感知损失、l1损失、第一bce损失以及总变分损失得到生成器损失，以所述生成器损失最小为目标，通过所述训练集数据对生成器进行训练，直到所述生成器损失不再下降，得到训练好的生成器；
[0084]
可以理解的是，如附图2所示的生成器训练过程原理示意图，生成器使用带有残差连接的unet作为骨干网络，使用傅里叶损失、感知损失和l1损失作为梯度下降目标，参数j是预训练神经网络中j层的特征表示，n是特征层的数量，基于梯度的更新可以使用任何标准的基于梯度的学习规则，我们在实验中使用了动量，从欠采样图像中抽取一批m个样本{x
(1)
，...，x
(m)
}，再获取其对应的512数量高精度图片(真实图像){z
(1)
，...，z
(m)
}，首先将欠采样图像输入到gan网络结构的生成器中，生成器基于欠采样图像生成新的网络生成图像，将新的网络生成图像以及欠采样图像一并输入到判别器中，通过判别器得到网络生成图像以及欠采样图像的第一相似度矩阵，通过所述网络生成图像以及真实图像得到感知损失perceptualloss，通过预设的l1损失函数得到l1损失，l1损失的表达式如下所示：
[0085]
l1loss＝|z
(i)-g(x(i))|
[0086]
式中，g表示生成器；
[0087]
设置真实图像值为1，输出为d(g(x(i))，即第一相似度矩阵，通过所述第一相似度矩阵以及n阶1矩阵得到第一bce损失，所述第一bce损失的表达式如下所示：
[0088]
bce loss＝-1log(d(g(x(i))))
[0089]
式中，d表示判别器；通过所述感知损失perceptualloss、l1损失以及第一bce损失得到生成器损失，生成器损失表达式如下所示：
[0090][0091]
式中，α，β是可调的权重系数；以所述生成器损失最小为目标，通过梯度下降法，使用所述训练集数据对生成器进行训练，直到所述生成器损失不再下降，得到训练好的生成器。
[0092]
优选地，
[0093]
所述通过所述感知损失、l1损失、第一bce损失以及总变分损失得到生成器损失包括：
[0094]
引入阻尼系数，根据预设的阻尼系数计算公式计算每一次迭代的阻尼系数；
[0095]
将每一次迭代的感知损失、l1损失以及总变分损失相加之和与该次迭代的阻尼系数相乘，得到阻尼损失；
[0096]
将所述阻尼损失与该次迭代的第一bce损失相加，得到生成器损失；
[0097]
可以理解的是，在上述方案的基础上，再引入阻尼系数的概念，阻尼系数是整个lp-gan网络结构调整loss值的一个重要参数，通过调整阻尼系数的值来解决损失值的收敛的问题，在常见的物理应用情景中，经常采用的是固定的阻尼策略，若将阻尼系数设置成一个较大的值，则有可能导致算法因发生震荡而难以收敛，若将阻尼系数设置成一个较小的值，则算法生成的图像细节较差，很容易就到达局部最优，本实施例将阻尼系数引入模型训练过程中，将整体训练的损失值限制在0.1以下，是为了弥补丢失的部分图像的细节信息，突出图像的细节部分，阻尼系数定义如下所示：
[0098][0099]
式中，x表示迭代次数，也就是每一次迭代过程中，阻尼系数y都会相应变化，当迭代次数为100epoch时，阻尼系数y为0.5；计算出每次迭代的阻尼系数y后，再将阻尼系数y乘以每次迭代的总变分损失、l1损失以及感知损失之和，通过阻尼系数y使得损失收敛，在第一次开始训练时，阻尼系数为0，这时只有bce损失参与计算，可以更好的获取图像的总轮廓信息，当逐渐的阻尼系数越来越大，计算bce损失与总变分损失、l1损失以及感知损失之和的和时，可以获取更多图像内部的细节信息，因此，加入阻尼系数之后，它可以在处理过程中平衡不同因素之间的影响大小，从而提升图像处理的质量；阻尼系数在图像处理领域中的应用是为了在处理过程中平衡不同因素之间的权衡，通过调整阻尼系数，可以控制平滑程度、图像质量、分割结果或稀疏性等因素，以满足具体任务的需求并改善图像处理结果的质量；加入阻尼系数之后模型的优点：
[0100]
平衡平滑和细节保留：
[0101]
阻尼系数可以帮助平衡平滑和细节保留之间的权衡，在图像处理任务中，有时需要平滑图像以去除噪声或减少细节，而有时又需要保留重要的细节信息，通过调整阻尼系数，可以更精确地控制平滑的程度，使平滑和细节保留能够得到更好的平衡；
[0102]
控制图像质量和视觉效果：
[0103]
阻尼系数可以用于控制图像的质量和视觉效果，在图像压缩和增强等任务中，阻尼系数可以影响结果的质量和感知效果，通过调整阻尼系数，可以在压缩率和图像质量之间找到最佳平衡点，或者在增强效果和图像保真度之间取得良好的折衷；
[0104]
控制稀疏性和重构质量：
[0105]
在基于稀疏表示的图像处理方法中，阻尼系数可以用于平衡稀疏性和重构质量之间的权衡，通过调整阻尼系数，可以控制稀疏表示的稳定性和重构图像的质量，以获得更好的图像处理效果；
[0106]
综上所述，阻尼系数在图像处理中的应用可以提供更好的平滑与细节保留的权衡、更精确的图像质量和视觉效果控制、改善分割结果的连续性以及更好的稀疏性和重构
质量的平衡，这些优点使得阻尼系数成为模型训练过程中一种有价值的工具，可以提高图像处理任务的质量和效果。
[0107]
优选地，
[0108]
所述通过所述训练集数据对所述gan网络结构的判别器进行训练，直到所述判别器的损失值不再下降为止，得到训练好的判别器包括：
[0109]
将所述欠采样图像以及真实图像一并输入到所述判别器中，得到第二相似度矩阵；
[0110]
通过所述第一相似度矩阵以及n阶0矩阵得到第二bce损失，通过所述第二相似度矩阵以及n阶1矩阵得到第三bce损失；
[0111]
通过所述第二bce损失以及第三bce损失得到判别器损失，以所述判别器损失最小为目标，通过所述训练集数据对所述判别器进行训练，直到所述判别器损失不再下降，得到训练好的判别器；
[0112]
可以理解的是，判别器使用简单的patchgan，输入图像经过多层卷积后得到一个nxn的矩阵，而不是原始gan的二分类数，然后再跟label取bceloss，训练判别器时要求经过网络虚拟出来的图片经过判别器得到的nxn矩阵与n阶0矩阵bceloss尽可能的小，label经过判别器得到的nxn矩阵与n阶1矩阵bceloss也尽可能的小，如附图3所示，基于上述训练生成器的相同的一组数据，将所述欠采样图像以及真实图像一并输入到所述判别器中，得到第二相似度矩阵，通过所述第一相似度矩阵以及n阶0矩阵得到第二bce损失，通过所述第二相似度矩阵以及n阶1矩阵得到第三bce损失，其中，第二bce损失设置真实图像值为0，输出为d(x(i))，第二bce损失的表达式如下所示：
[0113]
bce loss＝-log(1-d(x(i)))
[0114]
第三bce损失设置真实图像值为1，输出为d(z(i))，第三bce损失的表达式如下所示：
[0115]
bce loss＝-1log(d(z(i)))
[0116]
将所述第二bce损失加上第三bce损失得到判别器损失，判别器损失的表达式如下所示：
[0117][0118]
以所述判别器损失最小为目标，采用梯度下降法通过所述训练集数据对所述判别器进行训练，直到所述判别器损失不再下降，得到训练好的判别器。
[0119]
优选地，
[0120]
所述通过所述网络生成图像以及真实图像得到感知损失包括：
[0121]
将所述网络生成图像以及真实图像分别输入到所述生成器的特征提取模块中，所述特征提取模块分别输出网络特征以及真实特征，通过网络特征以及真实特征获取感知损失；
[0122]
可以理解的是，感知损失就是通过一个固定的网络(通常使用预训练的vgg16或者vgg19)，分别以真实图像(ground truth)、生成器输出的网络生成图像(prediciton)作为其输入，得到对应的输出特征：feature_gt、feature_pre，然后使用feature_gt与feature_
pre构造损失(通常为l2损失)，逼近真实图像与网络生成结果之间的深层信息，也就是感知信息，相比普通的l2损失而言，可以增强输出特征的细节信息，(可以简单理解为：此处的固定网络视为一个函数f，feature_gt＝f(ground truth)，feature_pre＝f(prediciton)，我们的目的是最小化feature_gt与feature_pre之间的差异，即最小化feature_gt、feature_pre构成的感知损失；
[0123]
设置固定网络(本实施例使用的是imagenet上预训练好的vgg16)，该网络参数固定，不进行更新；
[0124]
以真实图像(ground truth)、网络生成图像(prediciton)作为其输入，得到对应的输出特征：feature_gt、feature_pre，使用feature_gt与feature_pre构造损失，通常不只使用固定网络(如vgg16)的单一层提取特征，而是使用其网络结构中的浅层、较深层、更深层中的某几层组合提取特征，构造损失，比如vgg16的特征提取模块的第3、5、7个卷积层的输出特征进行累加，vgg16特征提取模块结构如附图4所示：本技术中使用框中所示的四个激活层的输出构造感知损失，感知损失的表达式如下所示：
[0125][0126]
式中，f表示特征提取模块。
[0127]
实施例二
[0128]
图5是根据另一示例性实施例示出的一种图像重构模型应用方法的流程示意图，包括：
[0129]
s201，获取所述待处理的欠采样图像，将所述待处理的欠采样图像输入到图像重构模型中；
[0130]
s202，所述图像重构模型基于感知损失增强所述待处理的欠采样图像的内部细节信息，基于l1损失增强所述待处理的欠采样图像的边缘轮廓，以及基于总变分损失使得输出图像平滑，输出增强图像；
[0131]
可以理解的是，本技术中，还提供了一种图像重构模型应用方法，通过上述的模型建立方法获取模型之后，就可以将低采样的图像输入到模型之中，模型基于感知损失增强所述待处理的欠采样图像的内部细节信息，基于l1损失增强所述待处理的欠采样图像的边缘轮廓，基于总变分损失使得输出图像空间平滑，输出增强图像，本技术的模型用于增强图像，可以照亮任意定向的结构并改善图像重建，即使在采样不足的数据或有限视图扫描时也是如此，由定性分析和定量评估证实，本技术的解决方案在极低采样条件下可以实现0.7的结构相似指数，强调了网络从低质量数据集生成更高分辨率光声图像的能力，这种研究方法具有医学成像应用的潜力，因为它可以提高图像重建的质量和准确性，同时最大限度地减少实验需求，该方法保留了原始数据中的关键信息，在处理各种稀疏数据类型时表现出很高的适应性和可扩展性，它的实际意义在于它能够在各种临床情况下促进光声成像。
[0132]
实施例三：
[0133]
图6是根据另一示例性实施例示出的一种图像重构模型建立装置的系统示意图，所述装置包括：
[0134]
数据获取模块101：用于获取多组欠采样图像以及对应的真实图像，得到训练集数据；
[0135]
网络图像获取模块102：用于选取所述训练集数据中任意一组欠采样图像及其对应的真实图像，将所述欠采样图像输入到gan网络结构中，得到网络生成图像；
[0136]
总变分损失获取模块103：用于在所述网络生成图像中选取任意一个像素点，获取与该像素点在水平方向以及垂直方向相邻的两个像素点，通过水平方向以及垂直方向相邻的两个像素点计算该像素点的差异值，对所述网络生成图像中所有像素点的差异值进行求和，得到总变分损失；
[0137]
模型建立模块104：用于通过l1损失、感知损失、bce损失以及总变分损失表示所述网络生成图像与真实图像的损失值，以所述网络生成图像与真实图像的损失值最小为目标，通过所述训练集数据对gan网络结构进行训练，调整所述gan网络结构的参数，直到损失值不再下降为止，建立图像重构模型；
[0138]
可以理解的是，本技术还提供了一种图像重构模型建立装置，用于执行所述一种图像重构模型建立方法，包括：通过数据获取模块101用于获取多组欠采样图像以及对应的真实图像，得到训练集数据；通过网络图像获取模块102用于选取所述训练集数据中任意一组欠采样图像及其对应的真实图像，将所述欠采样图像输入到gan网络结构中，得到网络生成图像；通过总变分损失获取模块103用于在所述网络生成图像中选取任意一个像素点，获取与该像素点在水平方向以及垂直方向相邻的两个像素点，通过水平方向以及垂直方向相邻的两个像素点计算该像素点的差异值，对所述网络生成图像中所有像素点的差异值进行求和，得到总变分损失；通过模型建立模块104用于通过l1损失、感知损失、bce损失以及总变分损失表示所述网络生成图像与真实图像的损失值，以所述网络生成图像与真实图像的损失值最小为目标，通过所述训练集数据对gan网络结构进行训练，调整所述gan网络结构的参数，直到损失值不再下降为止，建立图像重构模型。
[0139]
实施例四
[0140]
图7是根据另一示例性实施例示出的一种图像重构模型应用装置的系统示意图，所述装置包括：
[0141]
输入模块201：用于获取所述待处理的欠采样图像，将所述待处理的欠采样图像输入到图像重构模型中；
[0142]
输出模块202：用于所述图像重构模型基于感知损失增强所述待处理的欠采样图像的内部细节信息，基于l1损失增强所述待处理的欠采样图像的边缘轮廓，以及基于总变分损失使得输出图像平滑，输出增强图像；
[0143]
可以理解的是，本技术还提供了一种图像重构模型应用装置，用于执行所述一种图像重构模型应用方法，包括：通过输入模块201用于获取所述待处理的欠采样图像，将所述待处理的欠采样图像输入到图像重构模型中；通过输出模块202用于所述图像重构模型基于感知损失增强所述待处理的欠采样图像的内部细节信息，基于l1损失增强所述待处理的欠采样图像的边缘轮廓，以及基于总变分损失使得输出图像平滑，输出增强图像。
[0144]
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
[0145]
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
[0146]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0147]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0148]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0149]
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0150]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0151]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0152]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种图像重构模型建立方法，其特征在于，所述方法包括：获取多组欠采样图像以及对应的真实图像，得到训练集数据；选取所述训练集数据中任意一组欠采样图像及其对应的真实图像，将所述欠采样图像输入到gan网络结构中，得到网络生成图像；在所述网络生成图像中选取任意一个像素点，获取与该像素点在水平方向以及垂直方向相邻的两个像素点，通过水平方向以及垂直方向相邻的两个像素点计算该像素点的差异值，对所述网络生成图像中所有像素点的差异值进行求和，得到总变分损失；通过l1损失、感知损失、bce损失以及总变分损失表示所述网络生成图像与真实图像的损失值，以所述网络生成图像与真实图像的损失值最小为目标，通过所述训练集数据对gan网络结构进行训练，调整所述gan网络结构的参数，直到损失值不再下降为止，建立图像重构模型。2.根据权利要求1所述的方法，其特征在于，所述通过所述训练集数据对gan网络结构进行训练，直到损失值不再下降为止，建立图像重构模型包括：通过所述训练集数据对所述gan网络结构的生成器进行训练，直到所述生成器的损失值不再下降为止，得到训练好的生成器；通过所述训练集数据对所述gan网络结构的判别器进行训练，直到所述判别器的损失值不再下降为止，得到训练好的判别器；通过所述训练好的生成器以及判别器建立图像重构模型。3.根据权利要求2所述的方法，其特征在于，所述图像重构模型建立过程中，所述生成器以及所述判别器交替进行训练，当所述生成器训练时，所述判别器的参数固定，当所述判别器训练时，所述生成器的参数固定。4.根据权利要求2所述的方法，其特征在于，所述通过所述训练集数据对所述gan网络结构的生成器进行训练，直到所述生成器的损失值不再下降为止，得到训练好的生成器包括：将所述欠采样图像输入到gan网络结构的生成器中，得到网络生成图像；将所述网络生成图像以及欠采样图像一并输入到所述gan网络结构的判别器中，得到第一相似度矩阵；通过所述网络生成图像以及真实图像得到感知损失，通过预设的l1损失函数得到l1损失，通过所述第一相似度矩阵以及n阶1矩阵得到第一bce损失；通过所述感知损失、l1损失、第一bce损失以及总变分损失得到生成器损失，以所述生成器损失最小为目标，通过所述训练集数据对生成器进行训练，直到所述生成器损失不再下降，得到训练好的生成器。5.根据权利要求4所述的方法，其特征在于，所述通过所述感知损失、l1损失、第一bce损失以及总变分损失得到生成器损失包括：引入阻尼系数，根据预设的阻尼系数计算公式计算每一次迭代的阻尼系数；将每一次迭代的感知损失、l1损失以及总变分损失相加之和与该次迭代的阻尼系数相乘，得到阻尼损失；将所述阻尼损失与该次迭代的第一bce损失相加，得到生成器损失。
6.根据权利要求5所述的方法，其特征在于，所述通过所述训练集数据对所述gan网络结构的判别器进行训练，直到所述判别器的损失值不再下降为止，得到训练好的判别器包括：将所述欠采样图像以及真实图像一并输入到所述判别器中，得到第二相似度矩阵；通过所述第一相似度矩阵以及n阶0矩阵得到第二bce损失，通过所述第二相似度矩阵以及n阶1矩阵得到第三bce损失；通过所述第二bce损失以及第三bce损失得到判别器损失，以所述判别器损失最小为目标，通过所述训练集数据对所述判别器进行训练，直到所述判别器损失不再下降，得到训练好的判别器。7.根据权利要求4所述的方法，其特征在于，所述通过所述网络生成图像以及真实图像得到感知损失包括：将所述网络生成图像以及真实图像分别输入到所述生成器的特征提取模块中，所述特征提取模块分别输出网络特征以及真实特征，通过网络特征以及真实特征获取感知损失。8.一种图像重构模型应用方法，其特征在于，所述方法基于权利要求1-6任意一项建立的图像重构模型，所述方法包括：获取所述待处理的欠采样图像，将所述待处理的欠采样图像输入到图像重构模型中；所述图像重构模型基于感知损失增强所述待处理的欠采样图像的内部细节信息，基于l1损失增强所述待处理的欠采样图像的边缘轮廓，以及基于总变分损失使得输出图像平滑，输出增强图像。9.一种图像重构模型建立装置，其特征在于，所述装置包括：数据获取模块：用于获取多组欠采样图像以及对应的真实图像，得到训练集数据；网络图像获取模块：用于选取所述训练集数据中任意一组欠采样图像及其对应的真实图像，将所述欠采样图像输入到gan网络结构中，得到网络生成图像；总变分损失获取模块：用于在所述网络生成图像中选取任意一个像素点，获取与该像素点在水平方向以及垂直方向相邻的两个像素点，通过水平方向以及垂直方向相邻的两个像素点计算该像素点的差异值，对所述网络生成图像中所有像素点的差异值进行求和，得到总变分损失；模型建立模块：用于通过l1损失、感知损失、bce损失以及总变分损失表示所述网络生成图像与真实图像的损失值，以所述网络生成图像与真实图像的损失值最小为目标，通过所述训练集数据对gan网络结构进行训练，调整所述gan网络结构的参数，直到损失值不再下降为止，建立图像重构模型。10.一种图像重构模型应用装置，其特征在于，所述装置包括：输入模块：用于获取所述待处理的欠采样图像，将所述待处理的欠采样图像输入到图像重构模型中；输出模块：所述图像重构模型基于感知损失增强所述待处理的欠采样图像的内部细节信息，基于l1损失增强所述待处理的欠采样图像的边缘轮廓，以及基于总变分损失使得输出图像平滑，输出增强图像。

技术总结
本发明涉及一种图像重构模型建立、应用方法及装置，应用于图像处理技术领域，包括：基于传统的GAN网络结构，引入了L1损失、感知损失以及总变分损失，L1损失能够使GAN网络在训练成对图片时，得到更好的成像效果，通过感知损失逼近真实图像与网络生成图像之间的深层信息，增强输出特征的细节信息，通过总变分损失去除不需要的细节，保留诸如边缘的重要细节，使得图像更为平滑，通过L1损失、感知损失以及总变分损失的加入，搭建从稀疏光声数据中高效恢复图像质量的新框架，当提供由少量欠采样数据或有限视角扫描重建的图像时，训练好的网络能够增强任意方向结构的可见性，进而在图像的轮廓边缘、内部细节方面取得了更好的效果。内部细节方面取得了更好的效果。内部细节方面取得了更好的效果。


技术研发人员：郭前进 黄梦圆 马颖 刘武 余卫勇 安翔 刘强
受保护的技术使用者：北京石油化工学院
技术研发日：2023.06.14
技术公布日：2023/8/24