基于深度神经网络的超分辨率光声显微成像方法

1.本发明属于光声显微成像技术领域，具体为一种基于深度神经网络的超分辨率光声显微成像方法。


背景技术：

2.光声成像技术是近年来在临床上得到广泛应用的一种新的生物医学图像技术。与其它的生物医学成像技术相比，光声图像具有特定的分子或细胞图像，能够为疾病的诊断和评价提供精确的图像信息。光声学显微镜(pam)是一种基于光声学技术的高分辨无创性成像技术，它在生物医学图像诊断中有着广阔的应用前景。
3.在过去的几年中，光学分辨率光学显微成像(or-pam)的成像速度已被多次折叠提高。但是，达到的最大成像速度仍然不足以用于许多应用，例如大脑范围的神经元活动研究，其成像速度必须至少比现有方法快十到几百倍。
4.现有的光声图像处理方法难以对成像速度进行有效的提升，如将扫描模块的修改，扩大采样间隔，使得低像素图像向高像素学习的方法，虽然可以通过深度神经网络获得快于普通光声显微成像若干倍的的成像速度，但究其重建原理本身，由于插值采样所掠过的高层次特征信息，利用经过训练的网络重建图像，重建之后的图像往往存在过正则化的问题，其深层的特征信息大规模的被省略；在成像对象差别较大时，出现泛化能力大幅下降的情况，其对图像重建的有效性、真实性也有一定的减弱。再者通过光声探测阵列构成的光声显微成像系统，究其阵列的复杂性，其成像成本十分高昂。


技术实现要素：

5.为了解决现有技术中的上述技术缺陷，本发明提出了一种基于深度学习的超分辨率光声显微成像方法及系统。
6.实现本发明目的的技术方案为：一种基于深度神经网络的超分辨率光声显微成像方法，具体步骤为：
7.s1：通过光学分辨率光声显微成像系统获得高、低分辨率两组光声信号数据；
8.s2：将采集的两组光声信号数据进行图像重建；
9.s3：对两组重建的原始光声图像预处理，构成输入样本集；
10.s4：搭建深度神经网络模型并训练，所述深度神经网络模型具体为基于光声图像优化的denseres-srgan对抗神经网络架构；
11.s5：将采集的高、低分辨率图像输入训练好的深度神经网络，获得超分辨结果。
12.优选地，所述光学分辨率光声显微成像系统包括：
13.激发模块，用于向成像样本聚焦短脉冲激光；
14.扫描模块，用于实现对成像范围内的全扫描；
15.采集模块，用于采集和放大光声信号并将数据传输至计算机。
16.优选地，所述激发模块包括脉冲激光器、小孔滤波系统、两组反射镜、准直扩束装
置、遮光板以及物镜；当采集大焦半径下的光声信号时，激光激发后，光路途经小孔滤波系统、两组反射镜、物镜最终聚焦到成像样品上；当采集小焦半径下的光声信号时，激光激发后，光路途经小孔滤波系统、两组反射镜、准直扩束装置、遮光板、物镜聚焦到成像样品上。
17.优选地，采集不同焦半径下的光声信号时，扫描模块的扫描步进不同。
18.优选地，采用最大值投影进行图像重建，最大投影计算公式：
19.m(i,j)＝max(p
i,j
(t:t+δt))
20.其中，m(i,j)是采集位置(i,j)处的投影值，p
i,j
是采集位置(i,j)处的光声时域信号，δt是选定投影的区间。
21.优选地，对两组重建的原始光声图像预处理的具体方法为：
22.将重建的两组不同分辨率信息的图像以偶数行像素按x轴进行像素移位；
23.将移位后的两组不同分辨率的光声图像输入预训练的u-net网络，获得去除图像错位和噪声的图像。
24.优选地，所述dr-srgan对抗神经网络架构包括一个生成器和一个判别器，所述生成器包括：
25.(1)光声图像底层特征提取模块：将输入的单通道图像进行均匀分割并按序排列，得到的分割图像先后经过卷积层和prelu激活函数层，得到基于卷积层参数的图像特征；
26.(2)光声图像高层特征提取模块：基于卷积层参数的图像特征经过五个大小相同的残差块，其中每个残差块由两组卷积层，以及中间的prelu激活函数层组成；再接入密集块，密集块由若干密集层构成，密集层由两组归一化层、激活层、卷积层构成，且若干密集层之间为密集连接；
27.(3)反卷积层：将最后一个密集块输出的图像通过卷积层、正则化层、逐点相加层；接着通过两组卷积块构成的反卷积层扩充图像尺寸，其中卷积块由卷积层、pixel shuffle层、prelu激活函数层组成；
28.(4)重建层：通过单一卷积层进行重建；
29.所述判别器结构是一个cnn网络，其中激活函数使用leaky-relu；cnn网络的末端使用密集块再接sigmoid函数做一个二分类，对生成器生成的重建图像进行打分。
30.优选地，所述denseres-net对抗神经网络参数损失函数包括生成器的损失函数和判别器的损失函数；
31.生成器的损失函数具体为：
[0032][0033]
其中，l
sr
为感知损失函数，θg为生成器损失函数，为含参数的生成器模型，为批次大小为n的低分辨率图像，为批次大小为n的高分辨率图像。
[0034][0035]
ka、kb分别为修改的感知损失比率，为内容损失函数，为对抗损失函数；
[0036]
判别器的损失函数为二分类交叉熵损失函数。
[0037]
优选地，所述内容损失函数具体为：
[0038][0039]
所述对抗损失函数具体为：
[0040][0041]
其中为内容损失函数，w，h对应图像宽、高度，φ为代入vgg19某层的特征函数运算，为对抗损失函数，为含参数的判别器模型。
[0042]
本发明与现有技术相比，其显著优点为：(1)本发明的神经网络采用了特征域损失和对抗损失加权的感知损失，且在去除bn层加速网络训练的同时添加了密集块保证深度网络参数优化；改进的网络结构对于光声图像的各层次特征有很好的提取效果，基于深度学习该信息挖掘技术特点可以实现高速超分辨成像；(2)本发明与稀疏数据高分辨重建有显著区别，本发明的高低分辨率采样并没有跳过视场内的信息，与稀疏数据相比，代表像素是大步进扫描模式下各个小像素的加权表示，从而将低分辨率、大焦点直径所无法分辨的低尺度信息复现，与稀疏数据高分辨重建相比有重建泛化能力以及真实性的提升；(3)本发明可以弥补物镜实验条件，实现低数值孔径物镜所不能达到的高分辨重建。
[0043]
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0044]
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
[0045]
图1为本发明基于深度学习神经网络的高分辨光声显微成像方法流程图。
[0046]
图2为本发明光学分辨率光声显微成像系统的结构示意图。
[0047]
图3为本发明基于深度学习神经网络的高分辨光声显微成像方法网络生成器示意图。
具体实施方式
[0048]
容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。相反，提供这些实施例的目的是为了使本领域的技术人员更透彻地理解本发明。下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的创新构思。
[0049]
如图1所示，本发明构思为，一种基于深度学习的超分辨率光声显微成像方法，具体步骤为：
[0050]
s1：通过光学分辨率光声显微成像系统获得包含不同分辨率信息的两组光声信号数据；
[0051]
如图2所示，所述光学分辨率光声显微成像系统包括：
[0052]
激发模块，用于向成像样本聚焦短脉冲激光，促使光声效应；通过激发模块后，系统将激发光聚焦在成像平面。
[0053]
扫描模块，用于实现对样品成像范围内的全扫描。
[0054]
采集模块，用于采集和放大光声信号并将数据传输至计算机；采集模块采用pc接采集卡收取途径放大器的光声信号，在pc机上实时检测和采集。
[0055]
具体地，所述激发模块包括脉冲激光器、小孔滤波系统、两组反射镜、准直扩束装置、遮光板以及物镜。
[0056]
当采集大焦半径下的光声信号时，即对应低分辨率图像，激光激发后，光路途经小孔滤波系统、两组反射镜、物镜等光学器件最终聚焦到成像样品上。
[0057]
当采集小焦半径下的光声信号时，即对应高分辨率图像，激光激发后，光路途经小孔滤波系统、两组反射镜、准直扩束装置、遮光板、物镜等光学器件最终聚焦到成像样品上。
[0058]
进一步的实施例中，所述扫描模块包括fpga、伺服电机以及样品台，环形超声换能器与物镜共圆心，物镜放置在样品与成像平面上方预定高度位置；样品与成像平面放置在二维伺服电机搭载样品台上。
[0059]
通过激光器输出脉冲传输到fpga调制(即数字化处理)，再将fpga电信号传输至伺服电机，控制伺服电机驱动安置在电机平台上的成像平台进行移动，同时，每移动一次通过超声换能器采集一次光声信号。即通过伺服电机连接玻璃皿置于四角笼物镜正下方，激光器输出脉冲通过fpga脉冲检测触发功能，实现扫描电机的程控。
[0060]
具体地，伺服电机外驱动采用高电平触发控制。以x、y双轴为例，设置双fpga引脚输出，当x轴一行相应的扫描脉冲数对伺服电机触发后，编辑下个脉冲时长的x轴引脚为低电平，将y轴引脚输出编辑为一个步进周期脉冲数量的高电平。以此类推，完成成像平面的全扫描，获取包含深度信息二维平面的光声压信号用于后续的图像重建。
[0061]
当采集大焦半径下的光声信号时，通过激发光波长、系统na计算焦半径，并根据焦半径确定扫描电机的双轴步进。
[0062]
当采集小焦半径下的光声信号时，通过激发光波长、准直装置直径和扩束准直装置聚焦镜焦距计算焦半径，并根据焦半径确定扫描电机的双轴步进。
[0063]
本发明中，扫描模块采用与变焦技术相结合的方式，获取高、低分辨率图像的光声信号。采用变焦技术改变焦点直径，并依据先验条件计算理想分辨率变化，按照计算的理想分辨率改变扫描模块中的步进周期脉冲数量，。所述的变焦技术可解释为采用准直扩束装置获取更小的焦点直径，基本解释为，
[0064]
d＝2fλ/d
[0065]
式中：f为聚焦镜的焦距；λ为入射光束的波长；d为入射光束的直径；d为变焦焦点直径。由公式可知，焦点的光点直径d与聚焦镜焦距f及激光波长λ之间的比例关系，与入射光束的直径d呈反比关系。
[0066]
s2：将两组采集的光声信号数据进行图像重建；本发明采用最大值投影图像重建方法，其原理是将含深度信息二维平面的光声压信号，投影到二维平面，以获取二维重建图像。
[0067]
具体地，最大投影计算公式：
[0068]
m(i,j)＝max(p
i,j
(t:t+δt))
[0069]
其中m(i,j)是采集位置(i,j)处的投影值，p
i,j
是采集位置(i,j)处的光声时域信号，δt是选定投影的区间，通过选定区间可以实现对不同深度层的投影。
[0070]
s3：对两组重建的原始光声图像预处理，构成输入样本集；
[0071]
光声图像预处理方法采用已训练的u-net网络与像素移位相结合的方法实现。由于光声显微成像系统伴随短脉冲激光与浸水式扫描设备协同运作，易产生由热膨胀、物理波动、机械噪声、直线电机时序控制困难等问题，往往对光声重建图像有机械错位、伪影、高斯噪声等影响。对于产生的错位与噪声，可以通过像素移位方法还原大尺度错位，再通过u-net对光声图像边缘(即小尺度错位)进行优化并进行去噪处理。该预处理方法具体地过程为：
[0072]
将重建的两组不同分辨率信息的图像(高低分辨率光声信号图像)以偶数行像素按x轴进行像素移位，其移位距离由先验对地真实光声图像与错位图像最小化mse确定。
[0073]
将移位后的高、低分辨率光声图像输入预训练的u-net网络，最终获得去除图像错位和噪声的预处理结果。u-net网络运用该系统获取的高、低分辨率光声图像数据集训练，并在低分辨率光声图像中添加高斯噪声。
[0074]
s4：搭建深度神经网络模型并训练，所述深度神经网络模型具体为基于光声图像优化的denseres-srgan(dr-srgan)对抗神经网络架构；
[0075]
所述dr-srgan对抗神经网络架构基于cnn采用gan方法进行训练来实现图像的超分辨率重建。所述dr-srgan对抗神经网络架构包括一个generator生成器和一个discriminator判别器，生成器的主体是一连串的残差块和密集块，同时在生成器模型的后部加入了subpixel模块。
[0076]
进一步的实施例中，所述生成器(generatornetwork)包括：
[0077]
(1)光声图像底层特征提取模块：将输入的单通道图像进行均匀分割并按序排列，得到的分割图像先后经过卷积层和prelu激活函数层，得到基于卷积层参数的图像特征；其中卷积层与激活函数层共同构成了一个图像特征提取卷积块，无池化层；
[0078]
(2)光声图像高层特征提取模块：基于卷积层参数的图像特征经过五个大小相同的残差块，其中每个残差块由两组卷积层，以及中间的prelu激活函数层组成；再接入密集块，密集块由若干密集层构成，密集层由两组归一化层、激活层、卷积层构成，且若干密集层之间为密集连接；若干残差块和密集块整体构成了高层特征提取层；由于残差块去除了bn层，提高成像速度，再通过密集层保证网络参数梯度优化；
[0079]
(3)反卷积层：将最后一个密集块输出的图像通过卷积层、正则化层、逐点相加层；接着通过两组卷积块构成的反卷积层扩充图像尺寸，其中卷积块由卷积层、pixel shuffle层、prelu激活函数层组成；
[0080]
(4)重建层：最后通过单一卷积层进行重建。
[0081]
生成器结构主体为res-net残差网络。生成器结构见图3。
[0082]
进一步的实施例中，所述判别器结构是一个cnn网络，其中激活函数使用leaky-relu；cnn网络的末端使用了密集块再接sigmoid函数做一个二分类用于对生成器生成的重建图像i
sr
进行打分。其中密集块添加了不改变矩阵大小的卷积层，进一步实现全连接功能。
[0083]
进一步的实施例中，所述denseres-net对抗神经网络参数损失函数包括生成器的
损失函数和判别器的损失函数。
[0084]
生成器的损失函数具体为：
[0085]
其中，l
sr
为感知损失函数(perceptualloss),
[0086]ka kb为修改的感知损失比率。
[0087]
内容损失：
[0088]
对抗损失：
[0089]
判别器的损失函数为二分类交叉熵损失函数。
[0090]
对抗损失与判别器的损失函数基本一致，只有二分类交叉熵计算时，将
‘0’‘1’
调换，其目的是各自优化生成器与判别器的性能。
[0091]
dr-srgan对抗神经网络的训练过程分为两个阶段。将预处理后的高、低分辨率图像输入dr-srgan对抗神经网络。
[0092]
首先，在第一阶段中，只训练生成器网络，固定判别器网络的参数。在这个阶段中，使用内容损失和对抗损失来训练生成器网络一次，同时输出与低分辨率图像对应的超分辨图像。接着跳转到第二阶段。在第二阶段中，固定生成器网络的参数，训练判别器网络。在这个阶段中，首先第一阶段中的输出即超分辨图像通过判别器网络会输出一个数值，范围在[0,1]，表示超分辨图像与高分辨图像的相似程度。接着，通过判别器损失函数来训练判别器网络(训练方法是，将一个批次数量的判别器输出与同大小的
‘0’
值做二分类交叉熵损失函数计算。因为判别器网络需要鉴别出超分辨图像，[0,1]代表
‘
不像-像’的渐变过程)，然后跳转至第一阶段。
[0093]
s5：将采集的高、低分辨率图像采用步骤s3的方法进行预处理后输入训练好的深度神经网络模型，获得超分辨结果。
[0094]
实施例
[0095]
一种基于深度学习的超分辨率光声显微成像方法，具体步骤为：
[0096]
s1：通过光学分辨率光声显微成像系统获得包含不同分辨率信息的两组光声信号数据；
[0097]
当采集大焦半径下的光声信号时，激光激发后，光路途经小孔滤波系统、两组反射镜、物镜等光学器件最终聚焦到成像样品上。
[0098]
当采集小焦半径下的光声信号时，激光激发后，光路途经小孔滤波系统、两组反射镜、准直扩束装置、遮光板、物镜等光学器件最终聚焦到成像样品上。
[0099]
s2：将两组采集的光声信号数据进行图像重建；本发明采用最大值投影图像重建方法，其原理是将含深度信息二维平面的光声压信号，投影到二维平面，以获取二维重建图像。
[0100]
s3：对两组重建的原始光声图像预处理，构成输入样本集；
[0101]
光声图像预处理方法采用已训练的u-net网络与像素移位相结合的方法实现。由于光声显微成像系统伴随短脉冲激光与浸水式扫描设备协同运作，易产生由热膨胀、物理
波动、机械噪声、直线电机时序控制困难等问题，往往对光声重建图像有机械错位、伪影、高斯噪声等影响。对于产生的错位与噪声，可以通过像素移位方法还原大尺度错位，再通过u-net对光声图像边缘(即小尺度错位)进行优化并进行去噪处理。该预处理方法具体地过程为：
[0102]
将重建的两组不同分辨率信息的图像(高低分辨率光声信号图像)以偶数行像素按x轴进行像素移位，其移位距离由先验对地真实光声图像与错位图像最小化mse确定。
[0103]
将移位后的高、低分辨率光声图像输入预训练的u-net网络，最终获得去除图像错位和噪声的预处理结果。u-net网络运用该系统获取的高、低分辨率光声图像数据集训练，并在低分辨率光声图像中添加高斯噪声。
[0104]
s4：搭建深度神经网络模型并训练，所述深度神经网络模型具体为基于光声图像优化的denseres-srgan(dr-srgan)对抗神经网络架构；
[0105]
所述dr-srgan对抗神经网络架构基于cnn采用gan方法进行训练来实现图像的超分辨率重建。所述dr-srgan对抗神经网络架构包括一个generator生成器和一个discriminator判别器，生成器的主体是一连串的残差块和密集块，同时在生成器模型的后部加入了subpixel模块。
[0106]
生成器(generatornetwork)结构：
[0107]
(1)底层特征提取模块：将输入的单通道图像进行均匀分割为32*32像素大小并按序排列，得到的分割图像先后经过核大小为9*9，通道数为64，步进为1的卷积层和学习参数
ɑ
为1，初始值为0.25的prelu激活函数层，得到基于卷积层参数的图像特征；其中卷积层与激活函数层共同构成了一个图像特征提取卷积块，无池化层；
[0108]
(2)高层特征提取模块：接下来网络经过五个大小相同的残差块，其中每个残差块由两组核大小为3*3，通道数为64，步进为1卷积层，以及两组中间的prelu激活函数层组成；再通过四个密集块，密集层数分别为[2，4，2，4]，每层密集层特征数(通道数)迭加都为32，密集层由两组归一化层、激活层、卷积层构成；五个残差块与四个密集块整体构成了高层特征提取层；由于残差块去除了bn层，提高成像速度，再通过密集层保证网络参数梯度优化；
[0109]
(3)反卷积层：将最后一次残差块通过核大小为3*3，通道数为64，步进为1卷积层、正则化层、逐点相加层；接着通过两组卷积块构成的反卷积层扩充图像尺寸，其中卷积块由核大小为3*3，通道数为256，步进为1卷积层、2
×
上采样pixel shuffle层、prelu激活函数层组成；
[0110]
(4)重建层：最后通过单一核大小为9*9，通道数为3，步进为1卷积层进行重建。
[0111]
生成器结构主体为res-net残差网络。生成器结构见图3。
[0112]
判别器(discriminatornetwork)结构：
[0113]
判别器结构为cnn网络，其中激活函数使用leaky-relu；网络先通过一个核大小为3*3，通道数为64，步进为1卷积层，再通过leaky relu激活函数层，再依次通过核大小为3*3，通道数为64，步进为2的卷积层、bn层、leaky relu激活函数层；接着通过两种卷积块的交替作用实现对图像特征的提取，第一个卷积块由核大小为3*3，通道数为128，步进为1的卷积层、bn层、leakyrelu层构成，第二个卷积块除了卷积层为核大小为3*3，通道数为64，步进为2，且两个卷积层每通过各自的一个，下一个卷积层就会提高一倍通道数，将下采样的信息添加到维数中。最终，网络的末端使用了(1024-1)dense层、leaky relu激活函数层再接
(1-1)dense层、sigmoid函数构成dense块，做一个二分类用于对i
lr
和i
hr
进行打分，用于判别器的判别回归。
[0114]
s5：将采集的高、低分辨率图像采用步骤s3的方法进行预处理后输入训练好的深度神经网络模型，获得超分辨结果。
[0115]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
[0116]
应当理解，为了精简本发明并帮助本领域的技术人员理解本发明的各个方面，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时在单个实施例中进行描述，或者参照单个图进行描述。但是，不应将本发明解释成示例性实施例中包括的特征均为本专利权利要求的必要技术特征。
[0117]
应当理解，可以对本发明的一个实施例的设备中包括的模块、单元、组件等进行自适应性地改变以把它们设置在与该实施例不同的设备中。可以把实施例的设备包括的不同模块、单元或组件组合成一个模块、单元或组件，也可以把它们分成多个子模块、子单元或子组件。

技术特征：
1.一种基于深度神经网络的超分辨率光声显微成像方法，其特征在于，具体步骤为：s1：通过光学分辨率光声显微成像系统获得高、低分辨率两组光声信号数据；s2：将采集的两组光声信号数据进行图像重建；s3：对两组重建的原始光声图像预处理，构成输入样本集；s4：搭建深度神经网络模型并训练，所述深度神经网络模型具体为基于光声图像优化的denseres-srgan对抗神经网络架构；s5：将采集的高、低分辨率图像输入训练好的深度神经网络，获得超分辨结果。2.根据权利要求1所述的基于深度神经网络的超分辨率光声显微成像方法，其特征在于，所述光学分辨率光声显微成像系统包括：激发模块，用于向成像样本聚焦短脉冲激光；扫描模块，用于实现对成像范围内的全扫描；采集模块，用于采集和放大光声信号并将数据传输至计算机。3.根据权利要求2所述的基于深度神经网络的超分辨率光声显微成像方法，其特征在于，所述激发模块包括脉冲激光器、小孔滤波系统、两组反射镜、准直扩束装置、遮光板以及物镜；当采集大焦半径下的光声信号时，激光激发后，光路途经小孔滤波系统、两组反射镜、物镜最终聚焦到成像样品上；当采集小焦半径下的光声信号时，激光激发后，光路途经小孔滤波系统、两组反射镜、准直扩束装置、遮光板、物镜聚焦到成像样品上。4.根据权利要求1所述的基于深度神经网络的超分辨率光声显微成像方法，其特征在于，采集不同焦半径下的光声信号时，扫描模块的扫描步进不同。5.根据权利要求1所述的基于深度神经网络的超分辨率光声显微成像方法，其特征在于，采用最大值投影进行图像重建，最大投影计算公式：m(i,j)＝max(p
i,j
(t:t+δt))其中，m(i,j)是采集位置(i,j)处的投影值，p
i,j
是采集位置(i,j)处的光声时域信号，δt是选定投影的区间。6.根据权利要求1所述的基于深度神经网络的超分辨率光声显微成像方法，其特征在于，对两组重建的原始光声图像预处理的具体方法为：将重建的两组不同分辨率信息的图像以偶数行像素按x轴进行像素移位；将移位后的两组不同分辨率的光声图像输入预训练的u-net网络，获得去除图像错位和噪声的图像。7.根据权利要求1所述的基于深度神经网络的超分辨率光声显微成像方法，其特征在于，所述dr-srgan对抗神经网络架构包括一个生成器和一个判别器，所述生成器包括：(1)光声图像底层特征提取模块：将输入的单通道图像进行均匀分割并按序排列，得到的分割图像先后经过卷积层和prelu激活函数层，得到基于卷积层参数的图像特征；(2)光声图像高层特征提取模块：基于卷积层参数的图像特征经过五个大小相同的残差块，其中每个残差块由两组卷积层，以及中间的prelu激活函数层组成；再接入密集块，密集块由若干密集层构成，密集层由两组归一化层、激活层、卷积层构成，且若干密集层之间为密集连接；(3)反卷积层：将最后一个密集块输出的图像通过卷积层、正则化层、逐点相加层；接着通过两组卷积块构成的反卷积层扩充图像尺寸，其中卷积块由卷积层、pixel shuffle层、
prelu激活函数层组成；(4)重建层：通过单一卷积层进行重建；所述判别器结构是一个cnn网络，其中激活函数使用leaky-relu；cnn网络的末端使用密集块再接sigmoid函数做一个二分类，对生成器生成的重建图像进行打分。8.根据权利要求1所述的基于深度神经网络的超分辨率光声显微成像方法，其特征在于，所述denseres-net对抗神经网络参数损失函数包括生成器的损失函数和判别器的损失函数；生成器的损失函数具体为：其中，l
sr
为感知损失函数，θ
g
为生成器损失函数，为含参数的生成器模型，为批次大小为n的低分辨率图像，为批次大小为n的高分辨率图像；k
a
、k
b
分别为修改的感知损失比率，为内容损失函数，为对抗损失函数；判别器的损失函数为二分类交叉熵损失函数。9.根据权利要求8所述的基于深度神经网络的超分辨率光声显微成像方法，其特征在于，所述内容损失函数具体为：所述对抗损失函数具体为：其中，为内容损失函数，w，h分别对应图像宽、高度，φ为代入vgg19某层的特征函数运算，为对抗损失函数，为含参数的判别器模型。

技术总结
本发明公开了一种基于深度神经网络的超分辨率光声显微成像方法，包括：通过光学分辨率光声显微成像系统获得高、低分辨率两组光声信号数据；将采集的两组光声信号数据进行图像重建；对两组重建的原始光声图像预处理，构成输入样本集；搭建深度神经网络模型并训练，所述深度神经网络模型具体为基于光声图像优化的DenseRes-SRGAN对抗神经网络架构；将采集的高、低分辨率图像输入训练好的深度神经网络，获得超分辨结果。本发明的高低分辨率采样并没有跳过视场内的信息，与稀疏数据相比，代表像素是大步进扫描模式下各个小像素的加权表示，从而将低分辨率、大焦点直径所无法分辨的低尺度信息复现，与稀疏数据高分辨重建相比有重建泛化能力以及真实性的提升。泛化能力以及真实性的提升。泛化能力以及真实性的提升。


技术研发人员：马海钢 魏翔 封婷 左超 陈钱 高杨
受保护的技术使用者：南京理工大学
技术研发日：2023.05.24
技术公布日：2023/8/14