一种基于多尺度信息提取的图像去噪系统及方法

1.本发明涉及图像处理领域，特别涉及一种基于多尺度信息提取的图像去噪系统及方法。


背景技术：

2.目前图像去噪方法的包括：传统的图像去噪方法和基于深度学习的去噪方法。传统的图像去噪方法又可以分为空域像素特征去噪算法和变换域去噪算法；前者是直接在图像空间中进行的处理，后者是间接在图像变换域中进行处理。
3.基于空域像素特征的方法，是通过分析在一定大小的窗口内，中心像素与其他相邻像素之间在灰度空间的直接联系，来获取新的中心像素值的方法，因此往往都会存在一个典型的输入参数即滤波半径，其中滤波半径可用于在局部窗口内计算像素的相似性，也作为一些高斯或拉普拉斯算子的计算窗口。在邻域滤波方法里面，最具有代表性的滤波方法有以下几种：算术均值滤波、高斯滤波、统计中值滤波、引导滤波、nlm(non-local means)算法，虽然上述方法能够滤除细胞显微图像噪声，但是都存在一个相同的问题就是在降噪的同时往往会丢失细胞显微图像的细节信息或边缘信息，并且会导致图像的模糊和虚化。
4.图像变换域去噪算法的基本思想就是首先进行某种变换，将图像从空间域转换到变换域，然后从频率上把噪声分为高中低频噪声，用这种变换域的方法就可以把不同频率的噪声分离，之后进行反变换将图像从变换域转换到原始空间域，最终达到去除图像噪声的目的。图像从空间域转换到变换域的方法很多，其中最具代表性的有傅里叶变换、离散余弦变换、小波变换以及多尺度几何分析方法等。虽然上述方法在降噪性能上优于基于空域像素特征的方法，但是依旧会丢失细胞显微图像的细节信息和边缘信息。同时该类方法的去噪效果高度依赖人为选取的分解变换域和阈值确定方法，另一方面也会有较高的计算代价和时耗。
5.目前存在的主流深度学习去噪方法，包括了对高斯白噪声去噪、高斯盲去噪、真实含噪图像去噪、超糅合含噪图像去噪。dncnn网络模型通过学习理想图像与加噪图像的映射关系，并在网络模型中加入批量归一化操作、建立网络输入图像与输出图像之间的残差学习提高了图像去噪性能。cbdnet网络模型使用真实世界的噪声干净图像对来训练卷积盲降噪网络，并将具有非对称学习的噪声估计子网络嵌入到网络模型中以抑制噪声水平的低估。虽然上述两种去噪网络模型在合成噪声或真实宏观领域的噪声数据集中有合格的表现，但是由于显微成像过程存在多种噪声的叠加以及样本表面特性的影响，使得这些去噪网络模型在应用于细胞显微噪声图像时性能表现虽然超过了传统去噪方法如高斯滤波、中值滤波和bm3d等，但是对于显微图像的修复效果有限。


技术实现要素：

6.本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于多尺度信息提取的图像去噪系统及方法，能够灵活调整被测样本相对物镜的轴向距离，从而实现在不同
深度进行对焦，在此基础上，使用多阶段去噪网络模型对含噪声的细胞图像进行恢复处理，在噪声去除和纹理信息保存上具有显著效果。
7.本发明采用如下技术方案：
8.一方面，一种基于多尺度信息提取的图像去噪系统，包括显微图像采集装置和图像去噪装置；所述显微图像采集装置用于采集训练和调试用的显微图像数据集，还用于采集待处理样本的细胞图像；所述图像去噪装置用于使用所述显微图像数据集对多阶段去噪网络模型进行训练和调试，获得参数最优的多阶段去噪网络模型，还用于使用该多阶段去噪网络模型对输入的待处理样本的细胞图像进行处理输出去噪后的图像。
9.优选的，所述显微图像采集装置，包括：
10.光源模块、传输模块和成像模块；在光路传播方向，所述光源模块依次包括光源、扩束镜和准直光透镜组，所述传输模块依次包括空间光调制器、中继透镜组、全内反射棱镜、半反半透镜、物镜和xyz载物台，所述成像模块依次包括聚焦透镜、探测器和上位机；所述空间光调制器对来自准直光透镜组入射的光束进行整形并出射，并且入射的光束将以特定角度入射到空间光调制器中；被测样本信息的光束由xyz载物台出发反向传输至半反半透镜，并经过半反半透镜反射后到达聚焦透镜，然后到达探测器获取到编码信息，并将获取到的细胞显微图像传送到上位机。
11.优选的，所述空间光调制器为单个微元可调的空间光调制器。
12.优选的，所述显微图像采集装置的成像调试方法包括：
13.将样品放置于xyz载物台上，由上位机控制空间光调制器所有微镜状态为“开”，在粗调阶段载物台位置不移动而是调整物镜相对xyz载物台的位置，在精细调整阶段保持物镜不移动而是调整xyz载物台的位置；
14.上位机观察到被测样本的位置信息、形状信息和亮度信息，并控制空间光调制器独立微元的转动角度从而控制其单个微元的开启或闭合。
15.优选的，所述图像去噪装置部署在上位机上，包括：
16.训练数据集构建模块，接收显微图像采集装置采集的细胞显微图像数据，完成模型训练所需数据集的构建；
17.模型构建与训练模块，构建多阶段去噪网络模型，使用模型训练数据集中的数据完成模型参数的构建；所述多阶段去噪网络模型包括通道关联单元、多尺度去噪单元和融合压缩单元；
18.模型保存模块，通过设置随训练轮数逐渐减小的损失函数，观测到网络模型最适合的训练轮数；并通过对验证集的测试将性能最好的参数权重进行保存；最后将保存模型用于对输入图像进行处理并输出去噪后的图像；
19.实时处理模块，使用保存的模型对显微图像采集装置采集的待处理样本的细胞图像进行处理输出去噪后的图像。
20.优选的，所述通道关联单元使用10层结构对输入图像进行处理并且将输出结果与输入图像在通道域上进行串联作为多尺度去噪单元的输入；其中10层网络结构在第一层使用了conv+relu，最后一层输出只使用conv，中间8层采用相同的结构即conv+bn+relu；上述通道关联单元的第一层及中间层的卷积操作中，特征通道的数量被设置为64，卷积核大小被设置为3x3；
21.所述多尺度去噪单元采用了五层并行特征金字塔的设计结构，从而实现同时捕获不同尺度的目标信息；首先对通道关联单元输出的图分别进行1x1、2x2、4x4、8x8和16x16的并行池化操作从而得到不同尺度的特征表示，然后将它们分别输入到各自的u-net中进行去噪处理，最后将多级去噪特征信息进行融合并将它们与通道关联单元输出的图在通道域上进行并联作为融合压缩单元的输入；
22.所述融合压缩单元采用了4个bottleneck单元，所述bottleneck单元中使用2个卷积层并进行bn操作，之后分别是relu层和卷积层操作；上述bottleneck单元的每个卷积层中，特征通道的数量的增长率被设置为32，卷积核大小为3x3。
23.优选的，所述多阶段去噪网络模型表示如下：
[0024][0025]
其中，i1表示细胞显微噪声图像，即采集到的图像；表示经过多阶段去噪网络模型恢复后的去噪图像；i0是与i1相对应的无噪声的细胞显微图像；f(
·
)表示多阶段去噪网络模型在数据集上进行训练从而使网络模型能够学习到i1到i0之间的复杂映射变换关系f(
·
)；
[0026][0027]
其中，f1,f2,f3分别表示i1到i0之间的复杂映射变换关系f(
·
)在第一阶段、第二阶段和第三阶段的函数形式，表示输入图像i1经过f1,f2,f3不同阶段的处理后进行跳跃连接从而实现与上一阶段的结果进行通道域上的连接；其中，第一阶段为通道关联单元的处理阶段，所述第二阶段为多尺度去噪单元的处理阶段，所述第三阶段为融合压缩单元的处理阶段；
[0028]
所述多阶段去噪网络模型的参数调整方法如下，令
[0029][0030]
其中，arg min f
loss
(
·
)表示使得网络模型损失值达到最小值时f
loss
(
·
)中的变量的取值，表示网络模型各个阶段的权重参数的取值，网络模型通过损失函数计算网络模型的输出与真实目标值i0之间的距离，再使用优化器将损失值作为反馈信号来对网络模型的权重参数进行调整。
[0031]
优选的，所述完成模型训练所需数据集的构建，包括：
[0032]
对同一场景进行多次拍摄，并对同一场景的多次拍摄后的图像进行求平均处理获得细胞显微图像数据。
[0033]
优选的，所述的基于多尺度信息提取的图像去噪系统，还包括：
[0034]
数据预处理模块，对模型训练预数据集中的图像进行数据扩充、图像缩放、图像旋转或随机分割。
[0035]
另一方面，一种基于多尺度信息提取的图像去噪方法，包括：
[0036]
训练数据集构建，接收显微图像采集装置采集的细胞显微图像数据，完成模型训练所需数据集的构建；
[0037]
模型构建与训练，构建多阶段去噪网络模型，使用模型训练数据集中的数据完成
模型参数的构建；所述多阶段去噪网络模型包括通道关联单元、多尺度去噪单元和融合压缩单元；
[0038]
模型保存，通过设置随训练轮数逐渐减小的损失函数，观测到网络模型最适合的训练轮数；并通过对验证集的测试将性能最好的参数权重进行保存；最后将保存模型用于对输入图像进行处理并输出去噪后的图像；
[0039]
实时处理，使用保存的模型对显微图像采集装置采集的待处理样本的细胞图像进行处理输出去噪后的图像；
[0040]
所述通道关联单元使用10层结构对输入图像进行处理并且将输出结果与输入图像在通道域上进行串联作为多尺度去噪单元的输入；其中10层网络结构在第一层使用了conv+relu，最后一层输出只使用conv，中间8层采用相同的结构即conv+bn+relu；上述通道关联单元的第一层及中间层的卷积操作中，特征通道的数量被设置为64，卷积核大小被设置为3x3；
[0041]
所述多尺度去噪单元采用了五层并行特征金字塔的设计结构，从而实现同时捕获不同尺度的目标信息；首先对通道关联单元输出的图分别进行1x1、2x2、4x4、8x8和16x16的并行池化操作从而得到不同尺度的特征表示，然后将它们分别输入到各自的u-net中进行去噪处理，最后将多级去噪特征信息进行融合并将它们与通道关联单元输出的图在通道域上进行并联作为融合压缩单元的输入；
[0042]
所述融合压缩单元采用了4个bottleneck单元，所述bottleneck单元中使用2个卷积层并进行bn操作，之后分别是relu层和卷积层操作；上述bottleneck单元的每个卷积层中，特征通道的数量的增长率被设置为32，卷积核大小为3x。
[0043]
与现有技术相比，本发明的有益效果如下：
[0044]
(1)本发明在图像采集时使用xyz载物台及单个微元可调的空间光调制器，能够灵活调整被测样本相对物镜的轴向距离，从而实现在不同深度进行对焦，获得使被测样本达到最佳的成像条件的图像，在硬件上实现一定的去噪；
[0045]
(2)本发明在上位机上对采集的细胞图像进行软件去噪时，采用包括通道关联模块、多尺度去噪模块和融合压缩模块的多阶段去噪网络模型，在噪声去除和纹理信息保存上具有效果显著。
附图说明
[0046]
图1为本发明实施例的基于多尺度信息提取的图像去噪系统的结构框图；
[0047]
图2为本发明实施例的显微图像采集装置的结构框图；
[0048]
图3为本发明实施例的图像去噪装置的结构框图；
[0049]
图4为本发明实施例的多阶段去噪网络模型的网络结构图；
[0050]
图5为本发明实施例的基于多尺度信息提取的图像去噪方法的简易流程图；
[0051]
图6为本发明实施例的基于多尺度信息提取的图像去噪方法的详细流程图；
[0052]
图7为本发明实施例的方法与现有方法去噪处理后的视觉质量效果对比图，其中，(a)表示针对一细胞图像的去噪比对图，(b)表示针对另一细胞图像的去噪比对图。
具体实施方式
[0053]
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
[0054]
参见图1所示，本实施例一种基于多尺度信息提取的图像去噪系统，包括显微图像采集装置10和图像去噪装置20；所述显微图像采集装置10用于采集训练和调试用的显微图像数据集，还用于采集待处理样本的细胞图像；所述图像去噪装置20用于使用所述显微图像数据集对多阶段去噪网络模型进行训练和调试，获得参数最优的多阶段去噪网络模型，还用于使用该多阶段去噪网络模型对输入的待处理样本的细胞图像进行处理输出去噪后的图像。
[0055]
参见图2所示，所述显微图像采集装置10，包括：
[0056]
光源模块、传输模块和成像模块；在光路传播方向，所述光源模块依次包括光源101、扩束镜102和准直光透镜组103，所述传输模块依次包括空间光调制器104、中继透镜组105、全内反射棱镜106、半反半透镜107、物镜108和xyz载物台109，所述成像模块依次包括聚焦透镜110、探测器111和上位机112；所述空间光调制器104对来自准直光透镜组103入射的光束进行整形并出射，并且入射的光束将以特定角度入射到空间光调制器104中；被测样本信息的光束由xyz载物台109出发反向传输至半反半透镜107，并经过半反半透镜107反射后到达聚焦透镜110，然后到达探测器111获取到编码信息，并将获取到的细胞显微图像传送到上位机112。
[0057]
具体的，所述光源模块按照光路传播方向，依次包含：光源101、扩束镜102、准直光透镜组103；其中扩束镜102用于对光源101发出的光束进行扩束，准直光透镜组103用于将出射的光束变成平行光束。
[0058]
所述传输模块按照光路传播方向，依次包含：空间光调制器104、中继透镜组105、全内反射棱镜106、半反半透镜107、物镜108、xyz载物台109；其中空间光调制器104对来自准直光透镜组103入射的光束进行整形并出射，并且入射的光束将以特定角度入射到空间光调制器104中，之后再依次经过中继透镜组105、全内反射棱镜106、半反半透镜107、物镜108后到达载物台；中继透镜组105的作用在于延长光束传输的距离，全内反射棱镜106的作用在于将光束以与准直透镜组光轴方向的90度夹角反射到半反半透镜107，物镜108的作用增加入射的通量，xyz载物台109的作用在于实现轴向精密对焦。
[0059]
所述成像模块按照光路的传播方向，依次包含：聚焦透镜110、探测器111、上位机112；其中被测样本信息的光束由xyz载物台109出发反向传输至半反半透镜107，并经过半反半透镜107的反射后到达聚焦透镜110，然后到达探测器111获取到编码信息，而聚焦透镜110作用在于使探测器111光敏面上的非均匀光照得以均匀化。最后使用部署在上位机112的图像去噪装置20的多阶段去噪网络模型对获取得到细胞显微图像进行处理和展示。
[0060]
所述空间光调制器104可以是任意的单个微元可调的空间光调制器104，如dmd或是透射式的lcd等；并且光束入射空间光调制器104的角度为24
°
。
[0061]
进一步的，所述显微图像采集装置10的成像调试方法包括：
[0062]
(1)首先将样品放置于xyz载物台109上，由上位机112控制空间光调制器104所有
微镜状态为“开”；然后在粗调阶段载物台位置不移动而是调整物镜108相对xyz载物台109的位置，在精细调整阶段保持物镜108不移动而是调整xyz载物台109的位置从而使探测器111成像达到最优清晰度。
[0063]
(2)根据(1)所述，上位机112可以观察到被测样本的位置信息、形状信息、亮度信息，并通过上位机112控制空间光调制器104独立微元的转动角度从而控制其单个微元的开启或闭合，从而使被测样本达到最佳的成像条件。
[0064]
需要说明的是，这里所述的最佳成像条件，是指在整个视场范围内达到对样本曝光合适不会出现影响操作员观察的情况。
[0065]
根据如下成像调试方法处理后，已经完成了对装置的硬件调试并达到了最佳的成像条件，之后便可以在上位机112部署图像去噪装置20，并在细胞显微图像数据集中对多阶段去噪网络模型进行训练和调试，并保存训练过程中在验证集表现性能最好的模型参数(在训练过程中，使用当前训练阶段的模型参数对验证集的数据进行测试，并记得其损失值、准确率并在程序进行这样的设计，即将当前训练阶段比较上个训练阶段中的数值进行对比，保留数值上更好的那个阶段的模型参数)，然后使用该模型实现对待处理被测样本图像进行去噪处理。
[0066]
具体的，所述图像去噪装置20，包括：
[0067]
训练数据集构建模块201，接收显微图像采集装置10采集的细胞显微图像数据，完成模型训练所需数据集的构建；
[0068]
数据预处理模块202，对模型训练预数据集中的图像进行数据扩充、图像缩放、图像旋转或随机分割；
[0069]
模型构建与训练模块203，构建多阶段去噪网络模型，使用模型训练数据集中的数据完成模型参数的构建；所述多阶段去噪网络模型包括通道关联单元、多尺度去噪单元和融合压缩单元；
[0070]
模型保存模块204，通过设置随训练轮数逐渐减小的损失函数，观测到网络模型最适合的训练轮数；并通过对验证集的测试将性能最好的参数权重进行保存；最后将保存模型用于对输入图像进行处理并输出去噪后的图像；
[0071]
实时处理模块205，使用保存的模型对显微图像采集装置10采集的待处理样本的细胞图像进行处理输出去噪后的图像。
[0072]
具体的，所述完成模型训练所需数据集的构建，包括：
[0073]
对同一场景进行多次拍摄，并对同一场景的多次拍摄后的图像进行求平均处理获得细胞显微图像数据。
[0074]
参见图4所示，所述通道关联单元使用10层结构对输入图像进行处理并且将输出结果与输入图像在通道域上进行串联作为多尺度去噪单元的输入；其中10层网络结构在第一层使用了conv+relu，最后一层输出只使用conv，中间8层采用相同的结构即conv+bn+relu；上述通道关联单元的第一层及中间层的卷积操作中，特征通道的数量被设置为64，卷积核大小被设置为3x3；
[0075]
所述多尺度去噪单元采用了五层并行特征金字塔的设计结构，从而实现同时捕获不同尺度的目标信息；首先对通道关联单元输出的图分别进行1x1、2x2、4x4、8x8和16x16的并行池化操作从而得到不同尺度的特征表示，然后将它们分别输入到各自的u-net中进行
去噪处理，最后将多级去噪特征信息进行融合并将它们与通道关联单元输出的图在通道域上进行并联作为融合压缩单元的输入；
[0076]
所述融合压缩单元采用了4个bottleneck单元，所述bottleneck单元中使用2个卷积层并进行bn操作，之后分别是relu层和卷积层操作；上述bottleneck单元的每个卷积层中，特征通道的数量的增长率被设置为32，卷积核大小为3x3。
[0077]
进一步的，所述多阶段去噪网络模型表示如下：
[0078][0079]
其中，i1表示细胞显微噪声图像，即采集到的图像；表示经过多阶段去噪网络模型恢复后的去噪图像；i0是与i1相对应的无噪声的细胞显微图像；f(
·
)表示多阶段去噪网络模型在数据集上进行训练从而使网络模型能够学习到i1到i0之间的复杂映射变换关系f(
·
)；
[0080][0081]
其中，f1,f2,f3分别表示i1到i0之间的复杂映射变换关系f(
·
)在第一阶段、第二阶段和第三阶段的函数形式，表示输入图像i1经过f1,f2,f3不同阶段的处理后进行跳跃连接从而实现与上一阶段的结果进行通道域上的连接；其中，第一阶段为通道关联单元的处理阶段，所述第二阶段为多尺度去噪单元的处理阶段，所述第三阶段为融合压缩单元的处理阶段；
[0082]
所述多阶段去噪网络模型的参数调整方法如下，令
[0083][0084]
其中，argminf
loss
(
·
)表示使得网络模型损失值达到最小值时f
loss
(
·
)中的变量的取值，表示网络模型各个阶段的权重参数的取值，网络模型通过损失函数计算网络模型的输出与真实目标值i0之间的距离，再使用优化器将损失值作为反馈信号来对网络模型的权重参数进行调整。
[0085]
参见图5和图6所示，根据本发明的另一方面，本实施例一种基于多尺度信息提取的图像去噪方法，包括：
[0086]
s501，训练数据集构建，接收显微图像采集装置采集的细胞显微图像数据，完成模型训练所需数据集的构建；
[0087]
s502，数据预处理，对模型训练预数据集中的图像进行数据扩充、图像缩放、图像旋转或随机分割；
[0088]
s503，模型构建与训练，构建多阶段去噪网络模型，使用模型训练数据集中的数据完成模型参数的构建；所述多阶段去噪网络模型包括通道关联单元、多尺度去噪单元和融合压缩单元；
[0089]
s504，模型保存，通过设置随训练轮数逐渐减小的损失函数，观测到网络模型最适合的训练轮数；并通过对验证集的测试将性能最好的参数权重进行保存；最后将保存模型用于对输入图像进行处理并输出去噪后的图像；
[0090]
s505，实时处理，使用保存的模型对显微图像采集装置采集的待处理样本的细胞
图像进行处理输出去噪后的图像；
[0091]
所述通道关联单元使用10层结构对输入图像进行处理并且将输出结果与输入图像在通道域上进行串联作为多尺度去噪单元的输入；其中10层网络结构在第一层使用了conv+relu，最后一层输出只使用conv，中间8层采用相同的结构即conv+bn+relu；上述通道关联单元的第一层及中间层的卷积操作中，特征通道的数量被设置为64，卷积核大小被设置为3x3；
[0092]
所述多尺度去噪单元采用了五层并行特征金字塔的设计结构，从而实现同时捕获不同尺度的目标信息；首先对通道关联单元输出的图分别进行1x1、2x2、4x4、8x8和16x16的并行池化操作从而得到不同尺度的特征表示，然后将它们分别输入到各自的u-net中进行去噪处理，最后将多级去噪特征信息进行融合并将它们与通道关联单元输出的图在通道域上进行并联作为融合压缩单元的输入；
[0093]
所述融合压缩单元采用了4个bottleneck单元，所述bottleneck单元中使用2个卷积层并进行bn操作，之后分别是relu层和卷积层操作；上述bottleneck单元的每个卷积层中，特征通道的数量的增长率被设置为32，卷积核大小为3x。
[0094]
参见图7所示，为本发明实施例的方法与现有方法去噪处理后的视觉质量效果对比图，从图可以看出，本发明的基于多尺度信息提取的图像去噪方法，对于含噪声的细胞显微图像进行恢复处理，相比于其它方法(高斯滤波、bm3d、dncnn等)在噪声去除上和纹理信息保存上具有更好的表现。
[0095]
本实施例一种基于多尺度信息提取的图像去噪方法的其他实现同一种基于多尺度信息提取的图像去噪系统相应部分的内容，本实施例不再重复说明。
[0096]
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

技术特征：
1.一种基于多尺度信息提取的图像去噪系统，其特征在于，包括显微图像采集装置和图像去噪装置；所述显微图像采集装置用于采集训练和调试用的显微图像数据集，还用于采集待处理样本的细胞图像；所述图像去噪装置用于使用所述显微图像数据集对多阶段去噪网络模型进行训练和调试，获得参数最优的多阶段去噪网络模型，还用于使用该多阶段去噪网络模型对输入的待处理样本的细胞图像进行处理输出去噪后的图像。2.根据权利要求1所述的基于多尺度信息提取的图像去噪系统，其特征在于，所述显微图像采集装置，包括：光源模块、传输模块和成像模块；在光路传播方向，所述光源模块依次包括光源、扩束镜和准直光透镜组，所述传输模块依次包括空间光调制器、中继透镜组、全内反射棱镜、半反半透镜、物镜和xyz载物台，所述成像模块依次包括聚焦透镜、探测器和上位机；所述空间光调制器对来自准直光透镜组入射的光束进行整形并出射，并且入射的光束将以特定角度入射到空间光调制器中；被测样本信息的光束由xyz载物台出发反向传输至半反半透镜，并经过半反半透镜反射后到达聚焦透镜，然后到达探测器获取到编码信息，并将获取到的细胞显微图像传送到上位机。3.根据权利要求2所述的基于多尺度信息提取的图像去噪系统，其特征在于，所述空间光调制器为单个微元可调的空间光调制器。4.根据权利要求2所述的基于多尺度信息提取的图像去噪系统，其特征在于，所述显微图像采集装置的成像调试方法包括：将样品放置于xyz载物台上，由上位机控制空间光调制器所有微镜状态为“开”，在粗调阶段载物台位置不移动而是调整物镜相对xyz载物台的位置，在精细调整阶段保持物镜不移动而是调整xyz载物台的位置；上位机观察到被测样本的位置信息、形状信息和亮度信息，并控制空间光调制器独立微元的转动角度从而控制其单个微元的开启或闭合。5.根据权利要求1所述的基于多尺度信息提取的图像去噪系统，其特征在于，所述图像去噪装置部署在上位机上，包括：训练数据集构建模块，接收显微图像采集装置采集的细胞显微图像数据，完成模型训练所需数据集的构建；模型构建与训练模块，构建多阶段去噪网络模型，使用模型训练数据集中的数据完成模型参数的构建；所述多阶段去噪网络模型包括通道关联单元、多尺度去噪单元和融合压缩单元；模型保存模块，通过设置随训练轮数逐渐减小的损失函数，观测到网络模型最适合的训练轮数；并通过对验证集的测试将性能最好的参数权重进行保存；最后将保存模型用于对输入图像进行处理并输出去噪后的图像；实时处理模块，使用保存的模型对显微图像采集装置采集的待处理样本的细胞图像进行处理输出去噪后的图像。6.根据权利要求5所述的基于多尺度信息提取的图像去噪系统，其特征在于，所述通道关联单元使用10层结构对输入图像进行处理并且将输出结果与输入图像在通道域上进行串联作为多尺度去噪单元的输入；其中10层网络结构在第一层使用了conv+relu，最后一层输出只使用conv，中间8层采用相同的结构即conv+bn+relu；上述通道关联单元的第一层及
中间层的卷积操作中，特征通道的数量被设置为64，卷积核大小被设置为3x3；所述多尺度去噪单元采用了五层并行特征金字塔的设计结构，从而实现同时捕获不同尺度的目标信息；首先对通道关联单元输出的图分别进行1x1、2x2、4x4、8x8和16x16的并行池化操作从而得到不同尺度的特征表示，然后将它们分别输入到各自的u-net中进行去噪处理，最后将多级去噪特征信息进行融合并将它们与通道关联单元输出的图在通道域上进行并联作为融合压缩单元的输入；所述融合压缩单元采用了4个bottleneck单元，所述bottleneck单元中使用2个卷积层并进行bn操作，之后分别是relu层和卷积层操作；上述bottleneck单元的每个卷积层中，特征通道的数量的增长率被设置为32，卷积核大小为3x3。7.根据权利要求5所述的基于多尺度信息提取的图像去噪系统，其特征在于，所述多阶段去噪网络模型表示如下：其中，i1表示细胞显微噪声图像，即采集到的图像；表示经过多阶段去噪网络模型恢复后的去噪图像；i0是与i1相对应的无噪声的细胞显微图像；f(
·
)表示多阶段去噪网络模型在数据集上进行训练从而使网络模型能够学习到i1到i0之间的复杂映射变换关系f(
·
)；其中，f1,f2,f3分别表示i1到i0之间的复杂映射变换关系f(
·
)在第一阶段、第二阶段和第三阶段的函数形式，表示输入图像i1经过f1,f2,f3不同阶段的处理后进行跳跃连接从而实现与上一阶段的结果进行通道域上的连接；其中，第一阶段为通道关联单元的处理阶段，所述第二阶段为多尺度去噪单元的处理阶段，所述第三阶段为融合压缩单元的处理阶段；所述多阶段去噪网络模型的参数调整方法如下，令其中，arg min f
loss
(
·
)表示使得网络模型损失值达到最小值时f
loss
(
·
)中的变量的取值，表示网络模型各个阶段的权重参数的取值，网络模型通过损失函数计算网络模型的输出与真实目标值i0之间的距离，再使用优化器将损失值作为反馈信号来对网络模型的权重参数进行调整。8.根据权利要求5所述的基于多尺度信息提取的图像去噪系统，其特征在于，所述完成模型训练所需数据集的构建，包括：对同一场景进行多次拍摄，并对同一场景的多次拍摄后的图像进行求平均处理获得细胞显微图像数据。9.根据权利要求5所述的基于多尺度信息提取的图像去噪系统，其特征在于，还包括：数据预处理模块，对模型训练预数据集中的图像进行数据扩充、图像缩放、图像旋转或随机分割。10.一种基于多尺度信息提取的图像去噪方法，其特征在于，包括：训练数据集构建，接收显微图像采集装置采集的细胞显微图像数据，完成模型训练所需数据集的构建；
模型构建与训练，构建多阶段去噪网络模型，使用模型训练数据集中的数据完成模型参数的构建；所述多阶段去噪网络模型包括通道关联单元、多尺度去噪单元和融合压缩单元；模型保存，通过设置随训练轮数逐渐减小的损失函数，观测到网络模型最适合的训练轮数；并通过对验证集的测试将性能最好的参数权重进行保存；最后将保存模型用于对输入图像进行处理并输出去噪后的图像；实时处理，使用保存的模型对显微图像采集装置采集的待处理样本的细胞图像进行处理输出去噪后的图像；所述通道关联单元使用10层结构对输入图像进行处理并且将输出结果与输入图像在通道域上进行串联作为多尺度去噪单元的输入；其中10层网络结构在第一层使用了conv+relu，最后一层输出只使用conv，中间8层采用相同的结构即conv+bn+relu；上述通道关联单元的第一层及中间层的卷积操作中，特征通道的数量被设置为64，卷积核大小被设置为3x3；所述多尺度去噪单元采用了五层并行特征金字塔的设计结构，从而实现同时捕获不同尺度的目标信息；首先对通道关联单元输出的图分别进行1x1、2x2、4x4、8x8和16x16的并行池化操作从而得到不同尺度的特征表示，然后将它们分别输入到各自的u-net中进行去噪处理，最后将多级去噪特征信息进行融合并将它们与通道关联单元输出的图在通道域上进行并联作为融合压缩单元的输入；所述融合压缩单元采用了4个bottleneck单元，所述bottleneck单元中使用2个卷积层并进行bn操作，之后分别是relu层和卷积层操作；上述bottleneck单元的每个卷积层中，特征通道的数量的增长率被设置为32，卷积核大小为3x3。

技术总结
本发明公开了一种基于多尺度信息提取的图像去噪系统及方法，包括显微图像采集装置和图像去噪装置；所述显微图像采集装置用于采集训练和调试用的显微图像数据集，还用于采集待处理样本的细胞图像；所述显微图像采集装置用于使用所述显微图像数据集对多阶段去噪网络模型进行训练和调试，获得参数最优的多阶段去噪网络模型，还用于使用该多阶段去噪网络模型对输入的待处理样本的细胞图像进行处理输出去噪后的图像。本发明能够灵活调整被测样本相对物镜的轴向距离，从而实现在不同深度进行对焦，在此基础上，使用多阶段去噪网络模型对含噪声的细胞图像进行恢复处理，在噪声去除和纹理信息保存上具有显著效果。理信息保存上具有显著效果。理信息保存上具有显著效果。


技术研发人员：易定容 乐炜桦 周博聪 胡欢欢 陈思嘉
受保护的技术使用者：华侨大学
技术研发日：2023.04.07
技术公布日：2023/7/20