基于荧光显微镜的智能分析系统及其方法与流程

1.本技术涉及图像分析领域，且更为具体地，涉及一种基于荧光显微镜的智能分析系统及其方法。


背景技术：

2.循环肿瘤细胞（ctc）是从原发肿瘤或转移灶脱落进入血液循环的癌细胞，它们是肿瘤转移和复发的重要标志物，对血液中的循环肿瘤细胞进行检测和分析对于癌症的早期诊断和治疗具有重要意义。
3.基于荧光显微镜的ctc细胞识别方法是检测ctc的常用方法，其能够利用荧光标记的特异性抗体，将ctc与正常血细胞区分开来，然后使用荧光显微镜对ctc进行成像和计数。但是，在现有技术方案中，由于背景噪声，例如血浆中的蛋白质、血小板、红细胞等干扰，会导致ctc的检测难度和误差较大，降低ctc的信噪比和对比度。
4.因此，期望一种优化的基于荧光显微镜的智能分析系统，以进行背景降噪，从而提高检测结果的准确性。


技术实现要素：

5.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于荧光显微镜的智能分析系统及其方法，其通过采用基于深度学习的图像检测技术挖掘出检测图像中关于ctc隐含特征的充分表达，以此来基于所述ctc隐含特征进行相应地解码，从而有效地进行图像的背景降噪，以提高检测结果的准确性。
6.根据本技术的一个方面，提供了一种基于荧光显微镜的智能分析系统，其包括：检测图像采集模块，用于获取由荧光显微镜采集的检测图像；图像特征提取模块，用于将所述检测图像通过基于金字塔网络的编码器以得到第一至第五检测特征图；特征融合模块，用于将所述第一至第五检测特征图进行融合以得到多尺度检测特征图；以及降噪图像生成模块，用于基于所述第一至第五检测特征图的跳级连接，将所述多尺度检测特征图通过包含多个反卷积层的解码器以得到降噪后检测图像。
7.在上述基于荧光显微镜的智能分析系统中，所述图像特征提取模块，包括：第一编码单元，用于将所述检测图像输入所述编码器的第一卷积模块以得到所述第一检测特征图；第二编码单元，用于将所述第一检测特征图输入所述编码器的第二卷积模块以得到所述第二检测特征图；第三编码单元，用于将所述第二检测特征图输入所述编码器的第三卷积模块以得到所述第三检测特征图；第四编码单元，用于将所述第三检测特征图输入所述编码器的第四卷积模块以得到所述第四检测特征图；以及，第五编码单元，用于将所述第四检测特征图输入所述编码器的第五卷积模块以得到所述第五检测特征图。
8.在上述基于荧光显微镜的智能分析系统中，所述降噪图像生成模块，包括：第一反
卷积单元，用于将所述多尺度检测特征图输入所述解码器的第一反卷积层以得到第一解码特征图；以及，第一解码融合单元，用于融合所述第一解码特征图和所述第五检测特征图以得到第一融合解码特征图作为所述解码器的第二反卷积层的输入。
9.在上述基于荧光显微镜的智能分析系统中，还包括用于对所述基于金字塔网络的编码器和所述包含多个反卷积层的解码器进行训练的训练模块。
10.在上述基于荧光显微镜的智能分析系统中，所述训练模块，包括：训练数据采集模块，用于获取训练数据，所述训练数据包括训练检测图像，以及，所述降噪后检测图像的真实图像；训练图像特征提取模块，用于将所述训练检测图像通过所述基于金字塔网络的编码器以得到训练第一至第五检测特征图；训练特征融合模块，用于将所述训练第一至第五检测特征图进行融合以得到训练多尺度检测特征图；第一反卷积解码模块，用于将所述训练多尺度检测特征图输入所述包含多个反卷积层的解码器的第一反卷积层以得到训练第一解码特征图；第一融合模块，用于融合所述训练第一解码特征图和所述训练第五检测特征图以得到训练第一融合解码特征图；特征优化模块，用于对所述训练第一融合解码特征图进行基于低廉瓶颈机制堆叠的特征冗余优化以得到优化训练第一融合解码特征图作为所述解码器的第二反卷积层的输入；训练降噪图像生成模块，用于基于所述训练第一至第四检测特征图的跳级连接，将所述优化训练第一融合解码特征图通过所述包含多个反卷积层的解码器以得到训练降噪后检测图像；均方误差计算模块，用于计算所述训练降噪后检测图像和所述真实图像之间的均方误差值；以及，模型训练模块，用于以所述均方误差值作为损失函数值并通过梯度下降的反向传播来对所述基于金字塔网络的编码器和所述包含多个反卷积层的解码器进行训练。
11.在上述基于荧光显微镜的智能分析系统中，所述特征优化模块，用于：以如下优化公式对所述训练第一融合特征图进行基于低廉瓶颈机制堆叠的特征冗余优化以得到所述优化训练第一融合特征图；其中，所述优化公式为：优化训练第一融合特征图；其中，所述优化公式为：优化训练第一融合特征图；其中，所述优化公式为：其中，为所述训练第一融合特征图，表示单层卷积操作，、和分别表示特征图的逐位置相加、相减和相乘，且和为偏置特征图，为所述优化训练第一融合特征图。
12.根据本技术的另一方面，提供了一种基于荧光显微镜的智能分析方法，其包括：获取由荧光显微镜采集的检测图像；将所述检测图像通过基于金字塔网络的编码器以得到第一至第五检测特征图；将所述第一至第五检测特征图进行融合以得到多尺度检测特征图；以及基于所述第一至第五检测特征图的跳级连接，将所述多尺度检测特征图通过包含多个反卷积层的解码器以得到降噪后检测图像。
13.根据本技术的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述
处理器执行如上所述的基于荧光显微镜的智能分析方法。
14.根据本技术的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于荧光显微镜的智能分析方法。
15.与现有技术相比，本技术提供的一种基于荧光显微镜的智能分析系统及其方法，其通过采用基于深度学习的图像检测技术挖掘出检测图像中关于ctc隐含特征的充分表达，以此来基于所述ctc隐含特征进行相应地解码，从而有效地进行图像的背景降噪，以提高检测结果的准确性。
附图说明
16.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
17.图1为根据本技术实施例的基于荧光显微镜的智能分析系统的场景示意图；图2为根据本技术实施例的基于荧光显微镜的智能分析系统的框图；图3为根据本技术实施例的基于荧光显微镜的智能分析系统中训练模块的框图；图4为根据本技术实施例的基于荧光显微镜的智能分析系统的系统架构图；图5为根据本技术实施例的基于荧光显微镜的智能分析系统中训练模块的系统架构图；图6为根据本技术实施例的基于荧光显微镜的智能分析系统中图像特征提取模块的框图；图7为根据本技术实施例的基于荧光显微镜的智能分析系统中降噪图像生成模块的框图；图8为根据本技术实施例的基于荧光显微镜的智能分析方法的流程图；图9为根据本技术实施例的电子设备的框图。
具体实施方式
18.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
19.申请概述如上所述，基于荧光显微镜的ctc细胞识别方法是检测ctc的常用方法，其能够利用荧光标记的特异性抗体，将ctc与正常血细胞区分开来，然后使用荧光显微镜对ctc进行成像和计数。
20.相应地，考虑到在实际使用荧光显微镜进行ctc检测的过程中，会存在背景噪声的干扰，背景噪声是指除了ctc之外的其他荧光信号，如血浆中的蛋白质、血小板、红细胞等。背景噪声会增加ctc的检测难度和误差，降低ctc的信噪比和对比度。因此，在本技术的技术方案中，期望在使用荧光显微镜对ctc进行成像时，对于采集的检测图像进行降噪，以减少
背景噪声的干扰，提高后续检测血液中的循环肿瘤细胞的准确性。并且，在进行图像降噪时，需要对于所述检测图像中关于ctc的特征信息进行捕捉，以提高其特征的表达能力，从而降低噪声的干扰影响。但是，由于荧光显微镜采集的所述检测图像中存在有较多的信息量，而关于ctc的特征信息为小尺度的隐含特征信息，难以通过传统的方式进行捕捉提取，导致对于ctc特征提取的能力较低，从而降低了图像的降噪效果。因此，在此过程中，难点在于如何进行所述检测图像中关于ctc隐含特征的充分表达，以及如何基于所述检测图像中的ctc特征信息进行相应地解码，从而有效地进行图像的背景降噪，以提高检测结果的准确性。
21.近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述检测图像中关于ctc隐含特征信息以及基于所述检测图像中的ctc特征信息进行相应地解码提供了新的解决思路和方案。
22.具体地，在本技术的技术方案中，采用多尺度金字塔encoder-decode的fpn形式。在encoder部分，通过使用卷积神经网络resnet-50，获取5种由深至浅的特征，包含了图像的外观、细节、位置等丰富特征信息。在解码器过程中，同样采用对称式设计，并配合跳层连接的形式，逐步恢复降噪后检测图像的分辨率。
23.更具体地，在本技术的技术方案中，首先，通过荧光显微镜采集检测图像。接着，使用在隐含特征提取方面具有优异表现的卷积神经网络模型来对于所述检测图像进行特征挖掘，特别地，考虑到在进行所述检测图像的特征提取时，不仅需要关注于所述检测图像中的循环肿瘤细胞深层隐含语义特征信息，更需要聚焦于ctc的细节、边缘和位置等浅层特征信息。而金字塔网络主要是解决目标检测中的多尺度问题，其可以同时利用低层特征高分辨率和高层特征的高语义信息，通过融合这些不同层的特征达到很好的效果。因此，在本技术的技术方案中，将所述检测图像通过基于金字塔网络的编码器以得到第一至第五检测特征图。特别地，这里，所述基于金字塔网络的编码器采用具有不同深度的第一至第五卷积模块来分别进行所述检测图像的特征挖掘，以在提取出所述检测图像中关于ctc的深层隐含语义特征的同时，保留其在浅层的边缘、细节和位置等丰富特征信息，进而在后续进行ctc成像和计数时提高检测的精准度。应可以理解，金字塔网络主要是解决目标检测中的多尺度问题，通过简单的改变网络连接，在基本不增加原有模型计算量的情况下，可以在不同的特征层上独立进行检测，大幅提升了小目标检测的性能。
24.进一步地，再将所述第一至第五检测特征图进行融合，以此来融合所述检测图像中关于ctc的边缘、细节和位置等浅层特征信息和ctc的深层隐含语义特征信息，从而得到具有ctc多尺度融合特征的多尺度检测特征图。
25.然后，在解码阶段，基于第一至第五检测特征图的跳级连接，将所述多尺度检测特征图通过包含多个反卷积层的解码器以得到降噪后检测图像，特别地，这里，所述解码器与所述编码器具有对称的网络结构。也就是说，具体地，所述解码器与所述编码器采用对称式设计，并配合跳层相加连接的形式，逐步恢复降噪后检测图像的分辨率，以使得ctc的深层隐含特征和浅层边缘等特征都能够得意保留，有利于后续进行ctc的检测和计数。
26.更具体地，在本技术的技术方案中，将所述多尺度检测特征图输入所述解码器的第一反卷积层，以通过与所述编码器相对称的所述解码器的第一反卷积层来解码得到第一
解码特征图。然后，利用跳级连接的形式逐步恢复图像的分辨率。也就是，具体地，融合所述第一解码特征图和所述第五检测特征图，以融合所述检测图像中关于ctc的深浅特征信息和第一解码特征信息，以此来作为所述解码器的第二反卷积层的输入，循环解码得到所述降噪后检测图像，以此来去除其他荧光信号的背景干扰，进而提高后续检测血液中的循环肿瘤细胞的准确性。
27.特别地，在本技术的技术方案中，这里，在融合所述第一解码特征图和所述第五检测特征图时，考虑到所述第五检测特征图是基于金字塔网络的编码器的最后一级输出，其具有较高的特征编码抽象度，而所述第一解码特征图是解码器的第一级输出，其具有较低的特征解码抽象度，因此，当从所述多尺度检测特征图得到所述第一解码特征图时，所述第一解码特征图相对于所述第五检测特征图的高特征编码抽象度的低抽象度特征解码会导致所述第一解码特征图和所述第五检测特征图之间存在较多的冗余特征，从而降低了所述第一融合解码特征图通过作为所述解码器的第二反卷积层的解码效率，也就是，降低了模型的训练速度和解码结果的准确性。
28.因此，本技术的申请人对融合所述第一解码特征图和所述第五检测特征图得到的融合特征图，例如记为进行基于低廉瓶颈机制堆叠的特征冗余优化，以得到优化后的融合特征图，具体表示为：，具体表示为：，具体表示为：，具体表示为：表示单层卷积操作，、和分别表示特征图的逐位置相加、相减和相乘，且和为偏置特征图，例如初始可以设置为所述融合特征图的全局均值特征图或者单位特征图，其中初始的偏置特征图和不同。
29.这里，所述基于低廉瓶颈机制堆叠的特征冗余优化可以使用两个低廉变换特征的乘加式堆叠的低廉瓶颈机制来进行特征扩张，并通过以均一值偏置堆叠通道来匹配残差路径，从而通过类似于基本残差模块的具有低廉成本的低廉操作变换来在冗余性特征中揭露出内在本质特征之下的隐分布信息，以通过简单而有效的卷积操作架构来获得特征的更内在本质的表达，从而优化所述融合特征图的冗余特征表达，提升作为所述解码器的第二反卷积层的解码效率，从而提升模型的训练速度和解码结果的准确性。这样，能够对采集的检测图像进行有效降噪，以减少其他荧光信号的背景噪声的干扰，进而提高后续检测血液中的循环肿瘤细胞的准确性。
30.基于此，本技术提出了一种基于荧光显微镜的智能分析系统，其包括：检测图像采集模块，用于获取由荧光显微镜采集的检测图像；图像特征提取模块，用于将所述检测图像通过基于金字塔网络的编码器以得到第一至第五检测特征图；特征融合模块，用于将所述第一至第五检测特征图进行融合以得到多尺度检测特征图；以及，降噪图像生成模块，用于基于所述第一至第五检测特征图的跳级连接，将所述多尺度检测特征图通过包含多个反卷积层的解码器以得到降噪后检测图像。
31.图1为根据本技术实施例的基于荧光显微镜的智能分析系统的场景示意图。如图1所示，在该应用场景中，通过荧光显微镜（例如，如图1中所示意的m）获取检测图像。接着，将上述图像输入至部署有用于基于荧光显微镜的智能分析算法的服务器（例如，图1中的s）中，其中，所述服务器能够以所述基于荧光显微镜的智能分析算法对上述输入的图像进行处理，以生成降噪后检测图像。
32.在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
33.示例性系统图2为根据本技术实施例的基于荧光显微镜的智能分析系统的框图。如图2所示，根据本技术实施例的基于荧光显微镜的智能分析系统300，包括：推断模块，包括：检测图像采集模块310；图像特征提取模块320；特征融合模块330；以及，降噪图像生成模块340。
34.其中，所述检测图像采集模块310，用于获取由荧光显微镜采集的检测图像；所述图像特征提取模块320，用于将所述检测图像通过基于金字塔网络的编码器以得到第一至第五检测特征图；所述特征融合模块330，用于将所述第一至第五检测特征图进行融合以得到多尺度检测特征图；以及，所述降噪图像生成模块340，用于基于所述第一至第五检测特征图的跳级连接，将所述多尺度检测特征图通过包含多个反卷积层的解码器以得到降噪后检测图像。
35.图4为根据本技术实施例的基于荧光显微镜的智能分析系统的系统架构图。如图4所示，在推断模块中，首先通过所述检测图像采集模块310获取由荧光显微镜采集的检测图像；接着，所述图像特征提取模块320将所述检测图像采集模块310获取的检测图像通过基于金字塔网络的编码器以得到第一至第五检测特征图；所述特征融合模块330将所述图像特征提取模块320得到的第一至第五检测特征图进行融合以得到多尺度检测特征图；进而，所述降噪图像生成模块340基于所述第一至第五检测特征图的跳级连接，将所述特征融合模块330得到的多尺度检测特征图通过包含多个反卷积层的解码器以得到降噪后检测图像。
36.具体地，在所述基于荧光显微镜的智能分析系统300的运行过程中，所述检测图像采集模块310和所述图像特征提取模块320，用于获取由荧光显微镜采集的检测图像；进而将所述检测图像通过基于金字塔网络的编码器以得到第一至第五检测特征图。应可以理解，在实际使用荧光显微镜进行ctc检测的过程中，会存在背景噪声的干扰，背景噪声是指除了ctc之外的其他荧光信号，而背景噪声会增加ctc的检测难度和误差，降低ctc的信噪比和对比度。因此，在本技术的技术方案中，可通过在使用荧光显微镜对ctc进行成像时，对于采集的检测图像进行降噪，以减少背景噪声的干扰，首先，通过荧光显微镜获取检测图像；接着，使用在隐含特征提取方面具有优异表现的卷积神经网络模型来对于所述检测图像进行特征挖掘，特别地，考虑到在进行所述检测图像的特征提取时，不仅需要关注于所述检测图像中的循环肿瘤细胞深层隐含语义特征信息，更需要聚焦于ctc的细节、边缘和位置等浅层特征信息。而金字塔网络主要是解决目标检测中的多尺度问题，其可以同时利用低层特征高分辨率和高层特征的高语义信息，通过融合这些不同层的特征达到很好的效果。因此，在本技术的技术方案中，将所述检测图像通过基于金字塔网络的编码器以得到第一至第五检测特征图。特别地，这里，所述基于金字塔网络的编码器采用具有不同深度的第一至第五
卷积模块来分别进行所述检测图像的特征挖掘，以在提取出所述检测图像中关于ctc的深层隐含语义特征的同时，保留其在浅层的边缘、细节和位置等丰富特征信息，进而在后续进行ctc成像和计数时提高检测的精准度。应可以理解，金字塔网络主要是解决目标检测中的多尺度问题，通过简单的改变网络连接，在基本不增加原有模型计算量的情况下，可以在不同的特征层上独立进行检测，大幅提升了小目标检测的性能。在一个实例中，在所述金字塔网络的编码过程中，通过五个具有不同深度的卷积模块来对输入数据进行卷积编码，具体地，各个卷积模块包括卷积层、池化层和激活层。其中，在所述各个卷积模块的编码过程中，所述各个卷积模块的各层在层的正向传递过程中对输入数据使用所述卷积层进行基于卷积核的卷积处理、使用所述池化层对由所述卷积层输出的卷积特征图进行池化处理和使用所述激活层对由所述池化层输出的池化特征图进行激活处理。
37.图6为根据本技术实施例的基于荧光显微镜的智能分析系统中图像特征提取模块的框图。如图6所示，所述图像特征提取模块320，包括：第一编码单元321，用于将所述检测图像输入所述编码器的第一卷积模块以得到所述第一检测特征图；第二编码单元322，用于将所述第一检测特征图输入所述编码器的第二卷积模块以得到所述第二检测特征图；第三编码单元323，用于将所述第二检测特征图输入所述编码器的第三卷积模块以得到所述第三检测特征图；第四编码单元324，用于将所述第三检测特征图输入所述编码器的第四卷积模块以得到所述第四检测特征图；以及，第五编码单元325，用于将所述第四检测特征图输入所述编码器的第五卷积模块以得到所述第五检测特征图。
38.具体地，在所述基于荧光显微镜的智能分析系统300的运行过程中，所述特征融合模块330，用于将所述第一至第五检测特征图进行融合以得到多尺度检测特征图。也就是，在得到所述第一至第五检测特征图后，进一步将其进行特征融合，以此来融合所述检测图像中关于ctc的边缘、细节和位置等浅层特征信息和ctc的深层隐含语义特征信息，从而得到具有ctc多尺度融合特征的多尺度检测特征图。
39.图7为根据本技术实施例的基于荧光显微镜的智能分析系统中降噪图像生成模块的框图。如图7所示，所述降噪图像生成模块330，包括：第一反卷积单元331，用于将所述多尺度检测特征图输入所述解码器的第一反卷积层以得到第一解码特征图；以及，第一解码融合单元332，用于融合所述第一解码特征图和所述第五检测特征图以得到第一融合解码特征图作为所述解码器的第二反卷积层的输入。
40.具体地，在所述基于荧光显微镜的智能分析系统300的运行过程中，所述降噪图像生成模块340，用于基于所述第一至第五检测特征图的跳级连接，将所述多尺度检测特征图通过包含多个反卷积层的解码器以得到降噪后检测图像。在本技术的技术方案中，所述解码器与所述编码器采用对称式设计，并配合跳层相加连接的形式，逐步恢复降噪后检测图像的分辨率，以使得ctc的深层隐含特征和浅层边缘等特征都能够得意保留，有利于后续进行ctc的检测和计数。更具体地，在本技术的技术方案中，将所述多尺度检测特征图输入所述解码器的第一反卷积层，以通过与所述编码器相对称的所述解码器的第一反卷积层来解码得到第一解码特征图。然后，利用跳级连接的形式逐步恢复图像的分辨率。也就是，具体地，融合所述第一解码特征图和所述第五检测特征图，以融合所述检测图像中关于ctc的深浅特征信息和第一解码特征信息，以此来作为所述解码器的第二反卷积层的输入，循环解码得到所述降噪后检测图像，以此来去除其他荧光信号的背景干扰，进而提高后续检测血
液中的循环肿瘤细胞的准确性。
41.应可以理解，在利用上述神经网络模型进行推断之前，需要对所述基于金字塔网络的编码器和所述包含多个反卷积层的解码器进行训练。也就是说，在本技术的基于荧光显微镜的智能分析系统中，还包括训练模块，用于对所述基于金字塔网络的编码器和所述包含多个反卷积层的解码器进行训练。
42.图3为根据本技术实施例的基于荧光显微镜的智能分析系统中训练模块的框图。如图3所示，根据本技术的实施例的基于荧光显微镜的智能分析系统300，还包括训练模块400，包括：训练数据采集模块410；训练图像特征提取模块420；训练特征融合模块430；第一反卷积解码模块440；第一融合模块450；特征优化模块460；训练降噪图像生成模块470；均方误差计算模块480；以及，模型训练模块490。
43.其中，所述训练数据采集模块410，用于获取训练数据，所述训练数据包括训练检测图像，以及，所述降噪后检测图像的真实图像；所述训练图像特征提取模块420，用于将所述训练检测图像通过所述基于金字塔网络的编码器以得到训练第一至第五检测特征图；所述训练特征融合模块430，用于将所述训练第一至第五检测特征图进行融合以得到训练多尺度检测特征图；所述第一反卷积解码模块440，用于将所述训练多尺度检测特征图输入所述包含多个反卷积层的解码器的第一反卷积层以得到训练第一解码特征图；所述第一融合模块450，用于融合所述训练第一解码特征图和所述训练第五检测特征图以得到训练第一融合解码特征图；所述特征优化模块460，用于对所述训练第一融合特征图进行基于低廉瓶颈机制堆叠的特征冗余优化以得到优化训练第一融合特征图作为所述解码器的第二反卷积层的输入；所述训练降噪图像生成模块470，用于基于所述训练第一至第四检测特征图的跳级连接，将所述优化训练第一融合特征图通过所述包含多个反卷积层的解码器以得到训练降噪后检测图像；所述均方误差计算模块480，用于计算所述训练降噪后检测图像和所述真实图像之间的均方误差值；以及，所述模型训练模块490，用于以所述均方误差值作为损失函数值并通过梯度下降的反向传播来对所述基于金字塔网络的编码器和所述包含多个反卷积层的解码器进行训练。
44.图5为根据本技术实施例的基于荧光显微镜的智能分析系统中训练模块的系统架构图。如图5所示，在训练模块中，首先通过所述训练数据采集模块410获取训练数据，所述训练数据包括训练检测图像，以及，所述降噪后检测图像的真实图像；接着，所述训练图像特征提取模块420将所述训练数据采集模块410获取的训练检测图像通过所述基于金字塔网络的编码器以得到训练第一至第五检测特征图；所述训练特征融合模块430将所述训练图像特征提取模块420得到的训练第一至第五检测特征图进行融合以得到训练多尺度检测特征图；然后，所述第一反卷积解码模块440将所述训练特征融合模块430得到的训练多尺度检测特征图输入所述包含多个反卷积层的解码器的第一反卷积层以得到训练第一解码特征图；所述第一融合模块450融合所述第一反卷积解码模块440得到的训练第一解码特征图和所述训练第五检测特征图以得到训练第一融合解码特征图；所述特征优化模块460对所述第一融合模块450融合所得的训练第一融合解码特征图进行基于低廉瓶颈机制堆叠的特征冗余优化以得到优化训练第一融合特征图作为所述解码器的第二反卷积层的输入；所述训练降噪图像生成模块470基于所述训练图像特征提取模块420得到的训练第一至第四
检测特征图的跳级连接，将所述特征优化模块460得到的优化训练第一融合特征图通过所述包含多个反卷积层的解码器以得到训练降噪后检测图像；所述均方误差计算模块480计算所述训练降噪后检测图像和所述真实图像之间的均方误差值；进而，所述模型训练模块490以所述均方误差值作为损失函数值并通过梯度下降的反向传播来对所述基于金字塔网络的编码器和所述包含多个反卷积层的解码器进行训练。
45.综上，根据本技术实施例的基于荧光显微镜的智能分析系统300被阐明，其通过采用基于深度学习的图像检测技术挖掘出检测图像中关于ctc隐含特征的充分表达，以此来基于所述ctc隐含特征进行相应地解码，从而有效地进行图像的背景降噪，以提高检测结果的准确性。
46.如上所述，根据本技术实施例的基于荧光显微镜的智能分析系统可以实现在各种终端设备中。在一个示例中，根据本技术实施例的基于荧光显微镜的智能分析系统300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于荧光显微镜的智能分析系统300可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于荧光显微镜的智能分析系统300同样可以是该终端设备的众多硬件模块之一。
47.替换地，在另一示例中，该基于荧光显微镜的智能分析系统300与该终端设备也可以是分立的设备，并且该基于荧光显微镜的智能分析系统300可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
48.示例性方法图8为根据本技术实施例的基于荧光显微镜的智能分析方法的流程图。如图8所示，根据本技术实施例的基于荧光显微镜的智能分析方法，包括步骤：s110，获取由荧光显微镜采集的检测图像；s120，将所述检测图像通过基于金字塔网络的编码器以得到第一至第五检测特征图；s130，将所述第一至第五检测特征图进行融合以得到多尺度检测特征图；以及，s140，基于所述第一至第五检测特征图的跳级连接，将所述多尺度检测特征图通过包含多个反卷积层的解码器以得到降噪后检测图像。
49.在一个示例中，在上述基于荧光显微镜的智能分析方法中，所述步骤s120，包括：将所述检测图像输入所述编码器的第一卷积模块以得到所述第一检测特征图；将所述第一检测特征图输入所述编码器的第二卷积模块以得到所述第二检测特征图；将所述第二检测特征图输入所述编码器的第三卷积模块以得到所述第三检测特征图；将所述第三检测特征图输入所述编码器的第四卷积模块以得到所述第四检测特征图；以及，将所述第四检测特征图输入所述编码器的第五卷积模块以得到所述第五检测特征图。
50.在一个示例中，在上述基于荧光显微镜的智能分析方法中，所述步骤s130，包括：将所述多尺度检测特征图输入所述解码器的第一反卷积层以得到第一解码特征图；以及，融合所述第一解码特征图和所述第五检测特征图以得到第一融合解码特征图作为所述解码器的第二反卷积层的输入。
51.综上，根据本技术实施例的基于荧光显微镜的智能分析方法被阐明，其通过采用基于深度学习的图像检测技术挖掘出检测图像中关于ctc隐含特征的充分表达，以此来基于所述ctc隐含特征进行相应地解码，从而有效地进行图像的背景降噪，以提高检测结果的准确性。
52.示例性电子设备下面，参考图9来描述根据本技术实施例的电子设备。
53.图9图示了根据本技术实施例的电子设备的框图。
54.如图9所示，电子设备10包括一个或多个处理器11和存储器12。
55.处理器11可以是中央处理单元（cpu）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
56.存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（ram）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（rom）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本技术的各个实施例的基于荧光显微镜的智能分析系统中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如第一至第五检测特征图等各种内容。
57.在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。
58.该输入装置13可以包括例如键盘、鼠标等等。
59.该输出装置14可以向外部输出各种信息，包括降噪后检测图像等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
60.当然，为了简化，图9中仅示出了该电子设备10中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
61.示例性计算机程序产品和计算机可读存储介质除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本技术各种实施例的基于荧光显微镜的智能分析方法中的功能中的步骤。
62.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
63.此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本技术各种实施例的基于荧光显微镜的智能分析方法中的功能中的步骤。
64.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的
例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
65.以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
66.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
67.还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
68.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
69.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

技术特征：
1.一种基于荧光显微镜的智能分析系统，其特征在于，包括：检测图像采集模块，用于获取由荧光显微镜采集的检测图像；图像特征提取模块，用于将所述检测图像通过基于金字塔网络的编码器以得到第一至第五检测特征图；特征融合模块，用于将所述第一至第五检测特征图进行融合以得到多尺度检测特征图；以及降噪图像生成模块，用于基于所述第一至第五检测特征图的跳级连接，将所述多尺度检测特征图通过包含多个反卷积层的解码器以得到降噪后检测图像。2.根据权利要求1所述的基于荧光显微镜的智能分析系统，其特征在于，所述图像特征提取模块，包括：第一编码单元，用于将所述检测图像输入所述编码器的第一卷积模块以得到所述第一检测特征图；第二编码单元，用于将所述第一检测特征图输入所述编码器的第二卷积模块以得到所述第二检测特征图；第三编码单元，用于将所述第二检测特征图输入所述编码器的第三卷积模块以得到所述第三检测特征图；第四编码单元，用于将所述第三检测特征图输入所述编码器的第四卷积模块以得到所述第四检测特征图；以及第五编码单元，用于将所述第四检测特征图输入所述编码器的第五卷积模块以得到所述第五检测特征图。3. 根据权利要求2所述的基于荧光显微镜的智能分析系统，其特征在于，所述降噪图像生成模块，包括：第一反卷积单元，用于将所述多尺度检测特征图输入所述解码器的第一反卷积层以得到第一解码特征图；以及第一解码融合单元，用于融合所述第一解码特征图和所述第五检测特征图以得到第一融合解码特征图作为所述解码器的第二反卷积层的输入。4.根据权利要求3所述的基于荧光显微镜的智能分析系统，其特征在于，还包括用于对所述基于金字塔网络的编码器和所述包含多个反卷积层的解码器进行训练的训练模块。5.根据权利要求4所述的基于荧光显微镜的智能分析系统，其特征在于，所述训练模块，包括：训练数据采集模块，用于获取训练数据，所述训练数据包括训练检测图像，以及，所述降噪后检测图像的真实图像；训练图像特征提取模块，用于将所述训练检测图像通过所述基于金字塔网络的编码器以得到训练第一至第五检测特征图；训练特征融合模块，用于将所述训练第一至第五检测特征图进行融合以得到训练多尺度检测特征图；第一反卷积解码模块，用于将所述训练多尺度检测特征图输入所述包含多个反卷积层的解码器的第一反卷积层以得到训练第一解码特征图；第一融合模块，用于融合所述训练第一解码特征图和所述训练第五检测特征图以得到
训练第一融合解码特征图；特征优化模块，用于对所述训练第一融合解码特征图进行基于低廉瓶颈机制堆叠的特征冗余优化以得到优化训练第一融合解码特征图作为所述解码器的第二反卷积层的输入；训练降噪图像生成模块，用于基于所述训练第一至第四检测特征图的跳级连接，将所述优化训练第一融合解码特征图通过所述包含多个反卷积层的解码器以得到训练降噪后检测图像；均方误差计算模块，用于计算所述训练降噪后检测图像和所述真实图像之间的均方误差值；以及模型训练模块，用于以所述均方误差值作为损失函数值并通过梯度下降的反向传播来对所述基于金字塔网络的编码器和所述包含多个反卷积层的解码器进行训练。6.根据权利要求5所述的基于荧光显微镜的智能分析系统，其特征在于，所述特征优化模块，用于：以如下优化公式对所述训练第一融合特征图进行基于低廉瓶颈机制堆叠的特征冗余优化以得到所述优化训练第一融合特征图；其中，所述优化公式为：其中，所述优化公式为：其中，所述优化公式为：其中，为所述训练第一融合特征图，表示单层卷积操作，、和分别表示特征图的逐位置相加、相减和相乘，且和为偏置特征图，为所述优化训练第一融合特征图。7.一种基于荧光显微镜的智能分析方法，其特征在于，包括：获取由荧光显微镜采集的检测图像；将所述检测图像通过基于金字塔网络的编码器以得到第一至第五检测特征图；将所述第一至第五检测特征图进行融合以得到多尺度检测特征图；以及基于所述第一至第五检测特征图的跳级连接，将所述多尺度检测特征图通过包含多个反卷积层的解码器以得到降噪后检测图像。8.根据权利要求7所述的一种基于荧光显微镜的智能分析方法，其特征在于，将所述检测图像通过基于金字塔网络的编码器以得到第一至第五检测特征图；包括：将所述检测图像输入所述编码器的第一卷积模块以得到所述第一检测特征图；将所述第一检测特征图输入所述编码器的第二卷积模块以得到所述第二检测特征图；将所述第二检测特征图输入所述编码器的第三卷积模块以得到所述第三检测特征图；将所述第三检测特征图输入所述编码器的第四卷积模块以得到所述第四检测特征图；以及将所述第四检测特征图输入所述编码器的第五卷积模块以得到所述第五检测特征图。9.根据权利要求8所述的一种基于荧光显微镜的智能分析方法，其特征在于，基于所述第一至第五检测特征图的跳级连接，将所述多尺度检测特征图通过包含多个反卷积层的解码器以得到降噪后检测图像；包括：
将所述多尺度检测特征图输入所述解码器的第一反卷积层以得到第一解码特征图；以及融合所述第一解码特征图和所述第五检测特征图以得到第一融合解码特征图作为所述解码器的第二反卷积层的输入。

技术总结
本申请涉及图像分析领域，其具体地公开了一种基于荧光显微镜的智能分析系统及其方法，其通过采用基于深度学习的图像检测技术挖掘出检测图像中关于CTC隐含特征的充分表达，以此来基于所述CTC隐含特征进行相应地解码，从而有效地进行图像的背景降噪，以提高检测结果的准确性。的准确性。的准确性。


技术研发人员：张开山 赵丹 周韵斓 李超 郭志敏 饶浪晴 孔令武 田华 吴乐中 刘艳省
受保护的技术使用者：杭州华得森生物技术有限公司
技术研发日：2023.06.08
技术公布日：2023/7/12