基于结构光照明和深度学习的光片显微镜单帧自聚焦方法

1.本发明涉及光学显微成像领域，具体地说，涉及一种基于结构光照明和深度学习的光片显微镜单帧自聚焦方法。


背景技术：

2.光学显微镜因其非侵入的特性，在生命科学研究领域得到了广泛的应用。其中，由于光片荧光显微镜采取侧向照明和宽场探测的策略，因此它兼具良好的光学层切能力和快速成像的能力，有效避免焦平面外的样品的荧光激发，有利于降低对活细胞样品造成的光毒性影响，是长时程的活细胞动态观测的重要工具之一。比如，科研工作者们可以用光片荧光显微镜很好地实现针对持续数小时至数天的活体标本的延时成像，如斑马鱼和果蝇的发育。最佳的成像质量建立在光片系统的良好对焦的基础上。然而，在长时程成像过程中，系统需要不断应对由于各种因素而可能出现的离焦问题，例如温度的改变、成像缓冲液折射率的变化、样品本身引入的像差等。
3.近年来，为了保证在长时程成像过程中光片显微镜稳定的成像质量，科研工作者提出了一些适配的自聚焦方法。比如，可以固定激发光片并移动探测物镜来实现对样品的三维扫描，通过计算相关的参数(doi：10.1038/nbt.3708；10.1101/222497)以识别光片与探测物镜的离焦量并利用光学元件进行离焦量校正。但是，这种方法需要对样品进行三维扫描获取多帧样品信息，造成自聚焦效率低的问题。通过瞳孔分割图像相位检测实现快速自动聚焦(doi：10.1038/s41592-021-01208-1)的方法在探测路中引入分束镜，将实时探测的荧光部分引流到额外搭建的离焦检测光路上，可以通过单帧图像实现对系统实时漂移检测并离焦校正。但该系统引入的额外硬件会造成光子损耗，同时也增大了系统的复杂度。利用深度学习的方法，科研工作者实现了在无附加探测硬件的条件下通过两帧离焦图像判别系统离焦量(doi：10.1364/boe.427099)。但目前已有的光片荧光显微镜中的自聚焦方法均需要两张及以上数量的图像方能实现离焦量的预测，这无疑在离焦检测的过程中增大了样品的额外曝光量，增加样品光毒性和光漂白的风险，降低系统的成像速度。


技术实现要素：

4.本发明的目的在于针对现有技术的不足，提供一种基于结构光照明和深度学习的光片显微镜单帧自聚焦方法，可有效提高光片显微镜的自聚焦效率以及提高系统长时程成像的稳定性。
5.为了实现上述目的，本发明提供的技术方案如下：
6.根据本说明书的第一方面，提供一种基于结构光照明和深度学习的光片显微镜单帧自聚焦方法，该方法包括以下步骤：
7.1)通过光束整形元件对光束进行整形，形成复合多个深度且在横向方向上相互错开的结构光；
8.2)利用步骤1)形成的深度复合结构光照明样品并保持固定不动，同时沿着探测光
轴方向移动探测物镜，拍摄多个覆盖设定深度范围的图像堆栈；
9.将图像堆栈中的每张图像进行预处理后输入深度傅里叶神经网络中对网络进行训练，所述预处理具体为：将每张图像分割成多个子图，对每个子图进行傅里叶变换后除以零阶峰的值进行归一化，提取高阶峰的邻近数据组成张量，对多个张量进行校正后拼接在一起；
10.3)利用相同的深度复合结构光照明样品，拍摄一帧样品图像，对样品图像进行预处理后输入到已经训练好的深度傅里叶神经网络中进行离焦预测；
11.4)根据步骤3)得到的离焦预测结果完成离焦补偿。
12.进一步地，步骤1)中，深度复合结构光沿着探测光轴的方向上具有n个深度，其中n≥2，可根据实际实验条件调整成更多的深度数量n和深度差dz。
13.进一步地，位于不同轴向深度的结构光在横向方向上相互错开，即在探测相机的视场范围内将单帧图像分割成n个由处于不同深度的结构光照明的子图。
14.进一步地，步骤2)中，用于网络训练的图像堆栈数据集中，每张图像的真实离焦量为已知量。
15.进一步地，步骤2)的预处理过程中，根据深度复合结构光的深度数量n和照明范围，将拍摄的每张图像分割成n个子图，并对每个子图进行傅里叶变换并除以零阶峰的值进行归一化，提取每张傅里叶变换图像中由结构光提供的其中一个高阶峰邻近的多个强度信息组成张量，再乘上对应的校正系数，将校正后的n个张量拼接后输入深度傅里叶神经网络。
16.进一步地，每个子图的张量其对应的校正系数计算公式如下：
17.factorn＝nr(z
focus
±m·
dz)/rn(z
focus
)
18.其中，下标n指代第n个子图；m≥0为整数，m
·
dz的数值等于第n个子图对应的照明结构光与理想焦平面之间的距离；r(z)函数定义为所有同一横向区域形成的子图堆栈中，每一张子图其傅里叶变换图像中高阶峰的值与零阶峰的值随深度位置变化的比值函数；nr(z)函数定义为任意一个图像堆栈的归一化r(z)曲线；z
focus
为图像堆栈中的理想焦平面所在位置；则rn(z
focus
)为在z
focus
位置处的图像的第n个子图的傅里叶变换图像中高阶峰与零阶峰的比值。
19.进一步地，所述深度傅里叶神经网络由3个全连接层组成，每个全连接层的神经单元均由relu激活函数激活，并根据需要选择是否在第二个全连接层之后引入dropout层；在训练过程中，使用预测离焦量与实际离焦量的平均绝对误差来评估验证数据集上的网络性能，直至平均绝对误差的数值不再优化则停止网络的训练；训练好的网络最终输出一个含有正负的标量，用以指代显微镜的离焦量和离焦方向。
20.根据本说明书的第二方面，提供一种利用第一方面所述方法实现的光片显微系统，该系统分为激发光路、探测光路和计算机三部分：
21.所述激发光路包括依次放置的激光器、准直透镜、柱透镜组、光束整形系统、扫描振镜、扫描透镜、管镜和激发物镜；所述激光器用于发出激光；所述准直透镜用于激光的准直；所述柱透镜组用于将准直的圆形高斯光束整形成准直的长条形光束；所述光束整形系统用于将入射光束整形成深度复合结构光；所述扫描振镜用于将激发光束沿着横向方向进行扫描，形成均匀的照明光片或者沿着探测光轴方向进行扫描，改变光片的轴向照明位置；
所述扫描透镜和管镜用于将从扫描振镜出射的光束共轭到激发物镜的入瞳处；所述激发物镜用于将光束汇聚到样品平面上进行样品照明；
22.所述探测光路包括依次放置的与所述激发物镜正交的探测物镜、探测管镜、滤光片和相机；样品发出的信号被探测物镜收集，被探测管镜聚焦和滤光片滤除杂散光后，成像到相机上；
23.所述计算机用于控制光束的整形、扫描振镜的扫描、样品的照明以及相机的成像，并用于深度傅里叶神经网络的训练以及后续单帧成像下系统的离焦量预测。
24.进一步地，所述激发光路中的光束整形系统为能实现对光束的出射振幅分布或者相位分布进行调节的相关元件，其核心元件采用振幅型空间光调制器、相位型空间光调制器或数字微镜阵列。
25.进一步地，对离焦量进行补偿的元件采用与激发物镜入瞳面共轭的沿着探测光轴方向扫描的扫描振镜、探测物镜或者是探测管镜，通过调整扫描振镜的偏置角或者探测物镜、探测管镜的轴向位置，即可完成离焦量补偿。
26.本发明的有益效果是：本发明提供的基于结构光照明和深度学习的光片显微镜单帧自聚焦方法，能够实现利用单帧图像完成光片显微镜的离焦预测，解决了传统自聚焦方案中需要扫描多帧图像的问题，减少了对样品的额外曝光次数，有助于降低样品的光毒性和光漂白问题，提升了系统长时程高质量成像能力。另外，深度傅里叶神经网络对离焦量判断速度快、精度高，有利于提高光片显微镜的成像速度，其所需训练集数量少、网络泛化性好，有助于提高网路的可获得性和广泛应用。
附图说明
27.图1为本发明实施例的具有不同深度数量的深度复合结构光示意图，其中(a)复合两个深度的结构光照明光片的横截面强度分布图；(b)复合三个深度的结构光照明光片的横截面强度分布图。
28.图2为本发明实施例的利用深度复合结构光照明的离焦预测原理示意图，其中(a)利用复合三个深度的结构光照明样品所采集的图像堆栈；(b)任一子图的傅里叶变换图像；(c)每个子图堆栈的rn(z)曲线，其中n＝1,2,3；(d)每根rn(z)曲线各自进行归一化。
29.图3为本发明实施例的预处理模块的结构示意图。
30.图4为本发明实施例的深度傅里叶神经网络的结构示意图。
31.图5为本发明实施例的深度傅里叶神经网络工作流程图，其中(a)网络训练的流程图；(b)网络工作的流程图。
32.图6为本发明实施例的基于深度复合结构光照明的光片显微系统示意图。
33.图7为本发明实施例的深度傅里叶神经网络的训练集数量要求效果图。
34.图8为本发明实施例的深度傅里叶神经网络结构泛化性效果图，其中(a)利用微管样品训练的神经网络对微管样品进行离焦量测试效果图；(b)利用微管样品训练的神经网络对微丝样品进行离焦量测试效果图。
具体实施方式
35.为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发
明作进一步说明。
36.本实施例提供一种基于结构光照明和深度学习的光片显微镜单帧自聚焦方法，具体过程如下：
37.1)通过光束整形元件对光束进行整形，形成复合多个深度且在横向方向上相互错开的结构光；
38.2)利用步骤1)形成的深度复合结构光照明样品并保持固定不动，同时沿着探测光轴方向移动探测物镜，拍摄多个覆盖设定深度范围的图像堆栈；
39.将图像堆栈中的每张图像进行预处理后输入深度傅里叶神经网络中对网络进行训练，所述预处理具体为：将每张图像分割成多个子图，对每个子图进行傅里叶变换后除以零阶峰的值进行归一化，提取高阶峰的邻近数据组成张量，对多个张量进行校正后拼接在一起；
40.3)利用相同的深度复合结构光照明样品，拍摄一帧样品图像，对样品图像进行预处理后输入到已经训练好的深度傅里叶神经网络中进行离焦预测；
41.4)根据步骤3)得到的离焦预测结果完成离焦补偿。
42.具体地，步骤1)中，深度复合结构光沿着探测光轴的方向上(此处定义为z轴)具有n个深度，其中n≥2，可根据实际实验条件调整成更多的深度数量n和深度差dz；位于不同轴向深度的结构光在横向方向上(此处定义为x轴)相互错开，即在探测相机的视场范围内将单帧图像分割成n个由处于不同深度的结构光照明的子图，如图1所示。
43.在步骤2)中，以复合三个深度、深度差dz为0.5微米的结构光为例，利用如图1中(b)所示的深度复合结构光照明样品并保持固定不动，同时沿着探测光轴方向移动探测物镜，拍摄多个覆盖设定深度范围的图像堆栈，如图2中(a)所示；用于网络训练的图像堆栈数据集中，每张图像的真实离焦量为已知量。
44.步骤2)的预处理过程通过预处理模块实现，堆栈图像中的每张图像分割成3个子图，如图2中(a)所示；对每个子图进行傅里叶变换并除以零阶峰的值进行归一化，如图2中(b)所示；提取每张傅里叶变换图像中由结构光提供的其中一个高阶峰邻近的8
×
1个强度信息组成张量，再乘上对应的校正系数，将校正后的3个张量拼接后输入深度傅里叶神经网络，如图3所示。每个子图中大小为8
×
1的张量其对应的校正系数计算公式为：
45.factor1＝nr(z
focus
+dz)/r1(z
focus
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
46.factor2＝nr(z
focus
)/r2(z
focus
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
47.factor3＝nr(z
focus-dz)/r3(z
focus
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
48.其中，下标n＝1，2，3指代第n个子图；r(z)函数定义为所有同一横向区域形成的子图堆栈中，每一张子图其傅里叶变换图像中高阶峰的值与零阶峰的值随深度位置变化的比值函数，如图2中(b)和图2中(c)所示；nr(z)函数定义为任意一个图像堆栈的归一化r(z)曲线，如图2中(d)所示；z
focus
为图像堆栈中的理想焦平面所在位置；则rn(z
focus
)为在z
focus
位置处的图像的第n个子图的傅里叶变换图像中高阶峰与零阶峰的比值。
49.如图4所示，本实施例中深度傅里叶神经网络由3个全连接层组成，分别包含64、32和32个神经单元，每个神经单元均由relu激活函数激活，根据需要选择是否在第二个全连接层之后引入dropout层。参见图5中(a)，采集的图像堆栈经预处理模块提取的张量信息被输入到深度傅里叶神经网络进行训练；在训练过程中，使用预测离焦量与实际离焦量的平
均绝对误差来评估验证数据集上的网络性能，直至平均绝对误差的数值不再优化则停止网络的训练；训练好的网络最终输出一个含有正负的标量，用以指代显微镜的离焦量和离焦方向。
50.在步骤3)中，如图5中(b)所示，采用相同的深度复合结构光对样品进行照明，采集一帧离焦的图像输入到预处理模块和已经训练好的、获取了合适权重参数的深度傅里叶神经网络中进行离焦预测。最终，根据网络输出的结果，完成离焦补偿。
51.为了实现上述方法，参见图6，本发明提供了一种光片显微系统，该系统可以分为激发光路、探测光路和计算机三部分：
52.激发光路：激发光路包括依次放置的激光器1、准直透镜2、柱透镜组3和4、偏振分束镜5、半波片6、空间光调制器7、第一透镜8、环形掩膜板9、中继透镜组10和11、x扫描振镜12、扫描透镜13、管镜14和激发物镜15。所述激光器1用于发出激光；所述准直透镜2用于激光的准直；所述柱透镜组3和4用于将准直的圆形高斯光束整形成准直的长条形光束；所述偏振分束镜5用于提取光束的s偏振光入射空间光调制器7；所述半波片6用于优化入射空间光调制器7的光束的偏振态；所述空间光调制器7用于对光束进行整形，形成深度复合结构光；所述第一透镜8用于将从空间光调制器7出射的像进行傅里叶变换；所述环形掩膜板9用于滤除空间光调制器7出射的零级衍射光和更高阶的衍射光，只保留
±
1级衍射光进入后续系统；所述中继透镜组10和11组成4f成像系统，将从环形掩膜板9出射的像共轭到x扫描振镜12上；所述x扫描振镜12用于将激发光片沿着横向方向即x轴快速扫描，形成均匀的光片，照明样品；所述扫描透镜13和管镜14用于将从x扫描振镜12出射的光束共轭到激发物镜15的入瞳处，因此环形掩膜板9、x扫描振镜12均和激发物镜15的入瞳共轭；所述激发物镜15用于将光束汇聚到样品平面上进行照明样品。
53.探测光路：探测光路包括依次放置的与激发物镜正交的探测物镜16、探测管镜17、滤光片18和相机19。样品发出的信号被探测物镜16收集，被探测管镜17聚焦和滤光片18滤除杂散光后，成像到相机9上。
54.计算机20：用于控制空间光调制器7的工作、x扫描振镜12的扫描、样品的照明以及相机19的成像；并用于深度傅里叶神经网络的训练以及后续单帧成像下系统的离焦量的预测。
55.其中，所述激发光路中的空间光调制器7即为光束整形系统的核心元件，对光束的出射振幅分布进行调节，其他典型例子可为数字微镜阵列。
56.在步骤4)中，根据深度傅里叶神经网络的输出，可通过调节探测物镜16的轴向位置进行离焦补偿。此外，其他离焦补偿方案包括但不限于：调节与激发物镜15入瞳面共轭的沿z轴扫描光片的扫描振镜的偏置角度或者调节探测管镜17的轴向位置以使激发光片与探测物镜焦平面重合。
57.为测试效果，本系统采用数值孔径为1.1的探测物镜进行成像，并利用微管样品采集数据集对深度傅里叶神经网络进行训练。如图7所示，该神经网络仅需55个数据集即可拥有良好的离焦量预测效果，即预测值与真实值之间的均方根误差rmse收敛。相比常规通常需要100个以上的数据集的神经网络而言，深度傅里叶神经网络大大压缩对数据量的需求。
58.如图8所示，仅利用微管数据集训练的深度傅里叶神经网络在后续对微管样品以及微丝样品的离焦预测效果均表现良好，在
±
0.7μm的范围内均具有较低的rmse，其中如图
8中(a)所示微管样品的预测精度rmse为0.1024μm，如图8中(b)所示微丝样品的预测精度rmse为0.1140μm，说明本发明所提神经网络方法具有较高的预测精度以及良好的样品结构泛化性。
59.以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于结构光照明和深度学习的光片显微镜单帧自聚焦方法，其特征在于，该方法包括以下步骤：1)通过光束整形元件对光束进行整形，形成复合多个深度且在横向方向上相互错开的结构光；2)利用步骤1)形成的深度复合结构光照明样品并保持固定不动，同时沿着探测光轴方向移动探测物镜，拍摄多个覆盖设定深度范围的图像堆栈；将图像堆栈中的每张图像进行预处理后输入深度傅里叶神经网络中对网络进行训练，所述预处理具体为：将每张图像分割成多个子图，对每个子图进行傅里叶变换后除以零阶峰的值进行归一化，提取高阶峰的邻近数据组成张量，对多个张量进行校正后拼接在一起；3)利用相同的深度复合结构光照明样品，拍摄一帧样品图像，对样品图像进行预处理后输入到已经训练好的深度傅里叶神经网络中进行离焦预测；4)根据步骤3)得到的离焦预测结果完成离焦补偿。2.根据权利要求1所述的一种基于结构光照明和深度学习的光片显微镜单帧自聚焦方法，其特征在于，步骤1)中，深度复合结构光沿着探测光轴的方向上具有n个深度，其中n≥2，可根据实际实验条件调整成更多的深度数量n和深度差dz。3.根据权利要求1所述的一种基于结构光照明和深度学习的光片显微镜单帧自聚焦方法，其特征在于，位于不同轴向深度的结构光在横向方向上相互错开，即在探测相机的视场范围内将单帧图像分割成n个由处于不同深度的结构光照明的子图。4.根据权利要求1所述的一种基于结构光照明和深度学习的光片显微镜单帧自聚焦方法，其特征在于，步骤2)中，用于网络训练的图像堆栈数据集中，每张图像的真实离焦量为已知量。5.根据权利要求1所述的一种基于结构光照明和深度学习的光片显微镜单帧自聚焦方法，其特征在于，步骤2)的预处理过程中，根据深度复合结构光的深度数量n和照明范围，将拍摄的每张图像分割成n个子图，并对每个子图进行傅里叶变换并除以零阶峰的值进行归一化，提取每张傅里叶变换图像中由结构光提供的其中一个高阶峰邻近的多个强度信息组成张量，再乘上对应的校正系数，将校正后的n个张量拼接后输入深度傅里叶神经网络。6.根据权利要求5所述的一种基于结构光照明和深度学习的光片显微镜单帧自聚焦方法，其特征在于，每个子图的张量其对应的校正系数计算公式为：factor
n
＝nr(z
focus
±
m
·
dz)/r
n
(z
focus
)，其中，下标n指代第n个子图；m≥0为整数，m
·
dz的数值等于第n个子图对应的照明结构光与理想焦平面之间的距离；r(z)函数定义为所有同一横向区域形成的子图堆栈中，每一张子图其傅里叶变换图像中高阶峰的值与零阶峰的值随深度位置变化的比值函数；nr(z)函数定义为任意一个图像堆栈的归一化r(z)曲线；z
focus
为图像堆栈中的理想焦平面所在位置；则r
n
(z
focus
)为在z
focus
位置处的图像的第n个子图的傅里叶变换图像中高阶峰与零阶峰的比值。7.根据权利要求1所述的一种基于结构光照明和深度学习的光片显微镜单帧自聚焦方法，其特征在于，所述深度傅里叶神经网络由3个全连接层组成，每个全连接层的神经单元均由relu激活函数激活，并根据需要选择是否在第二个全连接层之后引入dropout层；在训练过程中，使用预测离焦量与实际离焦量的平均绝对误差来评估验证数据集上的网络性能，直至平均绝对误差的数值不再优化则停止网络的训练；训练好的网络最终输出一个含
有正负的标量，用以指代显微镜的离焦量和离焦方向。8.一种利用权利要求1-7中任一项所述方法实现的光片显微系统，其特征在于，该系统分为激发光路、探测光路和计算机三部分：所述激发光路包括依次放置的激光器、准直透镜、柱透镜组、光束整形系统、扫描振镜、扫描透镜、管镜和激发物镜；所述激光器用于发出激光；所述准直透镜用于激光的准直；所述柱透镜组用于将准直的圆形高斯光束整形成准直的长条形光束；所述光束整形系统用于将入射光束整形成深度复合结构光；所述扫描振镜用于将激发光束沿着横向方向进行扫描，形成均匀的照明光片或者沿着探测光轴方向进行扫描，改变光片的轴向照明位置；所述扫描透镜和管镜用于将从扫描振镜出射的光束共轭到激发物镜的入瞳处；所述激发物镜用于将光束汇聚到样品平面上进行样品照明；所述探测光路包括依次放置的与所述激发物镜正交的探测物镜、探测管镜、滤光片和相机；样品发出的信号被探测物镜收集，被探测管镜聚焦和滤光片滤除杂散光后，成像到相机上；所述计算机用于控制光束的整形、扫描振镜的扫描、样品的照明以及相机的成像，并用于深度傅里叶神经网络的训练以及后续单帧成像下系统的离焦量预测。9.根据权利要求8所述的光片显微系统，其特征在于，所述激发光路中的光束整形系统为能实现对光束的出射振幅分布或者相位分布进行调节的相关元件，其核心元件采用振幅型空间光调制器、相位型空间光调制器或数字微镜阵列。10.根据权利要求8所述的光片显微系统，其特征在于，对离焦量进行补偿的元件采用与激发物镜入瞳面共轭的沿着探测光轴方向扫描的扫描振镜、探测物镜或者是探测管镜，通过调整扫描振镜的偏置角或者探测物镜、探测管镜的轴向位置，即可完成离焦量补偿。

技术总结
本发明公开了一种基于结构光照明和深度学习的光片显微镜单帧自聚焦方法，包括以下步骤：对光束进行整形，形成复合多个深度且横向错开的结构光照明样品并保持固定不动；移动探测物镜拍摄多个图像堆栈并输入到深度傅里叶神经网络中进行训练；利用相同的深度复合结构光照明样品并拍摄一帧样品图像输入到训练好的网络中进行离焦预测；最终根据网络输出的结果完成离焦补偿。本发明实现利用单帧图像完成光片显微镜的离焦预测，解决传统自聚焦方案中需要扫描多帧图像的问题，提升系统长时程高质量成像能力；深度傅里叶神经网络对离焦判断快、精度高，有利于提高光片显微镜的成像速度，其所需训练集数量少、网络泛化性好，有助于提高网络的可获得性。高网络的可获得性。高网络的可获得性。


技术研发人员：匡翠方 甘艳红 叶子桐 刘旭
受保护的技术使用者：浙江大学
技术研发日：2023.04.12
技术公布日：2023/8/5