多模态超分辨定量相位显微成像方法

1.本发明属于光学显微测量、成像技术，具体为一种多模态超分辨定量相位显微成像方法。


背景技术：

2.多模态显微镜是近年来新兴的打破各模态常规显微镜硬件限制的解决方法。借助可编程led阵列，多模态显微镜解决了各种成像模式的光学结构各异难以集成成像的问题，无需在光路中添加环形光阑等特殊的光学附件，就能在单台设备中实现明场成像、暗场成像、差分相衬等多种成像模式的集成成像，“左超,陈钱,孙佳嵩等.基于可编程led阵列照明的多模式显微成像方法[p].江苏省：cn105158887b,2017-09-22”“张佳琳,左超,孙佳嵩等.基于led阵列的多模式显微成像系统及其方法[p].江苏省：cn104765138b,2017-09-29.”。同时保证了多模态成像的光路稳定简单，成本大大降低，且改变成像光的颜色即可灵活实现光学染色，可实现的成像类型更加灵活丰富。
[0003]
更高的分辨率一直是显微成像领域所追求的目标，但在提高分辨率的同时，显微镜的空间带宽并不能随着分辨率的提高而增加。当前，为了克服分辨率和视场大小难以同时兼顾的矛盾，通常是基于常规的显微成像系统，结合高精度的机械扫描和后期空域图像拼接技术，将多个小视场高分辨率图像拼接融合成大视场高分辨率图像，“孙西钊,王震,李攀等.适用于结核杆菌抗酸染色图像拼接的装置[p].上海：cn203490416u,2014-03-19.”。但是由于引进了机械式的移动装置，使得显微系统的成像稳定性与成像速度成为了难以调和的矛盾。
[0004]
为了在突破分辨率和视场大小难以兼顾的矛盾的同时不引入机械移动装置，常用的方法是采用傅里叶层叠显微成像等计算成像方法，“zheng g,horstmeyer r,yang c.wide-field,high-resolution fourier ptychographic microscopy.nature photonics.2013；7:739-45.”。该方法根据相位恢复和合成孔径的思想，利用相机拍摄的一系列低分辨率光强图在频域内迭代更新相应子孔径内的频谱信息，子孔径之间叠加扩展频域带宽，可以恢复超出物镜空间分辨率限制的高频信息，同时重建物体的高分辨率光强和相位图像，从而实现大视场、高分辨率成像。但是该方法需逐颗点亮led灯，对照明的空间相干性要求高，且由于单颗灯照明下对应的光强图信噪比低，鲁棒性较差。


技术实现要素：

[0005]
本发明的目的在于提供一种多模态超分辨定量相位显微成像方法，可在多模态成像的基础上实现超分辨定量相位显微成像，在无外加复杂光学结构的前提下使得成像分辨率和信噪比更高，成像更稳定。
[0006]
实现本发明目的的技术方案为：一种多模态超分辨定量相位显微成像方法，具体步骤如下：
[0007]
步骤一：使用可编程led阵列作为照明光源，在不同离焦距离下，采集多种模态下
的原始光强图，建立明场离焦光强图堆栈和暗场离焦光强图堆栈；
[0008]
步骤二：利用聚焦距离下的明场光强图，初始化聚焦面复振幅分布和对应的频率域的高分辨率复振幅分布；
[0009]
步骤三：根据相干模式分解理论解照明复用，计算出不同照明角度与不同离焦距离下的复振幅；
[0010]
步骤四：分别在明场与暗场照明下，将具有相同离焦距离、对应的互不相干的点光源的光强进行叠加，得到明场离焦光强图堆栈和暗场离焦光强图堆栈，并与拍摄的光强图堆栈比较，约束更新不同角度与不同离焦距离下的复振幅；
[0011]
步骤五：基于部分相干照明下的相干模式分解理论，将更新的复振幅取傅里叶变换后乘以孔径函数求得新的子孔径频谱，合成获得高分辨率的傅里叶频域；
[0012]
步骤六：对傅里叶频谱取逆傅里叶变换再取模的平方，获得重构的高分辨率光强图；
[0013]
步骤七：重复步骤三到六，每次迭代中更新整个目标函数，完成指定迭代次数后，获得高分辨率的重构光强图。
[0014]
优选地，步骤一的实现过程如下：
[0015]
将led面阵(1)、样品(2)、显微物镜(3)、筒镜(4)以及相机(5)依次置于同一轴线上；其中，样品(2)放置于显微物镜(3)的前焦面上，筒镜(4)置于显微物镜(3)的后方，显微物镜(3)到筒镜(4)的距离为二者机械焦距之和，相机(5)位于筒镜(4)的后焦面上；
[0016]
点亮led面板明场成像图案对应的所有灯珠1～j，在不同的离焦距离上拍摄一组明场离焦光强图堆栈其中i
cap
表示通过捕获到的光强图，b表示明场成像时led照明角度，z表示离焦光强图序号，当z＝0时，对应聚焦光强图，当z》0时对应正向离焦光强图，一共采集z
num
+1幅光强图，每组采集的离焦距离步长为z
step
；
[0017]
点亮led面板暗场成像图案对应的所有灯珠j+1～n，n为led面板的灯珠总数，在不同的离焦距离上拍摄一组暗场离焦光强图堆栈其中d表示暗场成像led照明角度。
[0018]
优选地，利用聚焦距离下的明场光强图，初始化聚焦面复振幅分布和对应的频率域的高分辨率复振幅分布的具体步骤为：
[0019]
对获得的明场照明模式下的采集聚焦光强图进行上采样，得到初始化光强图ih；
[0020]
由光强图确定样品的初始复振幅分布uh，同时得到对应频率域的高分辨率频谱复振幅分布fh：
[0021][0022]fh
＝f{uh}
[0023]
其中，f{
·
}表示对括号内取傅里叶变换。
[0024]
优选地，步骤三根据相干模式分解理论解照明复用，计算出不同照明角度与不同离焦距离下的复振幅的具体步骤为：
[0025]
根据相干分解理论，将获得的高分辨率频谱复振幅分布fh与孔径函数pn相乘，得到与照明模式匹配的子孔径频谱信息f
sub
，再对其进行逆傅里叶变换，获得不同照明角度下的聚焦复振幅u
n0
：
[0026]fsub
＝fh·
pn[0027]un0
＝f-1
{f
sub
}
[0028]
其中，1≤n≤n，n为led阵列中第n个灯珠对应的照明角度，pn为第n个led单元对应的频谱里的孔径函数，f-1
{
·
}为对括号内取逆傅里叶变换；
[0029]
基于角谱传播理论，利用聚焦复振幅u
n0
生成一系列对应于不同离焦距离下的复振幅u
nz
。
[0030]
优选地，步骤四具体为：
[0031]
由步骤三中获得的不同照明角度下、不同离焦距离下的复振幅u
nz
，取模的平方后得到对应的光强再将明场、暗场对应照明角度下的所有光强分别求和，从而得到叠加明场离焦光强图堆栈和叠加暗场离焦光强图堆栈
[0032][0033][0034]
其中，i
cal
表示通过计算得到的光强图；
[0035]
将拍摄得到的明暗场光强图堆栈和计算求出的光强图和作为条件，更新得到不同照明角度与不同离焦距离下的复振幅具体为
[0036][0037]
其中，u
update
表示经过迭代重构后的复振幅；
[0038]
基于角谱传播理论，将不同离焦距离下与不同照明角度下的复振幅重新生成不同照明角度与不同离焦距离下的聚焦复振幅
[0039]
优选地，步骤五获得高分辨率的傅里叶频域的具体过程如下：
[0040]
更新后的取傅里叶变换后乘以与照明分布一致的孔径函数pn，从而得到与照明模式匹配的子孔径频谱信息将不同照明角度下的子孔径频谱信息相合成，即可得到高分辨率的傅里叶频谱
[0041][0042][0043]
其中，f
update
表示经过迭代重构后的傅里叶频谱；
[0044]
优选地，对傅里叶频谱取逆傅里叶变换再取模的平方，获得重构的高分辨率光强图的具体过程如下：
[0045]
对步骤五获得的高分辨率傅里叶频谱取逆傅里叶变换，即可获得重构的复振幅分布
[0046][0047]
对复振幅的模取平方，从而得到重构的高分辨率光强图
[0048][0049]
其中，i
update
表示经过迭代重构后的光强图；
[0050]
优选地，步骤七的实现过程如下：
[0051]
迭代次数与选用的离焦光强图数量有关，通常离焦光强图数越多，所需的迭代次数越少，对于吸收型待测样品，迭代次数在40～100次；对于相位型待测样品，迭代次数在50～100次。
[0052]
本发明与现有技术相比，其显著优点：(1)本发明可实现大视场、高分辨、高通量成像。(2)本发明与多模态显微镜结合，能和led照明的显微镜兼容。(3)本发明非干涉，可在部分相干照明下工作良好，因此工作环境要求不严苛且应用领域更广泛。(4)本发明信噪比高，无需逐颗点亮led灯，将多角度照明转换为照明复用的多离焦照明，鲁棒性更好。
[0053]
下面结合附图对本发明作进一步详细描述。
附图说明
[0054]
图1是多模态超分辨定量相位显微成像方法拍摄图像示意图。图1(a1)表示明场照明模式下采集的离焦光强图堆栈；图1(a2)表示明场照明模式下的显微系统示意图；图1(a3)表示明场照明模式下的led照明分布(点亮中央区域的led所有灯珠，具体的灯珠数量与采图的物镜数值孔径参数、led到样品的距离有关)；图1(b1)表示暗场照明模式下采集的离焦光强图堆栈；图1(b2)表示暗场照明模式下的显微系统示意图；图1(b3)表示暗场照明模式下的led照明分布(点亮非中央区域的led所有灯珠，具体的灯珠数量与采图的物镜数值孔径参数、led到样品的距离有关)。
[0055]
图2是多模态超分辨定量相位显微成像方法流程图。
[0056]
图3是多模态超分辨定量相位显微成像方法的仿真结果图。图3中的(a1)为初始化光强图；图3中的(a2)为初始化频谱图；图3中的(b1)为明场照明下的子频谱；图3中的(b2)为明场照明下子频谱对应的聚焦光强图；图3中的(b3)为暗场照明下的子频谱；图3中的(b4)为暗场照明下子频谱对应的聚焦光强图；图3中的(c1)为相干模式分解得出的叠加明场聚焦光强图；图3中的(c2)为明场照明下采集的离焦光强图堆栈；图3中的(d1)为相干模式分解得出的叠加暗场聚焦光强图；图3中的(d2)为暗场照明下采集的离焦光强图堆栈；图3中的(e1)为第一次迭代重构的高分辨率频谱图；图3中的(e2)为第一次迭代重构的高分辨率光强图；图3中的(f1)为最终迭代重构的高分辨率光强图；
[0057]
图3中的(f2)为最终迭代重构的高分辨率频谱图。
具体实施方式
[0058]
本发明是基于具备led照明阵列的显微成像系统。对于显微成像系统而言：将led面阵(1)、样品(2)、显微物镜(3)、筒镜(4)以及相机(5)置于同一轴线上。其中，led面阵(1)设置在样品(2)的前方，样品(2)放置于显微物镜(3)的前焦面上，筒镜(4)置于显微物镜(3)的后方，显微物镜(3)到筒镜(4)的距离为二者机械焦距之和，相机(5)位于筒镜(4)的后焦面上。其中，对于显微物镜(3)而言，一般是采用低数值孔径，从而保证大视场成像。例如，显微物镜(3)可以选择放大倍数为4
×
，数值孔径为0.1的物镜。
[0059]
结合流程示意图2，本发明利用上述装置实现的多模态超分辨定量相位显微成像方法，包括以下七个步骤：
[0060]
步骤一：采集原始图像：使用可编程led阵列作为照明光源，在不同离焦距离下，采集多种模态下的原始光强图，建立明场离焦光强图堆栈和暗场离焦光强图堆栈
[0061]
如图1(a3)所示，先点亮led面板明场成像图案对应的所有灯珠(灯珠编号为1～j)，在不同的离焦距离上拍摄一组明场离焦光强图堆栈当z＝0时，对应了聚焦光强图，当0《z时对应了正向离焦光强图，一共采集z
num
+1幅光强图，每组采集的离焦距离步长为z
step
。再点亮led面板暗场成像图案对应的所有灯珠(灯珠编号为j+1～n)，在不同的离焦距离上拍摄一组暗场离焦光强图堆栈
[0062]
明场区域的点亮灯珠数(j)与暗场区域的点亮灯珠数(n-j)与采用的显微物镜(3)的数值孔径有关。例如，如图1(a3)所示，在使用9
×
9的led阵列照明时，对于放大倍数4
×
，数值孔径0.1的显微物镜(3)来说，点亮中央5颗led灯珠的圆形区域对应于明场照明。如图1(b3)所示，除了中央5颗led灯珠不点亮外，点亮剩余灯珠对应于暗场照明。对于离焦光强图而言，离焦距离步长z
step
一般可以选在0.5～2μm左右；而z
num
的具体数值与led照明的有效灯珠总数量有关，一般而言，z
num
的数值大于等于灯珠总数即可。
[0063]
步骤二：对获得的明场照明模式下的采集聚焦光强图进行上采样，得到初始化光强图ih。由光强图确定样品的初始复振幅分布uh，同时得到对应频率域的高分辨率频谱复振幅分布fh：
[0064][0065]fh
＝f{uh}
[0066]
其中，f{
·
}表示对括号内取傅里叶变换；fh如图3(a2)所示；
[0067]
步骤三：根据相干模式分解理论，将获得的高分辨率频谱复振幅分布fh与孔径函数pn相乘，得到与照明模式匹配的子孔径频谱信息f
sub
，再对其进行逆傅里叶变换，获得不同照明角度下的聚焦复振幅u
n0
：
[0068]fsub
＝fh·
pn[0069]un0
＝f-1
{f
sub
}
[0070]
其中，1≤n≤n，n为led阵列中第n个灯珠对应的照明角度，pn为第n个led单元对应的频谱里的孔径函数，f-1
{
·
}为对括号内取逆傅里叶变换。
[0071]
基于角谱传播理论，利用聚焦复振幅u
n0
生成一系列对应于不同离焦距离下的复振幅u
nz
。明场子角度照明下的对应频谱如图3(b1)所示，暗场子角度照明下的对应频谱如图3
(b3)所示。图3(b2)为明场子角度照明下的对应复振幅un取平方后获得的光强图堆栈，图3(b4)为暗场子角度照明下的对应复振幅un取平方后获得的光强图堆栈。
[0072]
步骤四：由步骤三中获得的不同照明角度下、不同离焦距离下的复振幅u
nz
，取模的平方后得到对应的光强再将明场、暗场对应照明角度下的所有光强分别求和，从而得到叠加明场离焦光强图堆栈和叠加暗场离焦光强图堆栈
[0073][0074][0075]
其中，i
cal
表示通过计算得到的光强图；
[0076]
将拍摄得到的明暗场光强图堆栈和上述计算求出的光强图和作为条件，更新得到不同照明角度与不同离焦距离下的复振幅
[0077][0078]
其中，u
update
表示经过迭代重构后的复振幅；
[0079]
基于角谱传播理论，将不同离焦距离下与不同照明角度下的复振幅重新生成不同照明角度与不同离焦距离下的聚焦复振幅
[0080]
步骤五：更新后的取傅里叶变换后乘以与照明分布一致的孔径函数pn，从而得到与照明模式匹配的子孔径频谱信息将不同照明角度下的子孔径频谱信息相合成，即可得到高分辨率的傅里叶频谱
[0081][0082][0083]
其中，f
update
表示经过迭代重构后的傅里叶频谱；第一次迭代重构的高分辨率频谱如图3(e1)所示。
[0084]
步骤六：对步骤五获得的高分辨率傅里叶频谱取逆傅里叶变换，即可获得重构的复振幅分布
[0085]
[0086]
对复振幅的模取平方，从而得到重构的高分辨率光强图
[0087][0088]
其中，i
update
表示经过迭代重构后的光强图；第一次迭代重构的高分辨率光强图如图3(e2)所示。
[0089]
步骤七：重复步骤三到步骤六，通过对已知的光强图和傅里叶域的计算光强值进行约束，实现对高分辨率光强图的迭代重构，在完成足够的迭代次数后，使得收敛到更平衡的全局一致解。其中，迭代次数与选用的离焦光强图数量有关，通常离焦光强图数越多，所需的迭代次数越少。对于吸收型待测样品，迭代次数一般在40～100次；对于相位型待测样品，迭代次数一般在50～100次。
[0090]
本发明借助多模态成像的成像光路稳定、成像模态灵活的优势，提出一种新的定量相位显微成像方法，突破分辨率和视场大小难以兼顾的矛盾，最终实现超分辨定量相位显微成像。
[0091]
通过对比图3(a1)与图3(f1)可以明显地看出，最终重构出的高分辨率光强图ih比直接拍摄的明场光强图具有更多的细节。例如，重构结果中可以看到cameraman的服饰纹理，以及更加清晰的面部轮廓。值得注意的是，此仿真结果是基于低数值孔径显微物镜的，因此可以获得大视场的显微结果。而低分辨率的问题是由本发明所提出的多模态超分辨定量相位显微成像方法进行高分辨率成像解决的。因此，本发明可以实现大视场、高分辨成像。与多模态显微镜结合，与led照明的显微镜兼容，降低了对成像系统的高相干照明要求。利用迭代重构思想提出新的定量相位成像方法，完成相位恢复，实现超分辨定量相位显微成像。

技术特征：
1.一种多模态超分辨定量相位显微成像方法，其特征在于，具体步骤如下：步骤一：使用可编程led阵列作为照明光源，在不同离焦距离下，采集多种模态下的原始光强图，建立明场离焦光强图堆栈和暗场离焦光强图堆栈；步骤二：利用聚焦距离下的明场光强图，初始化聚焦面复振幅分布和对应的频率域的高分辨率复振幅分布；步骤三：根据相干模式分解理论解照明复用，计算出不同照明角度与不同离焦距离下的复振幅；步骤四：在同一离焦距离下，叠加互不相干的点的相应照明角度下的强度叠加，得到该离焦距离下明场光强叠加图和暗场光强叠加图，从而得到明场离焦光强图堆栈和暗场离焦光强图堆栈，并与拍摄的光强图堆栈比较，约束更新不同角度与不同离焦距离下的复振幅；步骤五：基于部分相干照明下的相干模式分解理论，将更新的复振幅取傅里叶变换后乘以孔径函数求得新的子孔径频谱，合成获得高分辨率的傅里叶频域；步骤六：对傅里叶频谱取逆傅里叶变换再取模的平方，获得重构的高分辨率光强图；步骤七：重复步骤三到六，每次迭代中更新整个目标函数，完成指定迭代次数后，获得高分辨率的重构光强图。2.根据权利要求1所述的多模态超分辨定量相位显微成像方法，其特征在于，步骤一的实现过程如下：将led面阵(1)、样品(2)、显微物镜(3)、筒镜(4)以及相机(5)依次置于同一轴线上；其中，样品(2)放置于显微物镜(3)的前焦面上，筒镜(4)置于显微物镜(3)的后方，显微物镜(3)到筒镜(4)的距离为二者机械焦距之和，相机(5)位于筒镜(4)的后焦面上；点亮led面板明场成像图案对应的所有灯珠1～j，在不同的离焦距离上拍摄一组明场离焦光强图堆栈其中i
cap
表示通过捕获到的光强图，b表示明场成像时led照明角度，z表示离焦光强图序号，当z＝0时，对应聚焦光强图，当z>0时对应正向离焦光强图，一共采集z
num
+1幅光强图，每组采集的离焦距离步长为z
step
；点亮led面板暗场成像图案对应的所有灯珠j+1～n，n为led面板的灯珠总数，在不同的离焦距离上拍摄一组暗场离焦光强图堆栈其中d表示暗场成像led照明角度。3.根据权利要求1所述的多模态超分辨定量相位显微成像方法，其特征在于，利用聚焦距离下的明场光强图，初始化聚焦面复振幅分布和对应的频率域的高分辨率复振幅分布的具体步骤为：对获得的明场照明模式下的采集聚焦光强图进行上采样，得到初始化光强图i
h
；由光强图确定样品的初始复振幅分布u
h
，同时得到对应频率域的高分辨率频谱复振幅分布f
h
：f
h
＝f{u
h
}其中，f{
·
}表示对括号内取傅里叶变换。4.根据权利要求1所述的多模态超分辨定量相位显微成像方法，其特征在于，步骤三根据相干模式分解理论解照明复用，计算出不同照明角度与不同离焦距离下的复振幅的具体步骤为：
根据相干模式分解理论，将获得的高分辨率频谱复振幅分布f
h
与孔径函数p
n
相乘，得到与照明模式匹配的子孔径频谱信息f
sub
，再对其进行逆傅里叶变换，获得不同照明角度下的聚焦复振幅u
n0
：f
sub
＝f
h
·
p
n
u
n0
＝f-1
{f
sub
}其中，1≤n≤n，n为led阵列中第n个灯珠对应的照明角度，p
n
为第n个led单元对应的频谱里的孔径函数，f-1
{
·
}为对括号内取逆傅里叶变换；基于角谱传播理论，利用聚焦复振幅u
n0
生成一系列对应于不同离焦距离下的复振幅u
nz
。5.根据权利要求1所述的多模态超分辨定量相位显微成像方法，其特征在于，步骤四具体为：由步骤三中获得的不同照明角度下、不同离焦距离下的复振幅u
nz
，取模的平方后得到对应的光强再将明场、暗场对应照明角度下的所有光强分别求和，从而得到叠加明场离焦光强图堆栈和叠加暗场离焦光强图堆栈和叠加暗场离焦光强图堆栈和叠加暗场离焦光强图堆栈其中，i
cal
表示通过计算得到的光强图；将拍摄得到的明暗场光强图堆栈和计算求出的光强图和作为条件，更新得到不同照明角度与不同离焦距离下的复振幅具体为其中，u
update
表示经过迭代重构后的复振幅；基于角谱传播理论，将不同离焦距离下与不同照明角度下的复振幅重新生成不同照明角度与不同离焦距离下的聚焦复振幅6.根据权利要求1所述的多模态超分辨定量相位显微成像方法，其特征在于，步骤五获得高分辨率的傅里叶频域的具体过程如下：更新后的取傅里叶变换后乘以与照明分布一致的孔径函数p
n
，从而得到与照明模式匹配的子孔径频谱信息将不同照明角度下的子孔径频谱信息相合成，即可得
到高分辨率的傅里叶频谱到高分辨率的傅里叶频谱到高分辨率的傅里叶频谱其中，f
update
表示经过迭代重构后的傅里叶频谱。7.根据权利要求1所述的多模态超分辨定量相位显微成像方法，其特征在于，对傅里叶频谱取逆傅里叶变换再取模的平方，获得重构的高分辨率光强图的具体过程如下：对步骤五获得的高分辨率傅里叶频谱取逆傅里叶变换，即可获得重构的复振幅分布分布对复振幅的模取平方，从而得到重构的高分辨率光强图对复振幅的模取平方，从而得到重构的高分辨率光强图其中，i
update
表示经过迭代重构后的光强图。8.根据权利要求1所述的多模态超分辨定量相位显微成像方法，其特征在于，步骤七的实现过程如下：迭代次数与选用的离焦光强图数量有关，通常离焦光强图数越多，所需的迭代次数越少，对于吸收型待测样品，迭代次数在40～100次；对于相位型待测样品，迭代次数在50～100次。

技术总结
本发明公开了一种多模态超分辨定量相位显微成像方法。本发明采用可编程LED阵列作为照明光源，使用低数值孔径的物镜，获取多种模态下的采集光强图堆栈，并利用计算出的光强图作为强度约束，进行多次迭代更新，从而实现超分辨定量相位显微成像。本发明借助低数值孔径物镜和可编程LED阵列，降低了对成像系统的高相干照明要求，并利用迭代重构思想完成相位恢复，从而实现了超分辨定量相位显微成像，具有高分辨率、高信噪比、大视场的优点。大视场的优点。大视场的优点。


技术研发人员：熊婷香 左超 陈钱 孙佳嵩 卢林芃 李加基 束业峰 周杰 张雨
受保护的技术使用者：南京理工大学
技术研发日：2023.03.30
技术公布日：2023/7/18