基于散斑关联性实现非侵入式大视场成像的方法

：
1.本发明属于光学散射成像技术领域，具体涉及一种基于散斑关联性实现非侵入式大视场成像的方法。


背景技术：

2.散射现象广泛存在于自然界中，当光通过生物组织或被粗糙的墙壁反射时，会发生剧烈地散射。在这种情况下，人眼或相机捕捉到的图像是一种类似白噪声的散斑图像。因此，在传统的成像系统中，散射效应一般被视为成像的障碍。
3.然而，散斑图像中却包含有隐藏在散射介质后的目标的信息。散射成像技术包括波前整形、传输矩阵、光学相位共轭和散斑相关成像等方法。其中，基于记忆效应的非侵入式成像技术因其无需侵入成像系统而受到广泛关注。
4.但是，由于视场受散射介质的记忆效应范围的限制，基于记忆效应的非侵入式成像技术通常只能重建尺寸小于记忆效应范围的单个隐藏目标；一旦目标大小超出记忆效应范围，这种方法就无法恢复隐藏目标的图像信息，从而导致重建失败。因此，基于记忆效应的非侵入式成像技术要想得到更广阔的发展和更广泛的应用，亟需发展一种突破记忆效应限制，具有更大成像视场的技术方案。


技术实现要素：

5.本发明基于散斑关联性实现非侵入式大视场成像的方法，其目的在于公开一种直接利用散斑之间的关联性找到方位信息，扩大非侵入式成像视场的方法，避免了预估成像系统的点扩散函数psf。该方法与现有的非侵入式成像的方法相比，能够实现更高效率地扩大成像视场。
6.为实现上述目的，本发明通过如下方案实现：
7.一种直接利用散斑相关运算寻找相对方位实现透过散射介质的非侵入式大视场成像方法，对荧光目标o进行多次扫描照明，分割为多个具有相似性的子目标oi，从子目标oi的散斑中通过相位恢复得到子目标图像o'i，直接利用子目标oi的散斑自相关及子目标oi与子目标o
i+1
的散斑互相关计算子目标图像o'i与o'
i+1
之间的相对位置，确定子目标图像o'i与o'
i+1
之间相对位置的移位向量利用散斑之间的关联性确定子目标图像o'i的正确翻转方向，将所有子目标图像根据位移向量进行位移叠加，获取正确拼接的目标o。
8.进一步，位移向量按照如下步骤计算：
9.步骤1.将荧光目标o经多次扫描后分割为多个具有相似性的子目标，利用面阵光电探测器记录所有子目标oi透过介质形成的散斑图像si；
10.步骤2.计算子目标oi的散斑图像si的自相关，以及散斑图像si与子目标o
i+1
的散斑图像s
i+1
的互相关；
11.步骤3.利用步骤2获取的散斑图像si的自相关和散斑图像si与散斑图像s
i+1
的互相关，确定散斑图像si的自相关和散斑图像si与散斑图像s
i+1
的互相关的相关峰的二维坐标，
利用如下公式计算即可得到子目标图像o'i与子目标图像o'
i+1
之间相对位置的移位向量
[0012][0013]
其中
★
表示相关运算，position{}表示相关峰位置的二维坐标。
[0014]
进一步，子目标图像的方向确定方法如下：
[0015]
对于子目标图像oi'的四个不同方向状态，利用如下公式计算四个不同的fft(o'
i+1
)逆快速傅里叶变换得到结果fft-1
(fft(o'
i+1
))
[0016]
fft(o'
i+1
)＝fft(o'i)
·
fft(s
i+1
)/fft(si)
[0017]
其中，fft()表示快速傅里叶变换；
[0018]
将所得结果与相位恢复得到的子目标图像o'
i+1
的形状进行比较，当所得结果与相位恢复得到的子目标图像结构相似度最高，即确定为子目标图像o'i的正确方向。
[0019]
综上所述，发明具有以下有益效果：
[0020]
本发明首先利用主动照明逐次扫描隐藏于散射介质后的荧光目标，将其分割为多个具有相似性的多个荧光子目标。利用相位恢复算法重建每个荧光子目标的图像，然后直接对荧光子目标透过散射介质形成的散斑进行自相关与互相关运算，避免了预估成像系统的点扩散函数psf，更快地获得各子目标图像的方位，依据获得的方位对各子目标图像进行拼接，从而对整个隐藏于散射介质且超出记忆效应范围的荧光目标实现非侵入式大视场成像。适用于毛玻璃、漫反射墙面、生物组织等透过散射介质成像需求的场合，具有更高效地进行非侵入式大视场成像的优点。
[0021]
本发明直接利用散斑自相关及互相关运算和相位恢复算法，实现非侵入式大视场成像，本发明的成像方法是非侵入式的，不需要侵入式“导星”或先验信息；与现有非侵入式成像方法相比，本发明更高效地扩大非侵入式成像视场。
附图说明
[0022]
图1隐藏于散射介质后的荧光目标；
[0023]
图2(a)-(h)8幅荧光子目标散斑图像s
1-s8；
[0024]
图3(a)-(h)相位恢复重建的8幅子目标图像o'
1-o'8；
[0025]
图4(a)重建的8幅子目标图像o'
1-o'8的相对位置；(b)恢复的整体目标图像o'；
[0026]
图5(a)隐藏于散射介质后的荧光目标；
[0027]
图6(a)重建的10幅子目标图像的相对位置；(b)将(a)中的相对位置信息放大之后的结果；
[0028]
图7(a)恢复的整体目标图像o'。
具体实施方案
[0029]
下面结合附图对本发明作进一步详细说明。
[0030]
需要说明的是，为表述方便，下文中关于方向的表述与附图本身的方向一致，但并不对本发明的结构起限定作用。
[0031]
如图1～7所示，本发明公开了一种直接利用散斑相关运算寻找相对方位实现透过
散射介质的非侵入式大视场成像方法，对荧光目标o进行多次扫描照明，分割为多个具有相似性的子目标oi，从子目标oi的散斑中通过相位恢复得到子目标图像o'i，直接利用子目标oi的散斑自相关及子目标oi与子目标o
i+1
的散斑互相关计算子目标图像o'i与o'
i+1
之间的相对位置，确定子目标图像o'i与o'
i+1
之间相对位置的移位向量利用散斑之间的关联性确定子目标图像o'i的正确翻转方向，将所有子目标图像根据位移向量进行位移叠加，获取正确拼接的目标o。
[0032]
位移向量按照如下步骤计算：
[0033]
步骤1.将荧光目标o经多次扫描后分割为多个具有相似性的子目标，利用面阵光电探测器记录所有子目标oi透过介质形成的散斑图像si；当隐藏于散射介质后的荧光目标o超出记忆效应范围时，传统的非侵入式成像方法会导致成像失败，此时可以对荧光目标o进行逐次扫描照明，将荧光目标o分割为多个具有相似性的子目标，即基于散射介质的记忆效应，在记忆效应范围内的荧光子目标oi的自相关，等于对应散斑图像的自相关，即oi★
oi＝si★
si，其中si为对应于荧光子目标oi的散斑图像。因此，利用相位恢复算法，可以从散斑图像si的自相关中计算得到荧光子目标oi的重建子目标图像o'i。
[0034]
其中每个子目标oi都在其各自的记忆效应范围之内，并满足oi≈o
i+1
，构成子目标的每个坐标点具有相似分布的子目标满足此式，从而可以从子目标oi的散斑中相位恢复得到子目标图像o'i，并可直接利用oi的散斑自相关及oi与o
i+1
的散斑互相关来计算子目标图像o'i与o'
i+1
之间的相对位置，从而避免了预估成像系统的点扩散函数psf，即：
[0035]
si★
si＝(oi*psfi)
★
(oi*psfi)≈psfi★
psfi，
[0036]
si★si+1
＝(oi*psfi)
★
(o
i+1
*psf
i+1
)≈psfi★
psf
i+1
，
[0037]
其中si为oi的散斑，s
i+1
为o
i+1
的散斑。
[0038]
步骤2.计算子目标oi的散斑图像si的自相关，以及散斑图像si与子目标o
i+1
的散斑图像s
i+1
的互相关；
[0039]
步骤3.利用步骤2获取的散斑图像si的自相关和散斑图像si与散斑图像s
i+1
的互相关，确定散斑图像si的自相关和散斑图像si与散斑图像s
i+1
的互相关的相关峰的二维坐标，利用如下公式计算即可得到子目标图像o'i与子目标图像o'
i+1
之间相对位置的移位向量
[0040][0041]
其中
★
表示相关运算，position{}表示相关峰位置的二维坐标。
[0042]
经由相位恢复算法重建的子目标图像o'i会丢失其正确的方位信息，可能存在有左右翻转、上下翻转或左右上下同时翻转的错误方向，若其散斑图像si与相邻散斑s
i+1
之间通过计算互相关能找到相对位置信息，说明荧光子目标oi与o
i+1
的记忆效应范围有一定的重叠，进一步利用散斑之间的关联性即可找到子目标图像oi'的正确翻转方向。
[0043]
子目标图像的方向确定方法如下：
[0044]
透过散射介质的成像系统在记忆效应范围内是一个线性系统，而荧光子目标oi和o
i+1
各自的记忆效应范围存在一定的重叠，因此可以利用位于荧光子目标oi和o
i+1
之间的同一个点扩散函数来表征二者之间的联系，即si＝psf*o'i和s
i+1
＝psf*o'
i+1
，其中*表示卷积
运算，psf表示成像系统的点扩散函数。对这两个式子进行快速傅里叶变换，即
[0045]
fft(si)＝fft(psf)
·
fft(o'i)
[0046]
fft(s
i+1
)＝fft(psf)
·
fft(o'
i+1
)
[0047]
其中fft()表示快速傅里叶变换。
[0048]
对于子目标图像o'i的四个不同方向状态，利用如下公式计算四个不同的fft(o'
i+1
)逆快速傅里叶变换得到结果fft-1
(fft(o'
i+1
))
[0049]
fft(o'
i+1
)＝fft(o'i)
·
fft(s
i+1
)/fft(si)
[0050]
其中，fft()表示快速傅里叶变换；
[0051]
将所得结果与相位恢复得到的子目标图像o'
i+1
的形状进行比较，当所得结果与相位恢复得到的子目标图像结构相似度最高，即确定为子目标图像o'i的正确方向。相似度的对比，可以选择ssim运算为标准，ssim运算的值最高即相似度最高，也可以选择其他标准对相似度进行对比。
[0052]
实施例一：
[0053]
本实施例中，控制照明光源对隐藏于散射介质后的荧光目标o进行逐次扫描照明将其分割为8个具有相似性的荧光子目标，其中隐藏于散射介质后的荧光目标o大于散射介质的记忆效应范围，而每次扫描照明的荧光子目标o
1-o8都在记忆效应范围内，如图1所示。记忆效应范围大小如白色实线圈所示，荧光目标上的轮廓表示扫描照明。面阵光电探测器采集8帧荧光子目标的反射光透过散射介质形成的散斑图像s
1-s8，本实施例中面阵光电探测器选用scmos相机，结果如图2(a)-(h)所示。然后将采集到的散斑图像s
1-s8进行相位恢复运算，重建获得8个子目标图像o'
1-o'8，如图3(a)-(h)所示。从采集的8帧散斑图像s
1-s8的自相关和互相关运算中，获得子目标图像o'
1-o'8之间的正确方位信息，如图4(a)所示；其中之间的正确方位信息，如图4(a)所示；其中接下来按照本发明中的子目标图像的方向确定的方法，得到具有正确翻转方向的子目标图像o'
1-o'8。最后将具有正确翻转方向的子目标图像o'
1-o'8按照图4(a)中的相对位置进行移位叠加，即可获得整体目标图像o'，如图4(b)所示。
[0054]
实施例二：
[0055]
本实施例中，隐藏于散射介质后的荧光目标o如图5(a)所示。控制照明光源对隐藏于散射介质后的荧光目标o进行逐次扫描照明将其分割为10个具有相似性的荧光子目标o
1-o
10
，如图5(a)所示。面阵光电探测器采集10帧荧光子目标o
1-o
10
的反射光透过散射介质形成的散斑图像s
1-s
10
，本实施例中面阵光电探测器选用scmos相机。将采集到的散斑图像进行相位恢复运算，重建获得10个子目标图像o'
1-o'
10
。此时按照扫描照明的顺序对采集的散斑图像s
1-s
10
依次进行自相关和互相关运算，从而获得10个子目标图像o'
1-o'
10
之间的正确相对位置信息，如图6(a)所示，其相对位置信息放大后如如图6(b)所示；其中
[0056]
按照本发明的子目标图像的方向确定方法，进一步得到具有正确翻转方向的子目标图像o'
1-o'
10
。最后将具有正确翻转方向的子目标图像o'
1-o'
10
按照图6(b)中的相对位置进行移位叠加，即可重建整体目标图像o'，如图7(a)所示。
[0057]
实施例三：以面阵光电探测器是ccd为例，本实施例基于散斑关联性实现非侵入式大视场超分辨成像的方法，本实施例中面阵光电探测器是ccd，其他与实施例一相同。
[0058]
实施例四：以面阵光电探测器是scoms为例，本实施例基于散斑关联性实现非侵入式大视场超分辨成像的方法，本实施例中面阵光电探测器是scoms，其他与实施例一相同。
[0059]
实施例五：以散射介质是磨砂玻璃为例，本实施例基于散斑关联性实现非侵入式大视场成像的方法，本实施例中散射介质为磨砂玻璃，其他与实施例一相同。
[0060]
以上所述仅是本发明的优选实施方式，本发明不限于上述各实施方式的内容，其中几个具体实施方式的组合同样也可实现本发明的目的。

技术特征：
1.一种直接利用散斑相关运算寻找相对方位实现透过散射介质的非侵入式大视场成像方法，其特征在于：对荧光目标o进行多次扫描照明，分割为多个具有相似性的子目标o
i
，从子目标o
i
的散斑中通过相位恢复得到子目标图像o
′
i
，直接利用子目标o
i
的散斑自相关及子目标o
i
与子目标o
i+1
的散斑互相关计算子目标图像o
′
i
与o
′
i+1
之间的相对位置，确定子目标图像o
′
i
与o
′
i+1
之间相对位置的移位向量利用散斑之间的关联性确定子目标图像o
′
i
的正确翻转方向，将所有子目标图像根据位移向量进行位移叠加，获取正确拼接的目标o。2.根据权利要求1所述的非侵入式大视场成像方法，其特征在于，所述位移向量按照如下步骤计算：步骤1.将荧光目标o经多次扫描后分割为多个具有相似性的子目标，利用面阵光电探测器记录所有子目标o
i
透过介质形成的散斑图像s
i
；步骤2.计算子目标o
i
的散斑图像s
i
的自相关，以及散斑图像s
i
与子目标o
i+1
的散斑图像s
i+1
的互相关；步骤3.利用步骤2获取的散斑图像s
i
的自相关和散斑图像s
i
与散斑图像s
i+1
的互相关，确定散斑图像s
i
的自相关和散斑图像s
i
与散斑图像s
i+1
的互相关的相关峰的二维坐标，利用如下公式计算即可得到子目标图像o
′
i
与子目标图像o
′
i+1
之间相对位置的移位向量之间相对位置的移位向量其中
★
表示相关运算，position{}表示相关峰位置的二维坐标。3.根据权利要求1或2所述的非侵入式大视场成像方法，其特征在于，所述子目标图像的方向确定方法如下：对于子目标图像o
′
i
的四个不同方向状态，利用如下公式计算四个不同的fft(o
′
i+1
)逆快速傅里叶变换得到结果fft-1
(fft(o
′
i+1
))fft(o
i
'
+1
)＝fft(o
i
')
·
fft(s
i+1
)/fft(s
i
)其中，fft()表示快速傅里叶变换；将所得结果与相位恢复得到的子目标图像o
i
'
+1
的形状进行比较，当所得结果与相位恢复得到的子目标图像结构相似度最高，即确定为子目标图像o
i
'的正确方向。

技术总结
本发明属于光学散射成像技术领域，当使用基于光学记忆效应的方法来实现透过散射介质成像时，一旦成像目标大小超出记忆效应范围，通常会导致成像失败，从而限制成像系统的视场。本发明提出一种直接利用关联性来扩大视场的方法，直接利用子目标O


技术研发人员：王东 汪旭东 赵文静 翟爱平
受保护的技术使用者：太原理工大学
技术研发日：2023.03.23
技术公布日：2023/7/21