一种无偏振片液晶透镜深度估计方法

1.本发明属于光学技术领域，涉及单目深度估计,具体涉及一种无偏振片液晶透镜深度估计方法。


背景技术：

2.单目深度估计方案具有双目和激光雷达无法比拟的成本和便于安装的优势，近年来得到越来越多的关注，基于模糊线索的深度估计利用变焦图片序列，通过不同深度的模糊退化程度不同来建立深度估计模型。
3.液晶透镜能够实现图像的等大变焦，而且具有无需机械，纯电控的优势。然而液晶透镜的变焦只能够对非寻常光线进行调节，在液晶透镜成像系统中往往需要增加偏振片过滤掉寻常光，这会带来两个问题，一个是导致成像系统的进光量直接减少一半，降低成像质量，影响深度估计的准确性；另一个问题是导致城乡系统的组件增加，增加系统成本。
4.估计深度是被拍摄物体离主镜头光心的距离，液晶镜头对非寻常光具有光路偏折的作用，进而可以控制整个光学系统（包括液晶透镜和主镜头）对非寻常光的焦距f, 同时，液晶透镜对非寻常光的光路偏折作用，随着加载在液晶透镜上电压的不同而不同，可以实现电学调焦，和传统的使用马达和机械结构实现变焦的方案相比，具有使用寿命长，维护成本低，体积小等优点。
5.但是传统的利用液晶透镜来成像的光学方案，因为考虑到液晶透镜只对非寻常光有作用，其往往在镜头前段加装一个偏振片，用于滤除寻常光。自然光中寻常光和非寻常光一般占比50%，50%。加装偏振片会增加系统复杂度和组装成本，同时降低进光量，影响成像效果。


技术实现要素：

6.为克服现有技术存在的缺陷，本发明公开了一种无偏振片液晶透镜深度估计方法。
7.本发明所述一种无偏振片液晶透镜深度估计方法，其特征在于,包括以下步骤：步骤1.利用不带偏振片的液晶透镜成像系统对物体拍摄两张不同焦距下的图像i1,i2；且两次成像的光焦度p1,p2应满足：；；其中ra为光圈半径，s为像素单元大小，u为物距, v0为初始像距；步骤2. 建立未加偏振片的模糊退化模型k
np
为：knp
=ae*ke+ ao* k
o ‑‑‑
（2）ke和ko分别为非寻常光和寻常光的点扩散函数,ae和ao分别为成像光线中非寻常光和寻常光占比, ae+ao=1；步骤3.对不同光焦度的图像i1,i2；分别根据公式（2）求出深度为d的物点的模糊退化函数k1(d), k2(d)，对两张图像分别建立滤波器组g1(d), g2(d)；(5)其中f和f-1
分别表示傅里叶变换和傅里叶逆变换；对于图像中坐标为p,深度为d的点,计算偏差e
rr
(p,d)如下：；计算能量函数q计算如下：；q是p点邻域ω(p)中的任意点，σi为噪声的方差；则深度估计值： (9)argmin函数表示求出使q取得最小值的深度d。
8.优选的，还包括步骤4.深度补全：根据（8）式计算置信度p
p （8）σi为噪声的方差；设定置信度阈值p0，剔除置信度低于置信度阈值的点后，在剩余的点进行深度补全，具体为：利用pointrend算法进行实例分割，得到实例分割结果；利用实例分割结果计算拉普拉斯矩阵l，利用深度估计的置信度计算可信序列矩阵c，利用剔除了错误深度估计的结果生成向量y，则补全后的深度为 d=(l+c)-1
*y 。
9.优选的，所述步骤2中的ke和ko由(1)式求得；
‑‑‑
(1)r为非寻常光或寻常光对应的模糊光斑的直径,x,y为像素坐标。
10.优选的，所述(1)式中的r计算过程为：非寻常光和寻常光对应的模糊光斑半径分别为：rn
=rav0(p
g-1/u-1/ v0)
ꢀꢀ
(3)r
ej
=rav0(pg+ p
lc(j)-1/u-1/ v0),j=1,2
ꢀꢀ
(4)寻常光和非寻常光对应的模糊光斑的直径r分别等于（3）和（4）式计算出的模糊光斑半径的两倍；其中两次拍照液晶透镜调制的光焦度分别为p
lc(1)
，p
lc(2)
；pg为主透镜的光焦度,v0为像距, u为物体o距离光学系统距离。
11.优选的，ae=ao=0.5。
12.优选的，所述步骤3中，预先设定深度估计范围，在深度估计范围内均匀取多个点，对应不同的深度d，重复步骤2至3，最后根据公式（9）
ꢀꢀꢀ
(9)取置信度最大的点对应深度值为深度估计值。
13.采用本发明所述无偏振片液晶透镜深度估计方法，利用无偏振片的液晶透镜图像，直接进行深度估计，能够减少系统组件，并且提高深度估计的准确性。
附图说明
14.图1为无偏振片液晶透镜成像的成像原理图；图2为一个具体实施例中液晶透镜光焦度在-1.0m-1下无偏振片的成像图；图3为一个具体实施例中液晶透镜光焦度在1.86m-1下无偏振片的成像图；图4为一个具体实施例中深度数据的灰度图，越亮距离越远；图5为一个具体实施例中实例分割的结果，不同的亮度值，表示不同的实例（目标）；图6为一个具体实施例中不加偏振片的深度估计效果图；图7为一个具体实施例中加偏振片后的深度估计效果图；1-cmos成像传感器，2-主透镜，3-液晶透镜，4-第一非寻常光，5-第二非寻常光，6-寻常光（从o点发出），7-混合光。
实施方式
15.下面对本发明的具体实施方式作进一步的详细说明。
16.由于液晶透镜只对非寻常光具有调制作用，寻常光和非寻常光的模糊退化模型的具体参数是不同的，同一个深度的物体发出的寻常光和非寻常光在经过液晶透镜成像系统采集之后形成模糊光斑大小是不一样的。本发明中通过建立寻常光和非寻常光的模糊退化模型，统一成自然光下的液晶透镜成像的模糊退化模型。利用该模型进行深度和模糊之间的关系建模，得到深度估计。
17.本发明所述如图1所示，本方法直接在无偏振片的液晶透镜成像系统采集到的图像序列上进行深度估计，具体步骤为：步骤1、利用不带偏振片的液晶透镜成像系统在自然光环境下拍摄两张不同焦距下的图像；液晶透镜装置位于光学系统的光阑处以实现图像远处和近处是等大的。其中光学系统是通常由透镜，反射镜，棱镜和光阑等多种光学元件按照一定次序组合成的系统，用
于成像，比如相机中的镜头；光阑指在光学系统中对光束起着限制作用的实体；为取得最优的深度估计效果，两张不同焦距下图像的拍摄要求为：所测深度范围u内的图像，模糊半径最大不超过3个像素；且两个图像模糊直径差异控制在1个像素到2个像素；在光焦度为p的条件下，对于固定的初始像距v0，对于物距为u的物体，其模糊半径r可以通过r=ra*v0(p-1/u-1/ v0)得到根据上述准则，选取两次成像的光焦度p1,p2应满足：；；
18.其中ra为光圈半径，s为像素单元大小，u为物距, v0为初始像距步骤2、建立寻常光和非寻常光在液晶透镜调焦下的模糊退化模型，进而建立无偏振片下的液晶透镜成像的模糊退化模型。
19.无偏振片液晶透镜基于模糊图像深度估计的光路如图 1所示。光圈的半径为ra，位于o0点的物体反射的混合光7经过主透镜清晰成像在像距为v0的位置,图像传感器即位于此处位置，通过o0的距离u0和主透镜光焦度pg，可以利用高斯成像公式推算出v0=1/(p
g-1/ u0)。
20.物体o距离光学系统距离为u，o点发出的寻常光（ordinary ray）经过主透镜，成像在vn处。
21.o点发出的非寻常光（extraordinary ray）经过液晶透镜的两次拍照（基于模糊的深度估计算法需要采集两次图像），分别成像在v
e1
，v
e2
处。两次拍照液晶透镜调制的光焦度分别为p
lc(1)
，p
lc(2)
,主透镜的光焦度为pg。非寻常光（e光）经过液晶透镜调制，两次拍摄中第一非寻常光4和第二非寻常光5形成的模糊光斑的半径分别为r
e1
，r
e2
。第一非寻常光4从o点发出，液晶透镜调整为第一光焦度值，第二非寻常光5从o点发出，液晶透镜调整为第二光焦度值。
22.未加偏振片时，模糊光斑由没有调制过的寻常光的模糊光斑叠加经过调制的非寻常光光斑形成。
23.成像的模糊退化模型为：
ꢀꢀꢀꢀꢀꢀ
(1)其中r为模糊光斑的直径,x,y为像素坐标。在此基础上，得到未加偏振片的模糊退化模型为：k
np
=ae*ke+ ao* ko‑‑‑
(2)以自然光为例，由于自然光中包含的偏振光和非偏振光大致各占50%左右，而液晶透镜只对一半偏振光起到调制作用，其模糊退化函数为ke，对于非偏振光，液晶透镜对其无作用，其模糊退化函数为ko，因此自然光下，没有加偏振片的情况下的模糊退化函数可以写为knp
=0.5*ke+ 0.5 * ko。即ae=ao=0.5。
24.ke和ko分别为非寻常光和寻常光的点扩散函数，代入对应的模糊光斑的直径，通过（1）式直接计算，对应的模糊光斑半径分别为：rn=rav0(p
g-1/u-1/ v0)
ꢀꢀ
(3)r
ej
=rav0(pg+ p
lc(j)-1/u-1/ v0),j=1,2
ꢀꢀ
(4)寻常光和非寻常光对应的模糊光斑的直径分别等于（3）和（4）式计算出的模糊光斑半径的两倍。
25.步骤3、基于无偏振片的模糊退化模型，建立深度估计算法模型，进行初始深度估计：基于模糊退化模型的深度估计算法有多种，包括有理滤波器组，无偏模糊均衡化等，这里选取无偏模糊均衡化算法进行说明，根据步骤二得到的无偏振片下的模糊退化模型，对于步骤一中采集到的两张图像i1,i2,，分别建立深度为d的物点的模糊退化函数k1(d), k2(d)。在此基础上我们构建无偏均衡化滤波器组：(5)其中f和f-1
分别表示傅里叶变换和傅里叶逆变换；将滤波器组和退化图像分别进行卷积后相减得到偏差图像e
rr
：
26.e
rr
具有和白噪声相同的分布，如果知道噪声的方差σi，则可以通过邻域窗口ω(p)内的偏差的l2范数q作为能量函数，计算深度d的似然，通过计算似然，可以知道使得概率最大的深度d就是估计的结果。
27.深度d的似然通过计算（8）式计算置信度，根据（8）式计算置信度p
p
，（8）σi为噪声的方差。由式8可以看出，q越小，置信度越大。
28.对于坐标为p,深度为d的点a,能量函数q如下： （7）即
29.其中邻域窗口ω(p)为和p点距离小于一定值的所有点集，例如可定义邻域窗口ω(p)为和p点距离小于1的所有点集。
30.q是p点邻域ω(p)中的任意点，σi为噪声的方差。由于深度d和模糊半径r相关，进而影响模糊退化函数ke，ko，k
np
，为了获取正确的深度估计值，可在深度范围内均匀的取多个点，分别按照1-8式描述的算法模型，计算每个点为真实深度估计的置信度，取置信度最大的值作为最终的深度估计。根据式7，置信度最大对应能量函数q最小，因此可以根据（9）式计算深度估计值：：
ꢀꢀꢀ
(9)argmin函数表示求出使q取得最小值的深度d。
31.步骤4.为了提高估计的准确性，我们设定置信度阈值p0，根据（8）式计算置信度p
p
，（8）σi为噪声的方差。
32.剔除置信度p
p
低于置信度阈值p0的点，并对剔除后的图像进行图像补全。
33.利用pointrend算法（pointrend算法可参考文献kirillov a, wu y, he k, et al. pointrend: image segmentation as rendering[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition. 2020: 9799-9808.）进行实例分割，结合拉普拉斯抠图算法进行补全（拉普拉斯抠图算法可参考文献tseng c, wang s j. maximum-a-posteriori estimation for global spatial coherence recovery based on matting laplacian[c]//2012 19th ieee international conference on image processing. ieee, 2012: 293-296.）具体做法为在实例分割的结果基础上计算拉普拉斯矩阵l，利用深度估计的置信度计算可信序列矩阵c，利用剔除了错误深度估计的结果生成向量y，l,c,y的计算均为本领域现有技术，则补全后的深度d为 d=(l+c)-1
*y
ꢀꢀꢀꢀ
（10）。
具体实施例
[0034]
按照图1所示构造光学系统，包括主透镜，位于主透镜后侧的成像传感器和主透镜前侧位于光阑处并与主透镜同轴的液晶透镜，物体位于成像系统的视野内，光圈半径ra=0.001m，镜头光焦度pg=40m-1
，初始对焦物距u0=2.8m，两次拍照的液晶透镜的光焦度分别为p
lc(1)
=-1.0m-1
：p
lc(2)
=1.86m-1
，。对应的可以得到v0=1/(p
g-1/u0)=0.0252m，拍摄得到的图像如图2和图3所示，其深度真值的灰阶图如图4所示。
[0035]
取深度候选值为0.2m到2.5m均匀的取33个点，步长为(2.5-0.2)/32=0.072m。则第i个候选深度为di=0.2+0.072i,i=0,2,4,...32；分别计算每一个候选深度di对应的寻常光和非寻常光模糊半径:液晶透镜光焦度为p
lc(1)
=-1.0m-1
下，非寻常光e光的模糊半径为：
[0036]
液晶透镜光焦度为p
lc(2)
= 1.86m-1
下，e光的模糊半径为：
[0037]
寻常光o光的模糊半径为：
[0038]
将分别代入式（1），式（2）中，得到
[0039]
将上式代入式（5）中得到和，并通过式（7）计算点p处候选深度di对应的能量函数q(p, di)，根据式（9）计算点p处的深度值：；然后根据式（8）计算其深度估计的置信度；其中取σi=0.005,根据计算得到的置信度p
p
，只保留置信度最高的前50%的深度估计的值，得到y和d，具体而言，对于输入为640*480的图像，其y为307200*1的向量，d为307200*307200的稀疏对角矩阵，如果位于p点的置信度p
p
大于1，则，否则d(p,p)=y(p)=0；利用pointrend算法对原始图像进行实例分割，得到图5所示的实例分割结果。
[0040]
利用该结果计算拉普拉斯矩阵l（可参考文献levin a, lischinski d, weiss y. a closed-form solution to natural image matting[j]. ieee transactions on pattern analysis and machine intelligence, 2007, 30(2): 228-242.），将l,c,y带入公式10计算得到补全后的深度图，如图6所示。对比图7所示增加偏振片的效果图，可以看出，本发明所提出的深度估计算法，明显提高了深度估计的准确度。
[0041]
又一个具体实施例中，可在所述步骤2中，预先设定深度估计范围，在深度估计范围内均匀取多个点，对应不同的深度d，重复步骤2至3，最后取置信度最大的点对应深度值为深度估计值，由于根据8式，置信度最大，对应着能量函数q最小，即取令能量函数q最小值的深度d。
[0042]
前文所述的为本发明的各个优选实施例，各个优选实施例中的优选实施方式如果
不是明显自相矛盾或以某一优选实施方式为前提，各个优选实施方式都可以任意叠加组合使用，所述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

技术特征：
1.一种无偏振片液晶透镜深度估计方法，其特征在于,包括以下步骤：步骤1.利用不带偏振片的液晶透镜成像系统对物体拍摄两张不同焦距下的图像i1,i2；且两次成像的光焦度p1,p2应满足：；；其中ra为光圈半径，s为像素单元大小，u为物距, v0为初始像距；步骤2. 建立未加偏振片的模糊退化模型k
np
为：k
np
=a
e *k
e
+ a
o * k
o
‑‑‑
（2）k
e
和k
o
分别为非寻常光和寻常光的点扩散函数,a
e
和a
o
分别为成像光线中非寻常光和寻常光占比, a
e
+a
o
=1；步骤3.对不同光焦度的图像i1,i2；分别根据公式（2）求出深度为d的物点的模糊退化函数k1(d), k2(d)，对两张图像分别建立滤波器组g1(d), g2(d)；(5)其中f和f-1
分别表示傅里叶变换和傅里叶逆变换；对于图像中坐标为p,深度为d的点,计算偏差e
rr
(p,d)如下：；计算能量函数q计算如下：；q是p点邻域ω(p)中的任意点，σ
i
为噪声的方差；则深度估计值：
ꢀꢀꢀꢀ
(9)argmin函数表示求出使q取得最小值的深度d。2.如权利要求1所述的无偏振片液晶透镜深度估计方法，其特征在于，还包括步骤4.深度补全：根据（8）式计算置信度p
p
（8）σ
i
为噪声的方差；设定置信度阈值p0，剔除置信度低于置信度阈值的点后，在剩余的点进行深度补全，具
体为：利用pointrend算法进行实例分割，得到实例分割结果；利用实例分割结果计算拉普拉斯矩阵l，利用深度估计的置信度计算可信序列矩阵c，利用剔除了错误深度估计的结果生成向量y，则补全后的深度为 d=(l+c)-1
*y 。3.如权利要求1所述的无偏振片液晶透镜深度估计方法，其特征在于，所述步骤2中的k
e
和k
o
由(1)式求得；
‑‑‑
(1)r为非寻常光或寻常光对应的模糊光斑的直径,x,y为像素坐标。4.如权利要求3所述的无偏振片液晶透镜深度估计方法，其特征在于，所述(1)式中的r计算过程为：非寻常光和寻常光对应的模糊光斑半径分别为：r
n
=r
a
v0(p
g-1/u-1/ v0)
ꢀꢀꢀ
(3)r
ej
=r
a
v0(p
g
+ p
lc(j)-1/u-1/ v0),j=1,2
ꢀꢀꢀ
(4)寻常光和非寻常光对应的模糊光斑的直径r分别等于（3）和（4）式计算出的模糊光斑半径的两倍；其中两次拍照液晶透镜调制的光焦度分别为p
lc(1)
，p
lc(2)
；p
g
为主透镜的光焦度,v0为像距, u为物体o距离光学系统距离。5.如权利要求1所述的无偏振片液晶透镜深度估计方法，其特征在于，a
e
=a
o
=0.5。6.如权利要求1所述的无偏振片液晶透镜深度估计方法，其特征在于，所述步骤3中，预先设定深度估计范围，在深度估计范围内均匀取多个点，对应不同的深度d，重复步骤2至3，最后根据公式（9）
ꢀꢀꢀ
(9)取置信度最大的点对应深度值为深度估计值。

技术总结
一种无偏振片液晶透镜深度估计方法，包括以下步骤：步骤1.利用不带偏振片的液晶透镜成像系统对物体拍摄两张不同焦距下的图像；步骤2. 建立未加偏振片的模糊退化模型；步骤3.对不同候选深度的目标成像分别求出模糊退化函数，建立滤波器组；计算能量函数和置信度，并最终得出深度估计值。采用本发明所述无偏振片液晶透镜深度估计方法，利用无偏振片的液晶透镜图像，直接进行深度估计，能够减少系统组件，并且提高深度估计的准确性。且提高深度估计的准确性。且提高深度估计的准确性。


技术研发人员：赖文杰 胡晓 刘志强 肖海峰 叶茂
受保护的技术使用者：电子科技大学
技术研发日：2023.02.13
技术公布日：2023/10/8