一种反射率不一致物体的精确三维重建方法

1.本发明涉及一种反射率不一致物体的精确三维重建方法，属于光学测量技术领域。


背景技术：

2.条纹投影轮廓术（fpp）是一种典型的基于相位的方法，可以建立像素级的图像对应关系并以每秒数千帧的速度感知3-d数据。在fpp中，由于相机的透镜像差和衍射极限，系统点扩散函数（psf）变得非理想且尺寸有限。正如我们所知，拍摄的强度是每个像素的psf内部强度的积分，这将偏离其包含不连续反射率的表面区域的实际强度。例如，低反射率区域拍摄的强度将与高反射率区域的强度进行平均，这将在不连续区域周围计算相位阶段产生错误。相位误差将导致建立像素对应的误差，从而产生不可忽略的不连续反射率（dr）误差。
3.fpp可以通过先估计psf分布然后用最近的正确的区域补偿错误区域的方式减少dr误差。这种psf估计方法均方根高度误差降低到原来的三分之一，但是对有急剧深度变化的物体很难确定正确的区域。最近提出了一种基于反卷积的减少误差的方法，它先校准相机psf，然后检索所需的相位恢复模式。psf估计方法最多可将rms高度误差降低四倍，但其反卷积的振铃效应会在特征细节和深度急剧变化等区域引入波纹误差。
4.通常当psf标准偏差小于8时，相位误差可以小于0.3rad。如果条纹频率大于0.05，则像素对应误差通常小于测量范围内的一个像素。dr误差与相机psf的大小成正比，可以通过减轻散焦水平或增加场景的采集分辨率来减少dr误差。因此，我们可以通过选择高分辨率相机直接减小dr误差，但这会大大增加系统成本。此外，如果我们能在场景被投影图案调制之前对相邻像素的不连续反射率进行归一化，则可以检索到所需要的图案，但是很难获得fpp的场景反射率。
5.与基于特征和基于相位的3-d重建技术不同，单像素成像测量方法（sim）通过跟踪相机和投影仪之间的场景强度一致性来建立图像对应关系。通过将每个相机像素视为单像素探测器，sim投影具有全图像空间频率的图案并在变化域中获取具有全空间频率的光谱分量，可以通过逆变换重建场景反射率。重建场景是相机psf和反射光的卷积，所需像素坐标是重建场景的灰度中心。当相机psf包含不连续反射率的时候，灰度中心会向偏向分辨率高的区域。因此引入了图像对应错误并导致dr误差。
6.如前所述，通过在计算对应像素之前对重建场景不连续反射率进行归一化，可以降低dr误差。每个相机像素的重建场景反射率的总和是调制的投影仪光强度，它与场景反射率成正比。因此，对每个相机像素的拍摄场景反射率进行归一化能够降低dr误差。然而，传统的sim由于编码模式众多，例如数千帧，会非常耗时。
7.总之，fpp具有更高效率，但是会引入dr误差。而sim需要较长的采集时间，但展示了显示出更精准的3-d测量的潜力。


技术实现要素：

8.为了解决上述技术问题，本发明公开了一种反射率不一致物体的精确三维重建方法，构建了fpp和sim的dr误差模型，通过反射率归一化来补偿sim的dr误差。由于si的采集时间极长，我们采用并行单像素成像技术，并使用fpp建立像素级对应，以加速数据采集。其具体技术方案如下：一种反射率不一致物体的精确三维重建方法，包括以下步骤：一、通过投影仪将一组相移的正弦条纹图案投射到被测物体上，并通过相机捕获从所述被测物体表面反射的相移正弦条纹图案；二、基于相机捕获的相移正弦条纹图案，通过相移和相位展开获得绝对相位，使用fpp建立粗糙像素对应关系；三、通过投影仪将一组哈达玛条纹图案投射到被测物体上，并通过相机捕获从所述被测物体表面反射的哈达玛条纹图案；四、基于相机捕获的哈达玛条纹图案，使用哈达玛逆变换获得产生误差的亚像素坐标，计算出拍摄物体反射率，并建立亚像素对应关系；五、在sim单像素成像技术中，计算每个相机像素捕捉的场景反射率，并计算出投影仪拍摄的物体反射率，对拍摄的反射率进行归一化，并对像素对应误差进行补偿。
9.进一步地，所述步骤一中相机的像素唯一对应具有相同相位的投影仪的像素，设定正弦条纹图案的场景点由投影仪像素照亮并由相机像素（x，y）拍摄，所述相机像素（x，y）所拍摄图案的强度为
10.其中，a和b分别表示条纹背景和振幅，表示包裹相位，范围是，n表示使用条纹图案的总数。
11.进一步地，所述步骤二的绝对相位为
12.其中，表示包裹相位，（x，y）为相机像素，k是需要确定的条纹顺序，所述粗糙像素对应关系建立为
13.其中，uc和vc表示投影仪像素级坐标对应关系，round表示取整运算符，u和v代表投影仪分辨率。
14.进一步地，所述步骤三中使用哈达玛基础模式重建场景反射率和初始像素，哈达玛基础模式通过对德尔塔函数应用逆哈达玛变化得出：
[0015][0016]
其中，（m，n）是哈达玛域中的坐标，m0，n0分别表示沿（m，n）方向的符号变化次数，
表示逆哈达玛变化。
[0017]
特别地，选择16*16像素的哈达玛矩阵来覆盖每个相机像素的可见区域。因此，使用一系列具有像素周期的周期性扩展模式来加速采集，测量所需的哈达玛基础模式为512帧。
[0018]
进一步地，所述步骤四通过的哈达玛逆变化，获得由一个相机像素拍摄的场景反射率，其中，表示逆哈达玛变化，表示采样值，通过灰度质心法计算反射率不连续而产生误差的亚像素坐标；通过计算投影仪拍摄的物体反射率，其中xc和yc表示相机分辨率，并计算出亚像素误差与相反的亚像素坐标，由此建立亚像素对应关系。
[0019]
进一步地，所述步骤五中将拍摄的反射率用归一化，归一化后的像素对应关系转换为
[0020]
其中，表示（x，y）对应的可见区域，得出补偿后对应投影仪像素坐标：
[0021]
补偿后的像素对应误差：
[0022]
其中，表示归一化前的坐标误差，表示归一化后的坐标误差，表示自定义系数，，，表示被投射光照射到的场景的实际反射率，表示系统点扩散函数psf。
[0023]
本发明首先构建了fpp和sim的dr误差模型，由此得出结论：sim的dr误差可以通过反射率归一化来补偿。基于上述结论，提出了一种基于反射率的精确三维重建方法，在不连续反射率下能够减轻dr误差。此外，由于si的采集时间极长，我们采用并行单像素成像技术，并使用fpp建立像素级对应，以加速数据采集。误差模型和实验结果都验证了所提出的
方法可以重建具有不连续反射率的精确3-d形状。
有益效果
[0024]
与现有技术相比，本发明所提供的一种基于反射率的误差补偿方法，一方面使用fpp建立粗糙像素对应关系，另一方面使用sim获得亚像素坐标，然后基于反射率归一化进行dr误差去除，有效提高了三维重建的精度。
附图说明
[0025]
图1为本发明的光传输示意图，（a）为系统psf理想条件下，（b）为系统psf非理想条件下；图2为本发明提出的基于反射率的精确3-d重建方法的示意图；图3为本发明的实验装置示意图；图4为不同拍摄图像分辨率的三维重建结果示意图，（a）为低分辨率，（b）为中分辨率，（c）为高分辨率；图5为不同投影条纹图案频率的精度评估示意图，（a）为4种不同频率的条纹图测量的三维形状误差图，（b）为一条线的高度误差图；图6为精度估计示意图，（a）为条纹周期20像素的传统fpp、传统sim和提出的基于反射率的精确3-d重建方法的重建误差对比，（b）为fpp重建的3-d形貌，（c）为传统sim重建的3-d形貌，（d）为本发明提出的基于反射率的精确3-d重建方法重建的3-d形貌，（e）为fpp重建的3-d形貌的误差分布，（f）传统sim为重建的3-d形貌的误差分布，（g）为本发明提出的基于反射率的精确3-d重建方法重建的3-d形貌的误差分布；图7为复杂表面物体的三维形状示意图，（a）为拍摄的场景，（b）为由fpp重建的3-d形貌，（c）为本发明提出的基于反射率的精确3-d重建方法重建的3-d形貌。
实施方式
[0026]
现在结合附图对本发明作进一步详细的说明。
[0027]
一、fpp误差分析：在fpp中，投影仪将一组相移的正弦条纹图案投射到物体上，相机捕捉从物体表面反射的这些图案。相机的每个像素将唯一对应具有相同相位的投影仪像素。这些条纹被设计为，其中，（u，v）表示投影仪坐标，表示平均强度，表示振幅，表示条纹频率，表示使用条纹图案的总数。
[0028]
我们假设当光线从投影仪像素点（u，v）发出并到达相机像素点（x，y），一个相机像素拍摄的场景反射率可以表示为r（u，v，x，y）。那么，相机拍摄的图像可以表示为
[0029]
其中u*v代表投影仪分辨率。
[0030]
为了更加清晰，我们在图1中说明了光传输过程。如图1中的（a）所示，当系统psf理想时，相机像素（x，y）接收到物体表面反射的光，是该物体表面被投影仪像素（u，v）照亮的。但是当系统psf不理想时，相机像素（x，y）接收物体表面发射的光，是该物体表面被几个邻近的投影仪像素照亮的，例如图1中的（b）所示的（u0，v0），（u1，v1）和（u2，v2）。由（u0，v0），（u1，v1）和（u2，v2）照亮的局部表面区域，分别具有不连续反射率，和。
[0031]
对于任何具有理想psf的投影仪-相机系统，相机的一个像素仅接收从投影仪的一个像素发出的光。在这种情况下，包裹相位可以表示为
[0032]
其中，（u0，v0）代表相机像素对应的投影仪像素，r（u0，v0；x，y）代表拍摄的场景点的场景反射率。
[0033]
由于相机和投影仪的衍射极限，非理想的psf会产生模糊效应。相机的每个像素都接收来自投影仪传感器一小块区域的光，包裹相位变成。
[0034]
由投影仪-相机系统的psf引起的相位误差可由下式获得
[0035]
其中，是方差为的高斯误差函数。与成正比，与也成正比。
[0036]
相应的投影仪坐标为
[0037]
因此，fpp的像素对应误差可以表示为
[0038]
从fpp的像素对应误差，我们可以总结出以下几点：（i）与成反比。在fpp中，高频导致3-d传感的高精度。但是，与成正比，因
此，简单地提升是很难降低的。
[0039]
（ii）与成正比。与拍摄的场景分辨率成正比。因此，可以通过增加拍摄的场景分辨率或估计准确的空间变化psf来减少。然而，很难进行精确的psf估计。
[0040]
（iii）与成正比。但是，与被测场景有关，它无法在pff中进行测量。
[0041]
综上所述，在fpp中，dr误差与系统psf、条纹频率和两种不同反射率的差异有关。这些影响因素很难被改变，因此在fpp中的dr误差很难得到减少。
[0042]
二、sim误差分析在sim中，一系列基础模式被投射到被测场景上。拍摄的强度可以表示为
[0043]
其中，rc（u，v；x，y）表示由投影仪像素（u，v）照亮并由一个相机像素（x，y）拍摄的场景点的反射率，表示投影图案的强度。由于系统psf的存在，rc（u，v；x，y）可以表示，其中表示系统psf，r表示被投射光照射到的场景的实际反射率。傅里叶基础模式和哈达码基础模式是si中使用的两种具有代表性和确定性模型模式。选择哈达玛基础模式以获得更高的数据采集效率。
[0044]
这里，hsi通过重建拍摄场景
[0045]
其中，表示逆哈达玛变化，。
[0046]
当物体包含均匀的表面反射率时，可以通过计算拍摄的反射率的灰度中心来建立（x，y）和（u，v）的对应关系。以u轴为例，我们有坐标
[0047]
其中，表示（x，y）对应的可见区域。
[0048]
不连续反射率边缘的灰度中心变为
[0049]
其中，和分别表示具有不同反射率和的局部表面。
[0050]
像素对应误差可以通过
[0051]
其中表示由一个相机像素（x，y）拍摄的场景反射率。由此可知，与成反比，与正比。
[0052]
从像素对应误差公式，我们可以总结出以下几点：（i）与成正比。与拍摄的场景分辨率成正比。因此，只能通过提高相机分辨率来减轻的影响。
[0053]
（ii）与成反比。取决于相机和测量场景，并且无法更改。
[0054]
（iii）与成正比。可以通过减少来降低，这可以通过将与归一化来实现。
[0055]
被测场景由投影仪照亮被相机捕捉。每个相机像素的捕捉反射率由si计算。可以转换到dmd平面，可以看作是投影仪“拍摄”的场景反射率。通过将和除以，即归一化拍摄的反射率，和在等式12中变为，如果是理想的psf，则变为。
[0056]
综上所示，在sim中，dr误解与系统psf、反射率分布以及两种不同反射率之间的差异有关。前两个因素在sim中无法更改。sim系统中的dr误差可以通过归一化拍摄的反射率来减轻。
[0057]
三、在不连续反射率下基于反射率的精确3-d重建的原理如图2所示，在sim中，计算每个相机像素捕捉的场景反射率。由此可以计算出调制后的投影光强，对拍摄的反射率进行归一化，并对像素对应误差进行补偿。
[0058]
通过计算投影仪拍摄的物体反射率，其中xc和yc表示相机分辨率。
[0059]
为了消除dr误差，将拍摄的反射率用归一化，并将像素对应关系转换为
[0060]
如上所述，如果系统psf是理想的，则。然而，如果不是一个理想的psf，计算出的相应的投影仪像素可以表示为，其中，和。
[0061]
因此，像素对应误差可以表示为
[0062]
其中，并且当和可以获得最大值。
[0063]
可以得出结论，通过用归一化，得到与等式12结果相反的误差像素对应，从而实现像素对应的误差补偿。
[0064]
因此，可以计算出准确的对应投影仪像素坐标
[0065]
补偿后的像素对应误差为
[0066]
考虑到，我们可以得出结论。
[0067]
由于si的数据采集时间极长，我们采用并行单像素成像技术，fpp用于像素级对应关系的建立。
[0068]
四、实验实验采用一台分辨率为1920*1080的dlp6500投影仪、一台分辨率为的basleraca800-510umcmos相机和一个焦距为16mm的适配相机镜头。被测物体放置在测距系统约0.5m的位置。对于fpp，通过选择，n=25，生成25个相移图案，每次测量需要2
秒。对于sim，使用周期为16个像素的周期扩展模式，投影512帧哈达玛基础模式，每次测量需要6秒。实验配置如图3所示。
[0069]
我们通过以下实验进一步测试了所提出的基于反射率的精确3-d重建方法的性能。测量标定板、反射率不连续的瓶子和彩色玩具。重建标定板的平面拟合误差用于3-d精度评估。
[0070]
图4展示了用三种不同分辨率的条纹图像测量三维形状。在图4中的（a）中，用低分辨率条纹图像重建的三维形状在不连续的反射率边缘周围有明显的误差。在图4中的（b）和（c）中，这个误差随着条纹图像分辨率的增大而变小。
[0071]
图5验证了投影条纹频率的影响。本实验使用了四个频率，，，和。实验结果如图5所示，图5中的（a）为4种不同频率的条纹图测量的三维形状误差图，图5中的（b）为一条线的高度误差。可以得出结论，随着条纹频率的增加，平面拟合误差减小。然而，不连续反射率边缘的误差不能通过降低条纹频率来消除。
[0072]
图6显示了三种方法重建三维形状的误差分布。图6中的（a）是捕捉图像第221行的深度误差，fpp、传统sim和提出的基于反射率的精确3-d重建方法重建的三维形状的深度误差分别由不同线绘制。如图6中的（b）、（c）和（d）所示，可以得出结论，fpp和传统sim重建的三维形状深度误差相似。而通过所提出的基于反射率的精确3-d重建方法重建的三维形状的深度误差显著降低。结果现实，深度误差可以减少到传统fpp的1/6。如图6中的（e）和（f）所示，fpp重建的三维形状的平面拟合误差为0.071mm，高于sim的平面拟合误差为0.043mm。可能的原因是sim在低反射率区域表现更好。此外，在不连续的反射率边缘处存在明显的误差。而如图6中的（g）所示，不连续反射率边缘处的平面拟合误差显著降低。通过所提出的基于反射率的精确3-d重建方法重建的三维形状，平面拟合误差降低到0.033mm。图6的最后一行显示了第三行绘制的方块内的平面拟合误差。很明显，通过所提出的方法重建的三维形状的平面拟合误差是均与分布的，而传统fpp和sim重建的3-d形状在不连续的反射率边缘处具有较大的误差。
[0073]
图7的第一行中，测量了一个带有白色字的黑色瓶子。在方块中，可以清楚地看到在黑白边界处传统fpp重建的三维形状存在误差，而采用我们所提出的方法重建的三维形状误差较小。在图7的第二行中，对彩色玩具进行了测量。在眼部方块中，在黑线处fpp重建的三维形状存在凹陷，而我们所提出的方法重建的三维形状是光滑的。在身体方块中，黑色区域在fpp重建的3-d形状中凸起，而通过所提出的方法重建的三维形状是平滑的。
[0074]
综上所述，本发明从构建的误差模型可以得出结论，fpp和sim中的dr误差均受系统psf和场景反射率的影响。由于场景反射率位置，很难减轻fpp中的dr误差。同时，可以通过sim中的反射率归一化来消除dr误差。结合fpp的高速度和sim的高精度，提出了一种基于反射率的精确三维重建方法。fpp测量需要25帧，sim需要512帧，与传统sim相比显著减少。实验表明，该方法可以有效地减少测量误差，适用于简单和复杂物体的测量。
[0075]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容。

技术特征：
1.一种反射率不一致物体的精确三维重建方法，其特征在于，包括以下步骤：一、通过投影仪将一组相移的正弦条纹图案投射到被测物体上，并通过相机捕获从所述被测物体表面反射的相移正弦条纹图案；二、基于相机捕获的相移正弦条纹图案，通过相移和相位展开获得绝对相位，使用fpp建立粗糙像素对应关系；三、通过投影仪将一组哈达玛条纹图案投射到被测物体上，并通过相机捕获从所述被测物体表面反射的哈达玛条纹图案；四、基于相机捕获的哈达玛条纹图案，使用哈达玛逆变换获得产生误差的亚像素坐标，计算出拍摄物体反射率，并建立亚像素对应关系；五、在sim单像素成像技术中，计算每个相机像素捕捉的场景反射率，并计算出投影仪拍摄的物体反射率，对拍摄的反射率进行归一化，并对像素对应误差进行补偿。2.根据权利要求1所述的反射率不一致物体的精确三维重建方法，其特征在于：所述步骤一中相机的像素唯一对应具有相同相位的投影仪的像素，设定正弦条纹图案的场景点由投影仪像素照亮并由相机像素（x，y）拍摄，所述相机像素（x，y）所拍摄图案的强度为：，其中，a和b分别表示条纹背景和振幅，表示包裹相位，范围是，n表示使用条纹图案的总数。3.根据权利要求1所述的反射率不一致物体的精确三维重建方法，其特征在于：所述步骤二的绝对相位为：，其中，表示包裹相位，（x，y）为相机像素，k是需要确定的条纹顺序，所述粗糙像素对应关系建立为：，其中，u
c
和v
c
表示投影仪像素级坐标对应关系，round表示取整运算符，u和v代表投影仪分辨率。4.根据权利要求1所述的反射率不一致物体的精确三维重建方法，其特征在于：所述步骤三中使用哈达玛基础模式重建场景反射率和初始像素，哈达玛基础模式通过对德尔塔函数应用逆哈达玛变化得出：，，其中，（m，n）是哈达玛域中的坐标，m0，n0分别表示沿（m，n）方向的符号变化次数，表示逆哈达玛变化。5.根据权利要求1所述的反射率不一致物体的精确三维重建方法，其特征在于：所述步
骤四通过的哈达玛逆变化，获得由一个相机像素拍摄的场景反射率，其中，表示逆哈达玛变化，表示采样值，通过灰度质心法计算反射率不连续而产生误差的亚像素坐标；通过计算投影仪拍摄的物体反射率，其中x
c
和y
c
表示相机分辨率，计算出亚像素误差与相反的亚像素坐标，由此建立亚像素对应关系。6.根据权利要求5所述的反射率不一致物体的精确三维重建方法，其特征在于：所述步骤五中将拍摄的反射率用归一化，归一化后的像素对应关系转换为，其中，表示（x，y）对应的可见区域，得出补偿后对应投影仪像素坐标：，补偿后的像素对应误差：，其中，表示归一化前的坐标误差，表示归一化后的坐标误差，表示自定义系数，，表示被投射光照射到的场景的实际反射率，表示系统点扩散函数psf。

技术总结
本发明涉及一种反射率不一致物体的精确三维重建方法，属于光学测量技术领域，通过FPP构建误差模型，得出结论条纹投影轮廓术的不连续反射率的误差与相机的点扩散函数和场景反射率均有关。因为未知场景反射率，很难减轻FPP的不连续反射率的误差，而后引入单像素成像来重建场景反射率，并使用投影仪“拍摄”的场景反射率对场景进行归一化。通过归一化的场景反射率，计算出与原始反射率相反的误差的像素对应关系来去除不连续反射率的误差。本发明主要通过使用FPP建立像素对应关系，使用具有反射率归一化的单像素进行细化。在不同反射率分布的场景下验证了分析结果和测量精度，结论是该方法的测量误差是传统FPP的1/6，测量时间为6秒。测量时间为6秒。测量时间为6秒。


技术研发人员：于浩天 郑东亮 韩静 吕嫩晴 徐馨雅 周昕怡
受保护的技术使用者：南京理工大学
技术研发日：2023.06.12
技术公布日：2023/7/12