基于正反条纹的结构光亚像素零点求解方法、终端及设备与流程

1.本发明涉及三维视觉重建技术领域，具体涉及基于正反条纹的结构光亚像素零点求解方法、终端及设备。


背景技术：

2.在工业自动化、图形、人机交互和手术等多种应用中，结构光三角测量已成为形状测量的首选方法。结构光技术往往有一个重要的假设：场景点仅直接从光源接收照明。然而在许多现实场景中，场景点以互反射、子曲面或体积散射的形式间接接收照明。这些照明方式统称为全局或间接照明，很大程度上影响直接照明，并强烈依赖于场景的形状和材质。如果不考虑这些因素，会导致3d重建过程中出现大的系统误差。诸如互反射、扩散和亚表面散射等全局照明效应会严重降低基于结构光技术的3d扫描性能。
3.结构光重建领域的投影方式，被广泛使用的是格雷码和相移码，或者二者相结合的混合码。相移码由于其相位的求解连续性，三维重建的精度更高，但鲁棒性较格雷码较差，易受噪声和间接照明的影响。在存在反光、多径光干扰，或者扫描对象为透明、反光材质情况下，纯相移码或格雷码与相移码相结合的投影方法效果并不理想，因此多选用纯格雷码进行投影。
4.对于原始格雷码调制后的图像，如果存在较高强度的反光或较大范围的透明材质，会导致解相错误。所以引入原始格雷码的反向条纹进行二次投影，结合正反条纹的调制结果，确定最终的相位值。需要注意的是，由于格雷码为二进制解码，此处的相位值只能对应整像素点，精度有限。通常情况下，投影光机和相机的分辨率并不一致，需要进行亚像素相位求解，目前，为解决这一问题，移动条纹技术被提出，即再增加几幅二值投影图，移动步长为一个像素，用以确定亚像素点的相位值，但同时也增加了投影复杂程度。
5.此外，纯格雷码投影的相位求解难点在于黑白条纹的交界线并非理想的0/1突变，在灰度图中，往往模糊地跨越几个像素点，且格雷码的相位求解需先进行二值化，零点定位结果直接影响二值化的准确性，所以零点的定位非常关键。若要保证重建点云的平滑性和连续性，根据格雷码调制后的灰度图进行亚像素零点求解十分必要。


技术实现要素：

6.本发明的目的是提出一种基于正反条纹的结构光亚像素零点求解方法、终端及设备，以解决现有技术中全局照明效应对相位求解的影响，以及投影复杂的问题，从而提高3d重建的准确性和完整性。
7.为达到上述发明目的，本发明采用的技术方案是：
8.一种基于正反条纹的结构光亚像素零点求解方法，包括如下步骤：
9.步骤s1:生成正反两组格雷码条纹,在同一环境下，通过所述正反两组格雷码条纹对目标物进行采图，并对应获取正反两组灰度图；
10.步骤s2：将所述正反两组灰度图中相对应的正反投影条纹灰度图做差，并将结果
二值化，消除环境光影响的同时，对零点进行像素级粗定位；
11.步骤s3：以粗定位的零点为原点，结合三次样条插值原理，对系数矩阵进行伪逆运算后得到四组卷积核，在整幅做差图像上分别进行卷积运算，得出三次插值方程的系数，利用三次求根得到一组精定位的零点坐标；
12.步骤s4：取步骤s3中求得的三个根中绝对值最小的根，并删除步骤s3的求解过程中分布不合理的零点，排除噪声影响，以获取真实零点的亚像素坐标。
13.进一步地，所述步骤s1具体实现如下步骤：
14.步骤s11：通过投影仪将正格雷码条纹投影于所述目标物上，并通过相机获取投影在所述目标物上的所述正格雷码条纹以获取正灰度图；
15.步骤s12：在同一环境下，通过投影仪将反格雷码条纹投影于所述目标物上，并通过相机获取投影在所述目标物上的所述反格雷码条纹以获取反灰度图。
16.进一步地，所述同一环境包括处于同一光照方向、投影仪投影方向和相机拍摄方向中的环境，或者，处于光照方向相同、投影仪投影方向相同和相机拍摄方向相同的环境。
17.进一步地，所述步骤s2中，粗定位的零点分布分为两种情况，一种为差值由正到负或由负到正，另一种为差值由正到零再到负或由负到零再到正。
18.进一步地，所述步骤s3中，真实零点均在卷积后取值为零点的右侧，分别定义两种卷积核以提取两组精定位的零点坐标。
19.本发明还提供一种终端，包括处理器、存储器以及至少一个计算机程序，所述计算机程序被存储在所述存储器中，并被配置为由所述处理器执行，所述计算机程序包括用于执行如上述任一项所述的基于正反条纹的结构光亚像素零点求解方法的指令。
20.本发明还提供一种3d重建设备，包括：
21.终端，用于生成正反两组格雷码条纹并执行如上述任一项所述的基于正反条纹的结构光亚像素零点求解方法；
22.投影仪，与所述终端信号连接，所述投影仪用于将所述正反两组格雷码条纹投影至目标物上；
23.相机，与所述终端信号连接，所述相机用于拍摄投影至所述目标物上的所述正反两组格雷码条纹，并将拍摄的图片发送至所述终端。
24.本发明还提供一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行如上述任一项所述的基于正反条纹的结构光亚像素零点求解方法。
25.由于上述技术方案的运用，本发明与现有技术相比的有益效果在于：
26.本技术可在不增加投影图数量以加大投影复杂度的前提下，基于正反格雷码条纹的调制灰度图，利用做差后二值化粗定位、三次插值卷积核精定位的方法求解出正反投影条纹交界处的亚像素零点坐标，使得解相更高效，对于具备反光特性、存在多径光干扰的场景，降低了解相误码率，提高了3d重建的准确性和完整性，有利于后续的工程应用。
附图说明
27.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见，下面描述中的附
图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1显示了本发明实施例提供的基于正反条纹的结构光亚像素零点求解方法的流程示意图；
29.图2显示了本实施例选取的反光材质实验对象的原始图；
30.图3显示了图2所示的反光材质实验对象通过基于正反条纹的结构光亚像素零点求解方法处理后得到的三维重建图。
具体实施方式
31.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
32.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
33.在本技术中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
34.并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。
35.此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
36.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
37.请参见图1，本发明一实施例提供一种基于正反条纹的结构光亚像素零点求解方法，该方法包括如下步骤：
38.步骤s1:生成正反两组格雷码条纹,在同一环境下，通过正反两组格雷码条纹对目标物进行采图，并对应获取正反两组灰度图。
39.其中，步骤s1具体实现如下步骤：
40.步骤s11：通过投影仪将正格雷码条纹投影于目标物上，并通过相机获取投影在目
标物上的正格雷码条纹以获取正灰度图；
41.步骤s12：在同一环境下，通过投影仪将反格雷码条纹投影于目标物上，并通过相机获取投影在目标物上的反格雷码条纹以获取反灰度图。
42.需要说明的是，上述的同一环境包括处于同一光照方向、投影仪投影方向和相机拍摄方向中的环境，或者，处于光照方向相同、投影仪投影方向相同和相机拍摄方向相同的环境。
43.步骤s2：将正反两组灰度图中相对应的正反投影条纹灰度图做差，并将结果二值化，消除环境光影响的同时，对零点进行像素级粗定位。
44.其中，步骤s2中，粗定位的零点分布分为两种情况，一种为差值由正到负或由负到正，另一种为差值由正到零再到负或由负到零再到正。
45.二值化是图像处理中常用的一种操作，指将灰度图像转换为黑白图像的过程。在二值化处理中，图像中的每个像素都被转换为黑色或白色，具体取决于它的灰度值是否超过了设定的阈值，具体的，二值化的原理基于灰度图像的特性，灰度图像中的每个像素具有一个灰度值，表示它的亮度大小，在二值化处理中，我们将灰度值超过阈值的像素置为白色，灰度值低于阈值的像素置为黑色，这样就得到了一个黑白图像，其中黑色像素表示低灰度值的像素，白色像素表示高灰度值的像素。为现有技术，在此不详细展开。
46.步骤s3：以粗定位的零点为原点，结合三次样条插值原理，对系数矩阵进行伪逆运算后得到四组卷积核，在整幅做差图像上分别进行卷积运算，得出三次插值方程的系数，利用三次求根得到精定位的零点坐标。
47.需要说明的是，步骤s3中，真实零点均在卷积后取值为零点的右侧，分别定义两种卷积核以提取两组精定位的零点坐标，以提高提取的精定位的零点坐标的准确性。上述的三次样条插值原理、伪逆运算、卷积运算均为现有常规的数学推导过程，其应用到的公式、计算方式都为现有的，在此不做赘述。
48.步骤s4：取步骤s3中求得的三个根中绝对值最小的根，并删除步骤s3的求解过程中分布不合理的零点，排除噪声影响，以获取真实零点的亚像素坐标。
49.如图2和图3所示，为应用本发明实施例提供的基于正反条纹的结构光亚像素零点求解方法处理后得到的试验目标物的三维重建图，该试验目标物具体选用具有反光材质的物体。
50.由上述内容可知，本发明实施例提供的基于正反条纹的结构光亚像素零点求解方法可在不增加投影图数量以加大投影复杂度的前提下，基于正反格雷码条纹的调制灰度图，利用做差后二值化粗定位、三次插值卷积核精定位的方法求解出正反投影条纹交界处的亚像素零点坐标，使得解相更高效，对于具备反光特性、存在多径光干扰的场景，降低了解相误码率，提高了3d重建的准确性和完整性，有利于后续的工程应用。
51.本发明实施例还提出一种终端，该终端包括处理器、存储器以及至少一个计算机程序，计算机程序被存储在存储器中，并被配置为由处理器执行，计算机程序包括用于执行如上述的基于正反条纹的结构光亚像素零点求解方法的指令。
52.本领域技术人员可以理解，为了便于说明，以存储器和处理器的数量均设置有一个为例进行说明。在实际的终端或服务器中，可以存在多个处理器和存储器。存储器也可以称为存储介质或者存储设备等，本技术实施例对此不做限制。
53.应理解，在本技术实施例中，处理器可以是中央处理单元，该处理器还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器还可以采用通用的微处理器、图形处理器或者一个或多个集成电路，用于执行相关程序，以实现本技术实施例所需执行的功能。
54.还应理解，本技术实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器或闪存。易失性存储器可以是随机存取存储器，其用作外部高速缓存。
55.该存储器还可以是只读光盘或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在的，通过总线与处理器相连接。存储器也可以和处理器集成在一起，存储器可以存储程序，当存储器中存储的程序被处理器执行时，处理器用于执行本技术上述实施例中确定方法的各个步骤。
56.需要说明的是，当处理器为通用处理器、dsp、asic、fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
57.本发明实施例还提供一种3d重建设备，该3d重建设备包括终端和分别与终端信号连接的投影仪和相机，其中，终端用于生成正反两组格雷码条纹并执行如上述的基于正反条纹的结构光亚像素零点求解方法。投影仪用于将正反两组格雷码条纹投影至目标物上。相机用于拍摄投影至目标物上的正反两组格雷码条纹，并将拍摄的图片发送至终端。
58.本发明实施例还提供一种计算机可读存储介质，该计算机存储介质存储有计算机程序，计算机程序包括程序指令，程序指令被处理器执行时使处理器执行如上述的基于正反条纹的结构光亚像素零点求解方法。
59.最后应说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于正反条纹的结构光亚像素零点求解方法，其特征在于，包括如下步骤：步骤s1:生成正反两组格雷码条纹,在同一环境下，通过所述正反两组格雷码条纹对目标物进行采图，并对应获取正反两组灰度图；步骤s2：将所述正反两组灰度图中相对应的正反投影条纹灰度图做差，并将结果二值化，消除环境光影响的同时，对零点进行像素级粗定位；步骤s3：以粗定位的零点为原点，结合三次样条插值原理，对系数矩阵进行伪逆运算后得到四组卷积核，在整幅做差图像上分别进行卷积运算，得出三次插值方程的系数，利用三次求根得到一组精定位的零点坐标；步骤s4：取步骤s3中求得的三个根中绝对值最小的根，并删除步骤s3的求解过程中分布不合理的零点，排除噪声影响，以获取真实零点的亚像素坐标。2.如权利要求1所述的基于正反条纹的结构光亚像素零点求解方法，其特征在于，所述步骤s1具体实现如下步骤：步骤s11：通过投影仪将正格雷码条纹投影于所述目标物上，并通过相机获取投影在所述目标物上的所述正格雷码条纹以获取正灰度图；步骤s12：在同一环境下，通过投影仪将反格雷码条纹投影于所述目标物上，并通过相机获取投影在所述目标物上的所述反格雷码条纹以获取反灰度图。3.如权利要求2所述的基于正反条纹的结构光亚像素零点求解方法，其特征在于，所述同一环境包括处于同一光照方向、投影仪投影方向和相机拍摄方向中的环境，或者，处于光照方向相同、投影仪投影方向相同和相机拍摄方向相同的环境。4.如权利要求1所述的基于正反条纹的结构光亚像素零点求解方法，其特征在于，所述步骤s2中，粗定位的零点分布分为两种情况，一种为差值由正到负或由负到正，另一种为差值由正到零再到负或由负到零再到正。5.如权利要求4所述的基于正反条纹的结构光亚像素零点求解方法，其特征在于，所述步骤s3中，真实零点均在卷积后取值为零点的右侧，分别定义两种卷积核以提取两组精定位的零点坐标。6.一种终端，其特征在于，包括处理器、存储器以及至少一个计算机程序，所述计算机程序被存储在所述存储器中，并被配置为由所述处理器执行，所述计算机程序包括用于执行如权利要求1-5任一项所述的基于正反条纹的结构光亚像素零点求解方法的指令。7.一种3d重建设备，其特征在于，包括：终端，用于生成正反两组格雷码条纹并执行如权利要求1-5任一项所述的基于正反条纹的结构光亚像素零点求解方法；投影仪，与所述终端信号连接，所述投影仪用于将所述正反两组格雷码条纹投影至目标物上；相机，与所述终端信号连接，所述相机用于拍摄投影至所述目标物上的所述正反两组格雷码条纹，并将拍摄的图片发送至所述终端。8.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行如权利要求1-5任一项所述的基于正反条纹的结构光亚像素零点求解方法。

技术总结
本申请公开基于正反条纹的结构光亚像素零点求解方法、终端及设备，该方法包括：生成正反两组格雷码条纹；在同一环境下，通过正反两组格雷码条纹对目标物进行采图并对应获取正反两组灰度图；将正反两组灰度图中相对应的正反投影条纹灰度图做差并将结果二值化，消除环境光影响的同时，对零点进行像素级粗定位；以粗定位的零点为原点，结合三次样条插值原理，对系数矩阵进行伪逆运算后得到四组卷积核，在整幅做差图像上分别进行卷积运算，得出三次插值方程的系数，利用三次求根得到一组精定位的零点坐标；取三个根中绝对值最小的根，并删除求解中分布不合理的零点，排除噪声影响，以获取真实零点的亚像素坐标。可提高3D重建的准确性和完整性。性和完整性。性和完整性。


技术研发人员：姜钰 李俊 余章卫
受保护的技术使用者：苏州中科行智智能科技有限公司
技术研发日：2023.07.03
技术公布日：2023/9/6