一种多频结构光时域最小二乘拟合三维动态测量方法

1.本发明属于三维形貌动态测量领域，具体涉及一种多频结构光时域最小二乘拟合三维动态测量方法。


背景技术：

2.电子设备与计算机技术的快速发展进步促使三维测量不断取得新的突破，并被商业化推广。目前，在工业逆向设计、医疗整形、文物保护等多个领域，三维测量已有较为成熟的应用，但大多局限于静态测量场景。随着研究深入，对物体运动过程中的三维形态特征进行实时测量与分析逐渐成为新的热点，如研究材料受激变形、振动特性以及物体运动过程等，以便深入分析材料的物理参数、动态特性以及物体运动参数。传统三维测量方法很难同时满足动态测量对精度和效率的需求，因此研究新的三维动态测量方法具备重要意义。
3.结构光投影测量技术以其非接触、高精度、高效率的优点广泛应用于三维测量领域。结构光投影轮廓术主要分为传统相移方法和单帧图像变换方法两类。其中，传统相移方法至少需要3帧及以上的相移图像序列进行相位求解。由于融合了多帧图像信息，且每个像素点独立求解，因此该方法具备高精度和高鲁棒性的优点。然而，在动态场景中，物体运动会导致不同图像帧之间发生相位偏移误差，因而传统相移方法仅适用于静态测量场景。相较而言，单帧图像变换方法只需单帧采样即可进行相位解析，是一种高效的动态测量方法，其中最具代表的便是傅里叶变换方法。然而，傅里叶变换方法存在频谱泄露的固有缺陷，在复杂表面特征区域容易导致测量失真，因此难以满足动态场景下高精度的测量需求。
4.由此可见，传统结构光相移方法以及单帧傅里叶变换方法在新的动态测量场景下面临测量效率与测量精度相矛盾的难题。为满足高效、高精度的动态测量需求，需要在上述两种方法的基础上进行精度与效率之间的平衡。


技术实现要素：

5.本发明的目的在于提供一种多频结构光时域最小二乘拟合三维动态测量方法，通过时域多频图像拟合方式进行相位解析，消除由单帧图像傅里叶变换频谱泄露引起的测量误差，提升结构光三维动态测量方法的效率和精度。
6.本发明所提供的具体方案包括以下步骤：
7.s1.多频结构光时域投影采样：采用投影仪向被测物体连续循环投影多种频率(不低于3种)的正弦结构光，通过相机采集经正弦结构光反射得到的多张条纹图像，将所有条纹图像根据频率循环投影顺序组成多频条纹序列并传给计算机；
8.s2.采样图像傅里叶变换：计算机对多频条纹序列中的每一张条纹图像进行傅里叶变换与频谱滤波，得到每一张条纹图像的傅里叶相位；
9.s3.傅里叶相位差分：多频条纹序列中每一张条纹图像都做一次中心图像，根据傅里叶相位计算中心图像与其前后相邻的条纹图像间的差分相位，从而得到每一张条纹图像所对应的差分相位序列；
10.s4.最小二乘拟合：每一张条纹图像都利用自身对应的差分相位序列进行最小二乘拟合运算，获取每一张条纹图像的包裹相位；
11.s5.多频相位解包裹：联合多频条纹序列中前后条纹图像之间的频率差异信息，对每一张条纹图像所对应的包裹相位进行相位解包裹，从而得到每一张条纹图像所对应的三维形貌特征。
12.进一步的，步骤s1所述的多频条纹序列的表达式为：
13.in(x,y)＝an(x,y)+bn(x,y)cos[2πfnx+φn(x,y)],n＝1,2,
…
,n
[0014]
其中，(x,y)表示采样的条纹图像上的像素点坐标，in(x,y)表示第n张条纹图像的光强，an(x,y)表示第n张条纹图像的背景光强，bn(x,y)表示第n张条纹图像的调制强度，fn表示第n张条纹图像所对应的正弦结构光频率，总的频率数量不低于3，在条纹序列中循环投影，φn(x,y)表示待测三维形貌对应相位，n为动态测量过程中采样序列长度。
[0015]
进一步的，步骤s2对每一张条纹图像进行傅里叶变换与频谱滤波，得到每一张条纹图像的傅里叶相位，包括：
[0016]
s21.对每一张条纹图像进行傅里叶变换得到对应的频谱图；
[0017]
s22.提取每一张频谱图的正频频谱得到对应的正频信号；
[0018]
s23.对每一个正频信号进行傅里叶反变换得到每一张条纹图像对应的傅里叶相位。
[0019]
进一步的，在多频条纹序列中选取三张连续相邻的条纹图像，以第二张条纹图像作为中心图像，步骤s3的差分相位序列计算表示为：
[0020][0021]
其中，表示中心图像的傅里叶相位，为与中心图像前相邻的条纹图像的傅里叶相位，为与中心图像后相邻的条纹图像的傅里叶相位，δn(x,y)表示中心图像与自身的差分相位，δ
n-1
(x,y)表示中心图像与其前相邻的条纹图像间的差分相位，δ
n+1
(x,y)表示中心图像与其后相邻的条纹图像间的差分相位。
[0022]
进一步的，步骤s4的最小二乘拟合运算表示为：
[0023][0024]
其中，m＝n-1,n,n+1表示实际采样的条纹图像序列的信号强度，δm,m＝n-1,n,n+1表示中心图像所对应的差分相位序列，a代表条纹图像序列m＝n-1,n,n+1的
平均背景强度，αn和βn为最小二乘拟合求解项，其理论表示如下：
[0025][0026]
其中，b(x,y)代表条纹图像序列m＝n-1,n,n+1的平均调制度，φn(x,y)＝2πfnx+φn表示中心图像所对应的待求解相位。
[0027]
进一步的，基于最小二乘拟合运算，求取每一张条纹所对应的包裹相位，包裹相位的计算表示为：
[0028][0029]
其中，φ
′n(x,y)表示包裹相位。
[0030]
本发明的有益效果：
[0031]
本发明提供了一种多频结构光时域最小二乘拟合三维动态测量方法，可以通过时域采样方式获取多频条纹图像序列，再结合最小二乘拟合方法逐帧计算每一张条纹所对应的包裹相位，进而联合前后相邻的多张不同频率的条纹图像信息进行相位解包裹计算，从而恢复每一张条纹图像所对应的三维形貌，该方法能够有效抑制传统单帧傅里叶变换方法中存在的频谱泄露问题，提升边缘测量效果，同时提升测量效率，确保高效、高精度三维动态测量。
[0032]
本发明在提取多频条纹的傅里叶相位谱之间微小相位差的基础上，通过时域最小二乘拟合分析求解每一张条纹的包裹相位。所求包裹相位融合了多张不同频率的条纹图像信息，相比传统单帧傅里叶变换方法而言，其求解信息更加丰富，有助于提升测量精度。
[0033]
本发明中多频条纹既可用于求解包裹相位，又可用于相位解包裹，确保了逐帧图像相位求解，在满足高精度测量的前提下进一步提升了测量效率，实现了测量精度与测量效率之间的有效平衡。
附图说明
[0034]
图1为本发明中多频结构光时域最小二乘拟合三维动态测量方法的一种优选实施例；
[0035]
图2为本发明实施例的多频结构光时域最小二乘拟合三维动态测量方法的测量装置原理示意图；
[0036]
图3为本发明实施例中的傅里叶变换分析示意图；
[0037]
图4为本发明实施例的多频条纹傅里叶相位差分分析示意图；
[0038]
图5为本发明实施例的最小二乘拟合分析示意图；
[0039]
图6为本发明实施例中的多频条纹联合相位解包裹示意图。
具体实施方式
[0040]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
本实施例给出了一种多频结构光时域最小二乘拟合三维动态测量方法的优选实施方式，如图1所示，包括：
[0042]
s1.多频结构光时域投影采样：采用投影仪向被测物体连续循环投影多种频率(不低于3种)的正弦结构光，通过相机采集每一张正弦结构光反射得到的条纹图像，将所有条纹图像根据频率循环投影顺序组成多频条纹序列并传给计算机；
[0043]
s2.采样图像傅里叶变换：计算机对多频条纹序列中的每一张条纹图像进行傅里叶变换与频谱滤波，得到每一张条纹图像的傅里叶相位；
[0044]
s3.傅里叶相位差分：多频条纹序列中每一张条纹图像都做一次中心图像，根据傅里叶相位计算中心图像与其前后相邻的条纹图像间的差分相位，从而得到每一张条纹图像所对应的差分相位序列；
[0045]
s4.最小二乘拟合：每一张条纹图像都利用自身对应的差分相位序列进行最小二乘拟合运算，获取每一张条纹图像的包裹相位；
[0046]
s5.多频相位解包裹：联合多频条纹序列中前后条纹图像之间的频率差异信息，对每一张条纹图像所对应的包裹相位进行相位解包裹，从而得到每一张条纹图像所对应的三维形貌特征。
[0047]
在一个优选实施例中，基于上述实施例，本发明给出了图2所示测量原理示意图，其中，由投影仪向被测物体连续投射多种不同频率(不低于3种)的正弦结构光，通过相机连续采集反射得到的条纹图像；本发明的多频投影在每一次投影中采用不同的频率是为了在不同的条纹图像中引入微小相位差。在动态测量过程中，多种频率循环使用。投影过程中，由旋转台驱动物体运动，从而实现动态过程投影采样；计算机系统负责对采样的多频条纹图像序列进行傅里叶变换分析、差分运算、最小二乘拟合分析以及相位解包裹运算等，从而求取每一帧采样条纹(即每一张条纹图像)所对应三维形貌特征。
[0048]
具体地，步骤s1中，多频结构光条纹信号理论表示如下：
[0049]in
(x,y)＝an(x,y)+bn(x,y)cos[2πfnx+φn(x,y)],n＝1,2,
…
,n
ꢀꢀꢀ
(1)
[0050]
其中，(x,y)表示采样的条纹图像上的像素点坐标，in(x,y)表示第n张条纹图像的光强，an(x,y)表示第n张条纹图像的背景光强，bn(x,y)表示第n张条纹图像的调制强度，fn表示第n张条纹的正弦结构光频率，此处仅考虑一维分布情况以便分析，二维分布情况同样适用；φn(x,y)表示待求相位，n为动态测量过程中采样序列长度。本发明中的多频以3频为例，循环投影。
[0051]
具体地，步骤s2对每一张条纹图像进行傅里叶变换与频谱滤波，得到每一张条纹图像的傅里叶相位，如图3所示，包括：
[0052]
s21.对每一张条纹图像进行傅里叶变换得到对应的频谱图；
[0053]
s22.提取每一张频谱图的正频频谱得到对应的正频信号；
[0054]
s23.对每一个正频信号进行傅里叶反变换得到对应的傅里叶相位。
[0055]
具体地，此处提取的傅里叶相位谱包含2π相位模糊，其理论表达式如下：
[0056]
φn(x,y)＝2πfnx+φn(x,y),n＝1,2,
…
,n
ꢀꢀꢀꢀꢀ
(2)
[0057]
具体地，选取三张连续相邻的多频条纹图像，以第二张条纹图像作为中心图像，提
取中心图像与前后相邻频率条纹之间的微小傅里叶相位差，如图4所示，步骤s3的差分相位序列计算表示为：
[0058][0059]
进一步的，根据公式(3)中的差分相位序列，再结合公式(1)中的多频条纹信息，可对不同频率条纹进行最小二乘拟合运算。如图5所示，此过程中，根据公式(1)、(3)，选择的三张图像信号可变形如下：
[0060][0061]
其中，
[0062][0063]
公式(4)、(5)中，a和b(x,y)表示三张图像的平均背景信号和平均调制度。
[0064]
对任何一个像素点而言，其最小二乘误差可表示如下：
[0065][0066]
式中，表示实际采样信号强度。结合公式(3)～(6)，可进行最小二乘拟合分析求解，得
[0067][0068][0069]
式中，φ
′n(x,y)表示求解的相位中包含2π相位模糊，需通过后续相位解包裹进行展开。参考上述分析计算过程，同样可以分别以图像i
n-1
(x,y)和i
n+1
(x,y)为中心，利用其与前后相邻图像之间的傅里叶相位差分序列进行最小二乘拟合分析，求得对应包裹相位φ
′
n-1
(x,y)和φ
′
n+1
(x,y)。显然，φ
′
n-1
(x,y)、φ
′n(x,y)和φ
′
n+1
(x,y)分别融合了多帧不同频率图像信息进行联合求解，其精度优于单帧图像傅里叶变换方法。
[0070]
具体地，联合多频率条纹的包裹相位进行相位解包裹，获取每一帧条纹所对应的三维形貌特征，表示如下：
[0071]
φn(x,y)＝φ
′n(x,y)+2πkn(x,y),n＝1,2,
…
,n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0072]
式中，φn(x,y)即为解包裹相位，kn(x,y)为相位级次。显然，求解相位级次kn(x,y)是解包裹关键。动态测量场景下，高速采样的相邻三张不同频率条纹其相位满足如下近似关系：
[0073]
t
n-1
φ
n-1
＝tnφn＝t
n+1
φ
n+1
ꢀꢀꢀꢀꢀ
(10)
[0074]
式中，t
n-1
,tn,t
n+1
为不同频率的条纹图像的条纹周期。根据上述等式关系，只需一个低频条纹的解包裹相位以及对应的条纹周期，即可对高频条纹的相位级次进行求解，进而实现所有频率相位解包裹。此处，低频条纹可以考虑通过相邻频率条纹作差进行等效求取，表示如下：
[0075][0076]
式中，φ
eq
(x,y)表示不含2π相位模糊的等效低频相位，t
eq
(x,y)表示等效低频条纹周期长度。通过设计合理的条纹频率或者调用公式(11)进行二次等效计算，即可实现。通过公式(9)～(11)，即可求解不同频率条纹相位级次:
[0077][0078]
式中，round[
·
]表示取整函数。将公式(12)代入公式(9)，即可获得各频率条纹所对应的解包裹相位φn(x,y)。最后，消除相位中与频率fn相关的倾斜基准，即可获取不同频率下的三维形貌信息φn(x,y)，如图6所示。
[0079]
通过上述步骤的分析，基于多频结构光时域最小二乘拟合三维动态测量方法融合了多帧图像信息对单一频率条纹图像进行三维形貌求解，能够有效避免传统傅里叶变换方法中的频谱泄露问题，提升了测量精度，同时也提升了传统方法的测量效率，实现快速、高精度的物体三维形貌动态测量。
[0080]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种多频结构光时域最小二乘拟合三维动态测量方法，其特征在于，包括以下步骤：s1.多频结构光时域投影采样：采用投影仪向被测物体连续循环投影多种频率的正弦结构光，通过相机采集经正弦结构光反射得到的多张条纹图像，将所有条纹图像根据频率循环投影顺序组成多频条纹序列并传给计算机；s2.采样图像傅里叶变换：计算机对多频条纹序列中的每一张条纹图像进行傅里叶变换与频谱滤波，得到每一张条纹图像的傅里叶相位；s3.傅里叶相位差分：多频条纹序列中每一张条纹图像都做一次中心图像，根据傅里叶相位计算中心图像与其前后相邻的条纹图像间的差分相位，从而得到每一张条纹图像所对应的差分相位序列；s4.最小二乘拟合：每一张条纹图像都利用自身对应的差分相位序列进行最小二乘拟合运算，获取每一张条纹图像的包裹相位；s5.多频相位解包裹：联合多频条纹序列中前后条纹图像之间的频率差异信息，对每一张条纹图像所对应的包裹相位进行相位解包裹，从而得到每一张条纹图像所对应的三维形貌特征。2.根据权利要求1所述的一种多频结构光时域最小二乘拟合三维动态测量方法，其特征在于，步骤s1所述的多频条纹序列的表达式为：i
n
(x,y)＝a
n
(x,y)+b
n
(x,y)cos[2πf
n
x+φ
n
(x,y)],n＝1,2,
…
,n其中，(x,y)表示采样的条纹图像上的像素点坐标，i
n
(x,y)表示第n张条纹图像的光强，a
n
(x,y)表示第n张条纹图像的背景光强，b
n
(x,y)表示第n张条纹图像的调制强度，f
n
表示第n张条纹图像所对应的正弦结构光频率，φ
n
(x,y)表示待测三维形貌对应相位，n为动态测量过程中采样序列长度。3.根据权利要求1所述的一种多频结构光时域最小二乘拟合三维动态测量方法，其特征在于，步骤s2对每一张条纹图像进行傅里叶变换与频谱滤波，得到每一张条纹图像的傅里叶相位，包括：s21.对每一张条纹图像进行傅里叶变换得到对应的频谱图；s22.提取每一张频谱图的正频频谱得到对应的正频信号；s23.对每一个正频信号进行傅里叶反变换得到每一张条纹图像对应的傅里叶相位。4.根据权利要求1所述的一种多频结构光时域最小二乘拟合三维动态测量方法，其特征在于，在多频条纹序列中选取三张连续相邻的不同频率的条纹图像，以第二张条纹图像作为中心图像，步骤s3的差分相位序列计算表示为：其中，表示中心图像的傅里叶相位，为与中心图像前相邻的条纹图像的傅里叶相位，为与中心图像后相邻的条纹图像的傅里叶相位，δ
n
(x,y)表示中心图像与自身的差分相位，δ
n-1
(x,y)表示中心图像与其前相邻的条纹图像间的差分相位，δ
n+1
(x,y)表示中心图像与其后相邻的条纹图像间的差分相位。
5.根据权利要求1所述的一种多频结构光时域最小二乘拟合三维动态测量方法，其特征在于，步骤s4的最小二乘拟合运算表示为：其中，表示实际采样的条纹图像序列的信号强度，δ
m
,m＝n-1,n,n+1表示中心图像所对应的差分相位序列，a代表条纹图像序列的平均背景强度，α
n
和β
n
为最小二乘拟合求解项，其理论表示如下：其中，b(x,y)代表条纹图像序列的平均调制度，φ
n
(x,y)＝2πf
n
x+φ
n
表示中心图像所对应的待求解相位。6.根据权利要求5所述的一种多频结构光时域最小二乘拟合三维动态测量方法，其特征在于，基于最小二乘拟合运算，求取每一张条纹图像所对应的包裹相位，包裹相位的计算表示为：其中，φ
′
n
(x,y)表示包裹相位。7.根据权利要求6所述的一种多频结构光时域最小二乘拟合三维动态测量方法，其特征在于，联合多频条纹序列中前后条纹图像之间的频率差异信息，对每一张条纹图像所对应的包裹相位进行相位解包裹，从而得到每一张条纹图像所对应的三维形貌特征，求解公式为：φ
n
(x,y)＝φ
′
n
(x,y)+2πk
n
(x,y),n＝1,2,,n(x,y),n＝1,2,,n其中，φ
n
(x,y)为解包裹相位，k
n
(x,y)为相位级次，t
n
为第n张条纹图像的条纹周期，φ
eq
(x,y)为不含2π相位模糊的等效低频相位，t
eq
(x,y)为等效低频条纹周期长度。

技术总结
本发明属于三维形貌动态测量领域，具体为一种多频结构光时域最小二乘拟合三维动态测量方法，包括多频结构光投影，捕获不同频率条纹图像并进行傅里叶分析，提取每张条纹图像对应的傅里叶相位；以多频条纹序列中每一帧条纹图像为中心求取对应的差分相位序列；针对提取的差分相位序列进行时域最小二乘拟合分析，求解每一帧采样条纹的包裹相位；联合采样序列中的多频信息对包裹相位进行展开，求取每一帧采样条纹所对应的三维形貌；本发明融合了多帧不同频率条纹信息来对采样序列中每一帧条纹的包裹相位进行时域最小二乘拟合求解，相较于传统单帧傅里叶变换方法而言，求解信息更加丰富，有助于提升测量精度。有助于提升测量精度。有助于提升测量精度。


技术研发人员：邓钦元 朱发世 熊飞 侯杰 黄学达
受保护的技术使用者：重庆邮电大学
技术研发日：2023.06.06
技术公布日：2023/9/5