动态物体三维结构光成像的相位解码方法及装置与流程

1.本发明涉及动态物体空间测量技术领域，尤其涉及一种动态物体三维结构光成像的相位解码方法及装置。


背景技术：

2.传统对静态物体的三维测量方式灵活性差，会大大降低生产效率，已经远远不能满足当前对动态物体测量的需求。结构光三维成像技术是利用辅助的结构光照明获取物体三维像，即通过投影一个载频条纹到被成像的物体表面，利用成像设备从另一个角度记录受被成像物体高度调制的变形条纹图像，再从获取的变形条纹图中通过相位解码，从而重建出被测物体的三维数字像，而相位解码的精度和效率则直接决定了三维数字像重建的效果。
3.对物体的结构光三维成像，现有技术中通常都是依赖于多个频率多步相移的求解方法，但是该类方法为确保测量精度需要投影的条纹数量较多，如通常要求在双向(横向x和纵向y)各测量一次投影不同频率(频率数大于等于2)的不同相移步数(相移步数大于等于3)的条纹图像，至少需要2
×3×
2＝12幅条纹图像，然后由成像设备依次记录被成像物体高度调制的变形条纹图像，因而需要对大量的条纹图像进行计算处理，导致测量的效率低。虽然上述方法可以较好的适用于静态物体，但是若应用于动态物体的测量时会需要进行大量的图像处理计算，因而并不适用于动态物体的测量，尤其是难以既精准又高效的实现大量动态物体测量。
4.有从业者提出基于结构光三维成像技术实现对动态物体的测量时，通过改变编码方式(rgb条纹编码技术)、减少条纹图像等方法以提升测量效率，该类方法虽然可以在一定程度上提高测量效率，但是实际上牺牲了成像精度，使得最终的成像精度不高；其他例如通过升级硬件(如采用高帧率高速相机进行拍摄等方式来减少记录时间)的方式提升测量效率，又会导致大大增加实现成本，无法适用于大规模条纹图像的采集。


技术实现要素：

5.本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、成本低、解码效率以及精度高的动态物体三维结构光成像的相位解码方法及装置。
6.为解决上述技术问题，本发明提出的技术方案为：
7.一种动态物体三维结构光成像的相位解码方法，步骤包括：
8.捕获被投影至被测物体上的两组调制条纹的图像，两组调制条纹为预先按照不同频率生成后投影至被测物体上，每组调制条纹包括多条纵向条纹和一条横向条纹，或者包括多条横向条纹和一条纵向条纹；
9.根据捕获的调制条纹图像采用n
′
步相移法求解纵向包裹相位，其中n
′
≥3；
10.根据捕获的调制条纹图像计算平均光强以及调制光强，根据所述平均光强以及调
制光强计算出横向包裹相位；
11.采用频差法将所述纵向包裹相位、横向包裹相位进行展开得到纵向绝对相位和横向绝对相位。
12.进一步的，所述纵向条纹的表达式为：
[0013][0014]
所述横向条纹的表达式为：
[0015]
ih(x
p
,y
p
)＝a
p
(x
p
,y
p
)+b
p
(x
p
,y
p
)cos(2πfjy
p
)
[0016]
其中，为纵向条纹，ih
p
为横向条纹，fi为第i个频率，a
p
(x
p
,y
p
)为直流分量信号的振幅值，b
p
(x
p
,y
p
)为交流分量信号的振幅值，(x
p
,y
p
)为投影仪的像素点坐标，n为相移索引号，n为总的相移步数。
[0017]
进一步的，所述捕获被投影至被测物体上的两组调制条纹的图像中，每组所述调制条纹为n
′
条纵向条纹和一条横向条纹，或者为n
′
条横向条纹和一条纵向条纹。
[0018]
进一步的，当使用三步相移法求解所述纵向包裹相位时，所述纵向包裹相位的计算表达式为：
[0019][0020]
其中，i0、i1以及i2分别为第1、2、3步条纹图的光强。
[0021]
当使用三步以上的求解所述纵向包裹相位时，所述纵向包裹相位的计算表达式为：
[0022][0023]
其中，n为相移索引号，n为相移步数，in为第n-1步条纹图的光强。
[0024]
进一步的，当使用三步相移法求解得到所述纵向包裹相位时，计算平均光强以及调制光强的表达式分别为：
[0025][0026][0027]
当使用三步以上的求解所述纵向包裹相位时，计算平均光强以及调制光强的表达式分别为：
[0028]
[0029][0030]
其中，a为平均光强，b为调制光强，n为相移索引号，n为相移步数。
[0031]
进一步的，根据所述纵向包裹相位、横向包裹相位采用双频外差法，计算所述纵向绝对相位和横向绝对相位时，计算表达式为：
[0032][0033]
或
[0034][0035]
φ1＝2πm+φ1[0036]
其中，round()为就近取整，m为当前点所属的条纹周期数；
[0037]
φ
12
为生成调制条纹所述使用的两种频率的相位差，即计算表达式为：
[0038][0039]
其中，φ1、φ2分别为两种频率对应的绝对相位，φ1、φ2分别为两种频率。
[0040]
进一步的，所述根据所述纵向包裹相位、横向包裹相位频差法计算出纵向绝对相位和横向绝对相位后，还包括获取不同频率计算得到的绝对相位值并进行融合，得到最终的绝对相位值。
[0041]
进一步的，所述获取不同频率计算得到的绝对相位采用加权融合方式，得到最终的绝对相位值，计算表达式为：
[0042]
φ＝w1φ1+w2φ2+...+wnφn[0043]
其中，φ为最终的绝对相位值，φ1～φn分别为各个频率计算得到的绝对相位值，w1～wn分别为加权系数，n为频率个数。
[0044]
一种动态物体三维结构光成像的相位解码装置，包括：
[0045]
捕获模块，用于捕获被投影至被测物体上的两组调制条纹的图像，两组调制条纹为预先按照不同频率生成后投影至被测物体上，每组调制条纹包括多条纵向条纹和一条横向条纹，或者包括多条横向条纹和一条纵向条纹；
[0046]
纵向包裹相位求解模块，用于根据捕获的调制条纹图像采用n
′
步相移法求解纵向包裹相位，其中n
′
≥3；
[0047]
横向包裹相位求解模块，用于根据捕获的调制条纹图像计算平均光强以及调制光强，根据所述平均光强以及调制光强计算出横向包裹相位；
[0048]
绝对相位计算模块，用于根据所述纵向包裹相位、横向包裹相位采用频差法计算出纵向绝对相位和横向绝对相位，完成相位解码。
[0049]
一种计算机设备置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序以执行如上述方法。
[0050]
与现有技术相比，本发明的优点在于：
[0051]
1、本发明针对动态物体的三维结构光成像的相位解码，通过采用不同的求解方法求解纵向包裹相位与横向包裹相位，纵向包裹相位采用n
′
步相移法进行求解，横向包裹相位则通过先计算平均光强以及调制光强然后依据该平均光强以及调制光强计算得出，然后再结合据纵向包裹相位、横向包裹相位采用一次频差法来最终计算出纵向绝对相位和横向绝对相位，形成n
′
+1步的解相位方式，通过横向条纹的变量数值计算减少纵向投影条纹数目，或者通过纵向条纹的变量数值计算减少横向投影条纹数目，可以有效减少投影所需的条纹数量，从而能够在确保相位解码精度的前提下，明显提高相位解码的效率，实现面向动态物体的三维结构光成像的高效相位解码。
[0052]
2、本发明进一步通过针对不同频率获得的绝对相位进行多频融合，可以充分发挥高频相位精度更高、低频相位更稳定的特性，有效评估相位质量的好坏，解决传统单一频率的相位测量方法中高频稳定性差、低频精度差的问题，从而进一步提高相位解码精度以及生成的绝对相位图像的质量。
附图说明
[0053]
图1是本实施例动态物体三维结构光成像的相位解码方法的实现流程示意图。
[0054]
图2是本实施例实现动态物体三维结构光成像的相位解码的系统结构示意图。
[0055]
图3是本发明具体应用实施例中实现动态物体三维结构光成像的相位解码的流程示意图。
具体实施方式
[0056]
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
[0057]
如图1所示，本实施例动态物体三维结构光成像的相位解码方法的步骤包括：
[0058]
s01.捕获被投影至被测物体上的两组调制条纹的图像，两组调制条纹为预先按照不同频率生成后投影至被测物体上，每组调制条纹包括多条纵向条纹和一条横向条纹，或者包括多条横向条纹和一条纵向条纹；
[0059]
s02.根据捕获的调制条纹图像采用n
′
步相移法求解纵向包裹相位，其中n
′
≥3；
[0060]
s03.根据捕获的调制条纹图像计算平均光强以及调制光强，根据平均光强以及调制光强计算出横向包裹相位；
[0061]
s04.采用频差法对纵向包裹相位、横向包裹相位进行展开得到纵向绝对相位和横向绝对相位，完成相位解码。
[0062]
本实施例针对动态物体的三维结构光成像的相位解码，通过采用不同的求解方法求解纵向包裹相位与横向包裹相位，纵向包裹相位采用n
′
步相移法进行求解，横向包裹相位则通过先计算平均光强以及调制光强然后依据该平均光强以及调制光强计算得出，以通过横向条纹的变量数值计算减少纵向投影条纹数目，或者通过纵向条纹的变量数值计算减少横向投影条纹数目，然后再结合据纵向包裹相位、横向包裹相位采用一次频差法来最终计算出纵向绝对相位和横向绝对相位，形成n
′
+1步的解相位方式，可以有效减少投影所需的条纹数量，从而能够在确保相位解码精度的前提下，明显提高相位解码的效率，实现面向
动态物体的三维结构光成像的高效相位解码。例如当采用三步相移法结合双频外差法时，仅需双向2个频率一共8幅条纹图像即可求解出双向绝对相位，相比于传统双向多个频率多步相移测量一次需要投影并拍摄至少12幅条纹图像，可以至少提高1/3的效率。
[0063]
在具体应用实施例中，如图2所示，本实施例构建的三维测量系统具体包括
①
投影、
②
采集以及
③
相位解码三部分，其中，
①
投影环节包括一台投影设备，以投影计算机产生的编码条纹(调制条纹)；
②
采集环节包含一台相机，可以拍摄采集
①
投影到动态物体表面上的畸变条纹；
③
相位解码环节包含一台计算机，利用解相位方法处理
②
采集到的畸变条纹，获得周期性相位信息，再通过本实施例上述相位解码方法获得绝对相位信息，基于该绝对相位信息对动态物体进行成像，从而获得动态物体的空间位置信息、运动形态信息等。
[0064]
在进行相位解码前，首先进行调制条纹的生成并投影至被测物体，在具体应用实施例中，可利用计算机基于公式(1)以频率fi，i＝1,2分别生成3幅纵向条纹图像基于公式(2)以频率fj，j＝1,2分别生成1幅横向条纹图像ih
p
(纵横向可交换)。
[0065][0066]
ih(x
p
,y
p
)＝a
p
(x
p
,y
p
)+b
p
(x
p
,y
p
)cos(2πfjy
p
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0067]
其中，为纵向条纹，ih
p
为横向条纹，fi为第i个频率，a
p
(x
p
,y
p
)为直流分量信号的振幅值，b
p
(x
p
,y
p
)为交流分量信号的振幅值，(x
p
,y
p
)为投影仪的像素点坐标，n为相移索引号，n为总的相移步数，n＝3。
[0068]
将上述生成的所有(如上述具体为8幅)条纹图像传输至投影设备，投影仪接收上到条纹图像后，将其按顺序依次投射到被测物体上。投影条纹到达被测物体发生畸变，经过反射后被相机捕获，捕获的单个频率对应的图像可以表示为：
[0069]
ivn(x,y)＝a(x,y)+b(x,y)cos(φ(x,y)-2πn/n),
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0070]
ih(x,y)＝a(x,y)+b(x,y)cos(θ(x,y)),
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0071]
其中，a(x,y)为平均光强，b(x,y)为调制光强，φ、θ分别为纵向包裹相位和横向包裹相位。
[0072]
本实施例步骤s02中，根据捕获的调制条纹图像使用三步相移以及四步相移等n
′
步相移法求解纵向包裹相位，以下以三步相移为例进行说明：
[0073]
当使用三步相移法求解纵向包裹相位时，纵向包裹相位的计算表达式为：
[0074][0075]
其中，i0、i1以及i2分别为第1、2、3步条纹图的光强。
[0076]
计算平均光强以及调制光强的表达式分别为：
[0077][0078][0079]
得到平均光强a以及调制光强b后代入公式(4)即可得到横向包裹相位θ，至此即完
成纵向包裹相位φ、横向包裹相位θ的求解；同理，可以计算得到其他频率的纵向包裹相位和横向包裹相位。
[0080]
获得不同频率的纵向包裹相位φ、横向包裹相位θ后，本实施例步骤s04中采用双频或者多频外差法计算出纵向绝对相位φ和横向绝对相位。以双频外差法求解纵向绝对相位φ为例进行说明，φ
12
为生成调制条纹使用的两种频率的相位差，计算表达式为：
[0081][0082]
其中，φ1、φ2分别为两种频率对应的绝对相位，φ1、φ2分别为两种频率。
[0083]
绝对相位φ1、φ2和相位函数的周期t1、t2之间有如下关系：
[0084]
φ1t1＝φ2t2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0085]
则联立公式(8)和公式(9)，可以计算出相位主值φ1对应的绝对相位：
[0086][0087]
或
[0088][0089]
φ1＝2πm+φ1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0090]
其中，round()为就近取整，m为当前点所属的条纹周期数。
[0091]
即以双频外差法求解纵向绝对相位φ时，可以按照(10)计算出相位主值对应的绝对相位φ1或者按照式(11)、(12)计算相位主值对应的绝对相位φ1。
[0092]
除按照上述3+1(3表示三步相移法)步相移法求解包裹相位以外，当然还可以采用四步等其他n
′
步相移法(n
′
》3)，如果采用其他的n
′
步相移法，则上述公式(1)、(3)中n＝n
′
，n＝0,1,...,n
′‑
1，纵向包裹相位的计算表达式具体为：
[0093][0094]
其中，n为相移索引号，n为相移步数，in为第n-1步条纹图的光强。
[0095]
计算平均光强以及调制光强的表达式具体分别为：
[0096][0097][0098]
其中，a为平均光强，b为调制光强，n为相移索引号，n为相移步数。
[0099]
对于投影所需的条纹，如果采用三步相移法求解纵向包裹相位，则每组条纹可以采用3条纵向条纹+1条横向条纹，也可以为3条横向条纹+1条纵向条纹。相应的，如果是采用
n步相移法，则每组条纹可以为n条纵向条纹+1条横向条纹，或n条横向条纹+1条纵向条纹。由上述可知，按照本发明上述方法，最少仅需8幅条纹图像即可求解双向绝对相位。
[0100]
进一步的，本实施例中根据纵向包裹相位、横向包裹相位频差法计算出纵向绝对相位和横向绝对相位后，还包括获取不同频率计算得到的绝对相位值并进行融合，得到最终的相位值，根据最终得到的相位值评估相位解码质量。通过针对不同频率获得的绝对相位进行多频融合，可以充分发挥高频相位精度更高、低频相位更稳定的特性，有效评估相位质量的好坏，解决传统单一频率的相位测量方法中高频稳定性差、低频精度差的问题，从而进一步提高相位解码精度以及生成的绝对相位图像的质量。
[0101]
本实施例中，获取不同频率计算得到的绝对相位具体采用加权融合方式，得到最终的相位值，可以权衡不同频率的相位质量实现相位加权，即：
[0102]
φ＝w1φ1+w2φ2+...+wnφn,
ꢀꢀꢀꢀ
(16)
[0103]
其中，w为加权系数，n为频率个数。
[0104]
可以理解的是，除加权融合以外，对多频相位的融合当然还可以根据实际需求采用其他融合方式。
[0105]
如图3所示，在具体应用实施例中采用本发明上述方法实现动态物体三维结构光成像的相位解码时，首先利用计算机以频率fi，i＝1,2分别生成3幅纵向条纹图像n＝0,1,2，以及以频率fj，j＝1,2分别生成1幅横向条纹图像ih
p
；投影仪将各条纹按顺序依次投射到被测物体上；相机捕获调制条纹图像进行相位解码，基于三步相移法求解纵向包裹相位φ，计算平均光强a和调制光强b，进而求得横向包裹相位θ，然后基于多频外差法原理计算纵向绝对相位φ和横向绝对相位；最后针对不同频率获得的绝对相位实行多频融合，得到最终的绝对相位图像。
[0106]
本实施例通过融合n
′
+1步相位求解方法和多频融合策略，可以在提升效率的同时保证相位求解的精度，获得高效率和高精度的绝对相位图像，从而高效实现面向动态物体的三维结构光成像。
[0107]
本实施例动态物体三维结构光成像的相位解码装置，包括：
[0108]
捕获模块，用于捕获被投影至被测物体上的两组调制条纹的图像，两组调制条纹为预先按照不同频率生成后投影至被测物体上，每组调制条纹包括多条纵向条纹和一条横向条纹，或者包括多条横向条纹和一条纵向条纹；
[0109]
纵向包裹相位求解模块，用于根据捕获的调制条纹图像采用n
′
步相移法求解纵向包裹相位，其中n
′
≥3；
[0110]
横向包裹相位求解模块，用于根据捕获的调制条纹图像计算平均光强以及调制光强，根据平均光强以及调制光强计算出横向包裹相位；
[0111]
绝对相位计算模块，用于采用频差法将纵向包裹相位、横向包裹相位进行展开得到纵向绝对相位和横向绝对相位，完成相位解码。
[0112]
本实施例中，还包括条纹生成模块以用于生成调制条纹以及投影模块以用于将生成的调制条纹投影至被测物体上。条纹生成模块具体可按照式(1)、(2)进行条纹生成。
[0113]
本实施例动态物体三维结构光成像的相位解码装置与上述动态物体三维结构光成像的相位解码方法为一一对应，在此不再一一赘述。
[0114]
本实施例还提供一种计算机设备置，包括处理器以及存储器，存储器用于存储计
算机程序，处理器用于执行计算机程序以执行如上述方法。
[0115]
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

技术特征：
1.一种动态物体三维结构光成像的相位解码方法，其特征在于，步骤包括：捕获被投影至被测物体上的两组调制条纹的图像，两组调制条纹为预先按照不同频率生成后投影至被测物体上，每组调制条纹包括多条纵向条纹和一条横向条纹，或者包括多条横向条纹和一条纵向条纹；根据捕获的调制条纹图像采用n
′
步相移法求解纵向包裹相位，其中n
′
≥3；根据捕获的调制条纹图像计算平均光强以及调制光强，根据所述平均光强以及调制光强计算出横向包裹相位；采用频差法对所述纵向包裹相位、横向包裹相位进行展开得到纵向绝对相位和横向绝对相位。2.根据权利要求1所述的动态物体三维结构光成像的相位解码方法，其特征在于，所述纵向条纹的表达式为：所述横向条纹的表达式为：ih(x
p
,y
p
)＝a
p
(x
p
,y
p
)+b
p
(x
p
,y
p
)cos(2πf
j
y
p
)其中，为纵向条纹，ih
p
为横向条纹，f
i
为第i个频率，a
p
(x
p
,y
p
)为直流分量信号的振幅值，b
p
(x
p
,y
p
)为交流分量信号的振幅值，(x
p
,y
p
)为投影仪的像素点坐标，n为相移索引号，n为总的相移步数。3.根据权利要求1所述的动态物体三维结构光成像的相位解码方法，其特征在于，所述捕获被投影至被测物体上的两组调制条纹的图像中，每组所述调制条纹为n
′
条纵向条纹和一条横向条纹，或者为n
′
条横向条纹和一条纵向条纹。4.根据权利要求1所述的动态物体三维结构光成像的相位解码方法，其特征在于，当使用三步相移法求解所述纵向包裹相位时，所述纵向包裹相位的计算表达式为：其中，i0、i1以及i2分别为第1、2、3步条纹图的光强；当使用三步以上的求解所述纵向包裹相位时，所述纵向包裹相位的计算表达式为：其中，n为相移索引号，n为相移步数，i
n
为第n-1步条纹图的光强。5.根据权利要求1所述的动态物体三维结构光成像的相位解码方法，其特征在于，当使用三步相移法求解得到所述纵向包裹相位时，计算平均光强以及调制光强的表达式分别为：
当使用三步以上的求解所述纵向包裹相位时，计算平均光强以及调制光强的表达式分别为：别为：其中，a为平均光强，b为调制光强，i0、i1以及i2分别为第1、2、3步条纹图的光强，n为相移索引号，n为相移步数。6.根据权利要求1～5中任意一项所述的动态物体三维结构光成像的相位解码方法，其特征在于，根据所述纵向包裹相位、横向包裹相位采用双频外差法，计算所述纵向绝对相位和横向绝对相位时，计算表达式为：或φ1＝2πm+φ1其中，round()为就近取整，m为当前点所属的条纹周期数；φ
12
为生成调制条纹所述使用的两种频率的相位差，即计算表达式为：其中，φ1、φ2分别为两种频率对应的绝对相位，φ1、φ2分别为两种频率。7.根据权利要求1～5中任意一项所述的动态物体三维结构光成像的相位解码方法，其特征在于，所述根据所述纵向包裹相位、横向包裹相位频差法计算出纵向绝对相位和横向绝对相位后，还包括获取不同频率计算得到的绝对相位值并进行融合，得到最终的绝对相位值。8.根据权利要求7所述的动态物体三维结构光成像的相位解码方法，其特征在于，所述获取不同频率计算得到的绝对相位采用加权融合方式，得到最终的绝对相位值，计算表达式为：φ＝w1φ1+w2φ2+...+w
n
φ
n
其中，φ为最终的绝对相位值，φ1～φ
n
分别为各个频率计算得到的绝对相位值，w1～w
n
分别为加权系数，n为频率个数。9.一种动态物体三维结构光成像的相位解码装置，其特征在于，包括：捕获模块，用于捕获被投影至被测物体上的两组调制条纹的图像，两组调制条纹为预
先按照不同频率生成后投影至被测物体上，每组调制条纹包括多条纵向条纹和一条横向条纹，或者包括多条横向条纹和一条纵向条纹；纵向包裹相位求解模块，用于根据捕获的调制条纹图像采用n
′
步相移法求解纵向包裹相位，其中n
′
≥3；横向包裹相位求解模块，用于根据捕获的调制条纹图像计算平均光强以及调制光强，根据所述平均光强以及调制光强计算出横向包裹相位；绝对相位计算模块，用于根据所述纵向包裹相位、横向包裹相位采用频差法计算出纵向绝对相位和横向绝对相位，完成相位解码。10.一种计算机设备置，包括处理器以及存储器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于执行所述计算机程序以执行如权利要求1～8中任意一项所述方法。

技术总结
本发明公开一种动态物体三维结构光成像的相位解码方法及装置，该方法步骤包括：捕获被投影至被测物体上的两组调制条纹的图像，两组调制条纹为预先按照不同频率生成后投影至被测物体上，每组调制条纹包括多条纵向条纹和一条横向条纹，或者包括多条横向条纹和一条纵向条纹；根据捕获的调制条纹的图像采用n


技术研发人员：葛俊辉 邓俊杰
受保护的技术使用者：湖南视比特机器人有限公司
技术研发日：2023.01.06
技术公布日：2023/7/12