三维数字散斑图像的半立体校正匹配方法

1.本发明涉及三维数字散斑位移和应变测量技术领域，具体为三维数字散斑图像的半立体校正匹配方法。


背景技术：

2.数字图像相关法(digital image correlation，dic)是一种新型的无损非接触测量方法，因其实验要求宽松、全场测量、高空间分辨率、高精度等优点，在材料性能测量，结构状态监测，生物力学等领域具有广泛应用。dic基于摄影记录待测物变形前后图像，根据事先在待测物表面制造的散斑纹理进行相关分析，进而得到物体的位移和应变信息；dic包括二维数字图像相关法(2d-dic)和三维数字图像相关法(3d-dic)，立体匹配是3d-dic中的关键步骤，立体匹配的成功与否及精度高低将直接影响三维重构效果，进而影响最终测量精度。3d-dic中立体匹配一般通过粗、精匹配来实现，即首先通过粗匹配获取同名点的大致位置，然后在粗匹配结果的基础上进行精匹配，提升匹配精度以达到实际应用需要。经典3d-dic的立体匹配中粗匹配则采用zncc(zero mean normalized cross correlation)算法，精匹配最常使用反向组合高斯牛顿(inversecompositional gauss-newton，ic-gn)算法。
3.在3d-dic立体匹配中存在两个问题：其一，测量时需要获得较大的重叠视场，双目相机需要保持一定夹角形成倾斜视场，这导致左右图像的特征发生畸变，从而降低左右图像之间的相关性，这可能导致立体匹配在粗匹配阶段失败，也就无法进行后续的精匹配；其二，zncc算法沿极线搜索冗余计算较多，导致粗匹配阶段耗时过长，进而降低3d-dic整体的计算速度。


技术实现要素：

4.本发明的目的在于提供三维数字散斑图像的半立体校正匹配方法，引入立体校正技术优化3d-dic粗匹配过程，同时避免在精匹配过程引入额外的系统误差，可有效提升立体匹配的效率和成功率，并且不会因立体校正引入额外的系统误差，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：三维数字散斑图像的半立体校正匹配方法，包括以下步骤：
6.s1、获取待测物体的散斑图像，所述散斑图像包括原参考图像和原目标图像；
7.s2、对散斑图像进行半立体校正匹配，将粗、精匹配分别作用于校正后图像与原图像，所述校正后图像为经过立体校正的参考图像和目标图像，所述原图像为步骤s1中获取的散斑图像。
8.优选的，所述步骤s2中，半立体校正匹配的过程如下：
9.s2.1、立体校正：对原参考图像和原目标图像进行立体校正，获取校正后参考图像和校正后目标图像；
10.s2.2、参考子区域中心坐标校正变换：利用校正矩阵将原参考图像中的参考子区中心坐标转换得到对应的校正后参考图像的参考子区中心坐标，并以此中心坐标建立新的参考子区；
11.s2.3、zncc匹配：利用s2.2中得到的新参考子区，在校正后目标图像中进行zncc粗匹配；
12.s2.4、进行zncc粗匹配结果逆校正变换；
13.s2.5、ic-gn匹配：利用s2.4中所得的原目标图像迭代初值，通过ic-gn算法进行精匹配。
14.优选的，所述s2.1中，采用fusiello立体校正法，得到原参考图像和原目标图像的校正变换矩阵，并计算出校正后图像，校正前后成像系统的像素坐标存在如下式所示关系：其中m
ol
，m
or
分别表示校正前的原参考图像和原目标图像的齐次坐标，m
nl
，m
nr
分别是校正后参考图像和校正后目标图像的齐次坐标，t
l
，tr分别为原参考图像和原目标图像的的校正矩阵。
15.优选的，所述步骤s2.4中，将s2.3中在校正后图像中所得的粗匹配结果，通过逆校正变换为原目标图像中迭代初值。
16.优选的，所述步骤s2.3中，利用步骤s2.2中得到的新参考子区，在立体校正后的目标图像中利用经过积分图技术加速过的zncc算法完成粗匹配；zncc算法相关函数表达式如下：
[0017][0018]
像素灰度与积分s(x,y)存在下列关系：
[0019]
f(x,y)＝s(x,y)+s(x-1,y-1)-s(x-1,y)-s(x,y-1)，
[0020]
其中，s(x,y)表示从第一行第一列到第x行第y列区间内的所有像素灰度的累加和，f(x,y)为一像素点灰度，y∈[1,n]，且y∈z；同理，可得像素灰度平方f2(x,y)与积分s2(x,y)的关系式：
[0021]
f2(x,y)＝s2(x,y)+s2(x-1,y-1)-s2(x-1,y)-s2(x,y-1)，
[0022]
当需要计算以(x,y)为中心，半径为n的子区内像素灰度累加和时，由积分法计算：
[0023]
[0024][0025]
优选的，所述步骤s2.1立体校正过程中，相机投影矩阵的表达式为则校正前左右相机投影矩阵p
o1
,p
o2
表示为表示为左右光心c1，c2坐标为
[0026]
校正后左右相机具有同样的旋转矩阵r，校正后的左右相机的投影矩阵p
n1
和p
n2
分别表示为其中，k
n1
，k
n2
是校正后相机的内参；校正后旋转矩阵r构造：校正后的双相机系统与原系统的光心坐标不变，以c1c2连线作为校正后的x轴，以原左相机的z轴与新x轴叉乘，作为校正后的y轴，校正后的y轴与校正后的x轴叉乘，得到校正后的z轴，则旋转矩阵表示为其中r1＝(c1-c2)/||c1-c2||，r2＝k
×
r1，r3＝r1×
r2，k表示原左相机的z轴，立体校正矩阵构造：其中t
l
，tr分别表示左右相机校正前后像素齐次坐标的之间的转换矩阵。
[0027]
与现有技术相比，本发明的有益效果是：
[0028]
1、本发明的半立体校正匹配法在校正后参考图像和校正后目标图像中完成粗匹配后，将粗匹配获得的目标子区中心坐标经逆校正变换到原目标图像中，并在未校正的原目标图像中执行精匹配，与传统立体匹配方法相比，未改变立体匹配精度，从而保证了匹配精度。
[0029]
2、本发明引入立体校正技术优化粗匹配过程，同时避免在精匹配过程引入额外的系统误差，可有效提升立体匹配的效率和成功率，并且不会因立体校正引入额外的系统误差。
[0030]
3、本发明的半立体校正匹配法使用立体校正算法将传统立体匹配方法中斜极线搜索优化为水平线搜索，水平线搜索可使用积分图法加速粗匹配进程，这使得粗匹配的效率获得了显著提高。
附图说明
[0031]
图1为本发明方法步骤框图；
[0032]
图2为本发明半立体校正方法示意图；
[0033]
图3为本发明实施例中半立体校正与立体校正的x坐标偏差对比图；
[0034]
图4为本发明实施例中半立体校正与立体校正的y坐标偏差对比图；
[0035]
图5为本发明实施例中半立体校正与立体校正的z坐标偏差对比图；
[0036]
图6为本发明实施例中半立体校正法粗匹配和传统粗匹配的相关系数对比图；
[0037]
图7为本发明实施例中传统方法构建台阶的全貌图。
具体实施方式
[0038]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0039]
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0040]
请参阅图1-2，本发明提供一种技术方案：三维数字散斑图像的半立体校正匹配方法，包括以下步骤：
[0041]
s1、获取待测物体的散斑图像，所述散斑图像包括原参考图像和原目标图像；
[0042]
s2、对散斑图像进行半立体校正匹配，将粗、精匹配分别作用于校正后图像与原图像，所述校正后图像为经过立体校正的参考图像和目标图像，所述原图像为步骤s1中获取的散斑图像；
[0043]
具体的：首先立体校正：对原参考图像和原目标图像进行立体校正，获取校正后参考图像和校正后目标图像；
[0044]
然后进行参考子区域中心坐标校正变换：利用校正矩阵将原参考图像中的参考子区中心坐标转换得到对应的校正后参考图像的参考子区中心坐标，并以此中心坐标建立新的参考子区；
[0045]
再进行zncc匹配：利用s2.2中得到的新参考子区，在校正后目标图像中进行zncc粗匹配；完成zncc匹配后，对zncc粗匹配结果逆校正变换；
[0046]
最后进行ic-gn匹配：利用s2.4中所得的原目标图像迭代初值，通过ic-gn算法进行精匹配。
[0047]
在具体进行测量过程中，通过对经过步骤s2处理后的图像信息进行分析，得到待测物体的位移和应变信息。
[0048]
在s2.1中，采用fusiello立体校正法，得到原参考图像和原目标图像的校正变换矩阵，并计算出校正后图像，校正前后成像系统的像素坐标存在如下式所示关系：其中m
ol
，m
or
分别表示校正前的原参考图像和原目标图像的齐次坐标，m
nl
，m
nr
分别是校正后参考图像和校正后目标图像的齐次坐标，t
l
，tr分别为原参考图像和原目标图像的的校正矩阵。
[0049]
在步骤s2.4中，将s2.3中在校正后图像中所得的粗匹配结果，通过逆校正变换为原目标图像中迭代初值。
[0050]
在步骤s2.3中，利用步骤s2.2中得到的新参考子区，在立体校正后的目标图像中利用经过积分图技术加速过的zncc算法完成粗匹配；zncc算法相关函数表达式如下：
[0051][0052]
像素灰度与积分s(x,y)存在下列关系：
[0053]
f(x,y)＝s(x,y)+s(x-1,y-1)-s(x-1,y)-s(x,y-1)，
[0054]
其中，s(x,y)表示从第一行第一列到第x行第y列区间内的所有像素灰度的累加和，f(x,y)为一像素点灰度，y∈[1,n]，且y∈z；同理，可得像素灰度平方f2(x,y)与积分s2(x,y)的关系式：
[0055]
f2(x,y)＝s2(x,y)+s2(x-1,y-1)-s2(x-1,y)-s2(x,y-1)
[0056]
当需要计算以(x,y)为中心，半径为n的子区内像素灰度累加和时，由积分法计算：
[0057][0058][0059]
步骤s2.1立体校正过程中，相机投影矩阵的表达式为则校正前左右相机投影矩阵p
o1
,p
o2
表示为表示为左右光心c1，c2坐标为
[0060]
校正后左右相机应具有同样的旋转矩阵r，校正后的左右相机的投影矩阵p
n1
和p
n2
分别表示为其中，k
n1
，k
n2
是校正后相机的内参，可根据需要自行设置，但需保证左右相机内参的焦距和竖直方向平移量一致。
[0061]
校正后旋转矩阵r构造：校正后的双相机系统与原系统的光心坐标不变，以c1c2连线作为校正后的x轴，以原左相机的z轴与新x轴叉乘，作为校正后的y轴，校正后的y轴与校
正后的x轴叉乘，得到校正后的z轴，则旋转矩阵表示为其中r1＝(c1-c2)/||c1-c2||，r2＝k
×
r1，r3＝r1×
r2，k表示原左相机的z轴。
[0062]
立体校正矩阵构造：t
l
，tr分别表示左右相机校正前后像素齐次坐标的之间的转换矩阵，通过这个关系便可以建立新图像整像素位置对应的原图像像素坐标，再通过插值就可以算出校正后的图像。
[0063]
以下通过测量标准台阶高度的实验来验证立体校正匹配方法的优越性。
[0064]
具体为：分别用传统立体匹配方法、半立体校正匹配方法进行测量，采用最小二乘法对立体匹配的结果进行三维重构，并以传统立体匹配方法的三维重构结果为基准，比较分析半立体校正匹配方法重构结果相对于基准数据的偏移量。同时，为进一步说明在三维散斑位移与应变测量中不使用立体校正匹配方法，即将精匹配算法也作用于校正后图像中的原因，将立体校正匹配的三维重构结果也与基准数据对比。
[0065]
测试计算机系统为windows11，计算机配置lntel(r)core(tm)i7-11800hcpu@2.30ghz，32gb运行内存，测试代码平台matlab2022a，实验中使用两个ht-sua520-t黑白工业相机，有效分辨率为2592
×
1944pixel。为保证三种立体匹配方法都能成功匹配，该实验采用较小的立体角约19
°
。本试验计算参数选择子区尺寸51
×
51像素，点距8像素，考虑到一阶形函数通常能够满足使用要求，且更容易收敛，故采用一阶形函数ic-gn算法进行精匹配计算。
[0066]
以最低1级台阶作为基准平面，传统立体匹配方法重构所得阶梯平面如图7所示，将半立体校正匹配方法和立体校正匹配方法的三维重构结果分别与传统立体匹配方法三维重构结果进行作差对比，其x坐标之差如图3所示，y坐标之差如图4所示，z坐标之差如图5所示。
[0067]
由图3(a)、图4(a)、图5(a)可知，半立体校正匹配法重构坐标偏差整体偏小，均在0附近。
[0068]
结合图3(b)、图4(b)、图5(b)可知，立体校正匹配法在三个方向上的重构坐标偏差大小要明显大于半立体校正匹配法。
[0069]
图3(a)、图4(a)、图5(a)中，第3级和第4级台阶的偏差波动范围略微偏大，这是因为散斑质量会影响插值精度，由于人工散斑在制作的过程中很难保证散斑质量的一致性，导致3、4级台阶上的散斑质量相较于1、2级台阶较低。因而导致了精匹配的随机性增大，进而使得重构结果偏差的偏差波动范围扩大，从图3(b)、图5(b)可知，立体校正匹配法重构后的坐标与基准数据在x，z两个方向上，第3级、第4级台阶的偏差要明显大于第1级、第2级台阶。这是因为立体校正方法进行了二次插值，散斑质量低下导致的插值误差被多次引入，从而使得精匹配误差增大，进而使得重构结果发生更大的偏移。进一步对半立体校正匹配方法与立体校正匹配方法所得重构结果与基准数据的偏差进行定量分析，统计了三个方向的最大偏差和平均偏差，统计结果如表1所示。
[0070]
表1误差统计
[0071][0072]
由表1可知，本文提出的半立体校正匹配方法，与基准数据在三个方向上的坐标最大偏差均小于10-4mm，平均偏差仅在10-7mm量级，基本可以认为是计算误差。立体校正匹配方法所得重构结果与基准数据在x，y两个方向上的坐标最大偏差在10-3
mm量级，在z方向的坐标最大偏差达到了2
×
10-2
mm，平均偏差为8.4
×
10-3
mm。相较于立体校正匹配方法，半立体校正匹配方法与传统匹配方法重构结果的最大偏差与平均偏差均明显偏小。三个方向偏差之所以存在差异，是因为重构精度不仅与立体匹配精度相关，还与双目相机系统结构参数有关，受结构参数影响，立体匹配误差反映到三维重构中时，在三个方向上的偏差量会有所不同。
[0073]
实验中共1557个检测点，传统立体匹配和半立体校正匹配计算完所有检测点的用时统计情况如表2所示。
[0074]
表2计算时间对比
[0075][0076]
从表2可知，得益于积分图法的加速效果，半立体校正匹配完成立体匹配的时间仅为传统方法的一半，采用半立体校正匹配可显著提高dic测量效率。半立体校正匹配法与传统匹配方法的本质区别在于迭代初值获取的方式不同，为讨论两者粗匹配的效果差异，统计了两种方法在粗匹配阶段获得的zncc相关系数最大值，统计结果如图6所示。
[0077]
由图6可知，在半立体校正匹配法进行粗匹配时，参考子区与目标子区的zncc相关系数最大值大致分布在0.95左右，而最小值也高于0.8。相比之下，传统立体匹配方法进行粗匹配时，参考子区与目标子区的zncc相关系数最大值分布范围很广，而最小值仅在0.3左右。这种情况的出现是因为在半立体校正匹配法中，参考图像和目标图像均经过立体校正技术的处理，由相机旋转和相机内参不同引起的图像特征畸变将得到一定程度地校正，从而使得参考子区与对应目标子区在形状和尺寸上相对更加接近，从而使得参考子区和目标子区相关系数增大，较大的相关系数意味着匹配结果具有更高的可靠性。半立体校正匹配法在粗匹配阶段获得的结果可靠性更高也更为准确，这将有利于精匹配算法的成功匹配从
而提高立体匹配成功率。
[0078]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0079]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.三维数字散斑图像的半立体校正匹配方法，其特征在于，包括以下步骤：s1、获取待测物体的散斑图像，所述散斑图像包括原参考图像和原目标图像；s2、将粗、精匹配分别作用于校正后图像与原图像，所述校正后图像为经过立体校正的参考图像和目标图像，所述原图像为步骤s1中获取的散斑图像。2.根据权利要求1所述的三维数字散斑图像的半立体校正匹配方法，其特征在于，所述步骤s2中，半立体校正匹配的过程如下：s2.1、立体校正：对原参考图像和原目标图像进行立体校正，获取校正后参考图像和校正后目标图像；s2.2、参考子区域中心坐标校正变换：利用校正矩阵将原参考图像中的参考子区中心坐标转换得到对应的校正后参考图像的参考子区中心坐标，并以此中心坐标建立新的参考子区；s2.3、zncc匹配：利用s2.2中得到的新参考子区，在校正后目标图像中进行zncc粗匹配；s2.4、进行zncc粗匹配结果逆校正变换；s2.5、ic-gn匹配：利用s2.4中所得的原目标图像迭代初值，通过ic-gn算法进行精匹配。3.根据权利要求2所述的三维数字散斑图像的半立体校正匹配方法，其特征在于：所述s2.1中，采用fusiello立体校正法，得到原参考图像和原目标图像的校正变换矩阵，并计算出校正后图像，校正前后成像系统的像素坐标存在如下式所示关系：其中m
ol
，m
or
分别表示校正前的原参考图像和原目标图像的齐次坐标，m
nl
，m
nr
分别是校正后参考图像和校正后目标图像的齐次坐标，t
l
，t
r
分别为原参考图像和原目标图像的的校正矩阵。4.根据权利要求2所述的三维数字散斑图像的半立体校正匹配方法，其特征在于：所述步骤s2.4中，将s2.3中在校正后图像中所得的粗匹配结果，通过逆校正变换为原目标图像中迭代初值。5.根据权利要求2所述的三维数字散斑图像的半立体校正匹配方法，其特征在于：所述步骤s2.3中，利用步骤s2.2中得到的新参考子区，在立体校正后的目标图像中利用经过积分图技术加速过的zncc算法完成粗匹配；zncc算法相关函数表达式如下：像素灰度与积分s(x,y)存在下列关系：f(x,y)＝s(x,y)+s(x-1,y-1)-s(x-1,y)-s(x,y-1)，其中，s(x,y)表示从第一行第一列到第x行第y列区间内的所有像素灰度的累加和，f(x,y)为一像素点灰度，y∈[1,n]，且y∈z；同理，可得像素灰度平方f2(x,y)与积分s2(x,y)的关系式：f2(x,y)＝s2(x,y)+s2(x-1,y-1)-s2(x-1,y)-s2(x,y-1)
当需要计算以(x,y)为中心，半径为n的子区内像素灰度累加和时，由积分法计算：当需要计算以(x,y)为中心，半径为n的子区内像素灰度累加和时，由积分法计算：6.根据权利要求2所述的三维数字散斑图像的半立体校正匹配方法，其特征在于：所述步骤s2.1立体校正过程中，相机投影矩阵的表达式为则校正前左右相机投影矩阵p
o1
,p
o2
表示为表示为左右光心c1，c2坐标为校正后左右相机具有同样的旋转矩阵r，校正后的左右相机的投影矩阵p
n1
和p
n2
分别表示为其中，k
n1
，k
n2
是校正后相机的内参；校正后旋转矩阵r构造：校正后的双相机系统与原系统的光心坐标不变，以c1c2连线作为校正后的x轴，以原左相机的z轴与新x轴叉乘，作为校正后的y轴，校正后的y轴与校正后的x轴叉乘，得到校正后的z轴，则旋转矩阵表示为其中r1＝(c1-c2)/||c1-c2||，r2＝k
×
r1，r3＝r1×
r2，k表示原左相机的z轴，立体校正矩阵构造为：其中t
l
，t
r
分别表示左右相机校正前后像素齐次坐标的之间的转换矩阵。

技术总结
本发明公开了三维数字散斑图像的半立体校正匹配方法，包括以下步骤：S1、获取待测物体的散斑图像，所述散斑图像包括原参考图像和原目标图像；S2、将粗、精匹配分别作用于校正后图像与原图像，所述校正后图像为经过立体校正的参考图像和目标图像，所述原图像为步骤S1中获取的散斑图像。本发明引入立体校正技术优化粗匹配过程，同时避免在精匹配过程引入额外的系统误差，可有效提升立体匹配的效率和成功率，并且不会因立体校正引入额外的系统误差，使用立体校正算法将传统立体匹配方法中斜极线搜索优化为水平线搜索，水平线搜索可使用积分图法加速粗匹配进程，这使得粗匹配的效率获得了显著提高。显著提高。显著提高。


技术研发人员：刘礼平 徐卓
受保护的技术使用者：中国民航大学
技术研发日：2023.05.05
技术公布日：2023/8/24