一种基于深度压缩感知的结构光三维快速重建方法

1.本发明涉及计算机视觉测量技术领域，特别涉及一种基于深度学习和压缩感知相结合的结构光快速三维重建方法。


背景技术：

2.结构光三维测量作为非接触测量方法，具有测量速度快、精度高的优点，利用单帧或多帧结构光图像即可重建得到被测表面的三维轮廓。因此，结构光三维重建技术广泛应用于工件的三维形貌重建中，特别是几何量测量。而几何量测量是关于工件的尺寸、形状和位置关系的测量技术和方法，是机械制造领域中极其重要、且最基本的流程之一。
3.高分辨率结构光图像带来更高三维重建精度的同时，图像的信息冗余也造成了结构光测量系统的数据传输、重建运算的巨大压力，制约了三维形貌重建速度。压缩传感是一种基于信号的可稀疏性与可压缩性而产生的信号采集及编码解码方法，特点是在信号采样的同时压缩数据，可有效减轻大数据量下的分析、处理、传输和存储压力。同时，深度学习因其强大的学习能力，陆续有研究利用神经网络模型来实现条纹结构光图像的相位提取、展开，以及直接三维重建。将压缩感知与深度学习相结合，构建基于深度压缩感知的结构光三维测量系统，可以提高智能柔性生产线中几何量测量的精度和速度。但如何利用压缩感知理论实现结构光图像的稀疏化及压缩采样，降低结构光测量系统前端图像采集压力，这需要进一步的研究工作。另一方面，如何利用采样得到的结构光图像的稀疏系数进行空间特征提取，并进行三维轮廓的快速重建，这也对结构光三维重建网络模型的设计提出了新的要求和挑战。


技术实现要素：

4.本发明的主要目的在于提供一种基于深度压缩感知的结构光三维快速重建方法，可以有效解决冲压类工件的几何量快速测量的问题。
5.本发明是一种基于深度压缩感知的结构光三维快速重建方法，包括以下步骤：
6.步骤一，将条纹结构光投射到被测物的表面，在起伏的被测表面上形成调制后的结构光图像；
7.步骤二，将步骤一获得的结构光图像划分为多个无重叠的图像分块，通过深度压缩采集网络实现对调制结构光图像的稀疏化及压缩采样，获得稀疏特征；
8.步骤三，利用步骤二获得的结构光图像稀疏特征进行冲压类工件的三维形貌重建，获得冲压类工件的分块子轮廓，以降低网络规模，提高三维重建的速度；
9.步骤四，通过混合神经网络结构对步骤三获得的分块子轮廓进行全局与局部特征的解码，以消除深度压缩采集网络的分块效应，提高三维重建精度，对几何量测量结果进行误差评估，根据评估结果修改步骤二中深度压缩采集网络的压缩采样比。
10.进一步的，步骤一中，当被测物为平滑形貌特点的冲压工件时，用于投射条纹结构光的构建结构光测量装置向冲压工件投射单帧参考结构光图像，该参考结构光图像的条纹
特征被物体形状所调制，在相机感光器件上成像。
11.进一步的，步骤二中，利用卷积神经采样网络对得到的调制结构光图像进行稀疏化及压缩采样，具体方式为：
12.将原始结构光图像划分为大小为b
×
b的无重叠图像分块x，x的压缩采样过程利用卷积操作进行：
[0013][0014]
其中ws代表卷积操作，卷积核大小为b
×b×
1，滤波器层数为nb，步长为b
×
b，对于压缩采样后的结果视作为nb个通道的一维矩阵，进一步为降低压缩采集端的运算复杂度。
[0015]
进一步的，对于图像分块x压缩采样后的结果作为具有nb个通道的一维矩阵，使用蝶形运算(butterfly transform)进行多通道融合，以减少计算复杂度，对于采样得到的将其通道划分为k份，每份大小为同时将bft变换的输出通道(分别为)也划分为k份，将通道与yj利用个连接边进行关联，则bft变换的每个输出通道yj都能从输入通道中融合信息。
[0016]
进一步的，步骤三中，结构光图像稀疏特征的三维形貌重建依次包括初级重建和分块重建结果拼接两个过程，步骤四中的解码为次级重建过程。
[0017]
进一步的，初级重建采用三维轮廓直接预测的网络模型对相机前端压缩采集到的结构光图像稀疏特征进行三维形貌重建，通过原始结构光图像的恢复过程，以降低网络规模，并提高三维重建速度。
[0018]
对于采集的结构光图像稀疏系数首先使用一个卷积核大小固定的卷积层和一个组合层来构建初级重建模块，获得图像分块x对应的初始三维轮廓重建结果x
′
，其过程表示为：
[0019][0020][0021]
其中，对于水平分辨率为b的结构光图像分块，w
int
是b2个滤波器，是维度为1
×1×
b2的向量，γ(
·
)是一个变形函数，用于将向量1
×1×
b2变形为b
×b×
1的重建子三维轮廓x
′
。
[0022]
进一步的，次级重建过程中，采用将卷积残差网络与transformer网络的双路径强混合，将跨轮廓分块的特征融合，构建多路径神经网络模型，以降低分块重建结果拼接的分块效应。
[0023]
首先，利用子三维轮廓x
′
拼接得到完整的三维轮廓，其计算方式为：
[0024][0025]
其中，h和w是原始结构光图像在划分的图像分块时水平和垂直方向的数量，i和j
是x
ij
的空间索引，是对应的重建子三维轮廓维度x
′
，κ(
·
)是拼接函数。
[0026]
所述的次级重建过程，是将拼接得到的初级三维轮廓作为的输入，在利用卷积残差网络进行局部特征提取的同时，利用注意力机制进行全局特征提取，将跨轮廓分块的特征融合，构建多路径神经网络模型。
[0027]
进一步的，对于卷积残差网络与transformer网络的双路径强混合子模块实现，在解码器的设计中采用卷积层和transformer层并行的双路径子网络模块，每个卷积块都有与之对应并行的transformer层进行全局、局部特征的交互。利用卷积层进行全局三维轮廓特征的尺度变换，实现卷积残差子路径和transformer子路径间的特征尺度的耦合。
[0028]
本发明通过条纹结构光投影间接获得冲压工件的几何量信息；通过深度学习及蝶形运算实现稀疏化方法，对结构光图像进行压缩采集；通过混合神经网络结构进行全局与局部特征的解码；通过结构光图像的恢复过程，对压缩采样的稀疏特征直接进行三维重建，解决了结构光图像采集、传输数据量大，深度学习重建速度慢的问题，有利于物体表面几何量的快速测量。
[0029]
与现有技术相比，本发明具有如下有益效果：
[0030]
(1)本发明基于压缩感知及深度学习理论，提出了一种结构光稀疏特征三维重建方案，以应用于智能柔性生产线中的几何量快速测量；研究结构光图像的相位、方向等空间特征，从空间特征的高效提取及硬件实现便利性角度出发，设计了结构光图像的稀疏化方法及自适应压缩采集，降低图像数据冗余信息，为实现工业生产线中快速几何量测量奠定基础。
[0031]
(2)本发明综合利用卷积操作的局部感知野，以及长距离感知能力的注意力机制，研究多路径混合网络中的全局、局部特征的融合理论，以降低网络部署规模提高预测速度，并通过自适应的多尺度层次化重建方法，实现稀疏特征的快速三维重建网络模型；探索神经网络模型的可解释性研究，为模型结构设计、参数调整提供理论依据，提高结构光三维测量系统的精度及泛化能力。
附图说明
[0032]
图1为本发明具体实施方式的系统流程图；
[0033]
图2为本发明具体实施方式的中结构光图像压缩采样原理图；
[0034]
图3为本发明具体实施方式的中结构光图像压缩采集端神经网络结构图；
[0035]
图4为本发明中具体实施方式的混合网络的特征耦合示意图。
具体实施方式
[0036]
为实现上述目的，下面结合说明书附图及具体实施方式对上述技术方案进行详细的说明。
[0037]
本实施例提供一种基于深度压缩感知和结构光结合的三维快速重建方法，通过对调制结构光图像进行稀疏化采集，降低数据传输量，通过结构光图像的相位恢复及解调过程，利用transformer和cnn混合网络进行三维重建，系统流程图如图1所示。包括以下步骤：
[0038]
步骤一，将条纹结构光投射到被测物的表面，在起伏的被测表面上形成调制后的结构光图像；
[0039]
步骤二，将步骤一获得的结构光图像划分为多个无重叠的图像分块，通过深度压缩采集网络实现对调制结构光图像的稀疏化及压缩采样，获得稀疏特征；
[0040]
步骤三，利用步骤二获得的结构光图像稀疏特征进行冲压类工件的三维形貌重建，获得冲压类工件的分块子轮廓，以降低网络规模，提高三维重建的速度；
[0041]
步骤四，通过混合神经网络结构对步骤三获得的分块子轮廓进行全局与局部特征的解码，以消除深度压缩采集网络的分块效应，提高三维重建精度，对几何量测量结果进行误差评估，根据评估结果修改步骤二中深度压缩采集网络的压缩采样比。
[0042]
优选的，步骤一中，所述该方法还包括构建结构光测量装置，投射单帧参考结构光图像到被测物表面，该参考结构光图像的条纹特征被物体形状所调制，在相机感光器件上成像，得到调制结构光图像。
[0043]
优选的，所述利用以卷积神经为主框架的深度压缩采样网络，对得到的调制结构光图像进行稀疏化及压缩采样。
[0044]
优选的，次级重建将transformer嵌入到卷积网络中以构建混合网络，实现高精度的三维重建效果。
[0045]
优选的，针对三维重建结果，根据几何量测量结果评估系统的测量不确定度，优化深度压缩采样网络的压缩采样比，以提高测量效率。
[0046]
步骤二中，深度压缩采样网络利用卷积层模拟图像的稀疏化及压缩采样过程，并通过与边缘计算端的联合训练对深度压缩采样网络进行自适应更新压缩采样比α，如图2所示。
[0047]
为降低相机硬件端运算复杂度，首先将输入的原始结构光图像划分为无重叠的图像分块，大小为b
×
b，且默认为灰度图像。对于某个图像分块x，相机硬件端的结构光图像的压缩采集过程可以表示为：
[0048]
y＝φbx(1)
[0049]
其中φb是大小为nb×
b2的传感矩阵，当采样比为α时，该压缩采样过程利用卷积操作进行：
[0050][0051]
其中ws代表卷积操作，卷积核大小为b
×b×
1，滤波器层数为nb，步长为b
×
b，如图3中表示为conv(b,nb)。
[0052]
对于图像分块x压缩采样后的结果其可以视作有nb个通道的一维矩阵，一般采用大小为1
×
1的逐点卷积或者全连接层。而相机硬件端是资源受限的嵌入式平台，为了减少深度压缩采样网络的计算复杂度，采用蝶形运算进行替代，对于采样得到的将其通道划分为k份，每份大小为同时将bft变换的输出通道(分别为y1,
…
,y
nb
)也划分为k份。将通道与yj利用个连接边进行关联，则bft变换的每个输出通道yj都能从输入通道中融合信息。如图3所示的bft(n,2)，一般取k＝2，即划分为2个部分进行运算。
[0053]
步骤三中，对于相机前端压缩采集到的结构光图像的稀疏特征，通常有相位的恢复、解调和解包裹等流程，采用三维轮廓直接预测的网络模型，通过原始结构光图像的恢复
过程，以降低网络规模，并提高三维重建速度。对于采集的结构光图像稀疏系数首先使用一个卷积核大小固定的卷积层和一个组合层来构建初级重建模块，获得图像分块x对应的初始三维轮廓重建结果x
′
，其过程表示为：
[0054][0055][0056]
其中，对于水平分辨率为b的结构光图像分块，w
int
是b2个滤波器，是维度为1
×1×
b2的向量，γ(
·
)是一个变形函数，用于将公式(3)得到的向量1
×1×
b2变形为b
×b×
1的重建子三维轮廓x
′
。
[0057]
步骤四中，图像分块的稀疏系数y经过步骤三的获得的子三维轮廓x
′
，作为次级混合特征重建模块的输入，系统经过分块拼接得到完整分辨率的三维轮廓图，然而系统在相机硬件端是按照结构光图像分块划分进行稀疏系数采集的，导致初级重建得到的分块子轮廓之间将可能存在严重的分块效应，造成三维重建效果严重失真。
[0058]
在利用卷积残差网络进行局部特征提取的同时，利用注意力机制进行全局特征提取，将跨轮廓分块的特征融合，构建多路径神经网络模型。将卷积残差网络与transformer网络的双路径强混合子模块实现方法，原理如图4所示。
[0059]
解码器的设计中采用卷积层和transformer层并行的子网络模块，每个卷积块都有与之对应并行的transformer层进行全局、局部特征的交互，与目前的卷积神经网络相比，transformer具备了全局、动态感受野的能力，同时所需的计算资源也显著减少，这对于高分辨率结构光图像的大尺度建模，提高三维重建的精度。
[0060]
经过拼接才能得到完整三维轮廓，计算方式为：
[0061][0062]
其中，h和w是原始结构光图像在划分的图像分块时水平和垂直方向的数量，i和j是x
ij
的空间索引，是对应的重建子三维轮廓维度x
′
，κ(
·
)是拼接函数，最终可以利用公式(5)拼接成完整的三维轮廓图。并针对三维重建结果，提取被测表面的距离、圆直径等几何量特征进行测量精度的评估，优化深度压缩采样网络的压缩采样比α。
[0063]
综上所述，本发明采用一种深度学习与压缩感知结合的结构光三维重建方法，以适用于冲压工件等的几何量测量，首先利用深度压缩感知对调制结构光图像的自适应稀疏化及压缩采样，在初级重建网络中直接对稀疏特征直接进行三维形貌重建，通过结构光图像的压缩重构过程，同时在次级重建网络中采用transformer与卷积层结合消除压缩采集端的分块效应，提高三维重建精度。
[0064]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：
1.一种基于深度压缩感知的结构光三维快速重建方法，其特征在于，包括以下步骤：步骤一，将条纹结构光投射到被测物的表面，在起伏的被测表面上形成调制后的结构光图像；步骤二，将步骤一获得的结构光图像划分为多个无重叠的图像分块，通过深度压缩采集网络实现对调制结构光图像的稀疏化及压缩采样，获得稀疏特征；步骤三，利用步骤二获得的结构光图像稀疏特征进行冲压类工件的三维形貌重建，获得冲压类工件的分块子轮廓；步骤四，通过混合神经网络结构对步骤三获得的分块子轮廓进行全局与局部特征的解码，对几何量测量结果进行误差评估，根据评估结果修改步骤二中深度压缩采集网络的压缩采样比。2.根据权利要求1所述的基于深度压缩感知的结构光三维快速重建方法，其特征在于，步骤一中，当被测物为平滑形貌特点的冲压工件时，用于投射条纹结构光的构建结构光测量装置向冲压工件投射单帧参考结构光图像。3.根据权利要求1所述的基于深度压缩感知的结构光三维快速重建方法，其特征在于，步骤二中，利用卷积神经采样网络对得到的调制结构光图像进行稀疏化及压缩采样，具体方式为：将原始结构光图像划分为大小为b
×
b的无重叠图像分块x，x的压缩采样过程利用卷积操作进行：其中w
s
代表卷积操作，卷积核大小为b
×
b
×
1，滤波器层数为n
b
，步长为b
×
b，对于压缩采样后的结果视作为n
b
个通道的一维矩阵。4.根据权利要求3所述的基于深度压缩感知的结构光三维快速重建方法，其特征在于，对于图像分块x压缩采样后的结果作为具有n
b
个通道的一维矩阵，使用蝶形运算进行多通道融合，对于采样得到的将其通道划分为k份，每份大小为同时将bft变换的输出通道也划分为k份，将通道与y
j
利用个连接边进行关联，则bft变换的每个输出通道y
j
都能从输入通道中融合信息。5.根据权利要求1所述的基于深度压缩感知的结构光三维快速重建方法，其特征在于，步骤三中，结构光图像稀疏特征的三维形貌重建依次包括初级重建和分块重建结果拼接两个过程，步骤四中的解码为次级重建过程。6.根据权利要求5所述的基于深度压缩感知的结构光三维快速重建方法，其特征在于，初级重建采用三维轮廓直接预测的网络模型对相机前端压缩采集到的结构光图像稀疏特征进行三维形貌重建。7.根据权利要求5所述的基于深度压缩感知的结构光三维快速重建方法，其特征在于，次级重建过程中，采用将卷积残差网络与transformer网络的双路径强混合，将跨轮廓分块的特征融合，构建多路径神经网络模型。8.根据权利要求7所述的基于深度压缩感知的结构光三维快速重建方法，其特征在于，
对于卷积残差网络与transformer网络的双路径强混合子模块实现，在解码器的设计中采用卷积层和transformer层并行的双路径子网络模块，每个卷积块都有与之对应并行的transformer层进行全局、局部特征的交互。

技术总结
本发明是一种基于深度压缩感知的结构光三维快速重建方法，包括以下步骤：将条纹结构光投射到被测物的表面；将图像划分为多个分块，稀疏化及压缩采样；全局与局部特征的解码，对几何量结果进行误差评估，根据评估结果修改压缩采样比。本发明通过条纹结构光投影间接获得冲压工件的几何量信息；通过深度学习及蝶形运算实现稀疏化方法，对结构光图像进行压缩采集；通过混合神经网络结构进行全局与局部特征的解码；通过结构光图像的恢复过程，对压缩采样的稀疏特征直接进行三维重建，解决了结构光图像采集、传输数据量大，深度学习重建速度慢的问题，有利于物体表面几何量的快速测量。有利于物体表面几何量的快速测量。有利于物体表面几何量的快速测量。


技术研发人员：王磊
受保护的技术使用者：天津师范大学
技术研发日：2023.07.20
技术公布日：2023/10/15