一种用于双目立体匹配的残差融合方法与流程

1.本发明涉及立体匹配领域，具体涉及一种用于双目立体匹配的残差融合算法。


背景技术：

2.在双目视觉的立体匹配中，一个关键问题是寻找左右图像的对应点，以取得两幅图像中对应像素的水平位置差，也叫作视差。根据视差和双目相机之间的参数便可直接计算出各像素的深度。
3.目前，大多数方法采用卷积神经网络进行立体匹配，其立体匹配的网络模型通常包括四个部分：特征提取、代价计算、代价聚合和视差回归。一些网络模型在代价聚合期间使用的是3d卷积，实现了高精度的同时，带来了更多的浮点计算，且运行时间很长，并且难以在实时应用程序中部署。还有一些网络模型在代价聚合期间使用的是2d卷积，但是2d卷积在深度估计的精度较低，降低了双目视觉立体匹配网络的适用性。


技术实现要素：

4.本发明主要解决的技术问题是：提供一种高精度的用于双目立体匹配的残差融合方法。
5.根据第一方面，一种实施例提供一种用于双目立体匹配的残差融合算法，包括：分别获取双目摄像机下左视图和右视图的图像特征；对所述左视图和右视图的图像特征进行逐点相关，以构建若干设定尺度的代价卷；对每一个设定尺度的代价卷进行非线性运算以对应获得第一代价卷，对所述第一代价卷进行线性运算以对应获得第二代价卷；利用注意力模块对所述第二代价卷进行拟合以对应获得第三代价卷；将所述第三代价卷上采样到第一设定分辨率，以得到第四代价卷；对所述第三代价卷和第四代价卷作差，以获得残差代价卷；将所述残差代价卷融合至所述第三代价卷以得到视差特征图；将所述视差特征图融合至对应设定尺度的代价卷，以获得视差回归图；将所述视差回归图上采样到第二设定分辨率，以得到视差图；利用所述视差图估算左视图和右视图中物体的几何信息。
6.一种实施例中，所述分别获取双目摄像机下左视图和右视图的图像特征，包括：利用相同的卷积核分别对左视图和右视图不同区域的图像进行特征提取，以对应获得左视图和右视图的图像特征。
7.一种实施例中，所述对所述左视图和右视图的图像特征进行逐点相关，以构建若干设定尺度的代价卷，包括：所述设定尺度的代价卷包括：1/3dmax
×
1/3h
×
1/3w、1/6dmax
×
1/6h
×
1/6w和1/12dmax
×
1/12h
×
1/12w；其中，dmax表示最大视差范围，h表示左视图和右视图的原始高度，w表示左视图和
右视图的原始宽度。
8.一种实施例中，所述利用注意力模块对所述第二代价卷进行拟合以获得第三代价卷，包括：将所述第二代价卷中各点周围的点的图像特征拟合至该点，以获得第三代价卷，用于增加第二代价卷中各点与周围点的联系。
9.一种实施例中，所述将所述第三代价卷上采样到第一设定分辨率，包括：对所述第三代价卷进行逐点卷积以扩大第三代价卷的通道数，通过最近邻插值法对扩大通道数的第三代价卷进行上采样以达到所述第一设定分辨率。
10.一种实施例中，所述第一设定分辨率包括1/2分辨率。
11.一种实施例中，所述将所述视差特征图融合至对应设定尺度的代价卷，包括：通过设定卷积层将所述设定尺度的代价卷调整为视差特征图的维数，将所述视差特征图中每个点图像特征融合至调整了维数的设定尺度的代价卷。
12.一种实施例中，所述设定卷积层包括步长为2的3
×
3卷积层。
13.一种实施例中，所述第二设定分辨率包括左视图和右视图的原始分辨率。
14.根据第二方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现上述的用于双目立体匹配的残差融合方法。
15.根据上述实施例的用于双目立体匹配的残差融合方法和计算机可读存储介质，根据左视图和右视图的图像特征构建不同设定尺度的代价卷，以使得视差图能够包含不同尺度的信息。再利用非线性运算和线性运算分别对每一个设定尺度的代价卷进行处理，从而可以获取更高阶的图像信息，以获取更精准的视差图。利用注意力模块能够强调各代价卷中的不同部分，还有助于进一步的跨尺度聚合。最后利用上采样和下采样的方式进行融合，以使得融合后的图像特征具有更强的识别能力。
附图说明
16.图1为一种实施例中用于双目立体匹配的残差融合方法的流程图一；图2为一种实施例中用于双目立体匹配的残差融合方法的流程图二；图3为一种实施例中用于双目立体匹配的残差融合方法所采用的模块示意图；图4为一种实施例中用于双目立体匹配的残差融合方法的流程图三；图5为一种实施例中用于双目立体匹配的残差融合方法的流程图四。
具体实施方式
17.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本技术能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本技术相关的一些操作并没有在说明书中显示或者描述，这是为了避免本技术的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
18.另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各
种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
19.本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本技术所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。
20.本技术一种实施例提供了一种用于双目立体匹配的残差融合方法，该方法由特征提取、代价卷构建、代价聚合和视差细化四部分组成。请参考图1，其具体包括以下步骤。
21.在特征提取阶段，采用步骤s100：分别获取双目摄像机下左视图和右视图的图像特征。
22.一些实施例中，在执行步骤s100分别获取双目摄像机下左视图和右视图的图像特征时，请参考图2，还包括以下步骤。
23.步骤s110：利用相同的卷积核分别对左视图和右视图不同区域的图像进行特征提取，以对应获得左视图和右视图的图像特征。
24.一些实施例中，采用堆叠沙漏提取器对左视图和右视图不用区域的图像进行特征提取。堆叠沙漏提取器由多个“沙漏”模块堆叠而成，其中包括多个卷积核。在多个卷积核中利用相同的卷积核分别对左视图和右视图进行特征提取，由于堆叠沙漏提取器包括多个卷积核，因此提取出来的图像特征包括有不同尺度。再使用密集连接分别对左视图和右视图的不同尺度之间特征进行拼接，以对应获得左视图和右视图的图像特征。
25.在代价卷构建阶段，采用步骤s200：对左视图和右视图的图像特征进行逐点相关，以构建若干设定尺度的代价卷。
26.一些实施例中，将左视图和右视图中每个对应的像素点进行逐点相关，从而构建出若干个设定尺度的代价卷。
27.一些实施例中，设定尺度的代价卷包括1/3dmax
×
1/3h
×
1/3w、1/6dmax
×
1/6h
×
1/6w和1/12dmax
×
1/12h
×
1/12w。其中，dmax表示最大视差范围，h表示左视图和右视图的原始高度，w表示左视图和右视图的原始宽度。利用构建出的不同尺度的代价卷能够获取不同的代价信息，从而构造出精度更高的视差图。
28.在代价聚合阶段，采用步骤s300：根据不同设定尺度的代价卷确定视差回归图。请参考图3，步骤s300根据不同设定尺度的代价卷确定视差回归图采用了三个子块，分别为组合模块300a、注意力模块300b和剩余融合模块300c。
29.一些实施例中，请参考图4，在执行步骤s300根据不同设定尺度的代价卷确定视差回归图包括以下步骤。
30.在组合模块300a中执行步骤s310：对每一个设定尺度的代价卷进行非线性运算以对应得到第一代价卷，对第一代价卷进行线性运算以对应得到第二代价卷。
31.一些实施例中，使用1*1点卷积和3*3深度卷积组成的残差结构对构造的每一个设定尺度的代价卷进行处理。先使用relu激活函数对各设定尺度的代价卷进行非线性运算，以得到各设定尺度的代价卷对应的第一代价卷，然后再使用线性变换对各第一代价卷进行处理，以得到对应的第二代价卷。
32.使用1*1点卷积和3*3深度卷积组成的残差结构对构造的每一个设定尺度的代价
卷进行处理是指：在设定尺度的代价卷的基础上，通过添加一些额外的卷积层，形成了一种类似于残差网络的结构。这种结构可以增强图像特征的表达能力，提高根据视差图进行双目立体匹配的准确性和鲁棒性。并且，点卷积可以降低维度和增加非线性，深度卷积可以增加网络的深度和感受野，进一步提高图像特征的表达能力。
33.在注意力模块300b中执行步骤s320：利用注意力模块对第二代价卷进行拟合以对应获得第三代价卷。
34.一些实施例中，将第二代价卷中各个点周围的点的图像特征进行拟合至该点，以获得第三代价卷。也就是说，第二代价卷中每个点周围都有若干点，因此每个点都可以称为中心点，将中心点周围的点的图像特征拟合至中心点，从而中心点就包含了周围各点的图像特征。
35.一些实施例中，注意力模块为轻量级的注意力模块，利用轻量级的注意力模块可以将注意力集中在要获得视差图的最相关的图像特征，从而提高视差图的准确性。设v∈r
c*h*w
是输入的第二代价卷，其中c是输入通道数，h和w是第二代价卷的高度和宽度。代价卷在通道方向上分为g组，每组分别处理。g组表现形式为[v1，v2，...，vg]，将vk定义为其中一组，其中1≤k≤g。通过如下公式可以完成利用注意力模块对第二代价卷的处理：，，，其中，maxpool是3*3最大池化层，pw是逐点卷积，ak是从vk中推断出的注意力图。每组ak通过学习跨通道信息来捕捉空间关系。使用softmax激活构建点之间相关性的概率。对于每个组，输出是通过元素乘法和加法得到的，输出的第三代价卷v
´
是通过堆叠所有突出显示的得到的，concat表示通道数的增加。
[0036]
在残差融合模块300c中执行步骤s330：将第三代价卷上采样到第一设定分辨率以得到第四代价卷；对第三代价卷和第四代价卷作差以获得残差代价卷；将残差代价卷融合至第三代价卷以得到视差特征图；将视差特征图融合至对应设定尺度的代价卷以获得视差回归图。
[0037]
其中，分辨率指的是输入模型的图像尺寸，即长宽大小。通常情况会根据模型下采样次数和最后一次下采样后特征图的分辨率来决定输入分辨率的大小。
[0038]
在卷积神经网络中，由于输入图像通过卷积神经网络提取特征后，输出的尺寸往往会变小，而有时需要将图像恢复到原来的尺寸以便进行进一步的计算，这个使图像由小分辨率映射到大分辨率的操作，叫做上采样。
[0039]
请参考图5，一些实施例中，在执行步骤s330将第三代价卷上采样到第一设定分辨率以得到第四代价卷；对第三代价卷和第四代价卷作差以获得残差代价卷；将残差代价卷融合至对应设定尺度的代价卷以获得视差回归图时，包括以下步骤：步骤s331：对第三代价卷进行逐点卷积以扩大通道数，并通过最近邻插值法对扩大通道数的第三代价卷进行上采样以达到第一设定分辨率形成第四代价卷。
[0040]
一些实施例中，第一设定分辨率为1/2分辨率。
[0041]
步骤s332：对第三代价卷和第四代价卷作差以得到残差代价卷，通过步长为1的3*3卷积层对残差代价卷处理，以将残差代价卷融合至第三代价卷得到视差特征图。
[0042]
一些实施例中，通过如下公式得到视差特征图：，，其中，r
up
表示上采样处理结果，upsampling为上采样，pw为pointwise，用以扩展通道数，v
l
表示低分辨率代价卷，vh表示高分辨率代价卷，conv表示卷积操作，表示残差代价卷融合至高分辨率代价卷的视差特征。
[0043]
步骤s333：利用下采样的方式，通过步长为2的3
×
3卷积层将设定尺度的代价卷调整为视差特征图的维数，将视差特征图中每个点图像特征融合至调整了维数的设定尺度的代价卷，以获得视差回归图。
[0044]
一些实施例中，通过如下公式得到视差回归图：，，其中，r
down
表示下采样处理结果，conv表示卷积操作，stride=2表示卷积步长为2，用作下采样，vh表示高分辨率代价卷，v
l
表示低分辨率代价卷，表示残差代价卷融合至低分辨率代价卷的视差特征。
[0045]
一些实施例中，在上采样和下采样中，残差代价卷集中在不同输入之间的不同信息上，加法操作在每个分支中保存原始的代价卷以保存信息，与简单的添加或拼接相比，融合后的特征具有更强的识别能力。
[0046]
在视差细化阶段，采用步骤s400：将视差回归图上采样到第二设定分辨率以得到视差图，利用视差图估计左视图和右视图中物体的几何信息。
[0047]
视差图是以左视图和右视图中任一副图像为基准图像，其大小为该基准图像的大小，元素值为视差值的图像，视差图中包含了场景的几何距离信息。利用视差回归图以视差回归的方式来估算连续的视差图。一些实施例中，第二设定分辨率为左视图和右视图的原始分辨率。
[0048]
在本技术所提供的用于双目立体匹配的残差融合方法中，在获取到双目摄像机下左视图和右视图的图像特征后，利用逐点相关的方式对左视图和右视图的图像特征构建若干设定尺度的代价卷。以1/3dmax
×
1/3h
×
1/3w的代价卷为例，对1/3dmax
×
1/3h
×
1/3w的代价卷进行非线性运算以得到1/3dmax
×
1/3h
×
1/3w的代价卷对应的第一代价卷，然后对该第一代价卷进行线性运算得到第二代价卷。利用注意力模块对该第二代价卷进行拟合以获得对应的第三代价卷，将第三代价卷上采样到1/2分辨率以得到第四代价卷，对第三代价卷和第四代价卷作差以获得残差代价卷，将残差代价卷融合到第三代价卷得到视差回归图，最终再将视差回归图融合到1/3dmax
×
1/3h
×
1/3w的代价卷中，从而得到视差回归图。另外两个设定尺度的代价卷1/6dmax
×
1/6h
×
1/6w和1/12dmax
×
1/12h
×
1/12w也经过相同
的过程，此处不再赘述。
[0049]
本技术所提供的用于双目立体匹配的残差融合方法中利用组合模块结合了不同感受野的特征，利用注意力模块强调了不同代价卷中的显著区域，在利用剩余融合模块侧重于提取相邻卷积之间的差异，使用逐步剩余聚合而不是简单的堆叠或添加，从而提高了双目立体匹配的精度，也提高了获取的视差图的准确度。
[0050]
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
[0051]
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

技术特征：
1.一种用于双目立体匹配的残差融合方法，其特征在，包括：分别获取双目摄像机下左视图和右视图的图像特征；对所述左视图和右视图的图像特征进行逐点相关，以构建若干设定尺度的代价卷；对每一个设定尺度的代价卷进行非线性运算以对应获得第一代价卷，对所述第一代价卷进行线性运算以对应获得第二代价卷；利用注意力模块对所述第二代价卷进行拟合以对应获得第三代价卷；将所述第三代价卷上采样到第一设定分辨率，以得到第四代价卷；对所述第三代价卷和第四代价卷作差，以获得残差代价卷；将所述残差代价卷融合至所述第三代价卷以得到视差特征图；将所述视差特征图融合至对应设定尺度的代价卷，以获得视差回归图；将所述视差回归图上采样到第二设定分辨率，以得到视差图；利用所述视差图估算左视图和右视图中物体的几何信息。2.如权利要求1所述的用于双目立体匹配的残差融合方法，其特征在于，所述分别获取双目摄像机下左视图和右视图的图像特征，包括：利用相同的卷积核分别对左视图和右视图不同区域的图像进行特征提取，以对应获得左视图和右视图的图像特征。3.如权利要求1所述的用于双目立体匹配的残差融合方法，其特征在于，对所述左视图和右视图的图像特征进行逐点相关，以构建若干设定尺度的代价卷，包括：所述设定尺度的代价卷包括：1/3dmax
×
1/3h
×
1/3w、1/6dmax
×
1/6h
×
1/6w和1/12dmax
×
1/12h
×
1/12w；其中，dmax表示最大视差范围，h表示左视图和右视图的原始高度，w表示左视图和右视图的原始宽度。4.如权利要求1所述的用于双目立体匹配的残差融合方法，其特征在于，利用注意力模块对所述第二代价卷进行拟合以获得第三代价卷，包括：将所述第二代价卷中各点周围的点的图像特征拟合至该点，以获得第三代价卷，用于增加第二代价卷中各点与周围点的联系。5.如权利要求1所述的用于双目立体匹配的残差融合方法，其特征在于，将所述第三代价卷上采样到第一设定分辨率，包括：对所述第三代价卷进行逐点卷积以扩大第三代价卷的通道数，通过最近邻插值法对扩大通道数的第三代价卷进行上采样以达到所述第一设定分辨率。6.如权利要求5所述的用于双目立体匹配的残差融合方法，其特征在于，所述第一设定分辨率包括1/2分辨率。7.如权利要求1所述的用于双目立体匹配的残差融合方法，其特征在于，所述将所述视差特征图融合至对应设定尺度的代价卷，包括：通过设定卷积层将所述设定尺度的代价卷调整为视差特征图的维数，将所述视差特征图中每个点图像特征融合至调整了维数的设定尺度的代价卷。8.如权利要求7所述的用于双目立体匹配的残差融合方法，其特征在于，所述设定卷积层包括步长为2的3
×
3卷积层。9.如权利要求1所述的用于双目立体匹配的残差融合方法，其特征在于，所述第二设定分辨率包括左视图和右视图的原始分辨率。
10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-9中任一项所述的方法。

技术总结
一种用于双目立体匹配的残差融合方法，涉及立体匹配领域。该方法包括：分别获取双目摄像机下左视图和右视图的图像特征；对左视图和右视图的图像特征进行逐点相关，以构建若干设定尺度的代价卷；对每一个设定尺度的代价卷进行非线性运算以对应获得第一代价卷，对第一代价卷进行线性运算以对应获得第二代价卷；利用注意力模块对第二代价卷进行拟合以对应获得第三代价卷；将第三代价卷上采样到第一设定分辨率，以得到第四代价卷；对第三代价卷和第四代价卷作差，以获得残差代价卷；将残差代价卷融合至对应设定尺度的代价卷，以获得视差回归图；将视差回归图上采样到第二设定分辨率，以得到视差图；利用视差图估算左视图和右视图中物体的几何信息。物体的几何信息。物体的几何信息。


技术研发人员：俞正中 翟聚才 钱刃 杨文帮 赵勇 李福池
受保护的技术使用者：东莞市爱培科技术有限公司
技术研发日：2023.08.04
技术公布日：2023/9/9