一种用于立体匹配的代价聚合计算方法和装置与流程

1.本发明涉及机器视觉立体匹配技术领域，具体涉及一种用于立体匹配的代价聚合计算方法和装置。


背景技术：

2.立体匹配也称作视差估计（disparity estimation），或者双目深度估计。输入的是同一时刻获取的，且经过极线校正的两幅图像（左图像i
l
和右图像ir），输出的是由参考图像（一般以左图像作为参考图像）中每个像素对应的视差值所构成的视差图d。请参考图1，为视差图获取示意图，视差是三维场景中某一点在左右图像中对应点位置的像素级差距，获取视差图d后就可以根据深度获取公式获取深度图，其深度获取公式为：z=（b
×
f）/d；其中，f为相机镜头的焦距，b为两个相机中心之间的距离，d为视差，z为通过预测左右两幅图像上对应像素视差d的深度值。如何通过给定的一对校正后的立体图像，在有限的计算资源下准确、快速的预测视差是立体匹配计算中的核心问题。


技术实现要素：

3.本发明主要解决的技术问题是如何提高神经网络在细纹理区域和重复纹理区域中匹配左右图像对能力差的技术问题。
4.根据第一方面，一种实施例中提供一种用于立体匹配的代价聚合方法，包括聚合计算，所述聚合计算包括：获取第二代价卷结构；所述第二代价卷结构的获取过程包括：对立体匹配过程中获取的代价卷结构作为第一代价卷结构，并按一预设的第一分块方式将所述第一代价卷结构分成4n个大小相同的代价块；每个所述代价块包括至少2m个代价点，每个所述代价点对应个一个图像像素点；其中，n和m为大于0的整数；将每个所述代价块的2m个代价点按一预设的第一展平顺序展平为一个一维的第一块序列；将每个所述第一块序列按一预设的第一输入顺序输入一预设的第一全连接聚合神经网络模型中，并获取所述第一全连接聚合神经网络模型输出的第一特征向量序列；每个所述第一块序列对应一个所述第一特征向量序列；依据所述第一展平顺序将所述第一特征向量序列恢复为代价块，再依据所述第一分块方式重构代价卷结构，以获取所述第二代价卷结构；获取第三代价卷结构；所述第三代价卷结构的获取过程包括：按一预设的第二分块方式将所述第一代价卷结构分成4p个大小相同的代价块，每个所述代价块包括至少2q个代价点；其中，p和q为大于0的整数；所述第一分块方式和所述第二分块方式不相同；将每个所述第二代价块的2p个代价点按一预设的第二展平顺序展平为一个一维
的第二块序列；将每个所述第二块序列按一预设的第二输入顺序输入一预设的第二全连接聚合神经网络模型中，并获取所述第二全连接聚合神经网络模型输出的第二特征向量序列；每个所述第二块序列对应一个所述第二特征向量序列；依据所述第二展平顺序将所述第二特征向量序列恢复为代价块，再依据所述第二分块方式重构代价卷结构，以获取所述第三代价卷结构；获取聚合计算结果；所述聚合计算结果的获取过程包括：将所述第一代价卷结构、所述第二代价卷结构和所述第三代价卷结构进行融合，并将融合后获取的代价卷结构作为所述代价聚合计算的结果输出。
5.一实施例中，所述第一全连接聚合神经网络模型和所述第二全连接聚合神经网络模型分别包括至少两层全连接层。
6.一实施例中，所述第一全连接聚合神经网络模型和所述第一全连接聚合神经网络模型是将校准好的sceneflow数据、kitti2015数据和/或kitti016数据作为训练集进行训练获取。
7.一实施例中，所述第一全连接聚合神经网络模型和所述第一全连接聚合神经网络模型的模型参数相同。
8.一实施例中，所述第一全连接聚合神经网络模型和所述第一全连接聚合神经网络模型不设置全连接层的偏置项。
9.一实施例中，所述第一分块方式和所述第二分块方式不相同，包括：所述第二分块方式是将所述第一分块方式中的每个代价块按一预设的偏移量进行偏移获取；所述偏移量不大于所述代价块。
10.一实施例中，代价聚合方法还包括：完成至少两次聚合计算；第一次聚合计算的输入是所述立体匹配过程中获取的代价卷结构；下一次聚合计算的输入是上一次聚合计算的输出，并将最后一次聚合计算输出的代价卷结构作为代价聚合的结果输出。
11.一实施例中，所述的代价聚合方法还包括：依据最后一次聚合计算获取的代价卷结构获取视差图。
12.根据第二方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上所述的代价聚合方法。
13.根据第三方面，一种实施例中提供一种用于立体匹配的代价聚合装置，用于应用如上所述的代价聚合方法进行代价聚合计算，所述代价聚合装置包括全连接聚合模块；所述全连接聚合模块包括第一代卷结构获取单元、第二代价卷结构获取单元、第三代价卷结构获取单元和聚合计算结果获取单元；所述第一代卷结构获取单元用于获取立体匹配过程中的代价卷结构，并将其作为第一代价卷结构输出给所述第二代价卷结构获取单元、所述第三代价卷结构获取单元和所述聚合计算结果获取单元；所述第二代价卷结构获取单元用于获取第二代价卷结构；所述第二代价卷结构的获取过程包括：
按一预设的第一分块方式将所述第一代价卷结构分成4n个大小相同的代价块；每个所述代价块包括至少2m个代价点，每个所述代价点对应个一个图像像素点；其中，n和m为大于0的整数；将每个所述代价块的2m个代价点按一预设的第一展平顺序展平为一个一维的第一块序列；将每个所述第一块序列按一预设的第一输入顺序输入一预设的第一全连接聚合神经网络模型中，并获取所述第一全连接聚合神经网络模型输出的第一特征向量序列；每个所述第一块序列对应一个所述第一特征向量序列；依据所述第一展平顺序将所述第一特征向量序列恢复为代价块，再依据所述第一分块方式重构代价卷结构，以获取所述第二代价卷结构；所述第三代价卷结构获取单元用于获取第三代价卷结构；所述第三代价卷结构的获取过程包括：按一预设的第二分块方式将所述第一代价卷结构分成4p个大小相同的代价块，每个所述代价块包括至少2q个代价点；其中，p和q为大于0的整数；所述第一分块方式和所述第二分块方式不相同；将每个所述第二代价块的2p个代价点按一预设的第二展平顺序展平为一个一维的第二块序列；将每个所述第二块序列按一预设的第二输入顺序输入一预设的第二全连接聚合神经网络模型中，并获取所述第二全连接聚合神经网络模型输出的第二特征向量序列；每个所述第二块序列对应一个所述第二特征向量序列；依据所述第二展平顺序将所述第二特征向量序列恢复为代价块，再依据所述第二分块方式重构代价卷结构，以获取所述第三代价卷结构；所述聚合计算结果获取单元用于获取聚合计算结果；所述聚合计算结果的获取过程包括：将所述第一代价卷结构、所述第二代价卷结构和所述第三代价卷结构进行融合，并将融合后获取的代价卷结构作为所述代价聚合计算的结果输出。
14.据上述实施例的代价聚合方法，由于采用全连接神经网络来替代三维卷积计算，保证左右两个图像之间不同像素之间的差异不会被丢失，使得现阶段神经网络对薄结构区域和重复纹理区域在匹配上存在缺陷的技术问题得到解决。
附图说明
15.图1为视差图获取示意图；图2为一种实施例中立体匹配系统的工作流程示意图；图3为立体匹配算法的流程示意图；图4为一种实施例中视差图获取示意图；图5为一种实施例中聚合计算的流程示意图；图6为一种实施例中全连接聚合神经网络模型的架构示意图；图7为一种实施例中代价聚合装置的框架示意图；图8为一种实施例中两种分块方式获取的代价块的关系图。
具体实施方式
16.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本技术能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本技术相关的一些操作并没有在说明书中显示或者描述，这是为了避免本技术的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
17.另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
18.本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本技术所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。
19.立体匹配技术是计算机视觉的一个重要分支，也是自动驾驶、机器人导航等许多应用场景中的关键技术，是激光雷达和自动驾驶应用的有益补充。请参考图2，为一种实施例中立体匹配系统的工作流程示意图，首先获取由两个图像采集装置同一时刻采集的左右图像，然后依据两个图像采集装置的相对位置和采集参数进行标定，再依据标定值进行极线校正，最后应用立体匹配算法进行立体匹配计算以获取视差图。本技术用于对立体匹配算法的优化，请参考图3，为立体匹配算法的流程示意图，传统的立体匹配算法是采用手工匹配成本和正则化策略，现阶段基于深度学习的立体匹配方法取得了优异的性能表现，但在细纹理区域和重复纹理区域等不良区域的匹配上仍然存在着缺陷。其原因可归结为利用三维卷积的强归纳偏差（即局部性和权值共享），基于三维卷积的网络可以用很少的参数正则化计算成本和内存消耗成本体积。但采用所有输出神经元共享相同卷积参数的方式会丢失薄结构区域和重复纹理区域中不同像素之间的差异，这限制了神经网络在这些不良区域（例如细纹理区域和重复纹理区域）中匹配左右图像对的能力。
20.在本技术实施例中，将全连接神经网络（mlp）应用于立体匹配中，采用成本聚合来代替三维卷积。首先将成本卷（代价卷构造）分成固定大小的块(dc, hc, wc)；然后将每个块通过展平方式进行排序，并将这些展平后获取的块序列嵌入到通道尺寸中，以利用由多层全连接网络组成的mlp融合通道间和通道内的特征，即将异构特征输入到mlp中。最后将融合后的特征向量重构为代价卷。由于采用全连接神经网络来替代三维卷积计算，保证左右两个图像之间不同像素之间的差异不会被丢失，使得现阶段薄结构区域和重复纹理区域在匹配上存在缺陷的技术问题得到解决。
21.实施例一：请参考图4，为一种实施例中视差图获取示意图，首先左右图像分别通过权重共享的特征提取网络进行特征提取，以获取代价卷构造；然后对该代价卷构造进行代价聚合计算获取初级视差图；再依据左图像对初级视差图进行视差优化，最终获取优化后的优化视差图。其中，代价卷构造是一个三维张量，代表了视差图中每个像素点的代价值，其中第一
维表示行数，第二维表示列数，第三维表示不同视差值。现有技术中是对代价卷构造进行卷积运算，例如将一个二维张量的卷积核在代价卷构造上进行滑动窗口操作，计算窗口内的代价值，将其赋值给视差图中对应位置的像素点，进而完成代价聚合计算。代价聚合计算的结果是获取初级视差图。另外，可以通过改变卷积核的大小和卷积操作的步长，可以控制最终视差图的分辨率和计算效率。
22.需要着重说明的是代价聚合计算的根本目的是让代价值能够准确的反映像素之间的相关性。匹配代价的计算往往只会考虑局部信息，通过两个像素邻域内一定大小的窗口内的像素信息来计算代价值，这很容易受到影像噪声的影响，而且当影像处于弱纹理或重复纹理区域，这个代价值极有可能无法准确的反映像素之间的相关性，直接表现就是真实同名点的代价值非最小。而代价聚合计算则是建立邻接像素之间的联系，以一定的准则，如相邻像素应该具有连续的视差值，来对代价矩阵进行优化，这种优化往往是全局的，每个像素在某个视差下的新代价值都会根据其相邻像素在同一视差值或者附近视差值下的代价值来重新计算。实际上代价聚合计算类似于一种视差传播步骤，信噪比高的区域匹配效果好，初始代价能够很好的反映相关性，可以更准确的得到最优视差值，通过代价聚合传播至信噪比低、匹配效果不好的区域，最终使所有影像的代价值都能够准确反映真实相关性。常用的代价聚合计算的方法有扫描线法、动态规划法、sgm算法中的路径聚合法等。
23.在本技术一实施例中，代价聚合方法包括聚合计算，请参考图5，为一种实施例中聚合计算的流程示意图，该聚合计算包括：步骤101，获取第二代价卷结构。
24.请参考图6，为一种实施例中全连接聚合神经网络模型的架构示意图，第二代价卷结构的获取过程包括：首先，对立体匹配过程中获取的代价卷结构作为第一代价卷结构，并按一预设的第一分块方式将第一代价卷结构分成4n个大小相同的代价块，每个代价块包括至少2m个代价点，每个代价点对应个一个图像像素点。其中，n和m为大于0的整数。
25.然后，将每个代价块的2m个代价点按一预设的第一展平顺序展平为一个一维的第一块序列。
26.再将每个第一块序列按一预设的第一输入顺序输入一预设的第一全连接聚合神经网络模型中，并获取第一全连接聚合神经网络模型输出的第一特征向量序列，每个第一块序列对应一个第一特征向量序列。
27.最后，依据第一展平顺序将第一特征向量序列恢复为代价块，再依据第一分块方式重构代价卷结构，以获取第二代价卷结构。
28.步骤102，获取第三代价卷结构。
29.第三代价卷结构的获取过程包括：首先，按一预设的第二分块方式将第一代价卷结构分成4p个大小相同的代价块，每个代价块包括至少2q个代价点。其中，p和q为大于0的整数，第一分块方式和第二分块方式不相同。
30.然后，将每个第二代价块的2p个代价点按第二展平顺序展平为一个一维的第二块序列。
31.再将每个第二块序列按所述第二输入顺序输入一预设的第二全连接聚合神经网
络模型中，并获取第二全连接聚合神经网络模型输出的第二特征向量序列。每个第二块序列对应一个第二特征向量序列。
32.最后，依据第二展平顺序将第二特征向量序列恢复为代价块，再依据第二分块方式重构代价卷结构，以获取第三代价卷结构。
33.步骤103，获取聚合计算结果。
34.聚合计算结果的获取过程包括：将第一代价卷结构、第二代价卷结构和第三代价卷结构进行融合，并将融合后获取的代价卷结构作为代价聚合计算的结果输出。
35.一实施例中，聚合计算还包括：步骤104，完成至少两次聚合计算。
36.对第一代价卷结构依次进行多次聚合计算。其中，第一次聚合计算的输入是立体匹配过程中获取的代价卷结构，下一次聚合计算的输入是上一次聚合计算的输出，并将最后一次聚合计算输出的代价卷结构作为代价聚合的结果输出。
37.步骤105，获取视差图。
38.依据最后一次聚合计算获取的代价卷结构获取视差图。
39.请参考图7，为一种实施例中代价聚合装置的框架示意图，本技术一实施例中还公开了一种代价聚合装置，用于应用如上所述的代价聚合方法进行代价聚合计算。代价聚合装置100包括全连接聚合模块1，全连接聚合模块1包括第一代卷结构获取单元10、第二代价卷结构获取单元20、第三代价卷结构获取单元30和聚合计算结果获取单元40。
40.第一代卷结构获取单元10用于获取立体匹配过程中的代价卷结构，并将其作为第一代价卷结构输出给第二代价卷结构获取单元20、第三代价卷结构获取单元30和聚合计算结果获取单元40。
41.第二代价卷结构获取单元20用于获取第二代价卷结构，第二代价卷结构的获取过程包括：首先，按一预设的第一分块方式将第一代价卷结构分成4n个大小相同的代价块，每个代价块包括至少2m个代价点，每个代价点对应个一个图像像素点。其中，n和m为大于0的整数。
42.然后，将每个代价块的2m个代价点按一预设的第一展平顺序展平为一个一维的第一块序列。
43.再将每个第一块序列按一预设的第一输入顺序输入一预设的第一全连接聚合神经网络模型中，并获取第一全连接聚合神经网络模型输出的第一特征向量序列。每个第一块序列对应一个第一特征向量序列。
44.最后，依据第一展平顺序将第一特征向量序列恢复为代价块，再依据第一分块方式重构代价卷结构，以获取第二代价卷结构。
45.第三代价卷结构获取单元30用于获取第三代价卷结构，第三代价卷结构的获取过程包括：首先，按一预设的第二分块方式将第一代价卷结构分成4p个大小相同的代价块，每个代价块包括至少2q个代价点。其中，p和q为大于0的整数，第一分块方式和所述第二分块方式不相同。
46.然后，将每个第二代价块的2p个代价点按所述第二展平顺序展平为一个一维的第
二块序列。
47.再将每个第二块序列按第二输入顺序输入一预设的第二全连接聚合神经网络模型中，并获取第二全连接聚合神经网络模型输出的第二特征向量序列，每个第二块序列对应一个第二特征向量序列。
48.最后，依据第二展平顺序将第二特征向量序列恢复为代价块，再依据第二分块方式重构代价卷结构，以获取第三代价卷结构。
49.聚合计算结果获取单元40用于获取聚合计算结果，聚合计算结果的获取过程包括：将第一代价卷结构、第二代价卷结构和第三代价卷结构进行融合，并将融合后获取的代价卷结构作为代价聚合计算的结果输出。
50.如图4所示，在本技术一实施例中，采用三个级联的全连接聚合模块对代价卷构造进行代价聚合计算，每个全连接聚合模块包括两个全连接聚合神经网络模型（第一和第二全连接聚合神经网络模型），分别将两种不同分块方式（第一和第二分块方式）获取的代价块输入两个全连接聚合神经网络模型中。其中，一阶视差图和二阶视差图是用于对全连接聚合模块的神经网络模型训练过程。
51.一实施例中，第一全连接聚合神经网络模型和第二全连接聚合神经网络模型分别包括至少两层全连接层。一实施例中，第一全连接聚合神经网络模型和第一全连接聚合神经网络模型是将校准好的sceneflow数据、kitti2015数据和/或kitti016数据作为训练集进行训练获取。一实施例中，第一全连接聚合神经网络模型和第一全连接聚合神经网络模型的模型参数相同。一实施例中，第一全连接聚合神经网络模型和第一全连接聚合神经网络模型不设置全连接层的偏置项。
52.在本技术一实施例中，第二分块方式是将第一分块方式中的每个代价块按一预设的偏移量进行偏移获取，其中，偏移量不大于代价块。
53.请参考图8，为一种实施例中两种分块方式获取的代价块的关系图，采用两种不同的分块方式是为了建立块之间的连接，同时用两种方式划分成本卷，第一种是从具有尺寸的成本卷顶点(dc, hc, wc)中的一个顶点划分，并将其缩写为范数路径，另一种是从点偏移（dc/2, hc/2, wc/2）,并将该路径缩写为偏移量路径。这种划分方法使所提出的模块能够灵活地将不同分辨率的成本量规格化。第一全连接聚合神经网络模型和第一全连接聚合神经网络模型的权重在代价块之间共享，这减少了基于mlp的结构的参数数量。与卷积不同的是，块内输出令牌的权重是相互独立的。这些策略使全连接聚合模块具有局部连接和全局权值共享，且权值在局部空间区域内是独立的，它的归纳偏差比卷积弱。由此，可以独立处理重复纹理区域和精细纹理区域的像素，保留这些像素的差异信息，实现精确匹配。
54.下面通过一具体实施例描述本技术公开的代价聚合方法的流程示意图。
55.设定一个大小为(f, d, h, w)的代价卷 f表示每一次网络处理的图像对数，d表示视差维度，h表示图像高度，w表示图像宽度。
56.首先将代价卷f划分为固定大小的块(dc, hc, wc)，在这些块中不重叠。相同颜色的小块意味着它们位于不同通道的相同位置。
57.然后，将小块一个像素一个像素地压平，每个块被重塑为一个长度为n的一维嵌入，其中，n = dc
ꢀ×ꢀ
hc
ꢀ×ꢀ
wc。
58.再将这些一维嵌入合并到通道维度中，而不是创建一个新的单独的维度。
59.因此，成本体积为：c∈rf×d×h×w；被重塑为嵌入：e∈r
l
×
(nf)
；其中，l为块数，l的获取公式为：l=（d/dc）
×
（h/hc）
×
（w/wc）。
60.因此，一个包含多个全连接层(通常是两层)的mlp层被用于融合异构特征。该网络的匹配代价可以逐像素调整。最后，通过重构mlp层的输出嵌入来重构成本体积，同步恢复像素间的空间关系。
61.一实施例中，设计的模块可以公式化表达如下:其中，
→
表示重塑操作, 表示输入/输出代价卷和ei / eo表示的输入/输出映射进行中长期规划层,w1∈rc
×
cf和w2∈rcf
×
c的参数是完整的连接层,而参数f意味着扩展因数,ln和gelu参考层标准化和高斯误差线性单位。一实施例中，为简化模型，省略模型全连接层的偏置项。
62.由于成本卷的划分采用了不重叠的方式，所以块之间是独立的，块之间存在信息鸿沟。模块之间缺乏信息交互，限制了模块的建模能力。为了弥补这一差距并建立块之间的信息交互，我们以两种方式同时划分成本量，第一种是从一个顶点划分块大小(dc, hc, wc)的代价体积，在本实施例中称为普通路径，另一条从从普通路径的起点偏移（dc/2, hc/2, wc/2）开始，在本实施例中称为这条路径称为偏移路径。为了减少参数的数量，标准路径和偏移路径共享相同的权值。最后，将这两条路径计算出的成本卷直接与跳过连接路径相加。对于代价卷中的每个像素，它都有一个局部接受场，由两个部分重叠的块组成。
63.本技术实施例中公开的代价聚合计算方法，首先依据立体匹配过程中获取的代价卷结构获取第一、第二和第三代价卷结构，然后再第一、第二和第三代价卷结构进行融合，并将融合获取的价卷结构作为代价聚合计算的结果输出。其中，第二和第三代价卷结构是应用全连接神经网络技术获取。由于采用全连接神经网络来替代三维卷积计算，保证左右两个图像之间不同像素之间的差异不会被丢失，使得现阶段神经网络对薄结构区域和重复纹理区域在匹配上存在技术缺陷的问题得到解决。
64.本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现
时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
65.以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

技术特征：
1.一种用于立体匹配的代价聚合方法，其特征在于，包括聚合计算，所述聚合计算包括：获取第二代价卷结构；所述第二代价卷结构的获取过程包括：对立体匹配过程中获取的代价卷结构作为第一代价卷结构，并按一预设的第一分块方式将所述第一代价卷结构分成4n个大小相同的代价块；每个所述代价块包括至少2m个代价点，每个所述代价点对应个一个图像像素点；其中，n和m为大于0的整数；将每个所述代价块的2m个代价点按一预设的第一展平顺序展平为一个一维的第一块序列；将每个所述第一块序列按一预设的第一输入顺序输入一预设的第一全连接聚合神经网络模型中，并获取所述第一全连接聚合神经网络模型输出的第一特征向量序列；每个所述第一块序列对应一个所述第一特征向量序列；依据所述第一展平顺序将所述第一特征向量序列恢复为代价块，再依据所述第一分块方式重构代价卷结构，以获取所述第二代价卷结构；获取第三代价卷结构；所述第三代价卷结构的获取过程包括：按一预设的第二分块方式将所述第一代价卷结构分成4p个大小相同的代价块，每个所述代价块包括至少2q个代价点；其中，p和q为大于0的整数；所述第一分块方式和所述第二分块方式不相同；将每个所述第二代价块的2p个代价点按一预设的第二展平顺序展平为一个一维的第二块序列；将每个所述第二块序列按一预设的第二输入顺序输入一预设的第二全连接聚合神经网络模型中，并获取所述第二全连接聚合神经网络模型输出的第二特征向量序列；每个所述第二块序列对应一个所述第二特征向量序列；依据所述第二展平顺序将所述第二特征向量序列恢复为代价块，再依据所述第二分块方式重构代价卷结构，以获取所述第三代价卷结构；获取聚合计算结果；所述聚合计算结果的获取过程包括：将所述第一代价卷结构、所述第二代价卷结构和所述第三代价卷结构进行融合，并将融合后获取的代价卷结构作为所述代价聚合计算的结果输出。2.如权利要求1所述的代价聚合方法，其特征在于，所述第一全连接聚合神经网络模型和所述第二全连接聚合神经网络模型分别包括至少两层全连接层。3.如权利要求2所述的代价聚合方法，其特征在于，所述第一全连接聚合神经网络模型和所述第一全连接聚合神经网络模型是将校准好的sceneflow数据、kitti2015数据和/或kitti016数据作为训练集进行训练获取。4.如权利要求2所述的代价聚合方法，其特征在于，所述第一全连接聚合神经网络模型和所述第一全连接聚合神经网络模型的模型参数相同。5.如权利要求4所述的代价聚合方法，其特征在于，所述第一全连接聚合神经网络模型和所述第一全连接聚合神经网络模型不设置全连接层的偏置项。6.如权利要求1所述的代价聚合方法，其特征在于，所述第一分块方式和所述第二分块方式不相同，包括：所述第二分块方式是将所述第一分块方式中的每个代价块按一预设的偏移量进行偏
移获取；所述偏移量不大于所述代价块。7.如权利要求1所述的代价聚合方法，其特征在于，还包括：完成至少两次聚合计算；第一次聚合计算的输入是所述立体匹配过程中获取的代价卷结构；下一次聚合计算的输入是上一次聚合计算的输出，并将最后一次聚合计算输出的代价卷结构作为代价聚合的结果输出。8.如权利要求7所述的代价聚合方法，其特征在于，还包括：依据最后一次聚合计算获取的代价卷结构获取视差图。9.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-8中任一项所述的代价聚合方法。10.一种用于立体匹配的代价聚合装置，其特征在于，用于应用如权利要求1-8中任一项所述的代价聚合方法进行代价聚合计算，所述代价聚合装置包括全连接聚合模块；所述全连接聚合模块包括第一代卷结构获取单元、第二代价卷结构获取单元、第三代价卷结构获取单元和聚合计算结果获取单元；所述第一代卷结构获取单元用于获取立体匹配过程中的代价卷结构，并将其作为第一代价卷结构输出给所述第二代价卷结构获取单元、所述第三代价卷结构获取单元和所述聚合计算结果获取单元；所述第二代价卷结构获取单元用于获取第二代价卷结构；所述第二代价卷结构的获取过程包括：按一预设的第一分块方式将所述第一代价卷结构分成4n个大小相同的代价块；每个所述代价块包括至少2m个代价点，每个所述代价点对应个一个图像像素点；其中，n和m为大于0的整数；将每个所述代价块的2m个代价点按一预设的第一展平顺序展平为一个一维的第一块序列；将每个所述第一块序列按一预设的第一输入顺序输入一预设的第一全连接聚合神经网络模型中，并获取所述第一全连接聚合神经网络模型输出的第一特征向量序列；每个所述第一块序列对应一个所述第一特征向量序列；依据所述第一展平顺序将所述第一特征向量序列恢复为代价块，再依据所述第一分块方式重构代价卷结构，以获取所述第二代价卷结构；所述第三代价卷结构获取单元用于获取第三代价卷结构；所述第三代价卷结构的获取过程包括：按一预设的第二分块方式将所述第一代价卷结构分成4p个大小相同的代价块，每个所述代价块包括至少2q个代价点；其中，p和q为大于0的整数；所述第一分块方式和所述第二分块方式不相同；将每个所述第二代价块的2p个代价点按一预设的第二展平顺序展平为一个一维的第二块序列；将每个所述第二块序列按一预设的第二输入顺序输入一预设的第二全连接聚合神经网络模型中，并获取所述第二全连接聚合神经网络模型输出的第二特征向量序列；每个所述第二块序列对应一个所述第二特征向量序列；
依据所述第二展平顺序将所述第二特征向量序列恢复为代价块，再依据所述第二分块方式重构代价卷结构，以获取所述第三代价卷结构；所述聚合计算结果获取单元用于获取聚合计算结果；所述聚合计算结果的获取过程包括：将所述第一代价卷结构、所述第二代价卷结构和所述第三代价卷结构进行融合，并将融合后获取的代价卷结构作为所述代价聚合计算的结果输出。

技术总结
本申请公开了一种用于立体匹配的代价聚合计算方法和装置，首先依据立体匹配过程中获取的代价卷结构获取第一、第二和第三代价卷结构，然后再将第一、第二和第三代价卷结构进行融合，并将融合获取的价卷结构作为代价聚合计算的结果输出。其中，第二和第三代价卷结构是应用全连接神经网络技术获取。由于采用全连接神经网络来替代三维卷积计算，保证左右两个图像之间不同像素之间的差异不会被丢失，使得现阶段神经网络对薄结构区域和重复纹理区域在匹配上存在技术缺陷的问题得到解决。匹配上存在技术缺陷的问题得到解决。匹配上存在技术缺陷的问题得到解决。


技术研发人员：刘钢 赵昀 钱刃 李建华 杨文帮 丘文峰 赵勇
受保护的技术使用者：苏州煦之谷智能科技有限公司
技术研发日：2023.04.07
技术公布日：2023/8/14