基于稀疏点云选取相关性图像的方法及系统与流程

1.本发明涉及稀疏点云技术领域，具体涉及一种基于稀疏点云选取相关性图像的系统、方法、电子设备及存储介质。


背景技术：

2.在三维重建过程中，稀疏重建之后，要进行多视图立体匹配处理(mvs：英文全称为multi view stereo)，估计出深度图后进行深度图过滤与融合，形成稠密点云，在进行mvs处理之前，要先选择参考图像reference images(reference images)和相关性图像(source images)，基于参考图像选择与其相关的相关性图像集是后继的mvs处理过程的基础；
3.因此，亟需一种可以选择利于后继解算的相关性图像集的方法。


技术实现要素：

4.本发明实施例的目的在于提供一种基于稀疏点云选取相关性图像的系统、方法、电子设备及存储介质，用以解决现有技术中无法科学合理的基于稀疏点云选取与参考图对应的相关性图像的问题。
5.为实现上述目的，本发明实施例提供一种基于稀疏点云选取相关性图像的方法，所述方法具体包括：
6.获取参考图可见的稀疏点集合，并将所述稀疏点集合中的稀疏点投影到目标图像上得到投影点；
7.将所述投影点向目标网格进行映射，映射过程中每命中一次网格，网格的得分增加一；
8.通过公式1计算区域比率；
[0009][0010]
式中，hg为目标网格的高度，b
l
为自增量，自增范围从1到hg，wg为目标网格的宽度，ak为自增量，自增范围从1到wg，s(ak，b
l
)为网格的得分，wghg为目标图像的网格数量，[
·
]为艾佛森括号，当s(ak,b
l
)》0时为1，不满足则为0；
[0011]
通过公式2计算角度平均值；
[0012][0013]
式中，αr为序号为r的角度，n为可见稀疏点的个数；
[0014]
判断所述区域比例是否小于第一阈值，判断所述角度平均值是否小于第二阈值，当区域比例小于第一阈值，且角度平均值小于第二阈值时，判定目标图像为参考图的相关性图像。
[0015]
在上述技术方案的基础上，本发明还可以做如下改进：
[0016]
进一步地，所述获取参考图可见的稀疏点集合，并将所述稀疏点集合中的稀疏点投影到目标图像上得到投影点，包括：
[0017]
删除投影到所述目标图像有效范围外的稀疏点。
[0018]
进一步地，所述将所述投影点向目标网格进行映射，映射过程中每命中一次网格，网格的得分增加一，包括；
[0019]
基于所述目标图像构建所述目标网格，初始化所述目标网格中每个网格的得分，使得s(ak,bk)＝0，映射过程中每命中一次网格，网格的得分增加一。
[0020]
进一步地，所述基于稀疏点云选取相关性图像的方法还包括：
[0021]
获取目标图像和参考图像均可见稀疏点的数量n和其中至少2个相机均可见的稀疏点x；
[0022]
获取所述目标图像的相机中心点o1和参考图像的相机中心点o2；
[0023]
基于所述稀疏点x和相机中心点o1得到对应光线的方向；
[0024]
基于所述稀疏点x和相机中心点o2得到对应光线的方向
[0025]
基于和得到两条光线的夹角α1；
[0026]
同理计算出n个可见稀疏点与相机中心o1和相机中心o2构成的夹角，从而得到角度平均值。
[0027]
一种基于稀疏点云选取相关性图像的系统，包括：
[0028]
获取模块，用于获取参考图可见的稀疏点集合；
[0029]
投影模块，用于将所述稀疏点集合中的稀疏点投影到目标图像上得到投影点；
[0030]
映射模块，用于将所述投影点向目标网格进行映射，映射过程中每命中一次网格，网格的得分增加一；
[0031]
第一计算模块，用于通过公式1计算区域比率；
[0032][0033]
式中，hg为目标网格的高度，b
l
为自增量，自增范围从1到hg，wg为目标网格的宽度，ak为自增量，自增范围从1到wg，s(ak，b
l
)为网格的得分，wghg为目标图像的网格数量，[
·
]为艾佛森括号，当s(ak,b
l
)》0时为1，不满足则为0；
[0034]
第二计算模块，用于公式2计算角度平均值；
[0035][0036]
式中，αr为序号为r的角度，n为可见稀疏点的个数；
[0037]
判断模块，用于判断所述区域比例是否小于第一阈值，判断所述角度平均值是否小于第二阈值，当区域比例小于第一阈值，且角度平均值小于第二阈值时，判定目标图像为参考图的相关性图像。
[0038]
进一步地，所述基于稀疏点云选取相关性图像的系统还包括删除模块，所述删除模块用于删除投影到所述目标图像有效范围外的稀疏点。
[0039]
进一步地，所述映射模块还用于基于所述目标图像构建所述目标网格，初始化所述目标网格中每个网格的得分，使得s(ak,bk)＝0，映射过程中每命中一次网格，网格的得分增加一。
[0040]
进一步地，所述第二计算模块还用于：
[0041]
获取目标图像和参考图像均可见稀疏点的数量n和其中至少2个相机均可见的稀疏点x；
[0042]
获取所述目标图像的相机中心点o1和参考图像的相机中心点o2；
[0043]
基于所述稀疏点x和相机中心点o1得到对应光线的方向；
[0044]
基于所述稀疏点x和相机中心点o2得到对应光线的方向
[0045]
基于和得到两条光线的夹角α1；
[0046]
同理计算出n个可见稀疏点与相机中心o1和相机中心o2构成的夹角，从而得到角度平均值。
[0047]
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述方法的步骤。
[0048]
一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中的任一项所述的方法的步骤。
[0049]
本发明实施例具有如下优点：
[0050]
本发明中基于稀疏点云选取相关性图像的方法，获取参考图可见的稀疏点集合，并将所述稀疏点集合中的稀疏点投影到目标图像上得到投影点；将所述投影点向目标网格进行映射，映射过程中每命中一次网格，网格的得分增加一；通过公式1计算区域比率；通过公式2计算角度平均值；判断所述区域比例是否小于第一阈值，判断所述角度平均值是否小于第二阈值，当区域比例小于第一阈值，且角度平均值小于第二阈值时，判定目标图像为参考图的相关性图像；解决了现有技术中无法科学合理的基于稀疏点云选取与参考图对应的相关性图像的问题。
附图说明
[0051]
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0052]
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
[0053]
图1为本发明基于稀疏点云选取相关性图像的方法的流程图；
[0054]
图2为本发明基于稀疏点云选取相关性图像的系统的第一架构图；
[0055]
图3为本发明基于稀疏点云选取相关性图像的系统的第二架构图；
[0056]
图4为本发明基于稀疏点云选取相关性图像过程的第一示意图；
[0057]
图5为本发明基于稀疏点云选取相关性图像过程的第二示意图；
[0058]
图6为本发明提供的电子设备实体结构示意图。
[0059]
其中附图标记为：
[0060]
获取模块10，投影模块20，映射模块30，第一计算模块40，第二计算模块50，判断模块60，删除模块70，电子设备80，处理器801，存储器802，总线803。
具体实施方式
[0061]
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0062]
实施例
[0063]
图1为本发明基于稀疏点云选取相关性图像的方法实施例流程图，如图1所示，本发明实施例提供的一种基于稀疏点云选取相关性图像的方法包括以下步骤：
[0064]
s101，获取参考图可见的稀疏点集合，并将稀疏点集合中的稀疏点投影到目标图像上得到投影点；
[0065]
具体的，获取参考图可见的稀疏点集合p＝{p1,p2,p3,...}，如图4所示，稀疏点p1,p2,p3,利用图像的姿态信息，投影到目标图像(target image)上，(target image尺度为：wi、hi)，投影点分别为投影到target image有效范围外的稀疏点被删除。
[0066]
s102，将投影点向目标网格进行映射，映射过程中每命中一次网格，网格的得分增加一；
[0067]
具体的，为target image构建目标网格(target grid)，尺度为：wg、hg(wg、hg的阈值范围均为[5，100])。由target image上的投影点向target grid上映射到网格变换公式为：
[0068]
target grid的网格共wghg个,每个格网位置为(ak,bk)，初始化每个网格的得分s(ak,bk)＝0，映射过程中每命中一次网格，网格的得分s(ak,b
l
)自增加一，如图4中都映射到网格位置为(a1,b1)，则s(a1,b1)＝2，同理映射到网格位置为(a2,b2)，则s(a2,b2)＝1。
[0069]
s103，通过公式1计算区域比率；
[0070][0071]
式中，hg为目标网格的高度，b
l
为自增量，自增范围从1到hg，wg为目标网格的宽度，ak为自增量，自增范围从1到wg，s(ak，b
l
)为网格的得分，wghg为目标图像的网格数量，[
·
]为艾佛森括号，当s(ak,b
l
)》0时为1，不满足则为0。
[0072]
s104，通过公式2计算角度平均值。
[0073][0074]
式中，αr为序号为r的角度，n为可见稀疏点的个数。
[0075]
如图5所示，获取目标图像和参考图像均可见稀疏点的数量n和其中至少2个相机均可见的稀疏点x；
[0076]
获取所述目标图像的相机中心点o1和参考图像的相机中心点o2；
[0077]
基于所述稀疏点x和相机中心点o1得到对应光线的方向；
[0078]
基于所述稀疏点x和相机中心点o2得到对应光线的方向
[0079]
基于和得到两条光线的夹角α1；
[0080]
同理计算出n个可见稀疏点与相机中心o1和相机中心o2构成的夹角，从而得到角度平均值。
[0081]
s105，判断区域比例是否小于第一阈值，判断角度平均值是否小于第二阈值，当区域比例小于第一阈值，且角度平均值小于第二阈值时，判定目标图像为参考图的相关性图像。
[0082]
具体的，第一阈值的阈值范围为[0.70，0.95]，第二阈值的阈值范围为[1
°
，20
°
]。
[0083]
该基于稀疏点云选取相关性图像的方法，获取参考图可见的稀疏点集合，并将所述稀疏点集合中的稀疏点投影到目标图像上得到投影点；将所述投影点向目标网格进行映射，映射过程中每命中一次网格，网格的得分增加一；通过公式1计算区域比率；通过公式2计算角度平均值；判断所述区域比例是否小于第一阈值，判断所述角度平均值是否小于第二阈值，当区域比例小于第一阈值，且角度平均值小于第二阈值时，判定目标图像为参考图的相关性图像。解决了现有技术中无法科学合理的基于稀疏点云选取与参考图对应的相关性图像的问题。
[0084]
图2-图3为本发明基于稀疏点云选取相关性图像的系统实施例流程图；如图2-图3所示，本发明实施例提供的一种基于稀疏点云选取相关性图像的系统，包括以下步骤：
[0085]
获取模块10，用于获取参考图可见的稀疏点集合；
[0086]
投影模块20，用于将所述稀疏点集合中的稀疏点投影到目标图像上得到投影点；
[0087]
映射模块30，用于将所述投影点向目标网格进行映射，映射过程中每命中一次网格，网格的得分增加一；
[0088]
第一计算模块40，用于通过公式1计算区域比率；
[0089][0090]
式中，hg为目标网格的高度，b
l
为自增量，自增范围从1到hg，wg为目标网格的宽度，ak为自增量，自增范围从1到wg，s(ak，b
l
)为网格的得分，wghg为目标图像的网格数量，[
·
]为艾佛森括号，当s(ak,b
l
)》0时为1，不满足则为0；
[0091]
第二计算模块50，用于公式2计算角度平均值；
[0092]
[0093]
式中，αr为序号为r的角度，n为可见稀疏点的个数；
[0094]
判断模块60，用于判断所述区域比例是否小于第一阈值，判断所述角度平均值是否小于第二阈值，当区域比例小于第一阈值，且角度平均值小于第二阈值时，判定目标图像为参考图的相关性图像。
[0095]
所述基于稀疏点云选取相关性图像的系统还包括删除模块70，所述删除模块70用于删除投影到所述目标图像有效范围外的稀疏点。
[0096]
所述映射模块30还用于基于所述目标图像构建所述目标网格，初始化所述目标网格中每个网格的得分，使得s(ak,bk)＝0，映射过程中每命中一次网格，网格的得分增加一。
[0097]
所述第二计算模块50还用于：
[0098]
获取目标图像和参考图像均可见稀疏点的数量n和其中至少2个相机均可见的稀疏点x；
[0099]
获取所述目标图像的相机中心点o1和参考图像的相机中心点o2；
[0100]
基于所述稀疏点x和相机中心点o1得到对应光线的方向；
[0101]
基于所述稀疏点x和相机中心点o2得到对应光线的方向
[0102]
基于和得到两条光线的夹角α1；
[0103]
同理计算出n个可见稀疏点与相机中心o1和相机中心o2构成的夹角，从而得到角度平均值。
[0104]
该基于稀疏点云选取相关性图像的系统，通过获取模块10获取参考图可见的稀疏点集合；通过投影模块20将所述稀疏点集合中的稀疏点投影到目标图像上得到投影点；通过映射模块30将所述投影点向目标网格进行映射，映射过程中每命中一次网格，网格的得分增加一；通过第一计算模块40计算区域比率；通过第二计算模块50计算角度平均值；通过判断模块60判断所述区域比例是否小于第一阈值，判断所述角度平均值是否小于第二阈值，当区域比例小于第一阈值，且角度平均值小于第二阈值时，判定目标图像为参考图的相关性图像；解决了现有技术中无法科学合理的基于稀疏点云选取与参考图对应的相关性图像的问题。
[0105]
图6为本发明实施例提供的电子设备实体结构示意图，如图6所示，电子设备80包括：处理器801(processor)、存储器802(memory)和总线803；
[0106]
其中，处理器801、存储器802通过总线803完成相互间的通信；
[0107]
处理器801用于调用存储器802中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取参考图可见的稀疏点集合，并将所述稀疏点集合中的稀疏点投影到目标图像上得到投影点；将所述投影点向目标网格进行映射，映射过程中每命中一次网格，网格的得分增加一；通过公式1计算区域比率；通过公式2计算角度平均值；判断所述区域比例是否小于第一阈值，判断所述角度平均值是否小于第二阈值，当区域比例小于第一阈值，且角度平均值小于第二阈值时，判定目标图像为参考图的相关性图像。
[0108]
本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：获取参考图可见的稀疏点集合，并将所述稀疏点集合中的稀疏点投影到目标图像上得到投影点；将所述投影点向目标网格进行映射，映射过程中每命中一次网格，网格的得分增加一；通过
公式1计算区域比率；通过公式2计算角度平均值；判断所述区域比例是否小于第一阈值，判断所述角度平均值是否小于第二阈值，当区域比例小于第一阈值，且角度平均值小于第二阈值时，判定目标图像为参考图的相关性图像。
[0109]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的存储介质。
[0110]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0111]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各实施例或者实施例的某些部分的方法。
[0112]
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

技术特征：
1.一种基于稀疏点云选取相关性图像的方法，其特征在于，所述方法具体包括：获取参考图可见的稀疏点集合，并将所述稀疏点集合中的稀疏点投影到目标图像上得到投影点；将所述投影点向目标网格进行映射，映射过程中每命中一次网格，网格的得分增加一；通过公式1计算区域比率；式中，h
g
为目标网格的高度，b
l
为自增量，自增范围从1到hg，w
g
为目标网格的宽度，a
k
为自增量，自增范围从1到w
g
，s(a
k
，b
l
)为网格的得分，w
g
h
g
为目标图像的网格数量，[
·
]为艾佛森括号，当s(a
k
,b
l
)>0时为1，不满足则为0；通过公式2计算角度平均值；式中，α
r
为序号为r的角度，n为可见稀疏点的个数；判断所述区域比例是否小于第一阈值，判断所述角度平均值是否小于第二阈值，当区域比例小于第一阈值，且角度平均值小于第二阈值时，判定目标图像为参考图的相关性图像。2.根据权利要求1所述基于稀疏点云选取相关性图像的方法，其特征在于，所述获取参考图可见的稀疏点集合，并将所述稀疏点集合中的稀疏点投影到目标图像上得到投影点，包括：删除投影到所述目标图像有效范围外的稀疏点。3.根据权利要求1所述基于稀疏点云选取相关性图像的方法，其特征在于，所述将所述投影点向目标网格进行映射，映射过程中每命中一次网格，网格的得分增加一，包括；基于所述目标图像构建所述目标网格，初始化所述目标网格中每个网格的得分，使得s(a
k
,b
k
)＝0，映射过程中每命中一次网格，网格的得分增加一。4.根据权利要求1所述基于稀疏点云选取相关性图像的方法，其特征在于，所述基于稀疏点云选取相关性图像的方法还包括：获取目标图像和参考图像均可见稀疏点的数量n和其中至少2个相机均可见的稀疏点x；获取所述目标图像的相机中心点o1和参考图像的相机中心点o2；基于所述稀疏点x和相机中心点o1得到对应光线的方向；基于所述稀疏点x和相机中心点o2得到对应光线的方向基于和得到两条光线的夹角α1；同理计算出n个可见稀疏点与相机中心o1和相机中心o2构成的夹角，从而得到角度平均值。5.一种基于稀疏点云选取相关性图像的系统，其特征在于，包括：获取模块，用于获取参考图可见的稀疏点集合；
投影模块，用于将所述稀疏点集合中的稀疏点投影到目标图像上得到投影点；映射模块，用于将所述投影点向目标网格进行映射，映射过程中每命中一次网格，网格的得分增加一；第一计算模块，用于通过公式1计算区域比率；式中，h
g
为目标网格的高度，b
l
为自增量，自增范围从1到hg，w
g
为目标网格的宽度，a
k
为自增量，自增范围从1到w
g
，s(a
k
，b
l
)为网格的得分，w
g
h
g
为目标图像的网格数量，[
·
]为艾佛森括号，当s(a
k
,b
l
)>0时为1，不满足则为0；第二计算模块，用于公式2计算角度平均值；式中，α
r
为序号为r的角度，n为可见稀疏点的个数；判断模块，用于判断所述区域比例是否小于第一阈值，判断所述角度平均值是否小于第二阈值，当区域比例小于第一阈值，且角度平均值小于第二阈值时，判定目标图像为参考图的相关性图像。6.根据权利要求5所述基于稀疏点云选取相关性图像的系统，其特征在于，所述基于稀疏点云选取相关性图像的系统还包括删除模块，所述删除模块用于删除投影到所述目标图像有效范围外的稀疏点。7.根据权利要求5所述基于稀疏点云选取相关性图像的系统，其特征在于，所述映射模块还用于基于所述目标图像构建所述目标网格，初始化所述目标网格中每个网格的得分，使得s(a
k
,b
k
)＝0，映射过程中每命中一次网格，网格的得分增加一。8.根据权利要求5所述基于稀疏点云选取相关性图像的系统，其特征在于，所述第二计算模块还用于：获取目标图像和参考图像均可见稀疏点的数量n和其中至少2个相机均可见的稀疏点x；获取所述目标图像的相机中心点o1和参考图像的相机中心点o2；基于所述稀疏点x和相机中心点o1得到对应光线的方向；基于所述稀疏点x和相机中心点o2得到对应光线的方向基于和得到两条光线的夹角α1；同理计算出n个可见稀疏点与相机中心o1和相机中心o2构成的夹角，从而得到角度平均值。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中的任一项所述的方法的步骤。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中的任一项所述的方法的步骤。

技术总结
本发明实施例公开了一种基于稀疏点云选取相关性图像的系统、方法、电子设备及存储介质，基于稀疏点云选取相关性图像的方法包括：获取参考图可见的稀疏点集合，并将所述稀疏点集合中的稀疏点投影到目标图像上得到投影点；将所述投影点向目标网格进行映射，映射过程中每命中一次网格，网格的得分增加一；通过公式1计算区域比率；通过公式2计算角度平均值；判断所述区域比例是否小于第一阈值，判断所述角度平均值是否小于第二阈值，当区域比例小于第一阈值，且角度平均值小于第二阈值时，判定目标图像为参考图的相关性图像。该基于稀疏点云选取相关性图像的方法解决现有技术中无法科学合理的基于稀疏点云选取与参考图对应的相关性图像的问题。性图像的问题。性图像的问题。


技术研发人员：由清圳
受保护的技术使用者：埃洛克航空科技（北京）有限公司
技术研发日：2023.04.20
技术公布日：2023/8/9