位姿变换关系的确定方法、装置、终端及存储介质与流程

1.本公开涉及终端技术领域，尤其涉及一种位姿变换关系的确定方法、装置、终端及存储介质。


背景技术：

2.rgb-d相机一般包括彩色(rgb)摄像组件和深度(d，全称为depth)摄像组件，rgb-d相机在视觉定位领域有着广泛的用途。
3.但是，rgb-d相机的位姿变换关系一般包括两种。第一种，仅仅根据彩色摄像组件拍摄的图像确定；第二种，仅仅根据深度摄像组件拍摄的图像确定。上述两种方式确定的位姿变换关系的准确性较差。


技术实现要素：

4.为克服相关技术中存在的问题，本公开提供一种位姿变换关系的确定方法、装置、终端及存储介质。
5.根据本公开实施例的第一方面，提供一种位姿变换关系的确定方法，应用于终端，所述终端包括rgb-d相机，所述方法包括：
6.根据所述rgb-d相机在第一位置时，所述rgb-d相机的彩色摄像组件输出的第一彩色图像，确定多个第一特征点；
7.根据所述rgb-d相机在第二位置时，所述彩色摄像组件输出的第二彩色图像，确定多个第二特征点；
8.根据第一图像信息和第二图像信息，从多个第一特征点和多个第二特征点中，确定rgb特征匹配的多个第一匹配特征点对，其中，所述第一图像信息为，所述rgb-d相机在所述第一位置时，所述rgb-d相机的深度摄像组件输出的图像信息；所述第二图像信息为，所述rgb-d相机在所述第二位置时，所述深度摄像组件输出的图像信息；
9.根据多个所述第一匹配特征点对，确定第一单应性矩阵，所述第一单应性矩阵用于表征所述rgb-d相机由所述第一位置至所述第二位置的位姿变换关系。
10.可选地，所述第一图像信息包括第一深度图像和第一置信度图像，所述第二图像信息包括第二深度图像和第二置信度图像；
11.所述根据第一图像信息和第二图像信息，从多个第一特征点和多个第二特征点中，确定rgb特征匹配的多个第一匹配特征点对，包括：
12.根据所述rgb-d相机的标定信息，以及所述第一深度图像和所述第一置信度图像，确定第一特征点对应的深度信息和置信度信息；
13.将深度信息和置信度信息满足第一设定条件的第一特征点，确定为第三特征点；
14.根据所述标定信息，以及所述第二深度图像和所述第二置信度图像，确定第二特征点对应的深度信息和置信度信息；
15.将深度信息和置信度信息满足第二设定条件的第二特征点，确定为第四特征点；
16.将rgb特征匹配的第三特征点和第四特征点，确定为所述第一匹配特征点对。
17.可选地，所述第一设定条件包括：
18.置信度信息大于或等于第一设定置信度；和/或，
19.深度信息大于或等于第一设定深度且小于或等于第二设定深度。
20.可选地，所述第二设定条件包括：
21.置信度信息大于或等于第二设定置信度；和/或，
22.深度信息大于或等于第三设定深度，且小于或等于第四设定深度。
23.可选地，所述根据多个所述第一匹配特征点对，确定第一单应性矩阵，包括：
24.若所述第一匹配特征点对中，第三特征点的深度信息与第四特征点的深度信息的相似度，小于或等于第一设定相似度，将此第一匹配特征点对确定为第二匹配特征点对；
25.根据多个所述第二匹配特征点对，确定所述第一单应性矩阵。
26.可选地，所述根据多个所述第二匹配特征点对，确定所述第一单应性矩阵，包括：
27.根据所述第一深度图像和所述第二深度图像，确定所述深度摄像组件的外参估计信息；
28.根据多个所述第二匹配特征点对，确定第二单应性矩阵；
29.根据所述第二单应性矩阵、所述第一彩色图像和所述第二彩图像，确定视差信息；
30.根据所述外参估计信息、所述视差信息以及所述彩色摄像模组的内参，确定所述第二匹配特征点对应的深度估计信息；
31.若所述第二匹配特征点对中至少一个特征点的深度信息与对应的深度估计信息的相似度，大于或等于第二设定相似度，则将此第二匹配特征点对确定为第三匹配特征点对；
32.根据多个所述第三匹配特征点对，确定所述第一单应性矩阵。
33.根据本公开实施例的第二方面，提供一种位姿变换关系的确定装置，应用于终端，所述终端包括rgb-d相机，所述装置包括确定模块，所述确定模块，用于：
34.根据所述rgb-d相机在第一位置时，所述rgb-d相机的彩色摄像组件输出的第一彩色图像，确定多个第一特征点；
35.根据所述rgb-d相机在第二位置时，所述彩色摄像组件输出的第二彩色图像，确定多个第二特征点；
36.根据第一图像信息和第二图像信息，从多个第一特征点和多个第二特征点中，确定rgb特征匹配的多个第一匹配特征点对，其中，所述第一图像信息为，所述rgb-d相机在所述第一位置时，所述rgb-d相机的深度摄像组件输出的图像信息；所述第二图像信息为，所述rgb-d相机在所述第二位置时，所述深度摄像组件输出的图像信息；
37.根据多个所述第一匹配特征点对，确定第一单应性矩阵，所述第一单应性矩阵用于表征所述rgb-d相机由所述第一位置至所述第二位置的位姿变换关系。
38.可选地，所述第一图像信息包括第一深度图像和第一置信度图像，所述第二图像信息包括第二深度图像和第二置信度图像；
39.所述确定模块，用于：
40.根据所述rgb-d相机的标定信息，以及所述第一深度图像和所述第一置信度图像，确定第一特征点对应的深度信息和置信度信息；
41.将深度信息和置信度信息满足第一设定条件的第一特征点，确定为第三特征点；
42.根据所述标定信息，以及所述第二深度图像和所述第二置信度图像，确定第二特征点对应的深度信息和置信度信息；
43.将深度信息和置信度信息满足第二设定条件的第二特征点，确定为第四特征点；
44.将rgb特征匹配的第三特征点和第四特征点，确定为所述第一匹配特征点对。
45.可选地，所述第一设定条件包括：
46.置信度信息大于或等于第一设定置信度；和/或，
47.深度信息大于或等于第一设定深度且小于或等于第二设定深度。
48.可选地，所述第二设定条件包括：
49.置信度信息大于或等于第二设定置信度；和/或，
50.深度信息大于或等于第三设定深度，且小于或等于第四设定深度。
51.可选地，所述确定模块，用于：
52.若所述第一匹配特征点对中，第三特征点的深度信息与第四特征点的深度信息的相似度，小于或等于第一设定相似度，将此第一匹配特征点对确定为第二匹配特征点对；
53.根据多个所述第二匹配特征点对，确定所述第一单应性矩阵。
54.可选地，所述确定模块，用于：
55.根据所述第一深度图像和所述第二深度图像，确定所述深度摄像组件的外参估计信息；
56.根据多个所述第二匹配特征点对，确定第二单应性矩阵；
57.根据所述第二单应性矩阵、所述第一彩色图像和所述第二彩图像，确定视差信息；
58.根据所述外参估计信息、所述视差信息以及所述彩色摄像模组的内参，确定所述第二匹配特征点对应的深度估计信息；
59.若所述第二匹配特征点对中至少一个特征点的深度信息与对应的深度估计信息的相似度，大于或等于第二设定相似度，则将此第二匹配特征点对确定为第三匹配特征点对；
60.根据多个所述第三匹配特征点对，确定所述第一单应性矩阵。
61.根据本公开实施例的第三方面，提供一种终端，所述终端包括：
62.处理器；
63.用于存储所述处理器可执行指令的存储器；
64.其中，所述处理器被配置为执行如第一方面任意一项所述的方法。
65.根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得所述终端能够执行如第一方面任意一项所述的方法。
66.本公开的实施例提供的技术方案可以包括以下有益效果：该方法中，根据rgb-d相机拍摄的彩色图像确定特征点，并根据rgb-d相机拍摄深度图像和置信度图像，对所确定的特征点进行筛选，然后从筛选出的第一位置对应的特征点以及第二位置对应的特征点中，确定rgb特征匹配的多个第一匹配特征点对，可以很大程度的减小误匹配的特征点对，最后基于更加可靠地多个第一匹配特征点来确定第一单应性矩阵，可以更加准确地确定rgb-d相机由第一位置至第二位置的位姿变换关系。
67.该方法基于彩色图像、深度图像以及置信度图像的物理特性，更好地避免了特征点的误匹配，优化了位姿变换关系的确定方法，使得最终确定的第一单应性矩阵能够更加准确地表征rgb-d相机由第一位置至第二位置的位姿变换关系，从而可以提升同步定位与建图(slam，simultaneous localization and mapping)、增强现实(ar，augmented reality)、虚拟现实(vr，virtual reality)、辅助驾驶和自动驾驶等技术的使用体验。
[0068][0069]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0070]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0071]
图1是根据一示例性实施例示出的位姿转换关系的确定方法的流程图。
[0072]
图2是根据一示例性实施例示出的位姿转换关系的确定方法的流程图。
[0073]
图3是根据一示例性实施例示出的位姿转换关系的确定方法的流程图。
[0074]
图4是根据一示例性实施例示出的位姿转换关系的确定方法的流程图。
[0075]
图5是根据一示例性实施例示出的位姿转换关系的确定方法的示意图。
[0076]
图6是根据一示例性实施例示出的位姿估计装置的框图。
[0077]
图7是根据一示例性实施例示出的终端的框图。
具体实施方式
[0078]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0079]
本公开提供了一种位姿变化关系的确定方法，应用于终端。该方法中，根据rgb-d相机拍摄的彩色图像确定特征点，并根据rgb-d相机拍摄深度图像和置信度图像，对所确定的特征点进行筛选，然后从筛选出的第一位置对应的特征点以及第二位置对应的特征点中，确定rgb特征匹配的多个第一匹配特征点对，可以很大程度的减小误匹配的特征点对，最后基于更加可靠地多个第一匹配特征点对来确定第一单应性矩阵，可以更加准确地确定rgb-d相机由第一位置至第二位置的位姿变换关系。
[0080]
该方法基于彩色图像、深度图像以及置信度图像的物理特性，更好地避免了特征点的误匹配，优化了位姿变换关系的确定方法，使得最终确定的第一单应性矩阵能够更加准确地表征rgb-d相机由第一位置至第二位置的位姿变换关系，从而可以提升同步定位与建图(slam，simultaneous localization and mapping)、增强现实(ar，augmented reality)、虚拟现实(vr，virtual reality)、辅助驾驶和自动驾驶等技术的使用体验。
[0081]
在一个示例性实施例中，提供了一种位姿变换关系的确定方法，应用于终端，终端包括rgb-d相机。rgb-d相机一般包括彩色(rgb)摄像组件和深度(d，全称为depth)摄像组件。参考图1所示，该方法包括：
[0082]
s110、根据rgb-d相机在第一位置时，rgb-d相机的彩色摄像组件输出的第一彩色图像，确定多个第一特征点；
[0083]
s120、根据rgb-d相机在第二位置时，彩色摄像组件输出的第二彩色图像，确定多个第二特征点；
[0084]
s130、根据第一图像信息和第二图像信息，从多个第一特征点和多个第二特征点中，确定rgb特征匹配的多个第一匹配特征点对；
[0085]
s140、根据多个所述第一匹配特征点对，确定第一单应性矩阵，所述第一单应性矩阵用于表征所述rgb-d相机由所述第一位置至所述第二位置的位姿变换关系。
[0086]
在步骤s110和步骤s120中，rgb-d相机在第一位置拍摄得到第一彩色图像后，终端便可基于第一彩色图像进行特征检测，从而确定多个第一特征点。确定出的多个第一特征点可构成特征点集，此特征点集可记为第一特征点集。
[0087]
其中，第一特征点集中的第i个第一特征点可记为其中，xi表示第i个第一特征点的x轴像素坐标，yi表示此第一特征点的y轴像素坐标，ri表示此第一特征点的红色分量，gi表示此第一特征点的绿色分量，bi表示此第一特征点的蓝色分量。
[0088]
第二特征点的确定方式可参考第一特征点。其中，rgb-d相机在第一位置拍摄得到第一彩色图像后，终端便可基于第二彩色图像进行特征检测，从而确定多个第二特征点。确定出的多个第二特征点可构成特征点集，此特征点集可记为第二特征点集。
[0089]
其中，特征检测包括sift(scale invariant feature transform)特征、surf(speeded up robust feature)特征、光流特征等等，在此不作限定。
[0090]
在步骤s130中，第一图像信息为，rgb-d相机在第一位置时，rgb-d相机的深度摄像组件输出的图像信息。第二图像信息为，rgb-d相机在第二位置时，深度摄像组件输出的图像信息。
[0091]
其中，第一图像信息可包括，rgb-d相机在第二位置拍摄时，深度摄像组件输出的第一深度图像和/或第一置信度图像，在此不作限定。第二图像信息可包括，rgb-d相机在第二位置拍摄时，深度摄像组件输出的第二深度图像和/或第二置信度图像，在此不作限定。
[0092]
其中，可基于rgb-d相机的标定信息，确定第一特征点在第一深度图像中对应的深度信息，而第一深度图像中的深度信息与第一置信度图像中置信度信息存在对应关系，因此，便可确定第一特征点在第一置信度图像中对应的置信度信息。基于第一特征点对应的深度信息和置信度信息，便可判断该第一特征点的可靠性，便可去除可靠性较差的部分第一特征点。也就是，可以基于深度信息以及置信度信息，从第一特征点集中，筛选出可靠性更好地的第一特征点。
[0093]
需要说明的是，在进行特征点的筛选时，可以基于深度信息进行筛选，也可基于置信度信息进行筛选，在此不作限定。
[0094]
例如，第一图像信息包括第一深度图像。深度信息可以是深度值。如果第一特征点在第一深度图像中对应的深度值不再设定的深度值范围内，也就是，深度值过大或者过小，则认为该第一特征点的可靠性较差，在确定第一匹配特征点对时，便可将其去除。
[0095]
例如，第一图像信息可包括第一置信度图像。置信度信息可以是置信度值。如果第一特征点在第一置信度图像中对应的置信度值小于设定置信度值，便可认为该第一特征点
的可靠性较差，在确定第一匹配特征点对时，便可将其去除。
[0096]
参考上述第一特征点，便可去除可靠性较差的部分第二特征点。由此，便可以确定更加可靠地rgb特征匹配的匹配特征点对。
[0097]
另外，也可根据深度信息，将rgb特征匹配的匹配特征点对中，深度信息匹配度较差的匹配特征点对筛选出来，保留深度信息匹配度较高的匹配特征点对，进一步避免误匹配，提升匹配特征点对的可靠性。然后将保留的匹配特征点对确定为最终的第一匹配特征点对，便可使得第一匹配特征点对更加可靠。
[0098]
例如，深度信息可以是深度值。rgb特征匹配的匹配特征点对中的两个特征点可分别记为特征点a1和特征点a2，特征点a1对应的深度值可记为深度值d1，特征点a2对应的深度值可记为深度值d2，若深度值d1与深度值d2的差值大于设定深度值，则认为特征点a1与特征点a2的可能属于误匹配，在确定第一匹配特征点对时，便可将此匹配特征点对去除，以提高第一匹配特征点对的可靠性。
[0099]
需要说明的是，rgb特征匹配指的是，确定两个特征点的红色(r)分量、绿色(g)分量以及蓝色(b)分量是否分别匹配。rgb特征匹配的匹配特征点对中，两个特征点的红色(r)分量、绿色(g)分量以及蓝色(b)分量分别匹配。其中匹配可以是相同，也可以相近，可根据实际需求确定，在此不作限定。
[0100]
在步骤s140中，可根据多个第一匹配特征点对进行单应性估算，从而确定单应性矩阵，该单应性矩阵记为第一单应性矩阵。第一单应性矩阵用于表征rgb-d相机由第一位置至第二位置的位姿变换关系。其中，由于第一匹配特征点对是经过步骤s130筛选后得到的匹配特征点对，可以很大程度地减少误匹配的特征点对，使得第一单应性矩阵可以更加准确地表征rgb-d相机由第一位置至第二位置的位姿变换关系。
[0101]
该方法基于彩色图像、深度图像以及置信度图像的物理特性，更好地避免了特征点的误匹配，优化了位姿变换关系的确定方法，使得最终确定的第一单应性矩阵能够更加准确地表征rgb-d相机由第一位置至第二位置的位姿变换关系，从而可以提升同步定位与建图(slam，simultaneous localization and mapping)、增强现实(ar，augmented reality)、虚拟现实(vr，virtual reality)、辅助驾驶和自动驾驶等技术的使用体验。
[0102]
在一个示例性实施例中，提供了一种位姿变换关系的确定方法，应用于终端，终端包括rgb-d相机。该方法中，第一图像信息包括第一深度图像和第一置信度图像，第二图像信息包括第二深度图像和第二置信度图像。
[0103]
其中，参考图2所示，根据第一图像信息和第二图像信息，从多个第一特征点和多个第二特征点中，确定rgb特征匹配的多个第一匹配特征点对，可包括：
[0104]
s210、根据rgb-d相机的标定信息，以及第一深度图像和第一置信度图像，确定第一特征点对应的深度信息和置信度信息；
[0105]
s220、将深度信息和置信度信息满足第一设定条件的第一特征点，确定为第三特征点；
[0106]
s230、根据标定信息，以及第二深度图像和第二置信度图像，确定第二特征点对应的深度信息和置信度信息；
[0107]
s240、将深度信息和置信度信息满足第二设定条件的第二特征点，确定为第四特征点；
[0108]
s250、将rgb特征匹配的第三特征点和第四特征点，确定为第一匹配特征点对。
[0109]
在步骤s210中，可基于rgb-d相机的标定信息，确定第一特征点在第一深度图像中对应的深度信息，而第一深度图像中的深度信息与第一置信度图像中置信度信息存在对应关系，因此，便可确定第一特征点在第一置信度图像中对应的置信度信息。其中，标定信息指rgb-d相机中的彩色摄像组件与深度摄像组件之间的标定信息，该标定信息可基于张正友标定方式确定。
[0110]
在步骤s220中，第一设定条件可包括以下中的至少一种：
[0111]
条件1，置信度信息大于或等于第一设定置信度；
[0112]
条件2，深度信息大于或等于第一设定深度，且小于或等于第二设定深度。
[0113]
其中，若第一特征点对应的置信度信息大于或等于第一设定置信度，便可确定此第一特征点满足条件1。若第一特征点对应的深度信息大于或等于第一设定深度，且小于或等于第二设定深度，便可确定此第一特征点满足条件2。
[0114]
示例1，
[0115]
第一设定条件同时包括条件1和条件2，其中，置信度信息可以是置信度值，第一设定置信度记为c
′0，深度信息可以是深度值，第一设定深度可记为d
′
min1
，第二设定深度可记为d
′
max1
。
[0116]
该示例中，若第一特征点对应的置信度值大于第一设定置信度c
′0，且第一特征点对应的深度值大于或等于第一设定深度d
′
min1
，且第一特征点对应的深度值小于或等于第二设定深度d
′
max1
，便认为此第一特征点的深度值和置信度值满足第一设定条件，便可将此第一特征点确定为第三特征点。
[0117]
其中，确定出的第三特征点可构成特征点集，此特征点集可记为第三特征点集。
[0118]
在步骤s230中，可基于rgb-d相机的标定信息，确定第二特征点在第二深度图像中对应的深度信息，而第二深度图像中的深度信息与第二置信度图像中置信度信息存在对应关系，因此，便可确定第二特征点在第二置信度图像中对应的置信度信息。其中，标定信息指rgb-d相机中的彩色摄像组件与深度摄像组件之间的标定信息，该标定信息可基于张正友标定方式确定。
[0119]
在步骤s240中，第二设定条件可参考第一设定条件设置，第二设定条件可包括以下中的至少一种：
[0120]
条件3，置信度信息大于或等于第二设定置信度；
[0121]
条件4，深度信息大于或等于第三设定深度，且小于或等于第四设定深度。
[0122]
其中，若第二特征点对应的置信度信息大于或等于第二设定置信度，便可确定此第二特征点满足条件3。若第二特征点对应的深度信息大于或等于第三设定深度，且小于或等于第四设定深度，便可确定此第二特征点满足条件4。
[0123]
其中，条件3可与条件1相同，也就是，第二设定置信度可与第一设定置信度相同。条件4可与条件2相同，也就是，第三设定深度可与第一设定深度相同，第四设定深度可与第二设定深度相同。第二设定条件可与第一设定条件相同，例如，第一设定条件包括条件1和条件2，第二设定条件包括条件3和条件4，且，条件1与条件2相同，条件3与条件4相同。
[0124]
其中，此步骤确定出的第四特征点可构成特征点集，此特征点集可记为第四特征点集。
[0125]
在步骤s250中，可基于步骤s220确定的多个第三特征点，以及步骤s240确定的多个第四特征点，来确定第一匹配特征点对。需要说明的是，此步骤中使用的第三特征点可以是步骤s220确定的全部第三特征点，也可以是步骤s220确定的部分第三特征点，在此不作限定。同理，此步骤中使用的第四特征点可以是步骤s240确定的全部第四特征点，也可以是步骤s240确定的部分特征点，在此不作限定。
[0126]
其中，第三特征点属于第一彩色图像，第四特征点属于第二彩色图像，可通过rgb特征匹配的方式，从多个第三特征点和多个第四特征点中，确定出rgb特征匹配的第三特征点和第四特征点，然后将确定出的每一组匹配的第三特征点和第四特征点，确定为一个第一匹配特征点对。
[0127]
第一匹配特征点对中，第三特征点的红色分量与第四特征点的红色分量匹配，第三特征点的绿色分量与第四特征点的绿色分量匹配，第三特征点的蓝色分量与第四特征点的蓝色分量匹配。其中，匹配可以指相同。
[0128]
需要说明的是，由于第三特征点是满足第一设定条件的第一特征点，第四特征点是满足第二设定条件的第二特征点，因此，第三特征点和第四特征点的可靠性更高，从而使得最终确定的第一匹配特征点对的可靠性更高，也就是，第一匹配特征点对中的特征点的匹配性更好，基于第一匹配特征点对确定的第一单应性矩阵能够更好地表征rgb-d相机由第一位置至第二位置之间的位姿变换关系。
[0129]
该方法中，基于第一设定条件，从第一特征点中筛选出第三特征点，并基于第二设定条件，从第二特征点中筛选出第四特征点，然后基于第三特征点和第四特征点确定第一匹配特征点对，使得第一匹配特征点对中的特征点的匹配性更好，从而使得第一单应性矩阵能够更好地表征rgb-d相机由第一位置至第二位置之间的位姿变换关系。
[0130]
在一个示例性实施例中，提供了一种位姿变换关系的确定方法，应用于终端，终端包括rgb-d相机。参考图3所示，该方法中，根据多个第一匹配特征点对，确定第一单应性矩阵，可包括：
[0131]
s310、若第一匹配特征点对中，第三特征点的深度信息与第四特征点的深度信息的相似度，小于或等于第一设定相似度，将此第一匹配特征点对确定为第二匹配特征点对；
[0132]
s320、根据多个第二匹配特征点对，确定第一单应性矩阵。
[0133]
在步骤s310中，若第一匹配特征点对中，第三特征点的深度信息与第四特征点的深度信息的相似度，小于或等于第一设定相似度，则认为此第一匹配特征点对中的第三特征点与第四特征点的深度信息匹配，便认为此第三特征点与此第四特征点的匹配度较好，便可将此第一匹配特征点对确定为第二匹配特征点对。由此可知，第二匹配特征点对中的特征点的匹配性优于第一匹配特征点对。
[0134]
其中，第一设定相似度可以是终端出厂前设置的，也可以是终端出厂后设置的，另外，第一设定相似度设置完成后，可对其进行修改，以更好地满足用户的需求。第一设定相似度的具体值可根据实际情况确定，在此不作限定。
[0135]
示例1，
[0136]
深度信息可以是深度值，第一设定相似度可以是95％。
[0137]
在第一匹配特征点对中，第三特征点对应的深度信息可记为深度值第四特征
点对应的深度信息可记为深度值可先确定深度值与深度值中的较小值以及较大值，然后用较小值除以较大值，得到的百分比记为深度值与深度值的相似度。
[0138]
该示例中，若确定的相似度大于或等于95％，则可将相应的第一匹配特征点对确定为第二匹配特征点对。
[0139]
需要说明的是，除了上述方式外，也可通过其他方式确定第三特征点的深度信息与第四特征点的深度信息的相似度，在此不作限定。
[0140]
在步骤s320中，可对多个第二匹配特征点对进行单应性估算，从而得到第一单应性矩阵，由于第二匹配特征点对中的特征点的匹配性优于第一匹配特征点对，因此，基于第二匹配特征点对确定的第一单应性矩阵，可以更加准确地表征rgb-d相机由第一位置至第二位置之间的位姿变换关系。
[0141]
该方法中，根据第一相似度对多个第一匹配特征点对进行筛选，从而选择出匹配性较好地多个第二匹配特征点对，然后基于第二匹配特征点对，确定第一单应性矩阵，使得第一单应性矩阵可以更加准确地表征rgb-d相机由第一位置至第二位置之间的位姿变换关系。
[0142]
在一个示例性实施例中，提供了一种位姿变换关系的确定方法，应用于终端，终端包括rgb-d相机。参考图4所示，该方法中，根据多个第二匹配特征点对，确定第一单应性矩阵，可包括：
[0143]
s410、根据第一深度图像和第二深度图像，确定位姿变化信息；
[0144]
s420、根据多个第二匹配特征点对，确定第二单应性矩阵；
[0145]
s430、根据第二单应性矩阵、第一彩色图像和第二彩图像，确定视差信息；
[0146]
s440、根据位姿变化信息、视差信息以及彩色摄像模组的内参，确定第二匹配特征点对应的深度估计信息；
[0147]
s450、若第二匹配特征点对中至少一个特征点的深度信息与对应的深度估计信息的相似度，大于或等于第二设定相似度，则将此第二匹配特征点对确定为第三匹配特征点对；
[0148]
s460、根据多个第三匹配特征点对，确定第一单应性矩阵。
[0149]
在步骤s410中，可基于单目标定原理，以及第一深度图像，确定rgb-d相机在第一位置时，拍摄目标对应的相机坐标系，此相机坐标系可记为第一相机坐标系可基于单目标定原理，以及第二深度图像，确定rgb-d相机在第二位置时，拍摄目标对应的相机坐标系，此相机坐标系可记为第二相机坐标系
[0150]
然后，基于双目位置关系的估算原理，以及上述第一相机坐标系和第二相机坐标系，完成rgb-d相机中深度摄像组件的外参估计信息。
[0151]
在步骤s420中，可根据多个第二匹配特征点对，通过单应性估算，确定第二单应性矩阵。
[0152]
在步骤s430中，可根据第二单应性矩阵，对第一彩色图像和第二彩色图像，进行图像配准处理，从而确定视差信息。需要说明的是，除了上述方法外，也可通过其他方法确定视差信息，在此不作限定。
[0153]
在步骤s440中，可采用三角测量原理，根据外参估计信息、视差信息以及彩色摄像
模组的内参，确定第二匹配特征点对对应的深度估计信息。需要说明的是，除了三角测量原理，也可基于其他原理定上述深度估计信息。
[0154]
在步骤s450中，在确定了第二匹配特征点对对应的深度估计信息后，便可基于此深度估计信息，判断相应的第二匹配特征点对中的特征点的深度信息是否可靠。
[0155]
其中，若第二匹配特征点对中至少一个特征点的深度信息与对应的深度估计信息的相似度，大于或等于第二设定相似度，则认为此第二匹配特征点对中的特征点的深度信息可靠性较高，便可将此第二匹配特征点对确定为第三匹配特征点对。
[0156]
需要说明的是，第二设定相似度的设置方式可参考第一设定相似度，在此不作赘述。
[0157]
示例1，
[0158]
第二设定相似度为95％，深度信息可以是深度值，深度估计信息可以是深度估计值。第二匹配特征点对中的第三特征点的深度值与此第二匹配特征点对对应的深度估计值的相似度大于或等于95％，则将此第二匹配特征点对确定为第三匹配特征点对。
[0159]
示例2，
[0160]
第二设定相似度为95％，深度信息可以是深度值，深度估计信息可以是深度估计值。第二匹配特征点对中的第四特征点的深度值与此第二匹配特征点对对应的深度估计值的相似度大于或等于95％，则将此第二匹配特征点对确定为第三匹配特征点对。
[0161]
示例3，
[0162]
第二设定相似度为95％，深度信息可以是深度值，深度估计信息可以是深度估计值。第二匹配特征点对中的第三特征点的深度值与此第二匹配特征点对对应的深度估计值的相似度大于或等于95％，并且，第二匹配特征点对中的第四特征点的深度值与此第二匹配特征点对对应的深度估计值的相似度大于或等于95％，则将此第二匹配特征点对确定为第三匹配特征点对。
[0163]
在步骤s460中，可对多个第三匹配特征点对进行单应性估算，从而得到第一单应性矩阵，由于第三匹配特征点对中的特征点的可靠性优于第二匹配特征点对，因此，基于第三匹配特征点对确定的第一单应性矩阵，可以更加准确地表征rgb-d相机由第一位置至第二位置之间的位姿变换关系。
[0164]
该方法中，根据第二相似度对多个第二匹配特征点对进行筛选，从而选择出可靠性较好地多个第三匹配特征点对，然后基于第三匹配特征点对，确定第一单应性矩阵，使得第一单应性矩阵可以更加准确地表征rgb-d相机由第一位置至第二位置之间的位姿变换关系。
[0165]
在一个示例性实施例中，提供了一种位姿变换关系的确定方法，应用于终端，终端包括rgb-d相机。
[0166]
参考图5所示，该方法中，可先获取rgb-d相机在第一位置时，彩色摄像组件拍摄得到的第一彩色图像，以及深度摄像模组拍摄得到的第一深度图像和第一置信度图像，然后再获取rgb-d相机在第二位置时，彩色摄像组件拍摄得到的第二彩色图像，以及深度摄像模组拍摄得到的第二深度图像和第二置信度图像。
[0167]
对第一彩色图像进行特征提取，确定第一彩色图像中的多个第一特征点，此多个第一特征点形成第一特征点集。对第二彩色图像进行特征提取，确定第二彩色图像中的多
个第二特征点，此多个第二特征点可形成第二特征点集。
[0168]
根据rgb-d相机中彩色摄像组件与深度摄像组件的标定信息，以及第一深度图像和第一置信度图像，确定第一特征点集中的第一特征点对应的深度值和置信度值。并根据上述标定信息，以及第二深度图像和第二置信度图像，确定第二特征点集中的第二特征点对应的深度值和置信度值。
[0169]
将满足第一设定条件的第一特征点，确定为第三特征点。其中，可判断第一特征点对应的置信度值是否大于第一设定置信度，并可判断第一特征点对应的深度值是否大于或等于第一设定深度且小于或等于第二设定深度。若判断结果均为是，则可将此第一特征点保留，并将其确定为第三特征点。否则，可将此第一特征点舍弃。根据上述方式便可确定多个第三特征点，多个第三特征点可形成第三特征点集。
[0170]
将满足第二设定条件的第二特征点，确定为第四特征点。其中，可判断第二特征点对应的置信度值是否大于第二设定置信度，并可判断第二特征点对应的深度值是否大于或等于第三设定深度且小于或等于第四设定深度。若判断结果均为是，则可将此第二特征点保留，并将其确定为第四特征点。否则，可将此第二特征点舍弃。根据上述方式便可确定多个第四特征点，多个第四特征点可形成第四特征点集。
[0171]
对第三特征点集和第四特征点集中进行rgb特征匹配处理，将rgb特征匹配的第三特征点和第四特征点，确定为第一匹配特征点对。第一匹配特征点对中，第三特征点的红色分量、绿色分量和蓝色分量，分别与第四特征点的红色分量、绿色分量和蓝色分量匹配。
[0172]
根据上述方式便可确定多个第一匹配特征点对。
[0173]
然后判断第一匹配特征点对中，第三特征点的深度值与第四特征点的深度值的相似度，是否小于或等于第一设定相似度。若判断结果为是，便可将此第一匹配特征点对保留，并将其确定为第二匹配特征点对。否则，将此第一匹配特征点对舍弃。
[0174]
根据上述方式便可确定多个第二匹配特征点对。第二匹配特征点对中特征点的匹配度优于第一匹配特征点对中特征点的匹配度。
[0175]
基于多个第二匹配特征点对进行单应性估算，确定第二单应性矩阵。然后根据第二单应性矩阵，对第一彩色图像和第二彩色图像进行配准处理，从而确定视差信息。
[0176]
基于单目标定原理以及双目标定原理，根据第一深度图像和第二深度图像，确定深度摄像组件的外参估计信息。
[0177]
然后，根据外参估计信息、视差信息以及彩色摄像组件的内参，通过三角测量，确定第二匹配特征点对应的深度估计值。
[0178]
然后，确定第二匹配点对中第四特征点的深度值与此第二匹配特征点对对应的深度估计值的相似度，并判断此相似度是否大于或等于第二设定相似度。若判断结果为是，则将此第二匹配特征点对保留，并将其确定为第三匹配特征点对。否则，将此第二匹配特征点对舍弃。
[0179]
根据上述方式便可确定多个第三匹配特征点对。第三匹配特征点对的可靠性优于第一匹配特征点对的可靠性。
[0180]
然后，便可根据多个第三匹配特征点对，通过单应性估算，确定第一单应性矩阵。
[0181]
该方法中，将深度信息多层次、多方式地融入rgb-d相机的位姿变化关系的确定过程中，并结合了视差信息对匹配的特征点对进行筛选，充分利用了彩色图像、深度图像和置
信度图像的物理特性，优化了位姿变换关系的确定过程，使得最终得到的第一单应性矩阵可以更好地表征rgb-d相机由第一位置至第二位置的位姿变换关系，从而可以提升同步定位与建图(slam，simultaneous localization and mapping)、增强现实(ar，augmented reality)、虚拟现实(vr，virtual reality)、辅助驾驶和自动驾驶等技术的使用体验。
[0182]
在一个示例性实施例中，提供一种位姿变换关系的确定装置，应用于终端，终端包括rgb-d相机，该装置用于实施上述的方法。示例地，参考图6所示，该装置包括确定模块101，确定模块101，用于：
[0183]
根据rgb-d相机在第一位置时，rgb-d相机的彩色摄像组件输出的第一彩色图像，确定多个第一特征点；
[0184]
根据rgb-d相机在第二位置时，彩色摄像组件输出的第二彩色图像，确定多个第二特征点；
[0185]
根据第一图像信息和第二图像信息，从多个第一特征点和多个第二特征点中，确定rgb特征匹配的多个第一匹配特征点对，其中，第一图像信息为，rgb-d相机在第一位置时，rgb-d相机的深度摄像组件输出的图像信息；第二图像信息为，rgb-d相机在第二位置时，深度摄像组件输出的图像信息；
[0186]
根据多个第一匹配特征点对，确定第一单应性矩阵，第一单应性矩阵用于表征rgb-d相机由第一位置至第二位置的位姿变换关系。
[0187]
在一个示例性实施例中，提供一种位姿变换关系的确定装置，应用于终端，终端包括rgb-d相机，该装置中，第一图像信息包括第一深度图像和第一置信度图像，第二图像信息包括第二深度图像和第二置信度图像。参考图6所示，确定模块101，用于：
[0188]
根据rgb-d相机的标定信息，以及第一深度图像和第一置信度图像，确定第一特征点对应的深度信息和置信度信息；
[0189]
将深度信息和置信度信息满足第一设定条件的第一特征点，确定为第三特征点；
[0190]
根据标定信息，以及第二深度图像和第二置信度图像，确定第二特征点对应的深度信息和置信度信息；
[0191]
将深度信息和置信度信息满足第二设定条件的第二特征点，确定为第四特征点；
[0192]
将rgb特征匹配的第三特征点和第四特征点，确定为第一匹配特征点对。
[0193]
在一个示例性实施例中，提供一种位姿变换关系的确定装置，应用于终端，终端包括rgb-d相机，该装置中，第一设定条件包括：
[0194]
置信度信息大于或等于第一设定置信度；和/或，
[0195]
深度信息大于或等于第一设定深度且小于或等于第二设定深度。
[0196]
在一个示例性实施例中，提供一种位姿变换关系的确定装置，应用于终端，终端包括rgb-d相机，该装置中，第二设定条件包括：
[0197]
置信度信息大于或等于第二设定置信度；和/或，
[0198]
深度信息大于或等于第三设定深度，且小于或等于第四设定深度。
[0199]
在一个示例性实施例中，提供一种位姿变换关系的确定装置，应用于终端，终端包括rgb-d相机，参考图6所示，该装置中，确定模块101，用于：
[0200]
若第一匹配特征点对中，第三特征点的深度信息与第四特征点的深度信息的相似度，小于或等于第一设定相似度，将此第一匹配特征点对确定为第二匹配特征点对；
[0201]
根据多个第二匹配特征点对，确定第一单应性矩阵。
[0202]
在一个示例性实施例中，提供一种位姿变换关系的确定装置，应用于终端，终端包括rgb-d相机，参考图6所示，该装置中，确定模块101，用于：
[0203]
根据第一深度图像和第二深度图像，确定深度摄像组件的外参估计信息；
[0204]
根据多个第二匹配特征点对，确定第二单应性矩阵；
[0205]
根据第二单应性矩阵、第一彩色图像和第二彩图像，确定视差信息；
[0206]
根据外参估计信息、视差信息以及彩色摄像模组的内参，确定第二匹配特征点对应的深度估计信息；
[0207]
若第二匹配特征点对中至少一个特征点的深度信息与对应的深度估计信息的相似度，大于或等于第二设定相似度，则将此第二匹配特征点对确定为第三匹配特征点对；
[0208]
根据多个第三匹配特征点对，确定第一单应性矩阵。
[0209]
在一个示例性实施例中，提供了一种终端，终端例如为手机、笔记本电脑、平板电脑以及可穿戴设备等。
[0210]
参考图7所示，终端400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，输入/输出(i/o)的接口412，传感器组件414，以及通信组件416。
[0211]
处理组件402通常控制终端400的整体操作，诸如与显示，电话呼叫，信息通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。
[0212]
存储器404被配置为存储各种类型的信息以支持在终端400的操作。这些信息的示例包括用于在终端400上操作的任何应用程序或方法的指令，联系人信息，电话簿信息，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0213]
电源组件406为终端400的各种组件提供电力。电源组件406可以包括电源管理系统，一个或多个电源，及其他与为终端400生成、管理和分配电力相关联的组件。
[0214]
多媒体组件408包括在终端400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置相机模组和/或后置相机模组。当终端400处于操作模式，如拍摄模式或视频模式时，前置相机模组和/或后置相机模组可以接收外部的多媒体信息。每个前置相机模组和后置相机模组可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0215]
音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(mic)，当终端400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配
置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。
[0216]
i/o接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0217]
传感器组件414包括一个或多个传感器，用于为终端400提供各个方面的状态评估。例如，传感器组件414可以检测到终端400的打开/关闭状态，组件的相对定位，例如组件为终端400的显示器和小键盘，传感器组件414还可以检测终端400或终端400一个组件的位置改变，用户与终端400接触的存在或不存在，终端400方位或加速/减速和终端400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0218]
通信组件416被配置为便于终端400和其他终端之间有线或无线方式的通信。终端700可以接入基于通信标准的无线网络，如wifi、2g、3g、4g、5g或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件416还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外信息协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0219]
在示例性实施例中，终端400可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理终端(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的方法。
[0220]
在一个示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由终端400的处理器420执行以完成上述方法。例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光信息存储终端等。当存储介质中的指令由终端的处理器执行时，使得终端能够执行上述实施例中示出的方法。
[0221]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
[0222]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0223]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

技术特征：
1.一种位姿变换关系的确定方法，应用于终端，所述终端包括rgb-d相机，其特征在于，所述方法包括：根据所述rgb-d相机在第一位置时，所述rgb-d相机的彩色摄像组件输出的第一彩色图像，确定多个第一特征点；根据所述rgb-d相机在第二位置时，所述彩色摄像组件输出的第二彩色图像，确定多个第二特征点；根据第一图像信息和第二图像信息，从多个第一特征点和多个第二特征点中，确定rgb特征匹配的多个第一匹配特征点对，其中，所述第一图像信息为，所述rgb-d相机在所述第一位置时，所述rgb-d相机的深度摄像组件输出的图像信息；所述第二图像信息为，所述rgb-d相机在所述第二位置时，所述深度摄像组件输出的图像信息；根据多个所述第一匹配特征点对，确定第一单应性矩阵，所述第一单应性矩阵用于表征所述rgb-d相机由所述第一位置至所述第二位置的位姿变换关系。2.根据权利要求1所述的方法，其特征在于，所述第一图像信息包括第一深度图像和第一置信度图像，所述第二图像信息包括第二深度图像和第二置信度图像；所述根据第一图像信息和第二图像信息，从多个第一特征点和多个第二特征点中，确定rgb特征匹配的多个第一匹配特征点对，包括：根据所述rgb-d相机的标定信息，以及所述第一深度图像和所述第一置信度图像，确定第一特征点对应的深度信息和置信度信息；将深度信息和置信度信息满足第一设定条件的第一特征点，确定为第三特征点；根据所述标定信息，以及所述第二深度图像和所述第二置信度图像，确定第二特征点对应的深度信息和置信度信息；将深度信息和置信度信息满足第二设定条件的第二特征点，确定为第四特征点；将rgb特征匹配的第三特征点和第四特征点，确定为所述第一匹配特征点对。3.根据权利要求2所述的方法，其特征在于，所述第一设定条件包括：置信度信息大于或等于第一设定置信度；和/或，深度信息大于或等于第一设定深度且小于或等于第二设定深度。4.根据权利要求2所述的方法，其特征在于，所述第二设定条件包括：置信度信息大于或等于第二设定置信度；和/或，深度信息大于或等于第三设定深度，且小于或等于第四设定深度。5.根据权利要求2所述的方法，其特征在于，所述根据多个所述第一匹配特征点对，确定第一单应性矩阵，包括：若所述第一匹配特征点对中，第三特征点的深度信息与第四特征点的深度信息的相似度，小于或等于第一设定相似度，将此第一匹配特征点对确定为第二匹配特征点对；根据多个所述第二匹配特征点对，确定所述第一单应性矩阵。6.根据权利要求5所述的方法，其特征在于，所述根据多个所述第二匹配特征点对，确定所述第一单应性矩阵，包括：根据所述第一深度图像和所述第二深度图像，确定所述深度摄像组件的外参估计信息；根据多个所述第二匹配特征点对，确定第二单应性矩阵；
根据所述第二单应性矩阵、所述第一彩色图像和所述第二彩图像，确定视差信息；根据所述外参估计信息、所述视差信息以及所述彩色摄像模组的内参，确定所述第二匹配特征点对应的深度估计信息；若所述第二匹配特征点对中至少一个特征点的深度信息与对应的深度估计信息的相似度，大于或等于第二设定相似度，则将此第二匹配特征点对确定为第三匹配特征点对；根据多个所述第三匹配特征点对，确定所述第一单应性矩阵。7.一种位姿变换关系的确定装置，应用于终端，所述终端包括rgb-d相机，其特征在于，所述装置包括确定模块，所述确定模块，用于：根据所述rgb-d相机在第一位置时，所述rgb-d相机的彩色摄像组件输出的第一彩色图像，确定多个第一特征点；根据所述rgb-d相机在第二位置时，所述彩色摄像组件输出的第二彩色图像，确定多个第二特征点；根据第一图像信息和第二图像信息，从多个第一特征点和多个第二特征点中，确定rgb特征匹配的多个第一匹配特征点对，其中，所述第一图像信息为，所述rgb-d相机在所述第一位置时，所述rgb-d相机的深度摄像组件输出的图像信息；所述第二图像信息为，所述rgb-d相机在所述第二位置时，所述深度摄像组件输出的图像信息；根据多个所述第一匹配特征点对，确定第一单应性矩阵，所述第一单应性矩阵用于表征所述rgb-d相机由所述第一位置至所述第二位置的位姿变换关系。8.根据权利要求7所述的装置，其特征在于，所述第一图像信息包括第一深度图像和第一置信度图像，所述第二图像信息包括第二深度图像和第二置信度图像；所述确定模块，用于：根据所述rgb-d相机的标定信息，以及所述第一深度图像和所述第一置信度图像，确定第一特征点对应的深度信息和置信度信息；将深度信息和置信度信息满足第一设定条件的第一特征点，确定为第三特征点；根据所述标定信息，以及所述第二深度图像和所述第二置信度图像，确定第二特征点对应的深度信息和置信度信息；将深度信息和置信度信息满足第二设定条件的第二特征点，确定为第四特征点；将rgb特征匹配的第三特征点和第四特征点，确定为所述第一匹配特征点对。9.根据权利要求8所述的装置，其特征在于，所述第一设定条件包括：置信度信息大于或等于第一设定置信度；和/或，深度信息大于或等于第一设定深度且小于或等于第二设定深度。10.根据权利要求8所述的装置，其特征在于，所述第二设定条件包括：置信度信息大于或等于第二设定置信度；和/或，深度信息大于或等于第三设定深度，且小于或等于第四设定深度。11.根据权利要求8所述的装置，其特征在于，所述确定模块，用于：若所述第一匹配特征点对中，第三特征点的深度信息与第四特征点的深度信息的相似度，小于或等于第一设定相似度，将此第一匹配特征点对确定为第二匹配特征点对；根据多个所述第二匹配特征点对，确定所述第一单应性矩阵。12.根据权利要求11所述的装置，其特征在于，所述确定模块，用于：
根据所述第一深度图像和所述第二深度图像，确定所述深度摄像组件的外参估计信息；根据多个所述第二匹配特征点对，确定第二单应性矩阵；根据所述第二单应性矩阵、所述第一彩色图像和所述第二彩图像，确定视差信息；根据所述外参估计信息、所述视差信息以及所述彩色摄像模组的内参，确定所述第二匹配特征点对应的深度估计信息；若所述第二匹配特征点对中至少一个特征点的深度信息与对应的深度估计信息的相似度，大于或等于第二设定相似度，则将此第二匹配特征点对确定为第三匹配特征点对；根据多个所述第三匹配特征点对，确定所述第一单应性矩阵。13.一种终端，其特征在于，所述终端包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行如权利要求1至6中任意一项所述的方法。14.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由终端的处理器执行时，使得所述终端能够执行如权利要求1至6中任意一项所述的方法。

技术总结
本公开是关于一种位姿变换关系的确定方法、装置、终端及存储介质，其中，终端包括RGB-D相机，方法包括：根据RGB-D相机在第一位置时，RGB-D相机的彩色摄像组件输出的第一彩色图像，确定多个第一特征点；根据RGB-D相机在第二位置时，彩色摄像组件输出的第二彩色图像，确定多个第二特征点；根据第一图像信息和第二图像信息，从多个第一特征点和多个第二特征点中，确定RGB特征匹配的多个第一匹配特征点对；根据多个第一匹配特征点对，确定第一单应性矩阵，第一单应性矩阵用于表征RGB-D相机由第一位置至所述第二位置的位姿变换关系。该方法可以很大程度的减小误匹配，使得第一单应性矩阵可以更加准确地确定RGB-D相机由第一位置至第二位置的位姿变换关系。二位置的位姿变换关系。二位置的位姿变换关系。


技术研发人员：张超
受保护的技术使用者：北京小米移动软件有限公司
技术研发日：2022.01.04
技术公布日：2023/7/20