一种位姿确定方法、装置、计算机设备及存储介质与流程

1.本公开涉及计算机技术领域，具体而言，涉及一种位姿确定方法、装置、计算机设备及存储介质。


背景技术：

2.在自动驾驶、机器人、虚拟现实、增强现实等领域中，都离不开位姿信息的确定。位姿信息可以指示被测对象的位置信息以及姿态信息，使进行位姿测量的设备能够感知自身或周围环境的相关信息，并根据这些信息做出相应的动作。因此，位姿信息的精确度至关重要。
3.受到传感器特性的影响，进行位姿测量的传感器在某些场景下的使用效果较差，比如，可见光传感器仅能够在光线良好的场景下提供较为精确的位姿信息，遇到强光、大雨、大雾等场景则位姿定位的效果较差。


技术实现要素：

4.本公开实施例至少提供一种位姿确定方法、装置、计算机设备及存储介质。
5.第一方面，本公开实施例提供了一种位姿确定方法，包括：基于目标设备上部署的惯性测量单元在目标时间段内输出的测量数据，生成所述目标时间段对应的初始位姿样条；所述初始位姿样条用于指示所述目标设备在所述目标时间段中不同时间点的位姿信息；获取所述目标设备上部署的多种光学传感器在所述目标时间段内输出的光学图像；基于所述初始位姿样条及所述光学图像，生成所述光学图像对应的多种位姿校准残差；基于生成的各种位姿校准残差，对所述初始位姿样条的参数进行更新，得到目标位姿样条。
6.上述方面所提供的位姿确定方法，通过惯性测量单元生成能够指示目标设备位姿信息的初始位姿样条，并利用多种光学传感器输出的光学图像以及初始位姿样条生成多种位姿校准残差，利用位姿校准残差对初始位姿样条的参数进行更新，从而实现利用多种光学传感器对利用惯性测量单元确定的位姿信息进行校准，得到更为精确的目标位姿样条，并且，由于校准时使用了多种光学传感器输出的光学图像，使得目标位姿样条能够结合多种光学图像的特征，在一些传感器无法应对的场景中也能够通过其他传感器得到较为精确的位姿信息。
7.一种可选的实施方式中，所述光学图像包括可见光传感器输出的可见光图像，以及热红外传感器输出的热红外图像；所述位姿校准残差包括可见光校准残差、热红外校准残差、以及结合可见光与热红外的联合校准残差。
8.上述实施方式，通过利用可见光图像及热红外图像生成位姿校准残差，能够在利用可见光图像生成可见光校准残差的同时，使用热红外图像生成热红外校准残差，由于热红外图像不会受到光线亮度影响，强光、炫光、大雨、大雾等天气也不会对热红外图像造成明显影响，从而使利用热红外校准残差进行校准的目标位姿样条更加精确；同时，上述实施方式使用可见光图像和热红外图像相结合，生成结合可见光与热红外的联合校准残差，使得目标位姿样条的精确度进一步提高。
9.一种可选的实施方式中，基于所述初始位姿样条及所述光学图像，生成可见光校准残差，包括：针对任意两帧可见光图像，对所述可见光图像进行特征点匹配，得到多个特征点对，并确定所述特征点对对应的三维路标点在世界坐标系下的位置信息；针对任一帧可见光图像，基于所述初始位姿样条指示的与所述可见光图像匹配的位姿信息，将所述世界坐标系下的所述三维路标点投影至所述可见光图像中，得到所述三维路标点对应的第一投影点在所述可见光图像中的像素位置；基于所述第一投影点的像素位置，以及所述三维路标点在所述可见光图像中对应的特征点的像素位置，确定所述可见光图像对应的可见光校准残差。
10.上述实施方式，通过特征点匹配，找到可以进行对比的标志物（也即三维路标点），利用初始位姿样条表示的位姿信息，将三维路标点投影至可见光图像中，使得投影得到的第一投影点与三维路标点对应的特征点处于相同的坐标系下，进而能够计算可见光校准残差，对初始位姿样条的参数进行校准，提高初始位姿样条指示的位姿信息的精确度。
11.一种可选的实施方式中，基于所述初始位姿样条及所述光学图像，生成热红外校准残差，包括：针对任意两帧热红外图像，对所述热红外图像进行特征点匹配，得到多个特征点对；其中，所述特征点对包括所述两帧热红外图像中第一热红外图像的第一特征点，以及所述两帧热红外图像中第二热红外图像的第二特征点；基于所述初始位姿样条指示的与所述第一热红外图像匹配的位姿信息，将所述第一特征点投影至世界坐标系中，得到第二投影点，并将所述第二投影点投影至所述第二热红外图像中，得到所述第二投影点对应的第三投影点；确定所述第一特征点在所述第一热红外图像中的热辐射值，以及所述第三投影点在所述第二热红外图像中的热辐射值；基于所述第一特征点以及所述第三投影点分别对应的热辐射值，确定所述两帧热红外图像对应的热红外校准残差。
12.上述实施方式，通过初始位姿样条指示的位姿信息，将第一热红外图像中的第一特征点投影至世界坐标系中，再将世界坐标系中的投影点投影至第二热红外图像中，使得第二投影点与第一特征点能够进行热辐射值的比较，从而形成热红外校准残差，能够有效提高位姿信息的精度。
13.一种可选的实施方式中，基于所述初始位姿样条及所述光学图像，生成所述联合校准残差，包括：针对所述可见光图像中的任一帧目标可见光图像，以及所述热红外图像中的任一帧目标热红外图像，确定同时被所述目标可见光图像以及所述热红外图像捕捉到的目标三
维路标点；基于所述初始位姿样条指示的与所述目标可见光图像匹配的位姿信息，将所述目标三维路标点投影至所述目标可见光图像中，得到所述目标可见光图像中的第四投影点；以及，基于所述初始位姿样条指示的与所述目标热红外图像匹配的位姿信息，将所述目标三维路标点投影至所述目标热红外图像中，得到所述目标热红外图像中的第五投影点；基于所述第四投影点对应的光照强度值，以及所述第五投影点对应的热辐射值，确定所述第四投影点与所述第五投影点之间的归一化信息距离；基于所述归一化信息距离以及所述初始位姿样条，确定所述联合校准残差。
14.上述实施方式，通过将同一个三维场景中的点分别投影至目标可见光图像及目标热红外图像，并通过归一化信息距离，使不同的属性维度能够在一起进行比较，从而形成联合校准残差，进一步提升位姿信息的精确度。
15.一种可选的实施方式中，所述基于所述第四投影点对应的光照强度值，以及所述第五投影点对应的热辐射值，确定所述第四投影点与所述第五投影点之间的归一化信息距离，包括：针对所述第四投影点中的当前第四投影点，基于所述当前第四投影点对应的光照强度值，确定与所述当前第四投影点对应的光照强度值范围；针对所述第五投影点中的当前第五投影点，基于所述当前第五投影点对应的热辐射值，确定所述当前第五投影点对应的热辐射值范围；针对所述当前第四投影点与所述第五投影点组成的当前投影点对，基于所述当前第四投影点对应的光照强度值与所述第五投影点对应的热辐射值之间的乘积，确定所述当前投影点对对应的乘积范围；确定各个第四投影点中，光照强度值位于所述当前第四投影点的光照强度值范围内的像素点的第一数量；确定各个第五投影点中，热辐射值位于所述当前第五投影点的热辐射值范围内的像素点的第二数量；确定各个第四投影点与对应的第五投影点形成的投影点对中，光照强度值与热辐射值之间的乘积位于所述乘积范围内的投影点对的第三数量；确定所述第一数量与所述目标三维路标点的总数之间的第一比值、所述第二数量与所述目标三维路标点的总数之间的第二比值，以及所述第三数量与所述目标三维路标点的总数之间的第三比值；分别确定所述第一比值的第一熵值、所述第二比值的第二熵值以及所述第三比值的第三熵值；基于所述第一熵值与所述第二熵值的乘积，以及所述第三熵值，确定所述第四投影点与所述第五投影点之间的归一化信息距离。
16.上述实施方式，通过统计与当前的第四投影点的光照强度值相近的第四投影点占第四投影点的总量的比值，以及与当前的第五投影点的热辐射值相近的第五投影点数量占第五投影点总量的比值，以及比值对应的熵值，将两种完全不同的量进行对比（确定信息距离），并利用归一化将复杂的对比结果简化，实现可见光与热红外相结合的联合校准残差。
17.一种可选的实施方式中，所述基于所述归一化信息距离以及所述初始位姿样条，确定所述联合校准残差，包括：对所述初始位姿样条指示的位姿信息进行调整，使所述归一化信息距离大于第一预设阈值；
基于调整后的所述位姿信息，以及所述初始位姿样条在调整前指示的位姿信息，确定所述联合校准残差。
18.上述实施方式，通过对归一化信息距离优化，得到一组调整后的位姿信息，再利用调整后的位姿信息与调整前的位姿信息进行计算，实现联合校准残差的确定，进一步提高位姿信息的精确度。
19.一种可选的实施方式中，所述方法还包括：基于所述惯性测量单元在目标时间段内目标时间点输出的测量数据，确定所述目标设备在所述目标时间点的第一位姿信息；基于所述初始位姿样条指示的目标时间点的第二位姿信息，以及所述第一位姿信息，确定所述测量数据对应的位姿校准残差。
20.上述实施方式，还可以利用惯性测量单元的测量数据确定第一位姿信息，并与初始位姿样条指示的第二位姿信息形成位姿校准残差，能够从惯性维度对位姿信息进行校准，进一步提升位姿信息的精确度。
21.一种可选的实施方式中，所述基于生成的各种位姿校准残差，对所述初始位姿样条的参数进行更新，得到目标位姿样条，包括：基于所述各种位姿校准残差，生成所述初始位姿样条对应的目标残差；调整所述初始位姿样条的参数，得到使所述目标残差的值小于第二预设阈值的目标参数；将配置有所述目标参数的初始位姿样条作为所述目标位姿样条。
22.上述实施方式，通过将各种位姿校准残差相结合，得到目标残差，再对目标残差进行优化，使得多种位姿校准残差同时发挥校准作用，进一步提高位姿信息的精确度。
23.一种可选的实施方式中，所述初始位姿样条包括多个控制点；所述初始位姿样条的参数包括所述多个控制点的参数；所述控制点用于确定所述目标设备在所述目标时间段中任一时间点的位姿信息。
24.一种可选的实施方式中，所述目标设备为具有自动驾驶功能的车辆。
25.第二方面，本公开实施例还提供一种位姿确定装置，包括：第一生成模块，用于基于目标设备上部署的惯性测量单元在目标时间段内输出的测量数据，生成所述目标时间段对应的初始位姿样条；所述初始位姿样条用于指示所述目标设备在所述目标时间段中不同时间点的位姿信息；获取模块，用于获取所述目标设备上部署的多种光学传感器在所述目标时间段内输出的光学图像；第二生成模块，用于基于所述初始位姿样条及所述光学图像，生成所述光学图像对应的多种位姿校准残差；更新模块，用于基于生成的各种位姿校准残差，对所述初始位姿样条的参数进行更新，得到目标位姿样条。
26.第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
27.第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
28.关于上述位姿确定装置、计算机设备、及计算机可读存储介质的效果描述参见上述位姿确定方法的说明，这里不再赘述。
29.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。
30.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
31.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
32.图1示出了本公开一些实施例所提供的位姿确定方法的流程图；图2示出了本公开一些实施例所提供的另一种位姿确定方法的流程图；图3示出了本公开一些实施例所提供的位姿确定装置的示意图；图4示出了本公开一些实施例所提供的计算机设备的示意图。
具体实施方式
33.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
34.经研究发现，受到传感器特性的影响，进行位姿测量的传感器在某些场景下的使用效果较差，比如，可见光传感器仅能够在光线良好的场景下提供较为精确的位姿信息，遇到强光、大雨、大雾等场景则位姿定位的效果较差。并且，传感器的测量精度有限，尤其是针对三维空间中物体的测量时，传感器检测得到的数据具有局限性，得到的位姿信息精确度较低。
35.基于上述研究，本公开提供了一种位姿确定方法，通过惯性测量单元生成能够指示目标设备位姿信息的初始位姿样条，并利用多种光学传感器输出的光学图像以及初始位姿样条生成多种位姿校准残差，利用位姿校准残差对初始位姿样条的参数进行更新，从而实现利用多种光学传感器对利用惯性测量单元确定的位姿信息进行校准，得到更为精确的目标位姿样条，并且，由于校准时使用了多种光学传感器输出的光学图像，使得目标位姿样
条能够结合多种光学图像的特征，在一些传感器无法应对的场景中也能够通过其他传感器得到较为精确的位姿信息。
36.针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
37.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
38.为便于对本实施例进行理解，首先对本公开实施例所公开的一种位姿确定方法进行详细介绍，本公开实施例所提供的位姿确定方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备、服务器或其它处理设备，终端设备可以为车辆、机器人等智能终端上部署的控制器。在一些可能的实现方式中，该位姿确定方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
39.下面以执行主体为终端设备（目标设备）为例对本公开实施例提供的位姿确定方法加以说明。
40.参见图1所示，为本公开实施例提供的位姿确定方法的流程图，所述方法包括步骤s101~s104，其中：s101、基于目标设备上部署的惯性测量单元在目标时间段内输出的测量数据，生成所述目标时间段对应的初始位姿样条；所述初始位姿样条用于指示所述目标设备在所述目标时间段中不同时间点的位姿信息。
41.其中，目标设备可以为车辆、机器人、虚拟现实设备、增强现实设备等，目标设备可以利用通过传感器数据构建周围环境地图，并对自身进行定位。
42.上述惯性测量单元（inertial measurement unit，imu）能够测量目标设备的三轴姿态角（或角速率）以及加速度，在已知目标设备的初始位置时，利用imu输出的数据即可确定一个较为粗略的位姿信息。因此，可以利用惯性测量单元输出的数据生成初始位姿样条，用于表示目标时间段中不同时间点的位姿信息。
43.上述初始位姿样条可以由两个b样条（b-spline）组成，分别为位置样条以及姿态样条（即旋转样条），位置样条能够表示目标设备的位置信息，姿态样条则能够表示目标设备的朝向信息。
44.上述b样条可以为一种样条曲线的表示形式，样条中可以包括多个控制点，相邻的控制点之间可以具有相同的时间间隔，在样条对应时间范围内，任一时间点的位姿信息仅依赖于样条中的控制点确定。
45.示例性的，可以利用表示第i个控制点，对应的时间可以标识为，代表目标时间段的初始时间，代表b样条时间间隔，控制点的物理含义近似于时刻的系统状态值，可以是旋转或者位移等。
46.b样条具有局部特性，即对于一个k阶b样条，在给定时间中，其值仅依赖于k个控制点，即：
其中，i表示第i个控制点，j为正整数的临时变量，j的取值范围与i的取值范围相同，为[1,k-1]，是b样条中第j个控制点的系数，p(t)为t时刻的系统状态值，为第i个控制点，表示第i+j个控制点，表示第i+j个控制点与第i+j-1个控制点之间的差值。
[0047]
为了简化计算，可以对时间量进行统一表示，定义且。
[0048]
其中，代表当前时间距离初始时间经过了多少个控制点间隔时间。表示当前时间距离第i个控制点对应的时间经过了多少个控制点间隔时间。
[0049]
由于位移量和旋转量的自由度均为3，对应x轴、y轴及z轴，因此，可以采用4阶b样条，在时间中位移可以表示为：中位移可以表示为：其中，是时刻是位移样条控制点，其近似等于时刻目标设备在世界坐标系下的位移；j为正整数的临时变量，用于表示第i个控制点至相邻控制点之间控制点的数量，为位移样条中第j个控制点的系数；是三维向量取值的集合；是时刻的位移样条控制点，近似于时刻设备在世界坐标系下的位移量；代表第（）个位移样条控制点，近似于时刻设备在世界坐标系下的位移量；代表两个相邻位移控制点的差值。
[0050]
相应的，时间中，旋转可以表示为：中，旋转可以表示为：其中，是时刻是旋转样条控制点，其近似等于时刻设备在世界坐标系下的旋转，j为正整数的临时变量，代表第（）个旋转样条控制点，近似于时刻设备在世界坐标系下的旋转量，代表两个相邻旋转样条控制点的差值。
[0051]
是李代数到李群的映射，是其逆映射。是时刻是
旋转样条控制点，其近似等于时刻的设备在世界坐标系下的旋转。b样条系数矩阵为：则设备在连续时间t上的位姿可以为：在生成初始位姿样条时，可以对imu数据进行预积分处理，得到到时刻位置预积分，速度预积分，旋转预积分，则样条节点递推初始化公式为：，则样条节点递推初始化公式为：，则样条节点递推初始化公式为：其中，下标i指时刻，是时刻设备在世界坐标系下的速度，是时刻设备在世界坐标系下的速度，、分别是样条在时刻的旋转样条和位移样条的控制点值，同时是时刻设备在世界坐标系下的旋转和位置。是世界坐标系下的重力加速度，是样条节点的时间间隔。
[0052]
这样，即可得到初始位姿样条中各个控制点的初始值。
[0053]
s102、获取所述目标设备上部署的多种光学传感器在所述目标时间段内输出的光学图像。
[0054]
该步骤中，目标设备上可以部署有多种光学传感器，各个光学传感器可以以固定的时间周期获取图像，并将获取的图像输出。
[0055]
示例性的，光学传感器可以包括可见光传感器、热红外传感器、激光传感器等。可见光传感器可以为单目摄像机、双目摄像机等，热红外传感器可以为红外线相机等。上述可见光传感器输出的可见光图像可以为rgb图像，也可以为深度图像，热红外传感器输出的热红外图像可以为热辐射图像。
[0056]
在上述初始位姿样条的生成过程中，可以根据光学传感器的拍摄周期设置相邻控制点之间的时间间隔，比如，可以采用光学图像的帧间隔的一半或者其他时间间隔。
[0057]
s103、基于所述初始位姿样条及所述光学图像，生成所述光学图像对应的多种位姿校准残差。
[0058]
在获取到光学图像之后，可以基于初始位姿样条指示的与光学图像对应的位姿信息，以及光学图像，生成光学图像对应的多种位姿校准残差。位姿校准残差能够反映初始位姿样条指示的位姿信息与真实位姿信息之间的差距，从而通过使位姿校准残差最小化，实现对初始位姿样条的调整，以对位姿信息进行校准。
[0059]
在一种可能的实施方式中，光学图像可以包括可见光传感器输出的可见光图像，以及热红外传感器输出的热红外图像，相应的，位姿校准残差则可以包括可见光校准残差
以及热红外校准残差，为了使位姿信息的精确度更高，还可以设置结合有可见光与热红外的联合校准残差。
[0060]
上述位姿校准残差是基于光学图像建立的残差，为了进一步提高位姿信息的精确度，还可以利用上述imu输出的数据，生成惯性测量单元的数据对应的位姿校准残差。
[0061]
下面，将对各种位姿校准残差的生成方式进行详细介绍：首先，针对imu输出的测试数据生成的位姿校准残差，可以基于惯性测量单元在目标时间段内目标时间点输出的测量数据，确定目标设备在目标时间点的第一位姿信息，然后，基于初始位姿样条指示的目标时间点的第二位姿信息，以及第一位姿信息，确定测量数据对应的位姿校准残差。
[0062]
示例性的，可以利用imu测量计算得到的预积分形成位姿校准残差。旋转预积分可以为旋转样条控制点与提供约束，同时位置预积分可以为位移样条控制点与提供约束。则构建的imu的测量数据对应的位姿校准残差可以为：其中，是李群到李代数的映射，是时间与时间之间的imu预积分测量与对应样条控制点构成的残差，可以利用上述imu预积分测量表示上述第一位姿信息，利用上述样条控制点表示上述第二位姿信息。
[0063]
通过使上述位姿校准残差，即可对表示位姿信息的控制点（也即控制点本身对应的位姿信息）进行调整。
[0064]
进一步的，针对光学图像对应的位姿校准残差，可以包括可见光校准残差、热红外校准残差以及联合校准残差。
[0065]
其中，对于可见光校准残差，可以从可见光图像中选取任意两帧可见光图像，对可见光图像进行特征点匹配，得到多个特征点对，特征点对中的两个特征点对应真实场景中的同一个位置点，对应的真实场景中的位置点可以被称为三维路标点，确定各个三维路标点在世界坐标系下的位置信息。
[0066]
在进行特征点匹配时，可以先提取出可见光图像的特征，示例性的，可以生成可见光图像的图像金字塔，图像金字塔包括多个图像层级，图像层级由下至上进行下采样，每进行一次下采样，图像层级对应的分辨率就越低，然后，可以对各个图像层级进行特征提取，还可以计算可见光图像特征的描述子。
[0067]
上述提取图像特征的方法可以包括尺度不变特征变换（scale-invariant feature transform，sift）特征提取、加速稳健特征（speeded up robust features，surf）提取、oriented fast and rotated brief（orb）特征提取等，可以根据具体的实际情况选取。
[0068]
在提取图像特征之后，可以计算两帧可见光图像中，各个像素点的特征相似度，对特征点进行匹配，可以利用匹配到的特征点对求解基础矩阵或单应矩阵，通过奇异值svd分解获得可见光传感器的相对位姿，然后通过三角化特征点对确定对应的像素点图像深度，进而得到各个特征点对对应的三维路标点，以及可见光图像的关键帧
，其中，可以为三维路标点的集合。其中，关键帧可以表示可见光图像中的第m个图像，则可以表示可见光图像的集合。
[0069]
之后，可以针对上述两帧可见光图像中的任一帧可见光图像，基于初始位姿样条指示的与可见光图像匹配的位姿信息，将世界坐标系下的三维路标点投影至可见光图像中，得到三维路标点对应的第一投影点在可见光图像中的像素位置，由于三维路标点是基于初始位姿样条指示的位姿信息表示的，将其投影至可见光图像之后得到的像素位置也能够利用初始位姿样条的参数进行表示，并且，第一投影点与三维路标点在可见光图像中对应的特征点本质上是同一个三维路标点的不同观测结果，因此，可以基于第一投影点的像素位置，以及上述特征点的像素位置，确定目标可见光图像对应的可见光校准残差。
[0070]
示例性的，上述可见光校准残差可以为：上述是可见光图像关键帧对应的时间戳，、分别是时刻的姿态样条值和位移样条值；是3d路标点在可见光图像关键帧中对应的像素位置，是在对应的相机坐标系下的逆深度。深度指3d路标点在相机坐标系下的z轴分量，逆深度则指深度的倒数，即。是可见光相机内参，与分别是设备本体到可见光相机的旋转与平移。是3d路标点与关键帧中对应像素点构成的残差。
[0071]
其中，即为特征点的像素位置，则为三维路标点在世界坐标系下的位置，通过利用初始位姿样条值指示的位姿信息，将三维路标点投影在可见光图像中，即可得到第一投影点的像素位置，也即，上述两者的像素位置之间的差值即可以作为可见光校准残差。
[0072]
上述可见光校准残差可以利用多个不同的可见光图像进行确定，并利用不同可见光图像对应的各个可见光校准残差对初始位姿样条进行优化。
[0073]
这样，通过特征点匹配，找到可以进行对比的标志物（也即三维路标点），利用初始位姿样条表示的位姿信息，将三维路标点投影至可见光图像中，使得投影得到的第一投影点与三维路标点对应的特征点处于相同的坐标系下，进而能够计算可见光校准残差，对初始位姿样条的参数进行校准，提高初始位姿样条指示的位姿信息的精确度。
[0074]
针对热红外校准残差，可以获取任意两帧热红外图像，并对如红外图像也进行特征点匹配，得到多个特征点对，特征点对中，第一热红外图像的特征点可以为第一特征点，第二热红外图像的特征点可以为第二特征点。
[0075]
在对热红外图像进行特征点匹配的过程中，可以使用与可见光图像类似的匹配方式，提取图像特征，由于热红外图像不具备光照变化，可以不对特征的描述子进行计算。之后，可以进行特征点匹配，并确定特征点的深度。示例性的，可以利用l-k（lucas-kanada）光
流算法或对两帧热红外图像进行特征点追踪，得到特征点对，利用特征点对求解出基础矩阵或单应矩阵，通过svd分解获得热红外传感器的相对位姿，再通过三角化特征点对估计出特征点在图像中的深度；或者，可以利用初始位姿样条的位姿信息和极线搜索算法得到两帧热红外图像之间的特征点对，同时进行三角化得到特征点在图像中的深度。
[0076]
此时，可以得到热红外图像关键帧的像素关键点，及像素关键点对应的深度以及逆深度，上述下标n指热红外图像关键帧在热红外图像中的编号。上述关键帧可以为两帧热红外图像中时序较早的一帧（第一热红外图像），时序较晚的一帧可以被称为当前帧（第二热红外图像）。
[0077]
在确定了特征点对以及特征点的深度之后，即可利用初始位姿样条指示的位姿信息，将第一热红外图像的第一特征点投影至世界坐标系中，得到第二投影点，再将第二投影点投影至第二热红外图像中，得到第三投影点。
[0078]
之后，可以确定第一特征点以及第三投影点分别对应的热辐射值，这样，相当于分别在第一热红外图像及第二热红外图像中对同一个特征点进行了两次观测，通过对比两次观测结果的热辐射值，使两次观测结果能够被比较，从而形成位姿校准残差。
[0079]
示例性的，热红外校准残差可以为：示例性的，热红外校准残差可以为：示例性的，热红外校准残差可以为：其中，是热红外图像关键帧（第一热红外图像）对应的时间戳，、分别是时刻的姿态样条值和位移样条值，是关键帧像素关键点在当前帧（第二热红外图像）中的投影像素点（第三投影点），要求该投影像素点在当前帧图像的可观测范围内；是红外相机（热红外传感器）的内参，与分别是热红外传感器到目标设备本体的旋转与平移。和分别代表热红外图像在参考帧和当前帧对应像素点的热辐射值，可以是14bit或8bit的数据，是在当前帧相机坐标系下的点。是热红外图像关键帧中的关键点i与其在当前帧对应点的热辐射残差，是热红外图像当前帧（第二热红外图像）对应的时间戳，、分别是设备时刻的姿态样条值和位姿样条值。
[0080]
上述步骤中，通过公式（15）将第一特征点进行两次投影，先将第一特征点投影至
世界坐标系中，再将投影得到的第二投影点投影至第二热红外图像的相机坐标系下，然后利用公式（14）将相机坐标系下的位置转换成像素位置。
[0081]
与可见光校准残差相似，热红外校准残差也可以利用多组热红外图像，生成多个热红外校准残差。
[0082]
这样，通过初始位姿样条指示的位姿信息，将第一热红外图像中的第一特征点投影至世界坐标系中，再将世界坐标系中的投影点投影至第二热红外图像中，使得第二投影点与第一特征点能够进行热辐射值的比较，从而形成热红外校准残差，能够有效提高位姿信息的精度。
[0083]
针对结合可见光与热红外的联合校准残差，可以从可见光图像中提取出任一帧图像作为目标可见光图像，从热红外图像中提取出任意一帧作为目标热红外图像，并确定同时被目标可见光图像以及目标热红外图像捕捉到的目标三维路标点。
[0084]
示例性的，在确定可见光校准残差时，已经确定了目标可见光对应的三维路标点，可以从确定的三维路标点中筛选出能够被目标热红外图像捕捉到的点作为目标三维路标点。
[0085]
在得到目标三维路标点之后，可以利用初始位姿样条，将目标三维路标点投影至目标可见光图像以及目标热红外图像中，得到目标可见光图像中的第四投影点和目标热红外图像中的第五投影点。
[0086]
示例性的，可以取编号为m的可见光图像关键帧（也即目标可见光图像）和编号为n的热红外图像关键帧（也即目标热红外图像），这两者对应的时间戳分别为和。在生成可见光校准残差时，生成了可见光图像关键帧中的特征点以及对应的三维路标点，取这些三维路标点中能被热红外图像关键帧观测到的三维路标点组成集合,即。将投影到可见光图像关键帧中，投影点的光照强度定义为，所有投影的集合定义为将投影到ir图像关键帧中，投影点的热辐射值定义为,所有投影的集合定义为。则有：。则有：。则有：。则有：。则有：。则有：
其中，为可见光相机（可见光传感器）内参，、是可见光相机外参；为热红外相机（热红外传感器）内参，、是热红外相机外参。，分别表示目标三维路标点在对应相机坐标系下的逆深度，代表z轴分量。、是初始位姿样条指示的对应关键帧的旋转，、是初始位姿样条指示的对应关键帧的位移。
[0087]
由于第四投影点是可见光图像中的点，第五投影点是热红外图像中的点，两者之间无法直接进行比较，因此，可以基于第四投影点的光照强度值，以及第五投影点的热辐射值，确定第四投影点与第五投影点之间的归一化信息距离，从而实现不同量纲的属性进行比较。
[0088]
在确定归一化信息距离时，可以先分别确定第四投影点与第五投影点在其对应的图像中的相似点，并确定相似的各个投影点占总投影点的比例。
[0089]
在确定相似点时，由于可见光图像的三维路标点可以有多个，确定出的目标三维路标点可以有多个，则投影后的第四投影点及第五投影点也可以有多个，可以依次确定每个第四投影点的相似点的数量，具体的，可以从各个第四投影点中确定出与当前的第四投影点相似的点，确定相似点时，可以先确定当前第四投影点的光照强度值（rgb值或灰度值），然后，确定当前第四投影点对应的光照强度值范围，处于该光照强度值范围内其他第四投影点，即可被认为与当前第四投影点足够相似。
[0090]
相应的，还可以针对第五投影点中的当前第五投影点，基于当前第五投影点对应的热辐射值，确定当前第五投影点对应的热辐射值范围。
[0091]
为了计算归一化信息距离，还可以建立第四投影点与第五投影点之间的关联关系，将点前第四投影点与第五投影点组合成为当前投影点对，计算确定第四投影点与对应的第五投影点分别对应的光照强度值与热辐射值之间的乘积，确定当前投影点对对应的乘积范围。
[0092]
确定了相似点之后，即可确定相似点占总投影点的比值。示例性的，可以确定各个第四投影点中，光照强度值位于上述光照强度值范围内的像素点的第一数量，以及各个第五投影点中，热辐射值位于上述热辐射值范围内的像素点的第二数量，以及投影点对中，光照强度值与热辐射值之间的乘积位于上述乘积范围内的投影点对的第三数量。
[0093]
之后，可以确定第一数量与目标三维路标点的总数之间的第一比值、第二数量与目标三维路标点的总数之间的第二比值，以及第三数量与目标三维路标点的总数之间的第三比值。
[0094]
最后，可以利用第一比值的第一熵值、第二比值的第二熵值、第三比值的第三熵值，确定第四投影点与第五投影点之间的归一化信息距离。
[0095]
示例性的，可以定义一个可见光-热红外-归一化信息距离模块（即结合可见光及热红外的归一化信息距离）用来关联可见光图像关键帧（目标可见光图像）和热红外图像关键帧（目标热红外图像）。从而得到计算方式如下：
其中，且等于（目标三维路标点的集合）中点的总个数，为上述第一比值，为上述第二比值，为上述第三比值；，，,分别是是对应的投影值中邻近，，的个数，代表邻近程度，代表第i个第四投影点的光照强度值，代表第k个第五投影点的热辐射值，代表两者的乘积。确定投影点是否为邻近投影点（是否满足一定的相似程度）时，可以根据下述公式确定：积。确定投影点是否为邻近投影点（是否满足一定的相似程度）时，可以根据下述公式确定：积。确定投影点是否为邻近投影点（是否满足一定的相似程度）时，可以根据下述公式确定：根据上述公式，在一投影点（第四投影点或第五投影点）对应的投影值（光照强度值或热辐射值）与当前投影点（当前第四投影点或当前第五投影点）的投影值之间差值的绝对值小于时，即确定该投影点与当前投影点足够相似，将其记为一个相似的点，计数加一。投影点对也采用相同的方式进行计数。
[0096]
在确定了第一比值、第二比值、第三比值之后，即可对第一比值、第二比值、第三比值进行求熵，得到第一比值的第一熵值、第二比值对应的第二熵值以及第三比值对应的第三熵值。
[0097]
最后，即可利用第一熵值、第二熵值、第三熵值，确定出归一化信息距离。
[0098]
通过上述步骤，即可确定出归一化信息距离的表达式，该表达式的值受到对应投
影点的可见光强度值或热辐射值所影响，而投影点的可见光强度值或热辐射值受到投影点的像素位置影响，投影点的像素位置则受到初始化位姿样条影响，通过归一化信息距离，能够使可见光与热红外联合起来对初始位姿样条进行调整，利用归一化信息距离与初始位姿样条的初始值，确定联合校准残差。
[0099]
示例性的，可以通过最大化归一化信息距离，获得在该种情况下最优的初始位姿样条的修正值，也即：示例性的，可以利用初始位姿样条中的旋转样条、位移样条以及两个关键帧的时间戳得到目标的初始值，然后对添加微小的扰动，以使更大，当大于预设的第一预设阈值时，可以认为函数收敛，得到此时的位置信息及旋转信息。其中，第一预设阈值可以取0.8到1.0之间的值。
[0100]
在得到修正的位姿信息之后，即可将其与初始位姿样条关联，形成联合校准残差。
[0101]
示例性的，联合校准残差可以如下式所示：其中，，分别是可见光图像关键帧，热红外图像关键帧的时间戳，是李群到李代数的映射。
[0102]
s104、基于生成的各种位姿校准残差，对所述初始位姿样条的参数进行更新，得到目标位姿样条。
[0103]
该步骤中，可以对上述各种位姿校准残差进行联合求解，使得各个位姿校准残差在总体上最小，并利用此时对应的初始位姿样条的参数，对初始位姿样条进行更新，得到目标位姿样条。
[0104]
具体的，可以基于各种位姿校准残差，生成初始位姿样条对应的目标残差，然后对初始位姿样条的参数进行调整，得到使目标残差的值小于第二预设阈值的目标参数，最后将配置有目标参数的初始位姿样条作为目标位姿样条。
[0105]
在本公开实施例的具体实施过程中，使用的位姿校准残差可以根据实际情况选择，比如，可以直接使用可见光校准残差、热红外校准残差以及联合校准残差确定目标残差；也可以同时使用惯性测量单元输出的测量数据对应的位姿校准残差，以及可见光校准残差、热红外校准残差、联合校准残差确定目标残差。
[0106]
进一步的，在实际的应用场景中，光学传感器可能会出现老化或故障，或者在特殊场景下传感器无法使用（如可见光传感器在黑夜、逆光、雨雾等场景中无法使用）等问题，可以将出现问题的光学传感器对应的位姿校准残差去除，使用其他位姿校准残差确定目标位姿样条。比如，若可见光传感器发生老化，则可以使用惯性测量单元对应的位姿校准残差、
热红外校准残差确定目标位姿样条，若热红外传感器出现问题，则可以使用惯性测量单元以及可见光校准残差确定目标位姿样条。
[0107]
这样，即使某种光学传感器出现故障，由于还是用了其他光学传感器确定位姿校准残差，最终得到的位姿信息的精确度也足够高。
[0108]
在对位姿校准残差进行求解时，可以将各个位姿校准残差整合到同一个问题中，得到如下多项式组：得到如下多项式组：得到如下多项式组：得到如下多项式组：得到如下多项式组：由于各种位姿校准残差都可以利用多组图像数据生成多个残差，可以对多个相同种类的残差进行求和。
[0109]
其中，是可见光图像观测形成的残差和（可见光校准残差之和），是可见光图像关键帧集合，是可见光图像关键帧集合中可以观测到的三维路标点的集合，是三维路标点与关键帧中对应像素点（第一投影点）构成的残差。
[0110]
是热红外图像观测形成的残差和（热红外校准残差之和），是热红外图像关键帧集合，是热红外图像关键帧的关键点（第一特征点），是热红外图像关键帧中关键点与其在当前帧中对应的点（第三投影点）的热辐射误差。
[0111]
是imu观测形成的残差和（imu对应的位姿校准残差之和），是在和中涉及的样条的控制点对应的时间节点的集合。是时间与时间之间的imu预积分测量与对应样条的控制点构成的残差。
[0112]
是可见光图像与热红外图像之间进行数据关联所形成的残差块（联合校准残差之和），是可见光图像关键帧集合，是ir图像关键帧集合。是可见光图像关键帧与ir图像关键帧利用归一化信息距离形成的残差。
[0113]
，，，中的代表对应残差的置信度矩阵，且。分别是在,,，中涉及的旋转样条控制点和位移样条控制点。是
与传感器相关的参数，是使残差最小化时的。
[0114]
通常情况下，传感器相关的参数ψ是预先设定好的，在一些实施方式中，也可以对传感器相关的参数进行优化，传感器相关的参数可以包括可见光相机与热红外相机的外参等。
[0115]
上述多项式组即可以为目标残差，对目标残差进行求解时，可以使用迭代优化算法，如gauss-newton优化算法，levenberg-marquadt优化算法。
[0116]
一种可能的实施方式中，上述位姿确定方法可以应用于车辆，车辆上可以部署有里程计，在车辆启动时，里程计可以进行初始化，初始化时可以获取到各个光学传感器输出的至少两帧图像，以及惯性测量单元imu输出的测量数据，并利用获取的图像生成初始位姿样条。
[0117]
可以定义获取到的最新图像的时间戳），则初始位姿样条的控制点为。在进行初始化时，当控制点的时间戳大于当前imu的时间戳时，因为控制点间隔时间较小，近似的认为最后一次imu测量的时间戳直到最后控制点的时间戳之间的imu测量值是相等的。当最新图像时间戳）大于所有控制点时间戳时，可以添加新的控制点。
[0118]
在生成位姿校准残差时，需要从多帧图像中选取出图像关键帧，图像关键帧的选取分为热红外图像关键帧集合与可见光图像关键帧集合的选取。
[0119]
热红外图像关键帧集合按照固定的时间间隔选取关键帧，关键帧中包含首次被观测到的关键点及其深度信息。当一幅新的热红外图像输入时，可以称之为当前帧，将其与所有热红外图像关键帧构建残差参与优化后，若满足预设的时间间隔条件，则将其加入到热红外图像关键帧集合中，不满足则丢弃该帧。
[0120]
可见光图像关键帧按照与其他关键帧的视差或位姿差的条件选取，即大于视差阈值或大于位姿差阈值的帧选作关键帧。当一幅新的可见光图像输入时，将其作为临时关键帧与所有可见光关键帧包含的三维路标点构建残差参与优化后，满足可见光关键帧选取条件，则加入可见光图像关键帧集合中，不满足则丢弃该帧。
[0121]
本公开实施例所提供的位姿确定方法，通过惯性测量单元生成能够指示目标设备位姿信息的初始位姿样条，并利用多种光学传感器输出的光学图像以及初始位姿样条生成多种位姿校准残差，利用位姿校准残差对初始位姿样条的参数进行更新，从而实现利用多种光学传感器对利用惯性测量单元确定的位姿信息进行校准，得到更为精确的目标位姿样条，并且，由于校准时使用了多种光学传感器输出的光学图像，使得目标位姿样条能够结合多种光学图像的特征，在一些传感器无法应对的场景中也能够通过其他传感器得到较为精确的位姿信息。
[0122]
参照图2所示，为本公开实施例提供的另一种位姿确定方法的流程图，该方法包括：s201、基于惯性测量单元的位置，生成初始位姿样条，以及惯性测量单元对应的位姿校准残差。
[0123]
s202、对可见光图像以及热红外图像进行追踪，生成可见光校准残差以及热红外校准残差。
[0124]
s203、对可见光图像以及热红外图像进行数据关联，生成联合校准残差。
[0125]
s204、对可见光残差、热红外校准残差、联合校准残差以及惯性测量单元对应的位姿校准残差进行求解，更新初始位姿样条，得到目标位姿样条。
[0126]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0127]
基于同一发明构思，本公开实施例中还提供了与位姿确定方法对应的位姿确定装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述位姿确定方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
[0128]
参照图3所示，为本公开实施例提供的一种位姿确定装置的示意图，所述装置包括：第一生成模块310，用于基于目标设备上部署的惯性测量单元在目标时间段内输出的测量数据，生成所述目标时间段对应的初始位姿样条；所述初始位姿样条用于指示所述目标设备在所述目标时间段中不同时间点的位姿信息；获取模块320，用于获取所述目标设备上部署的多种光学传感器在所述目标时间段内输出的光学图像；第二生成模块330，用于基于所述初始位姿样条及所述光学图像，生成所述光学图像对应的多种位姿校准残差；更新模块340，用于基于生成的各种位姿校准残差，对所述初始位姿样条的参数进行更新，得到目标位姿样条。
[0129]
一种可选的实施方式中，所述光学图像包括可见光传感器输出的可见光图像，以及热红外传感器输出的热红外图像；所述位姿校准残差包括可见光校准残差、热红外校准残差、以及结合可见光与热红外的联合校准残差。
[0130]
一种可选的实施方式中，所述第二生成模块330在基于所述初始位姿样条及所述光学图像，生成可见光校准残差时，用于：针对任意两帧可见光图像，对所述可见光图像进行特征点匹配，得到多个特征点对，并确定所述特征点对对应的三维路标点在世界坐标系下的位置信息；针对任一帧可见光图像，基于所述初始位姿样条指示的与所述可见光图像匹配的位姿信息，将所述世界坐标系下的所述三维路标点投影至所述可见光图像中，得到所述三维路标点对应的第一投影点在所述可见光图像中的像素位置；基于所述第一投影点的像素位置，以及所述三维路标点在所述可见光图像中对应的特征点的像素位置，确定所述可见光图像对应的可见光校准残差。
[0131]
一种可选的实施方式中，所述第二生成模块330基于所述初始位姿样条及所述光学图像，生成热红外校准残差时，用于：针对任意两帧热红外图像，对所述热红外图像进行特征点匹配，得到多个特征点对；其中，所述特征点对包括所述两帧热红外图像中第一热红外图像的第一特征点，以及所
述两帧热红外图像中第二热红外图像的第二特征点；基于所述初始位姿样条指示的与所述第一热红外图像匹配的位姿信息，将所述第一特征点投影至世界坐标系中，得到第二投影点，并将所述第二投影点投影至所述第二热红外图像中，得到所述第二投影点对应的第三投影点；确定所述第一特征点在所述第一热红外图像中的热辐射值，以及所述第三投影点在所述第二热红外图像中的热辐射值；基于所述第一特征点以及所述第三投影点分别对应的热辐射值，确定所述两帧热红外图像对应的热红外校准残差。
[0132]
一种可选的实施方式中，所述第二生成模块330基于所述初始位姿样条及所述光学图像，生成所述联合校准残差时，用于：针对所述可见光图像中的任一帧目标可见光图像，以及所述热红外图像中的任一帧目标热红外图像，确定同时被所述目标可见光图像以及所述热红外图像捕捉到的目标三维路标点；基于所述初始位姿样条指示的与所述目标可见光图像匹配的位姿信息，将所述目标三维路标点投影至所述目标可见光图像中，得到所述目标可见光图像中的第四投影点；以及，基于所述初始位姿样条指示的与所述目标热红外图像匹配的位姿信息，将所述目标三维路标点投影至所述目标热红外图像中，得到所述目标热红外图像中的第五投影点；基于所述第四投影点对应的光照强度值，以及所述第五投影点对应的热辐射值，确定所述第四投影点与所述第五投影点之间的归一化信息距离；基于所述归一化信息距离以及所述初始位姿样条，确定所述联合校准残差。
[0133]
一种可选的实施方式中，所述第二生成模块330基于所述第四投影点对应的光照强度值，以及所述第五投影点对应的热辐射值，确定所述第四投影点与所述第五投影点之间的归一化信息距离时，用于：针对所述第四投影点中的当前第四投影点，基于所述当前第四投影点对应的光照强度值，确定与所述当前第四投影点对应的光照强度值范围；针对所述第五投影点中的当前第五投影点，基于所述当前第五投影点对应的热辐射值，确定所述当前第五投影点对应的热辐射值范围；针对所述当前第四投影点与所述第五投影点组成的当前投影点对，基于所述当前第四投影点对应的光照强度值与所述第五投影点对应的热辐射值之间的乘积，确定所述当前投影点对对应的乘积范围；确定各个第四投影点中，光照强度值位于所述当前第四投影点的光照强度值范围内的像素点的第一数量；确定各个第五投影点中，热辐射值位于所述当前第五投影点的热辐射值范围内的像素点的第二数量；确定各个第四投影点与对应的第五投影点形成的投影点对中，光照强度值与热辐射值之间的乘积位于所述乘积范围内的投影点对的第三数量；确定所述第一数量与所述目标三维路标点的总数之间的第一比值、所述第二数量与所述目标三维路标点的总数之间的第二比值，以及所述第三数量与所述目标三维路标点的总数之间的第三比值；分别确定所述第一比值的第一熵值、所述第二比值的第二熵值以及所述第三比值的第三熵值；基于所述第一熵值与所述第二熵值的乘积，以及所述第三熵值，确定所述第四投
影点与所述第五投影点之间的归一化信息距离。
[0134]
一种可选的实施方式中，所述第二生成模块330基于所述归一化信息距离以及所述初始位姿样条，确定所述联合校准残差时，用于：对所述初始位姿样条指示的位姿信息进行调整，使所述归一化信息距离大于第一预设阈值；基于调整后的所述位姿信息，以及所述初始位姿样条在调整前指示的位姿信息，确定所述联合校准残差。
[0135]
一种可选的实施方式中，所述第二生成模块330还用于：基于所述惯性测量单元在目标时间段内目标时间点输出的测量数据，确定所述目标设备在所述目标时间点的第一位姿信息；基于所述初始位姿样条指示的目标时间点的第二位姿信息，以及所述第一位姿信息，确定所述测量数据对应的位姿校准残差。
[0136]
一种可选的实施方式中，所述更新模块340具体用于：基于所述各种位姿校准残差，生成所述初始位姿样条对应的目标残差；调整所述初始位姿样条的参数，得到使所述目标残差的值小于第二预设阈值的目标参数；将配置有所述目标参数的初始位姿样条作为所述目标位姿样条。
[0137]
一种可选的实施方式中，所述初始位姿样条包括多个控制点；所述初始位姿样条的参数包括所述多个控制点的参数；所述控制点用于确定所述目标设备在所述目标时间段中任一时间点的位姿信息。
[0138]
一种可选的实施方式中，所述目标设备为具有自动驾驶功能的车辆。
[0139]
在一种可能的实施方式中，上述装置可以作为里程计中的一个功能模块。
[0140]
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
[0141]
本公开实施例还提供了一种计算机设备，如图4所示，为本公开实施例提供的计算机设备结构示意图，包括：处理器41和存储器42；所述存储器42存储有处理器41可执行的机器可读指令，处理器41用于执行存储器42中存储的机器可读指令，所述机器可读指令被处理器41执行时，处理器41执行下述步骤：基于目标设备上部署的惯性测量单元在目标时间段内输出的测量数据，生成所述目标时间段对应的初始位姿样条；所述初始位姿样条用于指示所述目标设备在所述目标时间段中不同时间点的位姿信息；获取所述目标设备上部署的多种光学传感器在所述目标时间段内输出的光学图像；基于所述初始位姿样条及所述光学图像，生成所述光学图像对应的多种位姿校准残差；基于生成的各种位姿校准残差，对所述初始位姿样条的参数进行更新，得到目标位姿样条。
[0142]
一种可选的实施方式中，处理器41执行的指令中，所述光学图像包括可见光传感
器输出的可见光图像，以及热红外传感器输出的热红外图像；所述位姿校准残差包括可见光校准残差、热红外校准残差、以及结合可见光与热红外的联合校准残差。
[0143]
一种可选的实施方式中，处理器41执行的指令中，基于所述初始位姿样条及所述光学图像，生成可见光校准残差，包括：针对任意两帧可见光图像，对所述可见光图像进行特征点匹配，得到多个特征点对，并确定所述特征点对对应的三维路标点在世界坐标系下的位置信息；针对任一帧可见光图像，基于所述初始位姿样条指示的与所述可见光图像匹配的位姿信息，将所述世界坐标系下的所述三维路标点投影至所述可见光图像中，得到所述三维路标点对应的第一投影点在所述可见光图像中的像素位置；基于所述第一投影点的像素位置，以及所述三维路标点在所述可见光图像中对应的特征点的像素位置，确定所述可见光图像对应的可见光校准残差。
[0144]
一种可选的实施方式中，处理器41执行的指令中，基于所述初始位姿样条及所述光学图像，生成热红外校准残差，包括：针对任意两帧热红外图像，对所述热红外图像进行特征点匹配，得到多个特征点对；其中，所述特征点对包括所述两帧热红外图像中第一热红外图像的第一特征点，以及所述两帧热红外图像中第二热红外图像的第二特征点；基于所述初始位姿样条指示的与所述第一热红外图像匹配的位姿信息，将所述第一特征点投影至世界坐标系中，得到第二投影点，并将所述第二投影点投影至所述第二热红外图像中，得到所述第二投影点对应的第三投影点；确定所述第一特征点在所述第一热红外图像中的热辐射值，以及所述第三投影点在所述第二热红外图像中的热辐射值；基于所述第一特征点以及所述第三投影点分别对应的热辐射值，确定所述两帧热红外图像对应的热红外校准残差。
[0145]
一种可选的实施方式中，处理器41执行的指令中，基于所述初始位姿样条及所述光学图像，生成所述联合校准残差，包括：针对所述可见光图像中的任一帧目标可见光图像，以及所述热红外图像中的任一帧目标热红外图像，确定同时被所述目标可见光图像以及所述热红外图像捕捉到的目标三维路标点；基于所述初始位姿样条指示的与所述目标可见光图像匹配的位姿信息，将所述目标三维路标点投影至所述目标可见光图像中，得到所述目标可见光图像中的第四投影点；以及，基于所述初始位姿样条指示的与所述目标热红外图像匹配的位姿信息，将所述目标三维路标点投影至所述目标热红外图像中，得到所述目标热红外图像中的第五投影点；基于所述第四投影点对应的光照强度值，以及所述第五投影点对应的热辐射值，确定所述第四投影点与所述第五投影点之间的归一化信息距离；基于所述归一化信息距离以及所述初始位姿样条，确定所述联合校准残差。
[0146]
一种可选的实施方式中，处理器41执行的指令中，所述基于所述第四投影点对应的光照强度值，以及所述第五投影点对应的热辐射值，确定所述第四投影点与所述第五投影点之间的归一化信息距离，包括：
针对所述第四投影点中的当前第四投影点，基于所述当前第四投影点对应的光照强度值，确定与所述当前第四投影点对应的光照强度值范围；针对所述第五投影点中的当前第五投影点，基于所述当前第五投影点对应的热辐射值，确定所述当前第五投影点对应的热辐射值范围；针对所述当前第四投影点与所述第五投影点组成的当前投影点对，基于所述当前第四投影点对应的光照强度值与所述第五投影点对应的热辐射值之间的乘积，确定所述当前投影点对对应的乘积范围；确定各个第四投影点中，光照强度值位于所述当前第四投影点的光照强度值范围内的像素点的第一数量；确定各个第五投影点中，热辐射值位于所述当前第五投影点的热辐射值范围内的像素点的第二数量；确定各个第四投影点与对应的第五投影点形成的投影点对中，光照强度值与热辐射值之间的乘积位于所述乘积范围内的投影点对的第三数量；确定所述第一数量与所述目标三维路标点的总数之间的第一比值、所述第二数量与所述目标三维路标点的总数之间的第二比值，以及所述第三数量与所述目标三维路标点的总数之间的第三比值；分别确定所述第一比值的第一熵值、所述第二比值的第二熵值以及所述第三比值的第三熵值；基于所述第一熵值与所述第二熵值的乘积，以及所述第三熵值，确定所述第四投影点与所述第五投影点之间的归一化信息距离。
[0147]
一种可选的实施方式中，处理器41执行的指令中，所述基于所述归一化信息距离以及所述初始位姿样条，确定所述联合校准残差，包括：对所述初始位姿样条指示的位姿信息进行调整，使所述归一化信息距离大于第一预设阈值；基于调整后的所述位姿信息，以及所述初始位姿样条在调整前指示的位姿信息，确定所述联合校准残差。
[0148]
一种可选的实施方式中，处理器41执行的指令中，还包括：基于所述惯性测量单元在目标时间段内目标时间点输出的测量数据，确定所述目标设备在所述目标时间点的第一位姿信息；基于所述初始位姿样条指示的目标时间点的第二位姿信息，以及所述第一位姿信息，确定所述测量数据对应的位姿校准残差。
[0149]
一种可选的实施方式中，处理器41执行的指令中，所述基于生成的各种位姿校准残差，对所述初始位姿样条的参数进行更新，得到目标位姿样条，包括：基于所述各种位姿校准残差，生成所述初始位姿样条对应的目标残差；调整所述初始位姿样条的参数，得到使所述目标残差的值小于第二预设阈值的目标参数；将配置有所述目标参数的初始位姿样条作为所述目标位姿样条。
[0150]
一种可选的实施方式中，处理器41执行的指令中，所述初始位姿样条包括多个控制点；所述初始位姿样条的参数包括所述多个控制点的参数；所述控制点用于确定所述目标设备在所述目标时间段中任一时间点的位姿信息。
[0151]
一种可选的实施方式中，处理器41执行的指令中，所述目标设备为具有自动驾驶功能的车辆。
[0152]
上述存储器42包括内存421和外部存储器422；这里的内存421也称内存储器，用于暂时存放处理器41中的运算数据，以及与硬盘等外部存储器422交换的数据，处理器41通过内存421与外部存储器422进行数据交换。
[0153]
上述指令的具体执行过程可以参考本公开实施例中所述的位姿确定方法的步骤，此处不再赘述。
[0154]
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的位姿确定方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
[0155]
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的位姿确定方法的步骤，具体可参见上述方法实施例，在此不再赘述。
[0156]
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包（software development kit，sdk）等等。
[0157]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0158]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0159]
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0160]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
[0161]
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公
开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

技术特征：
1.一种位姿确定方法，其特征在于，包括：基于目标设备上部署的惯性测量单元在目标时间段内输出的测量数据，生成所述目标时间段对应的初始位姿样条；所述初始位姿样条用于指示所述目标设备在所述目标时间段中不同时间点的位姿信息；获取所述目标设备上部署的多种光学传感器在所述目标时间段内输出的光学图像；基于所述初始位姿样条及所述光学图像，生成所述光学图像对应的多种位姿校准残差；基于生成的各种位姿校准残差，对所述初始位姿样条的参数进行更新，得到目标位姿样条。2.根据权利要求1所述的方法，所述光学图像包括可见光传感器输出的可见光图像，以及热红外传感器输出的热红外图像；所述位姿校准残差包括可见光校准残差、热红外校准残差、以及结合可见光与热红外的联合校准残差。3.根据权利要求2所述的方法，其特征在于，基于所述初始位姿样条及所述光学图像，生成可见光校准残差，包括：针对任意两帧可见光图像，对所述可见光图像进行特征点匹配，得到多个特征点对，并确定所述特征点对对应的三维路标点在世界坐标系下的位置信息；针对任一帧可见光图像，基于所述初始位姿样条指示的与所述可见光图像匹配的位姿信息，将所述世界坐标系下的所述三维路标点投影至所述可见光图像中，得到所述三维路标点对应的第一投影点在所述可见光图像中的像素位置；基于所述第一投影点的像素位置，以及所述三维路标点在所述可见光图像中对应的特征点的像素位置，确定所述可见光图像对应的可见光校准残差。4.根据权利要求2所述的方法，其特征在于，基于所述初始位姿样条及所述光学图像，生成热红外校准残差，包括：针对任意两帧热红外图像，对所述热红外图像进行特征点匹配，得到多个特征点对；其中，所述特征点对包括所述两帧热红外图像中第一热红外图像的第一特征点，以及所述两帧热红外图像中第二热红外图像的第二特征点；基于所述初始位姿样条指示的与所述第一热红外图像匹配的位姿信息，将所述第一特征点投影至世界坐标系中，得到第二投影点，并将所述第二投影点投影至所述第二热红外图像中，得到所述第二投影点对应的第三投影点；确定所述第一特征点在所述第一热红外图像中的热辐射值，以及所述第三投影点在所述第二热红外图像中的热辐射值；基于所述第一特征点以及所述第三投影点分别对应的热辐射值，确定所述两帧热红外图像对应的热红外校准残差。5.根据权利要求2所述的方法，其特征在于，基于所述初始位姿样条及所述光学图像，生成所述联合校准残差，包括：针对所述可见光图像中的任一帧目标可见光图像，以及所述热红外图像中的任一帧目标热红外图像，确定同时被所述目标可见光图像以及所述热红外图像捕捉到的目标三维路标点；
基于所述初始位姿样条指示的与所述目标可见光图像匹配的位姿信息，将所述目标三维路标点投影至所述目标可见光图像中，得到所述目标可见光图像中的第四投影点；以及，基于所述初始位姿样条指示的与所述目标热红外图像匹配的位姿信息，将所述目标三维路标点投影至所述目标热红外图像中，得到所述目标热红外图像中的第五投影点；基于所述第四投影点对应的光照强度值，以及所述第五投影点对应的热辐射值，确定所述第四投影点与所述第五投影点之间的归一化信息距离；基于所述归一化信息距离以及所述初始位姿样条，确定所述联合校准残差。6.根据权利要求5所述的方法，其特征在于，所述基于所述第四投影点对应的光照强度值，以及所述第五投影点对应的热辐射值，确定所述第四投影点与所述第五投影点之间的归一化信息距离，包括：针对所述第四投影点中的当前第四投影点，基于所述当前第四投影点对应的光照强度值，确定与所述当前第四投影点对应的光照强度值范围；针对所述第五投影点中的当前第五投影点，基于所述当前第五投影点对应的热辐射值，确定所述当前第五投影点对应的热辐射值范围；针对所述当前第四投影点与所述第五投影点组成的当前投影点对，基于所述当前第四投影点对应的光照强度值与所述第五投影点对应的热辐射值之间的乘积，确定所述当前投影点对对应的乘积范围；确定各个第四投影点中，光照强度值位于所述当前第四投影点的光照强度值范围内的像素点的第一数量；确定各个第五投影点中，热辐射值位于所述当前第五投影点的热辐射值范围内的像素点的第二数量；确定各个第四投影点与对应的第五投影点形成的投影点对中，光照强度值与热辐射值之间的乘积位于所述乘积范围内的投影点对的第三数量；确定所述第一数量与所述目标三维路标点的总数之间的第一比值、所述第二数量与所述目标三维路标点的总数之间的第二比值，以及所述第三数量与所述目标三维路标点的总数之间的第三比值；分别确定所述第一比值的第一熵值、所述第二比值的第二熵值以及所述第三比值的第三熵值；基于所述第一熵值与所述第二熵值的乘积，以及所述第三熵值，确定所述第四投影点与所述第五投影点之间的归一化信息距离。7.根据权利要求5所述的方法，其特征在于，所述基于所述归一化信息距离以及所述初始位姿样条，确定所述联合校准残差，包括：对所述初始位姿样条指示的位姿信息进行调整，使所述归一化信息距离大于第一预设阈值；基于调整后的所述位姿信息，以及所述初始位姿样条在调整前指示的位姿信息，确定所述联合校准残差。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述惯性测量单元在目标时间段内目标时间点输出的测量数据，确定所述目标设备在所述目标时间点的第一位姿信息；基于所述初始位姿样条指示的目标时间点的第二位姿信息，以及所述第一位姿信息，确定所述测量数据对应的位姿校准残差。9.根据权利要求1所述的方法，其特征在于，所述基于生成的各种位姿校准残差，对所
述初始位姿样条的参数进行更新，得到目标位姿样条，包括：基于所述各种位姿校准残差，生成所述初始位姿样条对应的目标残差；调整所述初始位姿样条的参数，得到使所述目标残差的值小于第二预设阈值的目标参数；将配置有所述目标参数的初始位姿样条作为所述目标位姿样条。10.根据权利要求1所述的方法，其特征在于，所述初始位姿样条包括多个控制点；所述初始位姿样条的参数包括所述多个控制点的参数；所述控制点用于确定所述目标设备在所述目标时间段中任一时间点的位姿信息。11.根据权利要求1所述的方法，其特征在于，所述目标设备为具有自动驾驶功能的车辆。12.一种位姿确定装置，其特征在于，包括：第一生成模块，用于基于目标设备上部署的惯性测量单元在目标时间段内输出的测量数据，生成所述目标时间段对应的初始位姿样条；所述初始位姿样条用于指示所述目标设备在所述目标时间段中不同时间点的位姿信息；获取模块，用于获取所述目标设备上部署的多种光学传感器在所述目标时间段内输出的光学图像；第二生成模块，用于基于所述初始位姿样条及所述光学图像，生成所述光学图像对应的多种位姿校准残差；更新模块，用于基于生成的各种位姿校准残差，对所述初始位姿样条的参数进行更新，得到目标位姿样条。13.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至11任一项所述的位姿确定方法的步骤。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至11任意一项所述的位姿确定方法的步骤。

技术总结
本公开提供了一种位姿确定方法、装置、计算机设备及存储介质，涉及计算机技术领域，其中，该方法通过惯性测量单元生成能够指示目标设备位姿信息的初始位姿样条，并利用多种光学传感器输出的光学图像以及初始位姿样条生成多种位姿校准残差，利用位姿校准残差对初始位姿样条的参数进行更新，从而实现利用多种光学传感器对利用惯性测量单元确定的位姿信息进行校准，得到更为精确的目标位姿样条，并且，由于校准时使用了多种光学传感器输出的光学图像，使得目标位姿样条能够结合多种光学图像的特征，在一些传感器无法应对的场景中也能够通过其他传感器得到较为精确的位姿信息。过其他传感器得到较为精确的位姿信息。过其他传感器得到较为精确的位姿信息。


技术研发人员：周沛东
受保护的技术使用者：北京集度科技有限公司
技术研发日：2023.07.12
技术公布日：2023/8/13