激光雷达与相机联合标定的方法、装置和计算机设备与流程

1.本技术涉及传感器标定技术领域，特别是涉及一种激光雷达与相机联合标定的方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术：

2.随着智能网联汽车技术的发展，出现了多传感器联合标定技术。联合标定技术的原理通常是在待标定的不同传感器的视野重叠区布置标定物，然后在各个传感器中测量该标定物，再根据各个传感器的测量结果进行数学计算实现标定物在不同传感器中的坐标配对，从而根据坐标配对关系进一步得到各个传感器之间的相对位置，以实现联合标定。
3.在激光雷达和相机的联合标定过程中，当前主流的实现标定物在激光雷达与相机之间坐标配对的方法是通过激光雷达多点拟合辅助的方法。例如，标记物为一块标定板，上面印刷有标定图案用于相机图像识别，选取出该标定板在激光雷达中的点云，通过平面拟合的方法拟合出标定板在激光雷达中的方位，然后根据标定图案在标定板上的印刷位置，推算出标定图案在激光雷达中的三维坐标，再与标定图案在相机中的像素坐标配对计算。
4.然而，采用平面拟合的方法会引入拟合误差，而且特别是对于低线束的激光雷达，由于稀疏的线束密度会导致标定板的拟合误差增大，增大配对误差，从而导致标定精度下降严重。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提高标定精度且方便快捷、易于实现的激光雷达与相机联合标定的方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
6.第一方面，本技术提供了一种激光雷达与相机联合标定的方法。该方法包括：分别从待标定相机和辅助相机获取第一图像和第二图像；第一图像包括标定物，第二图像包括标定物和标定物上的激光点云；从激光雷达获取激光点云的点云数据；根据第一图像和第二图像中的标定物，生成从第二图像到第一图像的透视变换矩阵；基于从第二图像到第一图像的透视变换矩阵、点云数据和第二图像的激光点云，进行激光雷达与待标定相机的联合标定。
7.在其中一个实施例中，根据第一图像和第二图像中的标定物，生成从第二图像到第一图像的透视变换矩阵包括：从标定物中提取多个标定点；分别确定多个标定点在待标定相机和辅助相机中的像素坐标；根据多个标定点在待标定相机和辅助相机中的像素坐标与从第二图像到第一图像的透视变换矩阵之间的预设关系，构建多个透视变换模型；根据多个透视变换模型，得到从第二图像到第一图像的透视变换矩阵。
8.在其中一个实施例中，从标定物中提取多个标定点包括：从标定物中提取不少于4个标定点。
9.在其中一个实施例中，分别确定多个标定点在待标定相机和辅助相机中的像素坐
标包括：获取待标定相机和辅助相机的内参系数；用待标定相机和辅助相机的内参系数，分别去除多个标定点在待标定相机和辅助相机中的像素坐标的畸变。
10.在其中一个实施例中，基于从第二图像到第一图像的透视变换矩阵、点云数据和第二图像的激光点云，进行激光雷达与待标定相机的联合标定包括：从第二图像的激光点云中选取多个特征激光点；确定多个特征激光点在辅助相机中的像素坐标；通过从第二图像到第一图像的透视变换矩阵，确定多个特征激光点在待标定相机中的像素坐标；根据点云数据确定多个特征激光点在激光雷达坐标系中的坐标；基于多个特征激光点在待标定相机中的像素坐标和在激光雷达坐标系中的坐标，进行激光雷达与待标定相机的联合标定。
11.在其中一个实施例中，从第二图像的激光点云中选取多个特征激光点包括：从第二图像的激光点云中选取位于不同端点位置的多个端部激光点，作为多个特征激光点。
12.第二方面，本技术还提供了一种激光雷达与相机联合标定的装置。该装置包括：图像获取模块，用于分别从待标定相机和辅助相机获取第一图像和第二图像；第一图像包括标定物，第二图像包括标定物和标定物上的激光点云；点云获取模块，用于从激光雷达获取激光点云的点云数据；矩阵确定模块，用于根据第一图像和第二图像中的标定物，生成从第二图像到第一图像的透视变换矩阵；联合标定模块，用于基于从第二图像到第一图像的透视变换矩阵、点云数据和第二图像的激光点云，进行激光雷达与待标定相机的联合标定。
13.第三方面，本技术还提供了一种计算机设备。该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：分别从待标定相机和辅助相机获取第一图像和第二图像，第一图像包括标定物，第二图像包括标定物和标定物上的激光点云；从激光雷达获取激光点云的点云数据；根据第一图像和第二图像中的标定物，生成从第二图像到第一图像的透视变换矩阵；基于从第二图像到第一图像的透视变换矩阵、点云数据和第二图像的激光点云，进行激光雷达与待标定相机的联合标定。
14.第四方面，本技术还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：分别从待标定相机和辅助相机获取第一图像和第二图像，第一图像包括标定物，第二图像包括标定物和标定物上的激光点云；从激光雷达获取激光点云的点云数据；根据第一图像和第二图像中的标定物，生成从第二图像到第一图像的透视变换矩阵；基于从第二图像到第一图像的透视变换矩阵、点云数据和第二图像的激光点云，进行激光雷达与待标定相机的联合标定。
15.第五方面，本技术还提供了一种计算机程序产品。该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：分别从待标定相机和辅助相机获取第一图像和第二图像，第一图像包括标定物，第二图像包括标定物和标定物上的激光点云；从激光雷达获取激光点云的点云数据；根据第一图像和第二图像中的标定物，生成从第二图像到第一图像的透视变换矩阵；基于从第二图像到第一图像的透视变换矩阵、点云数据和第二图像的激光点云，进行激光雷达与待标定相机的联合标定。
16.上述激光雷达与相机联合标定的方法、装置、计算机设备、存储介质和计算机程序产品，在通过待标定相机拍摄标定物得到第一图像的基础上，额外引入一个能同时感受到可见光以及激光雷达发射出的光的辅助相机，通过辅助相机拍摄既包括可见光标记物、又包括激光点云的第二图像，用第一图像和第二图像中的标记物作为桥梁求出从第二图像至第一图像的透视变换矩阵；由于该透视变换矩阵能够建立第一图像与第二图像之间(即待
标定相机和辅助相机之间)的准确坐标对应，且第二图像中包括的激光点云在辅助相机中的坐标能够准确获取，同时该激光点云在雷达坐标系中的坐标也可以根据点云数据准确获取，因此也就能够通过激光雷达坐标系和待标定相机中对应激光点的坐标实现激光雷达与待标定相机之间准确的坐标配对，进而实现激光雷达与待标定相机的联合标定。这样一来，可以避免采用空间平面拟合方法进行坐标配对时拟合误差造成的配对误差，特别是能够解决由于激光雷达点云的稀疏性导致空间平面拟合过程误差过大的问题，从而大幅减少配对误差。
附图说明
17.图1为一个实施例中激光雷达与相机联合标定的方法的应用环境图；
18.图2为一个实施例中激光雷达与相机联合标定的方法的流程示意图；
19.图3为一个实施例中根据第一图像和第二图像中的标定物，生成从第二图像到第一图像的透视变换矩阵步骤的流程示意图；
20.图4为一个实施例中基于从第二图像到第一图像的透视变换矩阵、点云数据和第二图像的激光点云，进行激光雷达与待标定相机的联合标定步骤的流程示意图；
21.图5为一个实施例中激光雷达与相机联合标定的方法的流程示意图；
22.图6为一个实施例中激光雷达与相机联合标定的装置的结构框图；
23.图7为一个实施例中计算机设备的内部结构图。
具体实施方式
24.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
25.本技术实施例提供的激光雷达与相机联合标定的方法，可以应用于如图1所示的应用环境中。其中，待标定相机102一般为车载相机。由于车载相机的成像要求，待标定相机102可以观察到可见光，但不能观察到激光雷达发射的光。辅助相机103用于构建待标定相机102和激光雷达104之间的坐标关联，因而需要能够同时观察到可见光和激光雷达104发射出的激光。以主流的发射红外激光的激光雷达为例，相应地，待标定相机采用带有红外滤光片的相机，而辅助相机则采用不带红外滤光片的相机。通过待标定相机102采集第一图像。由于待标定相机102无法观察到激光雷达射出的光，第一图像仅包括标定物101。通过辅助相机103采集第二图像。由于辅助相机能够同时观察到可见光和激光雷达104发射出的激光，第二图像包括标定物101和激光雷达发射的激光线束打在标定板上形成的激光点云。通过激光雷达104确定激光点云的点云数据。服务器105分别从待标定相机和辅助相机获取第一图像和第二图像，第一图像包括标定物，第二图像包括标定物和标定物上的激光点云；从激光雷达获取激光点云的点云数据；根据第一图像和第二图像中的标定物，生成从第二图像到第一图像的透视变换矩阵；基于从第二图像到第一图像的透视变换矩阵、点云数据和第二图像的激光点云，进行激光雷达与待标定相机的联合标定。其中，服务器105可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
26.在一个实施例中，如图2所示，提供了一种激光雷达与相机联合标定的方法，以该
方法应用于图1中的服务器105为例进行说明，包括以下步骤：
27.s201，分别从待标定相机和辅助相机获取第一图像和第二图像；第一图像包括标定物，第二图像包括标定物和标定物上的激光点云。
28.标定物用于建立第一图像和第二图像之间的关联。标定物通常可以采用多边形平板形式的标定板。该标定板上可以印有标定图案。标定图案是让相机能快速提取图像特征点的图案，通常可以采用黑白方块交替的棋盘格、黑色圆形阵列、圆十字标靶等。激光点云是由激光雷达发射的激光线束打在标定板上时被辅助相机捕获而得到的激光点的集合。
29.在对激光雷达与相机进行联合标定时，首先，将激光雷达及待标定相机调整至预设角度，固定激光雷达及相机之间的相对位置，并将标定板放置于激光雷达及待标定相机的视野重叠区。然后，通过待标定相机拍摄得到包括标定板上的标定物的第一图像，启用激光雷达，通过辅助相机拍摄得到包括标定物和标定物上的激光点的第二图像。其中，第一图像和第二图像的采集可以是同时进行，也可以不是同时进行，在不是同时进行时，对第一图像和第二图像的采集顺序也没有要求。由于第二图像需要包括激光点云，激光雷达的启用应在第二图像的采集之前完成。辅助相机的摆放位置和角度可以任意设置，但需要能够清晰地采集到标定图案和激光点。最后，服务器分别从待标定相机和辅助相机获取上述第一图像和第二图像，用于后续步骤的处理。
30.s202，从激光雷达获取激光点云的点云数据。
31.激光雷达内的接收器能够接收激光线束经标定板反射后形成的反射光束，并根据该反射光束进行反射点的位置测量，得到反射点的位置数据，以形成点云数据。其中，不同激光线束的反射点的集合经辅助相机捕获后即形成第二图像中的激光点云。点云数据通常记录有每个反射点的三维位置数据。服务器根据从激光雷达获取的激光点云的点云数据，就可以确定由辅助相机拍摄的第二图像中激光点云的每个激光点在雷达坐标系中的位置数据，即三维坐标信息。
32.s203，根据第一图像和第二图像中的标定物，生成从第二图像到第一图像的透视变换矩阵。
33.透视变换是将图像投影到一个新的视平面。透视变换矩阵可以用于实现两个图像之间的像素坐标变换。给定透视变换对应的四对像素坐标，即可求得透视变换矩阵，其中这四对像素坐标中的每对像素坐标分别来自原图像和变换后的图像中的对应像素坐标。反之，给定透视变换矩阵，即可对图像或像素坐标完成透视变换。
34.s204，基于从第二图像到第一图像的透视变换矩阵、点云数据和第二图像的激光点云，进行激光雷达与待标定相机的联合标定。
35.服务器能够通过透视变换矩阵建立第一图像与第二图像之间(即待标定相机和辅助相机之间)的准确坐标对应。同时，服务器能根据获取的第二图像准确获取第二图像中包括的激光点云在辅助相机中的坐标，同时该激光点云在雷达坐标系中的坐标也可以根据点云数据准确获取，因此服务器也就能够通过激光雷达坐标系和待标定相机中对应激光点的坐标实现激光雷达与待标定相机之间准确的坐标配对。
36.而激光雷达与相机的联合标定的目的是求解相机与激光雷达之间的相对位置，这是一个典型的pnp(perspective-n-point，n点透视)问题。在实现激光雷达与待标定相机之间对应激光点的准确的坐标配对后，在已知相机内参系数的情况下，便可以采用dlt
(direct linear transform，直接线性变换)、p3p(perspective-3-point，3点透视)、epnp、ba(bundle adjustment，光束法平差)等多种算法对相机与激光雷达之间的相对位置进行求解，从而实现激光雷达与相机的联合标定。
37.上述激光雷达与相机联合标定的方法中，服务器根据辅助相机和待标定相机中的标记物生成从第二图像到第一图像之间的透视变换矩阵，通过该透视变换矩阵建立第一图像和第二图像之间(即待标定相机和辅助相机之间)准确的坐标配对；再通过第二图像包括的激光点云作为桥梁，实现激光雷达和辅助相机之间准确的坐标配对。这样一来，服务器就可以通过待标定相机与辅助相机之间、辅助相机与激光雷达之间准确的坐标配对，实现待标定相机与激光雷达之间准确的坐标配对，以避免采用空间平面拟合方法拟合出标定板在激光雷达中的方位时，由于激光雷达点云的稀疏性导致拟合误差过大的问题，从而相对于空间平面拟合方法能够大幅减少配对误差。
38.在一个实施例中，如图3所示，根据第一图像和第二图像中的标定物，生成从第二图像到第一图像的透视变换矩阵的步骤包括：
39.s301，从标定物中提取多个标定点。
40.标定点是位于标定物上的特征点。前文提及标定物上的标定图案通常可以采用黑白方块交替的棋盘格、黑色圆形阵列、圆十字标靶等。对于黑白方块交替的棋盘格，服务器可以提取棋盘格上的交叉点或每个棋盘格的中心位置作为标定点。对于黑白圆形阵列，服务器可以提取圆形阵列中各圆形图案的圆心作为标定点。对于圆十字标靶，服务器可以提取圆十字标靶上的交叉点作为标定点。
41.可以理解，上述标定点的提取方式仅仅是示例性的，也可以提取标定图案上其他位置处的特征点作为标定点，只要提取的标定点相对于标定图案上的其他点能够被更好地识别即可。
42.s302，分别确定多个标定点在待标定相机和辅助相机中的像素坐标。
43.图像在相机中是以像素为单位进行存储的。通常在一个相机中，是以图像左上角为原点建立以像素为单位的直角坐标系u-v。图像中的每一个像素相对于该原点具有一个二维坐标。相应地，服务器在获取来自待标定相机和辅助相机的第一图像和第二图像后，可以根据所提取的标定点到原点的位置确定标定点在待标定相机和辅助相机中的像素坐标。
44.s303，根据多个标定点在待标定相机和辅助相机中的像素坐标与从第二图像到第一图像的透视变换矩阵之间的预设关系，构建多个透视变换模型。
45.该步骤中，上述预设关系可以用公式表达为：
46.pc＝h
·
pa，
47.即，任一标定点在待标定相机中的像素坐标pc等于该标定点在辅助相机中的像素坐标pa左乘从第二图像到第一图像的透视变换矩阵h。
48.具体地，如果将从标定图案上选取的n个特征点记为p1、p2、
…
、pn，那么，可以将这n个特征点在辅助相机中的像素坐标分别记为p
a1
(x
a1
，y
a1
)、p
a2
(x
a2
,y
a2
)、
…
、p
an
(x
an
,y
an
)，并将这n个特征点在待标定相机坐标系中的像素坐标分别记为p
c1
(x
c1
，y
c1
)、p
c2
(x
c2
,y
c2
)、
…
、p
cn
(x
cn
,y
cn
)。接着，便可以构建多个透视变换模型：p
c1
＝h
·
p
a1
、p
c2
＝h
·
p
a2
、
…
、p
cn
＝h
·
p
an
。
49.s304，根据所述多个透视变换模型，得到从第二图像到第一图像的透视变换矩阵。
50.在一个实施例中，可以通过采用最小二乘法求解多个透视变换模型，得到从第二图像到第一图像的透视变换矩阵来实现该步骤。根据最小二乘法，可以通过上述多个透视变换方程得到如下优化函数：
[0051][0052]
以使该优化函数最小化为约束条件，即可对该优化函数进行求解，从而得到从第二图像到第一图像的透视变换矩阵。
[0053]
本实施例中，服务器通过从标定物中提取多个标定点，用多个标定点在待标定相机和辅助相机中的像素坐标构建多个透视变换方程，并用最小二乘法求解这些透视变换方程，可以提高计算透视变换矩阵的准确度，从而进一步减少激光点云在待标定相机中的像素坐标和在雷达坐标系中的坐标的配对误差。
[0054]
可以理解，在其他实施例中，除上述最小二乘法以外，还可以采用其他算法对上述多个透视变换模型进行求解，以得到从第二图像到第一图像的透视变换矩阵。
[0055]
在一个实施例中，从标定物中提取多个标定点包括：从标定物中提取不少于4个标定点。
[0056]
当标定点的数目少于4时，根据透视变换的原理，无法求解出从第二图像到第一图像的透视变换矩阵，故而需要提取不少于4个标定点。同时，通过选取大于4个的标定点，并通过诸如求平均值的方法求解透视变换矩阵，可以提高透视变换矩阵求解的准确性。当标定点的数目太多时，求解透视变换矩阵的计算量太大。因此，需要选择合适数目的标定点，例如，标定点的数目优选为4～50个。应当理解，这里提及的标定点的优选数目仅仅是示例性的，可以根据实际情况选取其他合适数目的标定点，以在满足所需计算量要求的前提下确保透视变换矩阵的准确性。
[0057]
在一个实施例中，分别确定多个标定点在待标定相机和辅助相机中的像素坐标的步骤包括：获取待标定相机和辅助相机的内参系数；用待标定相机和辅助相机的内参系数，分别去除多个标定点在待标定相机和辅助相机中的像素坐标的畸变。
[0058]
像素坐标的畸变通常是由于相机成像原理造成的。去畸变的过程包括利用相机内参系数中的畸变系数去消除径向畸变、切向畸变以及偏心。
[0059]
在去除多个标定点在待标定相机和辅助相机中的像素坐标的畸变后，用去畸变后的像素坐标更新去畸变前的像素坐标，作为后续步骤中的像素坐标。
[0060]
本实施例中，服务器通过结合待标定相机和辅助相机的内参系数确定标定点在待标定相机和辅助相机中的像素坐标，可以去除畸变，以更为准确地确定标定点在待标定相机和辅助相机中的像素坐标。
[0061]
在一个实施例中，如图4所示，基于从第二图像到第一图像的透视变换矩阵、点云数据和第二图像的激光点云，进行激光雷达与待标定相机的联合标定的步骤包括：
[0062]
s401，从第二图像的激光点云中选取多个特征激光点。
[0063]
由于激光雷达在对标定物进行测量时，激光雷达打在标定物上会在第二图像中形成包含了大量的激光点的激光点云，因此，服务器通常选取易于识别的激光点作为特征激光点。
[0064]
s402，确定多个特征激光点在辅助相机中的像素坐标。
[0065]
服务器在获取来自辅助相机的第二图像后，可以根据所提取的特征激光点到第二图像中原点的位置来确定特征激光点在辅助相机中的像素坐标。
[0066]
此外，该步骤中，服务器在确定特征激光点在辅助相机中的像素坐标后，还可以获取辅助相机的内参系数，根据辅助相机的内参系数去除特征激光点在辅助相机中的像素坐标的畸变。
[0067]
s403，通过从第二图像到第一图像的透视变换矩阵，确定多个特征激光点在待标定相机中的像素坐标。
[0068]
如先前提及的，根据透视变换原理，在从第二图像到第一图像的透视变换矩阵已知的情况下，服务器可以通过该透视变换矩阵，将多个特征激光点中每个特征激光点在辅助相机中的像素坐标转换为在待标定相机中的像素坐标。
[0069]
具体地，如果将任一特征激光点在辅助相机中的像素坐标记为p
la
，则该特征激光点在待标定相机中的像素坐标p
lc
＝h
·
p
la
，其中h为从第二图像到第一图像的透视变换矩阵。
[0070]
s404，根据点云数据确定多个特征激光点在激光雷达坐标系中的坐标。
[0071]
如前所述，点云数据包含在标定物上的各个激光点的位置信息，该位置信息包括对应激光点在激光雷达坐标系中的坐标。因此，服务器也就可以从获取的点云数据中得到多个特征激光点在激光雷达坐标系中的坐标。
[0072]
s405，基于多个特征激光点在待标定相机中的像素坐标和在激光雷达坐标系中的坐标，进行激光雷达与待标定相机的联合标定。
[0073]
由于先前的步骤已经确定了每个特征激光点在待标定相机中的像素坐标和在激光雷达坐标系中的坐标，因而可以建立特征激光点在待标定相机中的像素坐标和在雷达坐标系中的坐标之间的对应关系。因此，在已知相机内参系数的情况下，便可以采用dlt、p3p、epnp、ba等多种算法对待标定相机与激光雷达之间的相对位置进行求解，从而实现激光雷达与相机的联合标定。
[0074]
特别地，在求解待标定相机与激光雷达之间的相对位置时以实现联合标定的过程中，为了减少误差，可以设置印有不同标定图案的多个标定物，或是给标定物设置不同的位姿，根据不同的标定图案或标定物位姿分别建立多组特征激光点在待标定相机中的像素坐标和在雷达坐标系中的坐标之间的对应关系，再根据求解得到的多组对应关系进一步求解出待标定相机与激光雷达之间的相对位置，实现激光雷达与相机的联合标定。
[0075]
本实施例中，服务器通过从激光点云中选取多个特征激光点，并建立该多个特征激光点在待标定相机和激光雷达之间的坐标关联，大幅减少了将激光点云中的各激光点和点云数据进行直接坐标配对时所需的工作量。
[0076]
可以理解，上述从第二图像的激光点云中选取多个特征激光点，再通过透视变换矩阵确定所述多个特征激光点在待标定相机中的像素坐标的步骤仅仅是示例性的。在其他实施例中，也可以先通过透视变换矩阵将第二图像的激光点云转换到第一图像，得到映射点云；再从第一图像的映射点云中选取多个特征激光点。
[0077]
在一个实施例中，从第二图像的激光点云中选取多个特征激光点的步骤包括：从第二图像的激光点云中选取位于不同端点位置的多个端部激光点，作为多个特征激光点。
[0078]
端部激光点是指位于激光点云的端部位置的激光点。激光雷达在进行扫描时，由于发射激光线束的间隔时间很短，各激光点可能会密集地排列在一起，形成线状，导致位于线状或块状区域中间位置处的单个激光点无法被单独识别，从而难以实现该单个激光点在待标定相机和激光雷达之间的坐标匹配。
[0079]
本实施例中，服务器通过从第二图像的激光点云中选取位于不同端点位置的多个端部激光点，作为多个特征激光点，可以更好地实现特征激光点在待标定相机和激光雷达之间的坐标匹配。
[0080]
在一个具体的实施例中，如图5所示，提供了一种激光雷达与相机联合标定的方法，包括：
[0081]
s501：分别从待标定相机和辅助相机获取第一图像和第二图像，第一图像包括标定物，第二图像包括标定物和标定物上的激光点云。
[0082]
s502：从激光雷达获取激光点云的点云数据。
[0083]
s503：从标定物中提取多个标定点；分别确定多个标定点在待标定相机和辅助相机中的像素坐标。
[0084]
s504：获取待标定相机和辅助相机的内参系数，基于待标定相机和辅助相机的内参系数，分别去除多个标定点在待标定相机和辅助相机中的像素坐标的畸变。
[0085]
s505：基于去除畸变后的多个标定点在待标定相机和辅助相机中的像素坐标，用最小二乘法生成从第二图像到第一图像的透视变换矩阵。
[0086]
s506：从第二图像的激光点云中选取位于不同端点位置的多个特征激光点；确定多个特征激光点在辅助相机中的像素坐标。
[0087]
s507：基于辅助相机的内参系数，去除多个特征激光点在辅助相机中的像素坐标的畸变。
[0088]
s508：通过从第二图像到第一图像的透视变换矩阵，确定多个特征激光点在待标定相机中的像素坐标。
[0089]
s509：根据点云数据确定多个特征激光点在激光雷达坐标系中的坐标。
[0090]
s510：基于多个特征激光点在待标定相机中的像素坐标和在激光雷达坐标系中的坐标，进行激光雷达与待标定相机的联合标定。
[0091]
本实施例中，通过额外引入一个能同时感受到可见光以及激光雷达发射出的光的辅助相机，以辅助相机拍摄的既包括可见光标记物、又包括激光点的图像作为桥梁连接待标定相机与激光雷达，通过坐标变换将辅助相机坐标系中位于激光点云的不同端点位置处的特征激光点的坐标变换到待标定相机坐标系中，以与特征激光点在激光雷达坐标系中的坐标进行配对。采用上述方法，能够实现将标定物的特征点的像素坐标与其在激光雷达坐标系下的坐标进行对应，同时还可以避免采用拟合方法进行坐标直接配对时，由于激光雷达点云的稀疏性导致拟合误差过大的问题，以减少配对误差。此外，选取位于激光点云的不同端点位置处的激光点作为特征激光点，可以更为准确地将特征激光点在雷达坐标系中的坐标和在待标定相机中的像素坐标进行配对，从而大幅减少配对误差。
[0092]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而
且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0093]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的激光雷达与相机联合标定的方法的激光雷达与相机联合标定的装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个激光雷达与相机联合标定的装置实施例中的具体限定可以参见上文中对于激光雷达与相机联合标定的方法的限定，在此不再赘述。
[0094]
在一个实施例中，如图6所示，提供了一种激光雷达与相机联合标定的装置，包括：图像获取模块601、点云获取模块602、矩阵确定模块603和联合标定模块604，其中：
[0095]
图像获取模块601，用于分别从待标定相机和辅助相机获取第一图像和第二图像；第一图像包括标定物，第二图像包括标定物和标定物上的激光点云；
[0096]
点云获取模块602，用于从激光雷达获取激光点云的点云数据；
[0097]
矩阵确定模块603，用于根据第一图像和第二图像中的标定物，生成从第二图像到第一图像的透视变换矩阵；
[0098]
联合标定模块604，用于基于从第二图像到第一图像的透视变换矩阵、点云数据和第二图像的激光点云，进行激光雷达与待标定相机的联合标定。
[0099]
在一个实施例中，矩阵确定模块603还包括：标定点提取单元、坐标计算单元、矩阵计算单元。其中：
[0100]
标定点提取单元，用于从标定物中提取多个标定点；
[0101]
坐标计算单元，用于分别确定多个标定点在待标定相机和辅助相机中的像素坐标；
[0102]
矩阵计算单元，用于根据多个标定点在待标定相机和辅助相机中的像素坐标与从第二图像到第一图像的透视变换矩阵之间的预设关系，构建多个透视变换模型；根据多个透视变换模型，得到从第二图像到第一图像的透视变换矩阵。
[0103]
在一个实施例中，标定点提取单元还用于：从标定物中提取不少于4个标定点。
[0104]
在一个实施例中，坐标计算单元还用于：获取待标定相机和辅助相机的内参系数；用待标定相机和辅助相机的内参系数，分别去除多个标定点在待标定相机和辅助相机中的像素坐标的畸变。
[0105]
在一个实施例中，联合标定模块604还包括：激光点选取单元和标定单元。
[0106]
激光点选取单元，用于从第二图像的激光点云中选取多个特征激光点；
[0107]
标定单元，用于确定多个特征激光点在辅助相机中的像素坐标；通过从第二图像到第一图像的透视变换矩阵，确定多个特征激光点在待标定相机中的像素坐标；根据点云数据确定多个特征激光点在激光雷达坐标系中的坐标；基于多个特征激光点在待标定相机中的像素坐标和在激光雷达坐标系中的坐标，进行激光雷达与待标定相机的联合标定。
[0108]
在一个实施例中，上述标定单元还用于：从第二图像的激光点云中选取位于不同端点位置的多个端部激光点，作为多个特征激光点。
[0109]
上述激光雷达与相机联合标定的装置中的各个模块可全部或部分通过软件、硬件
及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0110]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图y所示。该计算机设备包括处理器、存储器、输入/输出接口(input/output，简称i/o)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种激光雷达与相机联合标定的方法。
[0111]
本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0112]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：分别从待标定相机和辅助相机获取第一图像和第二图像，第一图像包括标定物，第二图像包括标定物和标定物上的激光点云；从激光雷达获取激光点云的点云数据；根据第一图像和第二图像中的标定物，生成从第二图像到第一图像的透视变换矩阵；基于从第二图像到第一图像的透视变换矩阵、点云数据和第二图像的激光点云，进行激光雷达与待标定相机的联合标定。
[0113]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：从标定图案中提取多个特征点；从标定物中提取多个标定点；分别确定多个标定点在待标定相机和辅助相机中的像素坐标；根据多个标定点在待标定相机和辅助相机中的像素坐标与从第二图像到第一图像的透视变换矩阵之间的预设关系，构建多个透视变换模型；根据多个透视变换模型，得到从第二图像到第一图像的透视变换矩阵。
[0114]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：从标定物中提取不少于4个标定点。
[0115]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取待标定相机和辅助相机的内参系数；用待标定相机和辅助相机的内参系数，分别去除多个标定点在待标定相机和辅助相机中的像素坐标的畸变。
[0116]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：从第二图像的激光点云中选取多个特征激光点；确定多个特征激光点在辅助相机中的像素坐标；通过从第二图像到第一图像的透视变换矩阵，确定多个特征激光点在待标定相机中的像素坐标；根据点云数据确定多个特征激光点在激光雷达坐标系中的坐标；基于多个特征激光点在待标定相机中的像素坐标和在激光雷达坐标系中的坐标，进行激光雷达与待标定相机的联合标定。
[0117]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：从第二图像的激光点云中选取位于不同端点位置的多个端部激光点，作为多个特征激光点。
[0118]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：分别从待标定相机和辅助相机获取第一图像和第二图像，第一图像包括标定物，第二图像包括标定物和标定物上的激光点云；从激光雷达获取激光点云的点云数据；根据第一图像和第二图像中的标定物，生成从第二图像到第一图像的透视变换矩阵；基于从第二图像到第一图像的透视变换矩阵、点云数据和第二图像的激光点云，进行激光雷达与待标定相机的联合标定。
[0119]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从标定物中提取多个标定点；分别确定多个标定点在待标定相机和辅助相机中的像素坐标；根据多个标定点在待标定相机和辅助相机中的像素坐标与从第二图像到第一图像的透视变换矩阵之间的预设关系，构建多个透视变换模型；根据多个透视变换模型，得到从第二图像到第一图像的透视变换矩阵。
[0120]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从标定物中提取不少于4个标定点。
[0121]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取待标定相机和辅助相机的内参系数；用待标定相机和辅助相机的内参系数，分别去除多个标定点在待标定相机和辅助相机中的像素坐标的畸变。
[0122]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从第二图像的激光点云中选取多个特征激光点；确定多个特征激光点在辅助相机中的像素坐标；通过从第二图像到第一图像的透视变换矩阵，确定多个特征激光点在待标定相机中的像素坐标；根据点云数据确定多个特征激光点在激光雷达坐标系中的坐标；基于多个特征激光点在待标定相机中的像素坐标和在激光雷达坐标系中的坐标，进行激光雷达与待标定相机的联合标定。
[0123]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从第二图像的激光点云中选取位于不同端点位置的多个端部激光点，作为多个特征激光点。
[0124]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：分别从待标定相机和辅助相机获取第一图像和第二图像，第一图像包括标定物，第二图像包括标定物和标定物上的激光点云；从激光雷达获取激光点云的点云数据；根据第一图像和第二图像中的标定物，生成从第二图像到第一图像的透视变换矩阵；基于从第二图像到第一图像的透视变换矩阵、点云数据和第二图像的激光点云，进行激光雷达与待标定相机的联合标定。
[0125]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从标定图案中提取多个特征点；从标定物中提取多个标定点；分别确定多个标定点在待标定相机和辅助相机中的像素坐标；根据多个标定点在待标定相机和辅助相机中的像素坐标与从第二图像到第一图像的透视变换矩阵之间的预设关系，构建多个透视变换模型；根据多个透视变换模型，得到从第二图像到第一图像的透视变换矩阵。
[0126]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从标定物中提取不少于4个标定点。
[0127]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取待标定相机和辅助相机的内参系数；用待标定相机和辅助相机的内参系数，分别去除多个标定点在待
标定相机和辅助相机中的像素坐标的畸变。
[0128]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从第二图像的激光点云中选取多个特征激光点；确定多个特征激光点在辅助相机中的像素坐标；通过从第二图像到第一图像的透视变换矩阵，确定多个特征激光点在待标定相机中的像素坐标；根据点云数据确定多个特征激光点在激光雷达坐标系中的坐标；基于多个特征激光点在待标定相机中的像素坐标和在激光雷达坐标系中的坐标，进行激光雷达与待标定相机的联合标定。
[0129]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从第二图像的激光点云中选取位于不同端点位置的多个端部激光点，作为多个特征激光点。
[0130]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0131]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0132]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种激光雷达与相机的联合标定方法，其特征在于，所述方法包括：分别从待标定相机和辅助相机获取第一图像和第二图像；第一图像包括标定物，第二图像包括所述标定物和所述标定物上的激光点云；从激光雷达获取所述激光点云的点云数据；根据第一图像和第二图像中的所述标定物，生成从第二图像到第一图像的透视变换矩阵；基于从第二图像到第一图像的透视变换矩阵、所述点云数据和第二图像的所述激光点云，进行激光雷达与待标定相机的联合标定。2.根据权利要求1所述的方法，其特征在于，所述根据第一图像和第二图像中的所述标定物，生成从第二图像到第一图像的透视变换矩阵，包括：从所述标定物中提取多个标定点；分别确定所述多个标定点在待标定相机和辅助相机中的像素坐标；根据所述多个标定点在待标定相机和辅助相机中的像素坐标与所述从第二图像到第一图像的透视变换矩阵之间的预设关系，构建多个透视变换模型；根据所述多个透视变换模型，得到所述从第二图像到第一图像的透视变换矩阵。3.根据权利要求2所述的方法，其特征在于，所述从所述标定物中提取多个标定点包括：从所述标定物中提取不少于4个标定点。4.根据权利要求2所述的方法，其特征在于，所述分别确定所述多个标定点在待标定相机和辅助相机中的像素坐标，包括：获取待标定相机和辅助相机的内参系数；用待标定相机和辅助相机的内参系数，分别去除所述多个标定点在待标定相机和辅助相机中的像素坐标的畸变。5.根据权利要求1所述的方法，其特征在于，所述基于从第二图像到第一图像的透视变换矩阵、所述点云数据和第二图像的所述激光点云，进行激光雷达与待标定相机的联合标定，包括：从第二图像的激光点云中选取多个特征激光点；确定所述多个特征激光点在辅助相机中的像素坐标；通过所述透视变换矩阵，确定所述多个特征激光点在待标定相机中的像素坐标；根据所述点云数据确定所述多个特征激光点在激光雷达坐标系中的坐标；基于所述多个特征激光点在待标定相机中的像素坐标和在激光雷达坐标系中的坐标，进行激光雷达与待标定相机的联合标定。6.根据权利要求5所述的方法，其特征在于，所述从第二图像的激光点云中选取多个特征激光点，包括：从第二图像的激光点云中选取位于不同端点位置的多个端部激光点，作为所述多个特征激光点。7.一种激光雷达与相机联合标定的装置，其特征在于，所述装置包括：图像获取模块，用于分别从待标定相机和辅助相机获取第一图像和第二图像；第一图像包括标定物，第二图像包括所述标定物和所述标定物上的激光点云；点云获取模块，用于从激光雷达获取所述激光点云的点云数据；
矩阵确定模块，用于根据第一图像和第二图像中的所述标定物，生成从第二图像到第一图像的透视变换矩阵；联合标定模块，用于基于从第二图像到第一图像的透视变换矩阵、所述点云数据和第二图像的所述激光点云，进行激光雷达与待标定相机的联合标定。8.根据权利要求7所述的装置，其特征在于，所述矩阵确定模块还包括：标定点提取单元、坐标计算单元、矩阵计算单元，其中：所述标定点提取单元，用于从所述标定物中提取多个标定点；所述坐标计算单元，用于分别确定所述多个标定点在待标定相机和辅助相机中的像素坐标；所述矩阵计算单元，用于根据所述多个标定点在待标定相机和辅助相机中的像素坐标与所述从第二图像到第一图像的透视变换矩阵之间的预设关系，构建多个透视变换模型；根据所述多个透视变换模型，得到所述从第二图像到第一图像的透视变换矩阵。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请涉及一种激光雷达与相机联合标定的方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括：分别从待标定相机和辅助相机获取第一图像和第二图像，第一图像包括标定物，第二图像包括标定物和标定物上的激光点云；从激光雷达获取激光点云的点云数据；根据第一图像和第二图像中的标定物，生成从第二图像到第一图像的透视变换矩阵；基于从第二图像到第一图像的透视变换矩阵、点云数据和第二图像的激光点云，进行激光雷达与待标定相机的联合标定。采用本方法能够实现将标定物的特征点的像素坐标与其在激光雷达坐标系下的坐标对应，并减少激光雷达和待标定相机之间对应点配对的误差。对的误差。对的误差。


技术研发人员：王珏
受保护的技术使用者：中汽创智科技有限公司
技术研发日：2023.04.25
技术公布日：2023/8/28