一种车载全景环视自动标定方法、系统、设备及存储介质与流程

1.本发明涉及自动驾驶技术领域，尤其涉及一种车载全景环视自动标定方法、系统、设备及存储介质。


背景技术：

2.avm(around view monitor全景环视系统)是自动泊车系统的重要组成部分。汽车在生产时均需进行全景环视系统的标定，目前的标定方式采用四个常用摄像头、lvds传输同轴线、一张棋盘格标定布，标定布将汽车的前后左右区域全部铺满，然后通过测量获取到每个棋盘格点的世界坐标系，即可通过算法获取到安装于汽车前后左右的四个摄像头的内外及畸变参数，从而完成了对摄像头的标定过程，标定后的参数可以用来生成全景环视图。但是，考虑到实际使用环境与标定环境的差异，例如驾驶员体重、是否载重等因素，导致标定出现部分区域不平滑的现象。


技术实现要素：

3.本发明实施例提供一种车载全景环视自动标定方法、系统、设备及存储介质，其能有效解决全景环视标定过程中的图像不平滑问题。
4.第一方面，本发明实施例提供了一种车载全景环视自动标定方法，包括：
5.获取多个车载摄像头拍摄到的不同角度下的车道线图像；
6.根据相邻两个车载摄像头的内参和外参，对相应相邻两张车道线图像进行拼接，得到多张局部环视图；
7.对每张所述局部环视图进行去畸变处理，使得去畸变后的局部环视图的交叉中心与成像平面的平面中心重合；
8.对去畸变处理后的每张局部环视图进行车道线投影和拼接融合，得到全景环视图；其中，所述全景环视图中车道线为一条平滑直线。
9.作为上述方案的改进，所述根据相邻两个车载摄像头的内参和外参，对相应两张车道线图像进行拼接，得到多张局部环视图，包括：
10.根据所述车载摄像头的内参和外参，确定相应车载摄像头的摄像头坐标系与世界坐标系之间的相对位置关系；
11.根据相邻两张车道线图像之间的投影变换关系、相应相邻两个车载摄像头的摄像头坐标系与世界坐标系之间的相对位置关系，将相应相邻的两张车道线图像合成一张图像，得到对应的局部环视图。
12.作为上述方案的改进，所述对每张所述局部环视图进行去畸变处理，使得去畸变后的局部环视图对应的两张道路图像的交叉中心与成像平面的平面中心重合，包括：
13.对于每张所述局部环视图，根据相应车载摄像头的内参和预设的摄像头畸变表，拟合出成像平面的平面中心；
14.根据预设的摄像头畸变表，对每张所述局部环视图进行二次曲线拟合，使得相应
局部环视图的交叉中心与成像平面的平面中心重合；其中，所述交叉中心为合成相应局部环视图的相邻两张车道线图像的交叉中心。
15.作为上述方案的改进，所述对去畸变处理后的每张局部环视图进行车道线投影和拼接融合，得到全景环视图，包括：
16.将每张所述局部环视图投影到预先构建的车道线模型中，得到全景环视图；
17.根据所有所述车载摄像头的内参和预设的摄像头畸变表，拟合出成像平面的联合平面中心；
18.检测所述联合平面中心与摄像头中心是否重合；其中，所述摄像头中心是根据多个所述车载摄像头的安装位置确定；
19.当所述联合平面中心与摄像头中心重合时，输出投影后的全景环视图。
20.第二方面，本发明实施例提供了一种车载全景环视自动标定系统，包括：
21.图像获取模块，用于获取多个车载摄像头拍摄到的不同角度下的车道线图像；
22.图像合成模块，用于根据相邻两个车载摄像头的内参和外参，对相应相邻两张车道线图像进行拼接，得到多张局部环视图；
23.图像去畸变模块，用于对每张所述局部环视图进行去畸变处理，使得去畸变后的局部环视图的交叉中心与成像平面的平面中心重合；
24.图像拼接融合模块，用于对去畸变处理后的每张局部环视图进行车道线投影和拼接融合，得到全景环视图；其中，所述全景环视图中车道线为一条平滑直线。
25.作为上述方案的改进，所述图像合成模块包括：
26.摄像头坐标系位置确定单元，用于根据所述车载摄像头的内参和外参，确定相应车载摄像头的摄像头坐标系与世界坐标系之间的相对位置关系；
27.车道线图像合成单元，用于根据相邻两张车道线图像之间的投影变换关系、相应相邻两个车载摄像头的摄像头坐标系与世界坐标系之间的相对位置关系，将相应相邻的两张车道线图像合成一张图像，得到对应的局部环视图。
28.作为上述方案的改进，所述图像去畸变模块包括：
29.平面中心拟合单元，用于对于每张所述局部环视图，根据相应车载摄像头的内参和预设的摄像头畸变表，拟合出成像平面的平面中心；
30.图像曲线拟合单元，用于根据预设的摄像头畸变表，对每张所述局部环视图进行二次曲线拟合，使得相应局部环视图的交叉中心与成像平面的平面中心重合；其中，所述交叉中心为合成相应局部环视图的相邻两张车道线图像的交叉中心。
31.作为上述方案的改进，所述图像拼接融合模块包括：
32.车道线投影单元，用于将每张所述局部环视图投影到预先构建的车道线模型中，得到全景环视图；
33.联合平面中心拟合单元，用于根据所有所述车载摄像头的内参和预设的摄像头畸变表，拟合出成像平面的联合平面中心；
34.中心重合检测单元，用于检测所述联合平面中心与摄像头中心是否重合；其中，所述摄像头中心是根据多个所述车载摄像头的安装位置确定；
35.全景环视图输出单元，用于当所述联合平面中心与摄像头中心重合时，输出投影后的全景环视图。
36.第三方面，本发明实施例提供了一种车载全景环视自动标定设备，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任意一项所述的车载全景环视自动标定方法。
37.第四方面，本发明实施例一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面中任意一项所述的车载全景环视自动标定方法。
38.相对于现有技术，本发明实施例的有益效果在于：采用车道线作为标定基准点，获取多个车载摄像头拍摄到的不同角度下的车道线图像；根据相邻两个车载摄像头的内参和外参，对相应相邻两张车道线图像进行拼接，得到多张局部环视图；对每张所述局部环视图进行去畸变处理，使得去畸变后的局部环视图的交叉中心与成像平面的平面中心重合；对去畸变处理后的每张局部环视图进行车道线投影和拼接融合，得到全景环视图；其中，所述全景环视图中车道线为一条平滑直线，从而解决全景环视标定过程中的图像不平滑问题。
附图说明
39.为了更清楚地说明本发明的技术方案，下面将对实施方式中所占据要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1是本发明实施例提供的一种车载全景环视自动标定方法的流程图；
41.图2是本发明实施例提供的摄像头畸变表示意图；
42.图3是本发明实施例提供的成像片面的平面中心示意图；
43.图4是本发明实施例提供的车道线模型示意图；
44.图5是本发明实施例提供的局部环视图；
45.图6是本发明实施例提供的全景环视图；
46.图7是本发明实施例提供的一种车载全景环视自动标定系统的示意框图；
47.图8是本发明实施例提供的一种车载全景环视自动标定设备的示意框图。
具体实施方式
48.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.实施例一
50.11、请参阅图1，其是本发明实施例提供一种车载全景环视自动标定方法的流程图，所述车载全景环视自动标定方法，具体包括：
51.s1：获取多个车载摄像头拍摄到的不同角度下的车道线图像；
52.本发明实施例所述的车载全景环视自动标定方法应用于汽车，汽车的不同安装位置上设置有多个已知内参和外参的车载摄像头，在进行标定时，相邻两个所述车载摄像头需要拍摄到同一目标物，以便于后续图像的拼接融合。在本发明实施例中，多个所述车载摄像头采集不同角度下、具有车道线的道路的车道线图像，以所述车道线图像中的车道线作
为参照物进行自动标定。由于本发明实施例依赖道路上的车道线即可以进行全景环视系统标定，无需依赖特定的标定场地，相对于现有的标定方式，可以有效降低由于标定过程中依赖特定标定场地和人工操作导致的标定误差。
53.s2：根据相邻两个车载摄像头的内参和外参，对相应相邻两张车道线图像进行拼接，得到多张局部环视图；
54.进一步，所述根据相邻两个车载摄像头的内参和外参，对相应两张车道线图像进行拼接，得到多张局部环视图，包括：
55.根据所述车载摄像头的内参和外参，确定相应车载摄像头的摄像头坐标系与世界坐标系之间的相对位置关系；
56.根据相邻两张车道线图像之间的投影变换关系、相应相邻两个车载摄像头的摄像头坐标系与世界坐标系之间的相对位置关系，将相应相邻的两张车道线图像合成一张图像，得到对应的局部环视图。
57.示例性的，可以采用汽车上四个不同安装位置上的车载摄像头进行联合标定，具体流程包括：首先获取车身尺寸，各个车载摄像头的安装位置、内参、外参以及摄像头畸变表等已知参数。
58.其中，车载摄像头的内参包括但不限于物距、像距、焦距、平面间距；其中，物距(即摄影距离)l＝(x’+f)2/x’+e，x’表示像距，f表示焦距，e表示平面间距。
59.车载摄像头的外参包括但不限于世界坐标系到摄像机坐标系之间的变换关系，例如从世界坐标系转换到摄像机坐标系的旋转矩阵和平移矩阵。旋转矩阵：描述了世界坐标系的坐标轴相对于摄像机坐标系的坐标轴的方向；平移矩阵：描述了在摄像机坐标系下，空间原点的位置。
60.所述摄像头畸变表如图2所示，其描述了车道线图像的畸变情况，具体地，在车道线图像中选取两行像素和两列像素，并选取这两行像素、两列像素的四个交点像素，纵向方向两个交叉像素之间的距离为v1和v2，横向方向两个交叉像素之间的距离为h1和h2，两行像素的中点之间的距离为y，两列像素的中点之间的距离为x，则有v＝[(v1+v2)/2-y]/y*100％，h＝[(h1+h2)/2-x]/x*100％，其中，v表示拍摄得到的车道线图像的纵轴，h表示拍摄得到的车道线图像的横轴。
[0061]
然后将实际环境的汽车与车道线的尺度关系设置为1：1，在车道线图像中找出对应的坐标关系(例如两张车道线图像之间投影变换关系、摄像头坐标系与世界坐标系之间的相对位置关系)，将相邻两张车道线图像合成一张局部环视图。
[0062]
s3：对每张所述局部环视图进行去畸变处理，使得去畸变后的局部环视图的交叉中心与成像平面的平面中心重合；
[0063]
进一步，所述对每张所述局部环视图进行去畸变处理，使得去畸变后的局部环视图对应的两张道路图像的交叉中心与成像平面的平面中心重合，包括：
[0064]
对于每张所述局部环视图，根据相应车载摄像头的内参和预设的摄像头畸变表，拟合出成像平面的平面中心；
[0065]
根据预设的摄像头畸变表，对每张所述局部环视图进行二次曲线拟合，使得相应局部环视图的交叉中心与成像平面的平面中心重合；其中，所述交叉中心为合成相应局部环视图的相邻两张车道线图像的交叉中心。
[0066]
在本发明实施例中，对于每张局部环视图，先通过车载摄像头的内参和预设的摄像头畸变表，拟合出成像平面的平面中心，如图3所示，m(u，v)表示平面中心，m(x，y，0)表示摄像头中心，zc表示摄像头平面中心，xc表示世界坐标系的横轴，yc表示世界坐标系的纵轴；其中，u＝x/xc+zc，v＝y/yc+zc。由于车载摄像头参考的地面视图，根据预设的可显示区域，将局部环视图相应区域中的像素点直接设定为地面俯视图，然后将世界坐标系转换为摄像头坐标系；之后通过摄像头畸变表上的像素位置，对局部环视图进行二次曲线拟合，即v＝[(v1+v2)/2-y]/y*100％，h＝[(h1+h2)/2-x]/x*100％，从而减少局部环视图边缘的锯齿，使得成像平面的平面中心(即摄像头平面中心)与合成局部环视图的两张车道线图像的交叉中心重合，达到最小化图像重影，还原图像的目的。
[0067]
s4：对去畸变处理后的每张局部环视图进行车道线投影和拼接融合，得到全景环视图；其中，所述全景环视图中车道线为一条平滑直线。
[0068]
进一步，所述对去畸变处理后的每张局部环视图进行车道线投影和拼接融合，得到全景环视图，包括：
[0069]
将每张所述局部环视图投影到预先构建的车道线模型中，得到全景环视图；
[0070]
根据所有所述车载摄像头的内参和预设的摄像头畸变表，拟合出成像平面的联合平面中心；
[0071]
检测所述联合平面中心与摄像头中心是否重合；其中，所述摄像头中心是根据多个所述车载摄像头的安装位置确定；
[0072]
当所述联合平面中心与摄像头中心重合时，输出投影后的全景环视图。
[0073]
在本发明实施例中，预先建立了一个包括平行车道线的车道线模型，如图4所示；通过将左右车道线不平滑的所有局部环视图(如图5所示)投影到车道线模型中，在再检测摄像头畸变表、联合平面中心后，可以得到一张全景环视图。使得车道线的前边和车道线的后边形成一条平滑的直线，如图6所示。
[0074]
相对于现有技术，本发明实施例采用车道线做为标定的基准点，通过多个车载摄像头进行联合标定，得到多张局部环视图，然后对局部环视图进行去畸变，之后对去畸变后的局部环视图进行拼接融合，可以快速自动拼接一个平滑的直线，产生一张真实的全景环视图，解决全景环视标定过程中的图像前后边不平滑问题，同时本发明实施例不需要专用标定场地和人工操作，标定过程便捷，可以有效减少由于使用专用标定场地和人工操作带来的标定误差。
[0075]
实施例二
[0076]
请参阅图7，本发明实施例提供了一种车载全景环视自动标定系统，包括：
[0077]
图像获取模块1，用于获取多个车载摄像头拍摄到的不同角度下的车道线图像；
[0078]
图像合成模块2，用于根据相邻两个车载摄像头的内参和外参，对相应相邻两张车道线图像进行拼接，得到多张局部环视图；
[0079]
图像去畸变模块3，用于对每张所述局部环视图进行去畸变处理，使得去畸变后的局部环视图的交叉中心与成像平面的平面中心重合；
[0080]
图像拼接融合模块4，用于对去畸变处理后的每张局部环视图进行车道线投影和拼接融合，得到全景环视图；其中，所述全景环视图中车道线为一条平滑直线。
[0081]
在一种可选的实施例中，所述图像合成模块包括：
[0082]
摄像头坐标系位置确定单元，用于根据所述车载摄像头的内参和外参，确定相应车载摄像头的摄像头坐标系与世界坐标系之间的相对位置关系；
[0083]
车道线图像合成单元，用于根据相邻两张车道线图像之间的投影变换关系、相应相邻两个车载摄像头的摄像头坐标系与世界坐标系之间的相对位置关系，将相应相邻的两张车道线图像合成一张图像，得到对应的局部环视图。
[0084]
在一种可选的实施例中，所述图像去畸变模块包括：
[0085]
平面中心拟合单元，用于对于每张所述局部环视图，根据相应车载摄像头的内参和预设的摄像头畸变表，拟合出成像平面的平面中心；
[0086]
图像曲线拟合单元，用于根据预设的摄像头畸变表，对每张所述局部环视图进行二次曲线拟合，使得相应局部环视图的交叉中心与成像平面的平面中心重合；其中，所述交叉中心为合成相应局部环视图的相邻两张车道线图像的交叉中心。
[0087]
在一种可选的实施例中，所述图像拼接融合模块包括：
[0088]
车道线投影单元，用于将每张所述局部环视图投影到预先构建的车道线模型中，得到全景环视图；
[0089]
联合平面中心拟合单元，用于根据所有所述车载摄像头的内参和预设的摄像头畸变表，拟合出成像平面的联合平面中心；
[0090]
中心重合检测单元，用于检测所述联合平面中心与摄像头中心是否重合；其中，所述摄像头中心是根据多个所述车载摄像头的安装位置确定；
[0091]
全景环视图输出单元，用于当所述联合平面中心与摄像头中心重合时，输出投影后的全景环视图。
[0092]
需要说明的是，本发明实施例的技术原理和技术效果与实施例一相同，为避免重复，在这里不再赘述。
[0093]
实施例三
[0094]
参见图8，是本发明实施例提供的车载全景环视自动标定设备的示意图。该实施例的车载全景环视自动标定设备包括：处理器100、存储器200以及存储在所述存储器200中并可在所述处理器100上运行的计算机程序，例如恶意软件组织识别程序。所述处理器100执行所述计算机程序时实现上述各个车载全景环视自动标定方法实施例中的步骤，例如图1所示的步骤s1-s4。
[0095]
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述车载全景环视自动标定设备中的执行过程。
[0096]
所述车载全景环视自动标定设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述车载全景环视自动标定设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是车载全景环视自动标定设备的示例，并不构成对车载全景环视自动标定设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述车载全景环视自动标定设备还可以包括输入输出设备、网络接入设备、总线等。
[0097]
所述处理器可以是中央处理单元(central processing unit，cpu)，还可以是其
他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述车载全景环视自动标定设备的控制中心，利用各种接口和线路连接整个车载全景环视自动标定设备的各个部分。
[0098]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述车载全景环视自动标定设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0099]
其中，所述车载全景环视自动标定设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
[0100]
实施例四
[0101]
本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如实施例一中任意一项所述的车载全景环视自动标定方法。
[0102]
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0103]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出多台改进和润饰，这些改进和润饰也视为本发明的保护范围。

技术特征：
1.一种车载全景环视自动标定方法，其特征在于，包括：获取多个车载摄像头拍摄到的不同角度下的车道线图像；根据相邻两个车载摄像头的内参和外参，对相应相邻两张车道线图像进行拼接，得到多张局部环视图；对每张所述局部环视图进行去畸变处理，使得去畸变后的局部环视图的交叉中心与成像平面的平面中心重合；对去畸变处理后的每张局部环视图进行车道线投影和拼接融合，得到全景环视图；其中，所述全景环视图中车道线为一条平滑直线。2.如权利要求1所述的车载全景环视自动标定方法，其特征在于，所述根据相邻两个车载摄像头的内参和外参，对相应两张车道线图像进行拼接，得到多张局部环视图，包括：根据所述车载摄像头的内参和外参，确定相应车载摄像头的摄像头坐标系与世界坐标系之间的相对位置关系；根据相邻两张车道线图像之间的投影变换关系、相应相邻两个车载摄像头的摄像头坐标系与世界坐标系之间的相对位置关系，将相应相邻的两张车道线图像合成一张图像，得到对应的局部环视图。3.如权利要求2所述的车载全景环视自动标定方法，其特征在于，所述对每张所述局部环视图进行去畸变处理，使得去畸变后的局部环视图对应的两张道路图像的交叉中心与成像平面的平面中心重合，包括：对于每张所述局部环视图，根据相应车载摄像头的内参和预设的摄像头畸变表，拟合出成像平面的平面中心；根据预设的摄像头畸变表，对每张所述局部环视图进行二次曲线拟合，使得相应局部环视图的交叉中心与成像平面的平面中心重合；其中，所述交叉中心为合成相应局部环视图的相邻两张车道线图像的交叉中心。4.如权利要求3所述的车载全景环视自动标定方法，其特征在于，所述对去畸变处理后的每张局部环视图进行车道线投影和拼接融合，得到全景环视图，包括：将每张所述局部环视图投影到预先构建的车道线模型中，得到全景环视图；根据所有所述车载摄像头的内参和预设的摄像头畸变表，拟合出成像平面的联合平面中心；检测所述联合平面中心与摄像头中心是否重合；其中，所述摄像头中心是根据多个所述车载摄像头的安装位置确定；当所述联合平面中心与摄像头中心重合时，输出投影后的全景环视图。5.一种车载全景环视自动标定系统，其特征在于，包括：图像获取模块，用于获取多个车载摄像头拍摄到的不同角度下的车道线图像；图像合成模块，用于根据相邻两个车载摄像头的内参和外参，对相应相邻两张车道线图像进行拼接，得到多张局部环视图；图像去畸变模块，用于对每张所述局部环视图进行去畸变处理，使得去畸变后的局部环视图的交叉中心与成像平面的平面中心重合；图像拼接融合模块，用于对去畸变处理后的每张局部环视图进行车道线投影和拼接融合，得到全景环视图；其中，所述全景环视图中车道线为一条平滑直线。
6.如权利要求5所述的车载全景环视自动标定系统，其特征在于，所述图像合成模块包括：摄像头坐标系位置确定单元，用于根据所述车载摄像头的内参和外参，确定相应车载摄像头的摄像头坐标系与世界坐标系之间的相对位置关系；车道线图像合成单元，用于根据相邻两张车道线图像之间的投影变换关系、相应相邻两个车载摄像头的摄像头坐标系与世界坐标系之间的相对位置关系，将相应相邻的两张车道线图像合成一张图像，得到对应的局部环视图。7.如权利要求6所述的车载全景环视自动标定系统，其特征在于，所述图像去畸变模块包括：平面中心拟合单元，用于对于每张所述局部环视图，根据相应车载摄像头的内参和预设的摄像头畸变表，拟合出成像平面的平面中心；图像曲线拟合单元，用于根据预设的摄像头畸变表，对每张所述局部环视图进行二次曲线拟合，使得相应局部环视图的交叉中心与成像平面的平面中心重合；其中，所述交叉中心为合成相应局部环视图的相邻两张车道线图像的交叉中心。8.如权利要求7所述的车载全景环视自动标定系统，其特征在于，所述图像拼接融合模块包括：车道线投影单元，用于将每张所述局部环视图投影到预先构建的车道线模型中，得到全景环视图；联合平面中心拟合单元，用于根据所有所述车载摄像头的内参和预设的摄像头畸变表，拟合出成像平面的联合平面中心；中心重合检测单元，用于检测所述联合平面中心与摄像头中心是否重合；其中，所述摄像头中心是根据多个所述车载摄像头的安装位置确定；全景环视图输出单元，用于当所述联合平面中心与摄像头中心重合时，输出投影后的全景环视图。9.一种车载全景环视自动标定设备，其特征在于，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的车载全景环视自动标定方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至4中任意一项所述的车载全景环视自动标定方法。

技术总结
本发明公开了一种车载全景环视自动标定方法、系统、设备及存储介质，该方法包括：获取多个车载摄像头拍摄到的不同角度下的车道线图像；根据相邻两个车载摄像头的内参和外参，对相应相邻两张车道线图像进行拼接，得到多张局部环视图；对每张所述局部环视图进行去畸变处理，使得去畸变后的局部环视图的交叉中心与成像平面的平面中心重合；对去畸变处理后的每张局部环视图进行车道线投影和拼接融合，得到全景环视图；其中，所述全景环视图中车道线为一条平滑直线，本发明采用车道线作为标定基准点，可以解决全景环视标定过程中的图像不平滑问题。问题。问题。


技术研发人员：齐绍光 马齐成 吕贤淦 温宇岩 陈辉 冉光伟 张莹 刘俊峰
受保护的技术使用者：星河智联汽车科技有限公司
技术研发日：2023.02.13
技术公布日：2023/7/12