一种鲁棒的高精度相机标定方法与流程

1.本发明涉及相机标定领域，特别地，涉及一种鲁棒的高精度相机标定方法。


背景技术：

2.在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。相机厂商需要在相机出厂时对相机进行标定，才可以使相机较好地应用。
3.相机的标定可以分为两种，第一种是相机的自标定；第二种是依赖于标定参照物的标定方法。前者是相机拍摄周围物体，通过数字图像处理的方法和相关的几何计算得到相机参数，但是由于这种方法没有考虑相机本身的影响，在有限次的测试中拟合相机的整体参数，使得结果误差较大，不适合于高精度应用场合。后者是通过标定参照物，由相机成像，并通过数字图像处理的方法，以及后期的空间算术运算计算相机的内参和外参。这种方法一般采用具有明显特征的特定物，并且考虑不同坐标系的变换，因而标定的精度高，适用于对精度要求高的应用场合。本专利申请的方案适用于第二种标定方法的优化。
4.相机的标定需要将世界坐标系、相机坐标系、图像坐标系和像素坐标系进行转换，通过不同的参数代理不同的转换关系，并通过矩阵运算最终得到最终参数。标定的过程就是求解外参和内参的过程。外参就是相机相对于世界坐标系的旋转和平移变换关系。内参是相机固有的属性，实际上就是焦距，像元尺寸。同时物体离光学中心的距离也是影响成像的重要因素。这也就是说，在标定的时候，如果物体在距离相机的不同位置，那么就需要在不同的位置对相机做标定。因此，对于每一个位置都需要去标定。为了获得较好的标定结果，相机厂商通过花费大量的人力物力进行多种方位的标定，但是由于需要标定的参数众多，而标定过程又受定物摆放，标定物采集数量，标定物识别精度的影响，优化过程容易产生较大误差，同一台相机设备经过多次标定很容易出现多个不同的标定结果，导致相机标定的一致性较差。
5.为改进一致性问题，现有技术主要通过改进标定物、改善环境光照、增加照片数量的手段进行。比如，有研究表明，当标定图片在20-30张时，标定结果相对稳定，但这无疑增加了标定的时长，造成产业应用中成本的增加。


技术实现要素：

6.为此，本发明利用可以预先获得的参数，将待标定参数的数量减少，从而使得待求解方程可以快速收敛，再将所有待标定参数进行整体优化，使得各个参数更加准确，从而解决了参数优化过程中的局部极值问题的同时，使得多次标定具有更好的一致性，从而使得同款相机批量标定的结果具有更强的鲁棒性，对于生产效率和产品良率的提高具有重要的指标作用，对于工业生产意义重大。
7.第一方面，本发明提供了一种鲁棒的高精度相机标定方法，适用于单目相机标定，其特征在于，包括如下步骤：
8.s11:获取第一相机内参；所述第一相机内参是指相机的核心部件的参数，包括镜片焦距、传感器尺寸等；
9.s12：由所述相机向标定物发射结构光，并改变所述相机与所述标定物的距离，以获取不同深度距离的多张标定图像；
10.s13：对多张所述标定图像进行处理，获取多个特征点位置信息；
11.s14：利用所述特征点位置信息，计算相机内参和标定板相对于相机的外参；其中，每个所述标定图像对应一个平面方程；
12.s15：选择某个距离的所述标定图像作为基准图像，其他所述标定图像与所述基准图像进行匹配，然后根据不同所述标定图像上对应匹配点所对应生成的3d点，求取投射中心；
13.s16：对上一步骤获取的数据进行优化，并且在优化时，采用分阶段迭代优化的方法，获得相机的所有参数。
14.可选地，所述由相机向标定物发射结构光，以获取不同深度距离的多张标定图像包括：
15.s121：将所述标定物放置于所述相机的视野中，其距离相机的距离为第一深度；
16.s122：由所述相机向所述标定物发射结构光，获取所述第一深度下的所述标定图像；
17.s123:沿着所述相机的光轴方向改变所述标定物和所述相机的距离至第二深度，由所述相机向所述标定物发射结构光，获取第二深度下的所述标定图像。
18.可选地，其特征在于，所述标定物至少覆盖所述相机视野的一半。
19.可选地，所述标定图像至少有两组。
20.第二方面，本发明提供了一种鲁棒的高精度相机标定方法，适用于双目或多目相机标定，其特征在于，包括如下步骤：
21.s21:获取相机第一原始参数；其中，所述相机包括第一摄像头和第二摄像头，所述第一原始参数是指双目相机的核心部件的参数，包括镜片焦距、传感器尺寸、基线距离等；
22.s22：控制相机分别获得标定物的第一图像和第二图像；其中，所述第一图像由所述第一摄像头拍摄，所述第二图像由所述第二摄像头拍摄；
23.s23：对所述第一图像和所述第二图像进行处理，获取多个特征点位置信息；
24.s24:对上一步骤获取的数据进行优化，并且在优化时，采用分阶段迭代优化的方法，获得相机的所有参数。
25.可选地，所述控制相机分别获得标定物的第一图像和第二图像，包括：
26.s221：将所述标定物放置于所述第一摄像头和所述第二摄像头的公共视野中，其距离相机的距离为第三深度；
27.s222：由所述相机向所述标定物发射结构光，获取所述第三深度下的所述第一图像和所述第二图像；
28.s223：移动标定物至第四深度，由所述相机向所述标定物发射结构光，获取第二深度下的所述第一图像和所述第二图像。
29.可选地，所述标定物覆盖所述第一摄像头和所述第二摄像头的公共视野的面积的一半以上。
30.可选地，所述优化方法为非线性优化算法。
31.可选地，适用于第一方面和第二方面，所述对上一步骤获取的数据进行优化，并且在优化时，采用分阶段迭代优化的方法，获得相机的所有参数，包括：
32.s61：对外参中的平移参数采用初始估计，在优化过程中保持不变，优化旋转量；
33.s62：将第一阶段优化的旋转量和平移参数作为初始值，优化全部外参参数，包括旋转参数和平移参数。
34.可选地，当所述第一相机内参或不可靠时，还包括如下步骤：
35.s63：将上一步骤获得的旋转参数和平移参数的值作为初始值，同时优化相机内参和相机外参，以提高标定精度。
36.与现有技术相比，本发明具有如下的有益效果：
37.本发明利用可获得参数，使得参数计算可以迅速收敛至目标值附近，有效解决了局部极值的问题。本发明采用分步的方法计算各个参数，并在后续过程中解锁之前的参数，使得各个参数都可以获得最优解。本发明通过对参数的分步优化，使得参数确定过程更加稳定，优化一致性得到极大提高。本发明通过对参数的分步优化，使得对于标定操作的要求大大降低，减少了标定的工作量，提高了产业上标定的效率。本发明使得同款相机批量标定的结果具有更强的鲁棒性，对于生产效率和产品良率的提高具有重要的指标作用，对于工业生产意义重大。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
39.图1为本发明实施例中一种鲁棒的高精度相机标定方法的流程图；
40.图2为本发明实施例中一种优化极值示意图；
41.图3为本发明实施例中一种标定图像获取流程图；
42.图4示出了本发明实施例中另一种鲁棒的高精度相机标定方法的流程图；
43.图5为本发明实施例中另一种标定图像获取流程图；
44.图6为本发明实施例中一种分阶段优化流程图；
45.图7为本发明实施例中采用的一种光斑；
46.图8为本发明实施例中测试的一组结果。
具体实施方式
47.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
48.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第
四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
49.下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
50.下面以具体地实施例对本发明的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
51.本发明提供了一种鲁棒的高精度相机标定方法，该方法可以用于只有一个相机的单目标定，或者，可以应用于一个相机加上一个激光投射器组成的单目结构光相机或是tof相机标定，又或者，可以用于两个相机或更多相机组成的双目标定或多目标定。即，本发明提供的方法可以应用于各类相机标定。下面将结合附图，对本发明的实施例进行描述。
52.图1示出了本发明实施例中一种鲁棒的高精度相机标定方法的流程图。一种鲁棒的高精度相机标定方法，适用于单目相机标定。以单目结构光相机为例，本发明提供的高精度相机标定方法包括如下步骤：
53.s11:获取第一相机内参；
54.所述第一相机内参是指相机的核心部件的参数，包括镜片焦距、传感器尺寸等。单目结构光相机包括结构光投射器和ir接收器，在有的单目结构相机中还包括rgb相机，本实施例以仅有结构光投射器和ir接收器的单目结构光相机为例进行说明。相机的标定就是求取内参矩阵kc和投影仪的内参矩阵kp，以及相机和投影仪之间的外参矩阵：旋转矩阵r和平移矩阵t的过程。此外，由于相机和投影仪的镜头都不可避免的存在畸变，我们还需要标定出相机和投影仪的畸变系数。在需要标定的参数中，部分参数与相机的核心部件的参数密切相关，或者就是相机的核心部件的参数本身。通常相机配件的厂商会提供其参数，因此可以直接使用。如果相机配件的厂商未提供相关参数，则可以跳过本步骤，将这些参数与其他参数一同标定。
55.s12：由所述相机向标定物发射结构光，并改变所述相机与所述标定物的距离，以获取不同深度距离的多张标定图像；
56.相机的标定有自标定和特征物标定两种。自标定是以寻找图像中的特征点的方式进行标定。标定物标定是采用标定物的方式进行标定，其特征点易求，稳定性好，也是最广泛采用的标定方式。本实施例采用的标定物为标定板。标定板的种类有多种，比如charuco，棋盘格，不对称的圆和棋盘格。本实施例后续以棋盘格为例进行说明，但显然也可以应用其他标定物实现本实施例之目的。
57.本步骤需要将标定物置于相机视野内，通过改变标定物与相机距离的方式获取多张标定图像。标定图像是待标定的相机拍摄的包含有标定物的图像。在改变标定物与相机距离时，既可以只移动相机，也可以只移动标定物，还可以同时对相机和标定物进行移动。只要能够改变两者的相对距离即可，本实施例不对具体的实现方式进行限制。相比于在相
机的不同距离处布置标定物，通过移动改变相机与标定物的距离的方式有助于保持标定物的一致性，规避了不同标定物在细节上存在细微差异的问题，使得标定的一致性更好。在一次标定过程中，只采用一个标定物，以保持标定的准确性。
58.在移动相机或标定物的过程中，需要沿着光轴方向移动，从而保证获得的多张不同深度的标定图像具有相同的视角，有利于提高对比的一致性。较优地，标定物垂直于相机光轴放置，且标定物吕心位于光轴上。
59.s13：对多张所述标定图像进行处理，获取多个特征点位置信息；
60.不同的标定物具有不同的特征点。如果为棋盘格标定板，其特征点为黑白相间的网格与对角线方向上的网格的连接点，因其是两条直线的交叉点，又是两种不同颜色的分隔点而非常容易识别。多个特征点的分布呈现一定的规律性，因而更容易对相机较大范围内进行标定。或者，标定物图像为圆形标定板，则提取圆形点阵的圆心作为特征，又或者标定物为十字丝，则提取十字丝中心作为特征。提取特征后，根据特征位置，计算相机内参和畸变系数。例如，可以采用张正友标定法计算相机内参和畸变系数。
61.s14：利用所述特征点位置信息，计算相机内参和标定板相对于相机的外参；
62.其中，每个所述标定图像对应一个平面方程，多个所述标定图像对应多个不同的平面方程。
63.当标定物中心位于相机光轴上时，根据张氏标定法可知像素坐标系和世界坐标系下的坐标映射关系为：
[0064][0065]
其中，u,v表示像素坐标系中的坐标，u0,x0,γ(由于制造误差产生的两个坐标轴偏斜参数，通常很小，如果按上述矩阵运算得到的值即为0)表示5个相机内参,r,t表示相机外参,xw,yw,zw表示世界坐标系中的坐标。
[0066]fx
,fy和物理焦距f之间的关系为：f
x
＝fs
x
和fy＝fsy。其中表示x方向上的1毫米长度所代表像素值，即像素/单位毫米。
[0067]
(xw,yw)作为标定物的空间坐标，可以由设计者人为控制，是已知量。(u,v)是像素坐标，我们可以直接通过摄像机获得。对于一组对应(xw,yw)-(u,v)我们可以获得两组方程。
[0068]
现在有8个未知量需要求解，所以我们至少需要八个方程。所以需要四个对应点。四点即可算出，图像平面到世界平面的单应性矩阵h。而通常为了提高数据的准确性，减少误差，使其具有更强的鲁棒性，往往会拍摄许多张照片。
[0069]
由于标定板的尺寸及特征点位置是已知的，本步骤可以通过特征点位置信息，计算得到标定物在相机坐标系下的平面方程。
[0070]
散斑图像采用散斑提取方法进行定位，例如采用blob分析，图像分割等方法获取
散斑中心。不同位置之间的散斑通过匹配算法，例如block match，sift或光流法等实现匹配。
[0071]
s15：选择某个距离的所述标定图像作为基准图像，其他所述标定图像与所述基准图像进行匹配，然后根据不同所述标定图像上对应匹配点所对应生成的3d点，求取投射中心；
[0072]
利用步骤s13中的特征定位方法，对标定物进行定位，进而得到标定物平面与图像平面的单应变换，利用步骤要s13计算得到的相机内参和畸变参数，计算出标定物物理平面在相机坐标系下的平面方程，同时利用单应变换，将步骤s14中提取到的散斑位置变换到标定物的物理平面，得到其在相机坐标系下的三维坐标。利用步骤s14得到的匹配关系，将相同的点连接成直线。根据投射器的光学性质，不同散斑对应直线的光束汇聚到投射器中心。该中心作为后续优化的初始值。
[0073]
通过识别不同深度的标定图像可以获得不同的特征点位置，获得在同一光路上的特征点的坐标，即可获得投射中心。理论上，两张不同深度的标定图像即可求取投射中心。但由于待求取参数较多，现有技术中通常采用4组以上的照片才可以获得所有待求参数。而本实施例由于采用了第一相机内参对参数进行固定，使得只需要2组参数即可获得所有待求参数，即只需要2组标定图像。
[0074]
s16：对上一步骤获取的数据进行优化，并且在优化时，采用分阶段迭代优化的方法，获得相机的所有参数。
[0075]
在对计算所得数据进行优化时，采用分阶段优化的方式，即先固定一部分参数，使得其他参数迅速收敛。在优化过程中，实际的数据优化常常有多个局部极值，优化时常常将该值优化到局部极值，但并不总是优化到最佳极值。以图2为例，有三个局部极值b,c,e,最佳极值为e。当初始值为a时，对数据的优化常优化到其局部极值b，而非最佳极值e。本步骤通过先固定一部分参数，迫使其接近最佳极佳，从而可以达到快速收敛的目的，并解决了优化至局部极值的问题。
[0076]
从计算时间上看，本步骤并比现有技术中整体优化的方法时间略长，但是节省了本步骤之前的时间，从而在整体上节省了时间、标定成本，提高了数据的一致性，更加适应于工业生产的需要。
[0077]
在部分实施例中，如图3所示，s12所述由相机向标定物发射结构光，以获取不同深度距离的多张标定图像包括：
[0078]
s121：将所述标定物放置于所述相机的视野中，其距离相机的距离为第一深度；
[0079]
在单目结构光相机视场的不同位置放置标定物，拍摄标定图像，较佳地，标定图像尽可能覆盖相机的全部视野，例如拍摄9张标定图像，那么标定物应出现在图像的左上角，上方，右上角，左侧，中间和右侧，以及左下角，下方和右下角各拍摄一张图。
[0080]
s122：由所述相机向所述标定物发射结构光，获取所述第一深度下的所述标定图像；
[0081]
本步骤只需发射结构光获取光斑图像即可，但如果上一实施例中步骤s11被跳过，则可以与本步骤合并拍摄，以下以合并拍摄为例进行说明。标定图像包括标定物图像和散斑图像。在单目结构光相机的视场的不同位置放置标定物，拍摄标定物图像和散斑图像，较佳地，散斑图像和标定物图像分开拍摄，即一张图像是标定物图像，另一张图像是散斑照射
在标定物上的图像，且两张图像中单目结构光相机和标定物保持固定，不存在相对运动。较佳地，标定物沿垂直于相机光轴的方向运动。所述标定物至少覆盖所述相机视野的一半。
[0082]
s123:沿着所述相机的光轴方向改变所述标定物和所述相机的距离至第二深度，由所述相机向所述标定物发射结构光，获取第二深度下的所述标定图像。
[0083]
在本步骤中，将所述标定物和所述相机的距离改变至第二深度，改变的方式参照前一实施例。所述标定物至少覆盖所述相机视野的一半。经过申请人的大量数据测试，对领域应用的深度相机而言，所述第二深度与所述第一深度的差值最少在相机焦距的3倍以上才可以保证两组标定图像的情况下能够获得较好的标定准确性。第二深度是不同于第一深度的值。需要说明的是，第二深度可以有多个不同的深度，以达到更好的标定效果。在第二深度，重复上一步骤中的拍摄，此处不再赘述。
[0084]
本实施例明确了拍摄多组标定图像的过程，并且与现有技术中的图像标定相配合，提高了本实施例的应用场景，并且可以保证拍摄的至少2组拍摄图像满足应用需求，在相同的条件下取得更好的标定准确，从而提高数据的鲁棒性。本实施例的应用可以使得工业应用中的数据可以更加快捷的获取，并且具有更好的一致性，更加适用于工业应用。
[0085]
图4示出了本发明实施例中另一种鲁棒的高精度相机标定方法的流程图。一种鲁棒的高精度相机标定方法，适用于双目或多目相机标定，其特征在于，包括如下步骤：
[0086]
s21:获取相机第一原始参数；
[0087]
不同于单目相机，双目或多相机具有两个或多个成像的摄像头。后续以双目相机为例进行说明。双目相机由两个单目相机组成，相机间距离(基线)已知来估计像素间位置。双目相机有其明显的优点，比如基线距离越大测量越远，可以用于室内和室外。但同时，其配置与标定复杂，深度量程与精度受基线与分辨率限制，需要特殊处理，计算量大。相比于单目相机，双目相机除了单个相机的参数外，还包括基线距离。在标定时，需要将标定物置于两个单独相机的共同视野中。所述相机包括第一摄像头和第二摄像头，所述第一原始参数是指双目相机的核心部件的参数，包括镜片焦距、传感器尺寸、基线距离等。
[0088]
s22：控制相机分别获得标定物的第一图像和第二图像；
[0089]
所述第一图像由所述第一摄像头拍摄，所述第二图像由所述第二摄像头拍摄。所述第一图像和所述第二图像均是在所有参数固定不变的情况下拍摄获得的，包括标定物与相机的距离。第一图像和第二图像中均存在标定物，即双目相机的公共视野中存在标定物。需要指出的是，标定物可以有部分不在双目相机的公共视野内。
[0090]
s23：对所述第一图像和所述第二图像进行处理，获取多个特征点位置信息；
[0091]
第一图像和第二图像上均可以获得多个特征点位置信息，每个图像获得一组特征点位置信息。通过多组特征点位置信息数据，可以获取相机中心。与单目相机相同，双目相机也需要至少2组标定图像，才可以获得相机中心数据。
[0092]
不同于单目相机，在双目相机标定中，还需要对相机进行极线校正，以使得两个相机的光轴完全平行，这样才能够继续后续的深度计算，三维重建。例如在opencv中采用的是bouguet的极线校正的算法。具体的算法已有较多公开，本实施例不再赘述。
[0093]
s24:对上一步骤获取的数据进行优化，并且在优化时，采用分阶段迭代优化的方法，获得相机的所有参数。
[0094]
优化方法为非线性优化算法。本实施例采用levenberg-marquardt(以下简称lm算
法)进行分阶段优化，当然，也可以采用其它非线性优化算法进行优化。本步骤与步骤s16基本相同，区别在于双目相机与单目相机不同而引起的参数不同。在对计算所得数据进行优化时，采用分阶段优化的方式，即先固定一部分参数，使得其他参数迅速收敛。在优化过程中，实际的数据优化常常有多个局部极值，优化时常常将该值优化到局部极值，但并不总是优化到最佳极值。本步骤通过先固定一部分参数，迫使其接近最佳极佳，从而可以达到快速收敛的目的，并解决了优化至局部极值的问题。
[0095]
从计算时间上看，本步骤并比现有技术中整体优化的方法时间略长，但是节省了本步骤之前的时间，从而在整体上节省了时间、标定成本，提高了数据的一致性，更加适应于工业生产的需要。
[0096]
本实施例利用双目相机的初始参数，使双目相机的标定过程迅速收敛，避免了优化至局部极值的问题，使得标定结果更加准确，并且具有较高的一致性，更加适用于工业生产的需求，可以大大降低相机生产商的标定成本，提高标定效率。
[0097]
在部分实施例中，如图5所示，步骤s22：所述控制相机分别获得标定物的第一图像和第二图像，包括：
[0098]
s221：将所述标定物放置于所述第一摄像头和所述第二摄像头的公共视野中，其距离相机的距离为第三深度；
[0099]
将所述标定物放置在第一摄像头和第二摄像头的公共视野中，并将标定物距离相机的距离记为第三深度。所述标定物可以有部分不在公共视野中。所述标定物覆盖所述第一摄像头和所述第二摄像头的公共视野的面积的一半以上。
[0100]
s222：由所述相机向所述标定物发射结构光，获取所述第三深度下的所述第一图像和所述第二图像；
[0101]
第一图像和第二图像的公共视野内的标定物，可以是一组标定，也可以是尺寸较大的单个标定物。标定物的特征点越多，其识别的效果越好。经过申请人的大量数据测试，对消费领域应用的深度相机而言，所述第二深度与所述第一深度的差值最少在相机焦距的3倍以上才可以保证两组标定图像的情况下能够获得较好的标定准确性。标定板的特征点数量至少为72个才可以满足在消费领域应用的深度相机的标定要求。
[0102]
s223：移动标定物至第四深度，由所述相机向所述标定物发射结构光，获取第二深度下的所述第一图像和所述第二图像。
[0103]
所述标定物可以有部分不在公共视野中。需要说明的是，在第三深度和第四深度处，至少有一个位置中，标定物完全处于相机的公共视野中。所述标定物覆盖所述第一摄像头和所述第二摄像头的公共视野的面积的一半以上。
[0104]
本实施例明确了拍摄多组标定图像的过程，并且与现有技术中的图像标定相配合，提高了本实施例的应用场景，并且可以保证拍摄的至少2组拍摄图像满足应用需求，在相同的条件下取得更好的标定准确，从而提高数据的鲁棒性。本实施例的应用可以使得工业应用中的数据可以更加快捷的获取，并且具有更好的一致性，更加适用于工业应用。
[0105]
如图6所示，适用于前述实施例s16和s24，在部分实施例中，所述对上一步骤获取的数据进行优化，并且在优化时，采用分阶段迭代优化的方法，获得相机的所有参数，进一步包括：
[0106]
s61：对外参中的平移参数采用初始估计，在优化过程中保持不变，优化旋转量；
[0107]
本实施例采用levenberg-marquardt(以下简称lm算法)进行分阶段优化。以单目结构光相机为例，本步骤优化旋转量rx,ry,rz,tx；较佳地，当单目结构光相机的结构信息已知时，例如，当相机和投射器水平平行放置，基线距离tx已知，ty和tz接近于0时，可以在第一阶段固定tx,ty,tz为设计值，不参与优化。即第一阶段只优化rx,ry,rz。需要说明的是，本步骤中的参数均为示意性的，在有更多的参数或者更少的参数是已知时，均不影响本实施例的优化过程，只需要减少或者增加本步骤中采用初始估计的参数即可。
[0108]
s62：将第一阶段优化的旋转量和平移参数作为初始值，优化全部外参参数，包括旋转参数和平移参数。
[0109]
本步骤将步骤s61中优化的rx,ry,rz和tx,ty,tz作为初始值，优化全部外参参数，包括旋转参数rx,ry,rz和平移参数tx,ty,tz。
[0110]
为检验本方法的结果，申请人采用如图7所示光斑进行测试，采用双目相机间距为指标进行测试。如图8所示，在测试中，双目相机间的距离被设置为5，8，10，13，15，18，20共7个值，通过采用本实施例的方法与标准张正友标定法(常规方案)进行对比。常规方案平均误率为11％，而本实施例方案误差率为0.88％，为常规方案误差率的1/12，大大提高了测量的准确性。
[0111]
本实施例明确了分步优化的步骤，并可以灵活地采用已知参数，使得相机标定过程更加灵活与准确，可以适用于各种相机的初始标定过程，加速相机标定的收敛过程，并规避局部极值的问题，同时可以提高标定结果的一致性，解决了因操作不同而导致结果不同的问题，使得结果具有更高的鲁棒性。
[0112]
在部分实施例中，当所述第一相机内参或不可靠时，还包括如下步骤：
[0113]
s63：将上一步骤获得的旋转参数和平移参数的值作为初始值，同时优化相机内参和相机外参，以提高标定精度。
[0114]
当相机内参不可靠时，例如相机出厂标定不准，或是相机结构发生变化导致参数变化，那么相机的内参是不准确的，也可以将前两部的优化结果作为初值，同时优化相机内参、畸变系数和相机外参fx,fy,cx,cy,k1,k2,p1,p2，rx,ry,rz，tx,ty,tz，提高标定精度。
[0115]
可选地，还可以在步骤s61之后直接执行步骤s63，以缩短优化时间。
[0116]
本步骤可以作为内参不可靠时的替代方案，以满足产业中对于相机标定的需求。当标定的结果异常时，通常意味着相机内参不可靠，或相机遭受损坏而导致参数可能发生变化时，也可以执行本步骤，以求获得准确的标定结果。
[0117]
本发明的优化方法，除了示例中提到的单目结构光相机优化之外，也可用于其它具有较高置信度的已知信息的优化中。例如在单目相机标定中，业界常用的张正友标定法对相机标定对相机参数不作任何假设，因此对于一些相机的有用信息没有使用。例如，当事先已知镜头焦距的精确值时，可以将焦距的精确值作为初值，不参与第一阶段的优化，而是固定该精确值，将其它未知参数优化到较精确的值，在第二阶段中，再将第一阶段的较精确的优化结果作为第二阶段优化的初始值，优化全部待优化参数，达到更加精确的优化效果。
[0118]
又或者，在双目相机标定中，也可以将双目相机的结构信息作为初值，不参与第一阶段的优化，而是固定该精确值，将其它未知参数优化到较精确的值，在第二阶段中，再将第一阶段的较精确的优化结果作为第二阶段优化的初始值，优化全部待优化参数，达到更加精确的优化效果。
[0119]
本发明的分阶段标定方法，可以解决标定问题在实际中由于参数数量较多，容易优化到局部极值的问题，该问题的表现为，标定计算结果与标定实施过程关系较大，不同实施人员标定相同设备，常常由于标定物摆放位置不同，或是标定物定位算法存在误差等因素导致相同设备的标定结果差异较大。通过分阶段标定，在标定开始阶段增加约束，得到较好的优化初值，再在后续阶段逐步解放约束对更多参数实施优化，已达到较高的精度和较好的一致性。
[0120]
较佳地，本发明可以利用设备的先验信息，例如相机的焦距，或是单目结构光，又或是双目结构光的基线距离等，将较准确的先验信息作为约束参与到优化中，得到一致性较高的标定结果。降低标定实施过程和标定物定位算法的误差对标定结果精度和标定一致性的影响。
[0121]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
[0122]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

技术特征：
1.一种鲁棒的高精度相机标定方法，适用于单目相机标定，其特征在于，包括如下步骤：s11:获取第一相机内参；所述第一相机内参是指相机的核心部件的参数，包括镜片焦距、传感器尺寸等；s12：由所述相机向标定物发射结构光，并改变所述相机与所述标定物的距离，以获取不同深度距离的多张标定图像；s13：对多张所述标定图像进行处理，获取多个特征点位置信息；s14：利用所述特征点位置信息，计算相机内参和标定板相对于相机的外参；其中，每个所述标定图像对应一个平面方程；s15：选择某个距离的所述标定图像作为基准图像，其他所述标定图像与所述基准图像进行匹配，然后根据不同所述标定图像上对应匹配点所对应生成的3d点，求取投射中心；s16：对上一步骤获取的数据进行优化，并且在优化时，采用分阶段迭代优化的方法，获得相机的所有参数。2.根据权利要求1所述的一种鲁棒的高精度相机标定方法，其特征在于，所述由相机向标定物发射结构光，以获取不同深度距离的多张标定图像包括：s121：将所述标定物放置于所述相机的视野中，其距离相机的距离为第一深度；s122：由所述相机向所述标定物发射结构光，获取所述第一深度下的所述标定图像；s123:沿着所述相机的光轴方向改变所述标定物和所述相机的距离至第二深度，由所述相机向所述标定物发射结构光，获取第二深度下的所述标定图像。3.根据权利要求2所述的一种鲁棒的高精度相机标定方法，其特征在于，所述标定物至少覆盖所述相机视野的一半。4.根据权利要求1所述的一种鲁棒的高精度相机标定方法，其特征在于，所述标定图像至少有两组。5.一种鲁棒的高精度相机标定方法，适用于双目或多目相机标定，其特征在于，包括如下步骤：s21:获取相机第一原始参数；其中，所述相机包括第一摄像头和第二摄像头，所述第一原始参数是指双目相机的核心部件的参数，包括镜片焦距、传感器尺寸、基线距离等；s22：控制相机分别获得标定物的第一图像和第二图像；其中，所述第一图像由所述第一摄像头拍摄，所述第二图像由所述第二摄像头拍摄；s23：对所述第一图像和所述第二图像进行处理，获取多个特征点位置信息；s24:对上一步骤获取的数据进行优化，并且在优化时，采用分阶段迭代优化的方法，获得相机的所有参数。6.根据权利要求5所述的一种鲁棒的高精度相机标定方法，其特征在于，所述控制相机分别获得标定物的第一图像和第二图像，包括：s221：将所述标定物放置于所述第一摄像头和所述第二摄像头的公共视野中，其距离相机的距离为第三深度；s222：由所述相机向所述标定物发射结构光，获取所述第三深度下的所述第一图像和所述第二图像；s223：移动标定物至第四深度，由所述相机向所述标定物发射结构光，获取第二深度下
的所述第一图像和所述第二图像。7.根据权利要求5所述的一种鲁棒的高精度相机标定方法，其特征在于，所述标定物覆盖所述第一摄像头和所述第二摄像头的公共视野的面积的一半以上。8.根据权利要求5所述的一种鲁棒的高精度相机标定方法，其特征在于，所述优化方法为非线性优化算法。9.根据权利要求1或5所述的一种鲁棒的高精度相机标定方法，其特征在于，所述对上一步骤获取的数据进行优化，并且在优化时，采用分阶段迭代优化的方法，获得相机的所有参数，包括：s61：对外参中的平移参数采用初始估计，在优化过程中保持不变，优化旋转量；s62：将第一阶段优化的旋转量和平移参数作为初始值，优化全部外参参数，包括旋转参数和平移参数。10.根据权利要求9所述的一种鲁棒的高精度相机标定方法，其特征在于，当所述第一相机内参或不可靠时，还包括如下步骤：s63：将上一步骤获得的旋转参数和平移参数的值作为初始值，同时优化相机内参和相机外参，以提高标定精度。

技术总结
本发明提供了一种鲁棒的高精度相机标定方法，包括如下步骤：获取第一相机内参；由所述相机向标定物发射结构光，并改变所述相机与所述标定物的距离，以获取不同深度距离的多张标定图像；对多张所述标定图像进行处理，获取多个特征点位置信息；利用所述特征点位置信息，计算相机内参和标定板相对于相机的外参；选择某个距离的所述标定图像作为基准图像，其他所述标定图像与所述基准图像进行匹配，然后根据不同所述标定图像上对应匹配点所对应生成的3D点，求取投射中心；对上一步骤获取的数据进行优化，并且在优化时，采用分阶段迭代优化的方法，获得相机的所有参数。本发明解决了参数优化过程中的局部极值问题的同时，使得多次标定具有更好的一致性。定具有更好的一致性。定具有更好的一致性。


技术研发人员：杨煦 黄龙祥 朱力 吕方璐 汪博
受保护的技术使用者：深圳市光鉴科技有限公司
技术研发日：2022.01.29
技术公布日：2023/8/9