一种分区分层相机标定及图像生成方法

1.本发明属于计算机视觉技术领域，特别是一种分区分层相机标定及图像生成方法。


背景技术：

2.现有技术中，3d点云图像的多个位置点是基于相同的相机内参获得的，但是，在对相机进行标定(标定，是摄像头图像在平面上的2d点与摄像头所拍摄的现实场景中的3d点之间转换所需参数的过程)后，由于物体表面距离相机不同深度的位置点的普适性不同，即内参通常不适用整个空间区域内深度不同的位置点，如果按照相同的相机内参计算得到的3d点云图像，整个空间区域内不同位置点的准确度会有不同。
3.经检索，公开号为cn115810052a的中国发明专利公开了一种相机的标定方法，其中，该相机的标定方法包括：获取多个位置点在相机坐标系下的测量位置坐标；确定相机在机器人坐标系下的初始位姿；进而根据多个位置点在相机坐标系下的测量位置坐标及相机在机器人坐标系下的初始位姿，确定针对相机的补偿矩阵。该相机的标定方法可以同时确定相机的外参以及针对相机内参的补偿矩阵，从而可以根据补偿矩阵对相机坐标系下的位置点的位置坐标进行补偿，得到更为准确的位置坐标，进而有效提升3d相机拍摄的3d点云图像的精度。
4.上述专利是先根据初始标定参数确定物体3d点云，再基于该点云进行补偿，但由于初始标定参数本身就是存在较大误差的，所以即使补偿也是在有误差数值基础上的补偿，使得3d点云图像的准确度难以保证。
5.因此，如何提高相机视野不同区域的标定精度成为了业界亟待解决的技术问题。


技术实现要素：

6.本发明的主要目的是提供一种分区分层相机标定及图像生成方法，本分区分层相机标定方法能对相机视野的不同区域获得适应该区域特点的相对准确的标定参数，继而提供一个利用该标定方法的图像生成方法，从而获得相对精度较高的3d点云图像。
7.本发明的目的可通过下列技术方案来实现：一种分区分层相机标定方法，包括如下步骤：
8.步骤一，利用在相机视野内的标定物获取相机的初始标定参数；
9.步骤二，将相机的图像平面划分为n个区域，在每个区域内随机选取至少一个像素点坐标(ui,vi)，在相机景深范围内沿垂直于图像平面的z轴上将相机有效成像区域分为m层，第i层的坐标为zi，根据中心层的zi值、中心区域的坐标(ui,vi)值以及初始标定参数，确定中心区层的采样点坐标；
10.步骤三，利用标定物处于中心区层采样点区域的若干图像，计算得到的相机标定参数作为基础参数；
11.步骤四，根据不同层的zi值、不同区域的坐标(ui,vi)值和基础参数，确定不同区
层的采样点坐标，利用标定物处于不同区层采样点区域时的若干图像，计算得到不同区层对应的相机标定参数。
12.在某些实施方式中，所述标定物为标定板。
13.在某些实施方式中，所述标定板由机械人控制移动。
14.在某些实施方式中，根据划分的层与区域，规划标定板的移动路径及采样区域。
15.在某些实施方式中，完成整体路径规划后，机器人带着标定板根据规划的路径移动到采样区域，并在采样区域进行小范围的位移与旋转，从而获取若干标定板的图像，从而根据这些图像计算相机的相应标定参数。
16.在某些实施方式中，还包括：获取不同区层坐标中心点到相机视野区域坐标中心点的对应距离，确定不同区层相机标定参数和所述对应距离的关系，根据该关系确定最优的相机标定参数。
17.在某些实施方式中，根据不同区层的对应距离确定不同区层相机标定参数的权重比；不同区层相机标定参数的加权平均数就是最佳的相机标定参数。
18.在某些实施方式中，所述权重比为以所述对应距离为半径的球体与相机视野总体积的比值。
19.在某些实施方式中，根据最优标定参数获取不同区域标定参数相对于最优标定参数的补偿值。
20.一种根据上述分区分层相机标定方法的图像生成方法，根据最优参数建立物体点云，对各个点进行分区层，根据各区层标定参数的补偿值对点云进行优化，从而获得点云图像。
21.与现有技术相比，本分区分层相机标定及图像生成方法具有以下优点：
22.本发明通过初始标定参数，可以自动控制机器人带着标定板移动到相机成像中心区域，从而在中心区域获取更为精确的基础标定参数，再通过基础标定参数进行分区层取样标定，确定各区域相机标定参数和其到中心点对应距离的关系，并根据该关系确定最优的相机标定参数，同时确定各区层参数补偿值，实际拍摄时根据最优参数建立物体点云，再对各个点进行分区层，根据各区层补偿值对点云进行优化，就可以得到精准的物体点云。
23.利用该方法，除了初始标定时需要控制标定板到相机视野范围内，在对其他各区域进行标定时，机器人可以根据划分的层与区域的已知位置的数据，规划标定板的移动路径及采样区域，完成整体路径规划后，机器人带着标定板根据规划的路径移动到采样区域，并在采样区域进行小范围的位移与旋转，从而获取若干标定板的图像，从而根据这些图像计算相机的相应标定参数，如此可以做到全自动标定，更适用于相机的出厂标定。
附图说明
24.在附图，为了展示细节，便于理解其原理，其不一定是按比例绘制的，相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的实施例。
25.图1是相机视野划分区层的示意图；
26.图2是图像生成方法的示意图；
27.图3是距离视野区域中心点的半径为r的球体的示意图。
28.图中，1、相机；2、区域；201、中心区域；3、层；4、球体。
具体实施方式
29.以下是本发明的具体实施例，并结合附图对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例，以下实施方式并不限制权利要求书所涉及的发明。此外，实施方式中说明的特征的所有组合未必是发明的解决方案所必须的。
30.本领域的普通技术人员应理解，所有的定向参考(例如，上方、下方、向上、上、向下、下、顶部、底部、左、右、垂直、水平等)描述性地用于附图以有助于读者理解，且不表示(例如，对位置、方位或用途等)对由所附权利要求书限定的本发明的范围的限制。另外，一些模糊性的术语(例如，基本上、一定的、大体上等)可以是指条件、量、值或尺寸等的轻微不精确或轻微偏差，其中的一些在制造偏差或容限范围内。
31.实施例一
32.相机标定是指通过一定的实验方法，获取相机内部参数和外部参数的过程，以便在图像采集和处理中进行矫正和校正。相机内部参数通常包括焦距、光心、像素大小、畸变系数等，这些参数反映了相机本身的性能和特征。相机外部参数则包括相机在空间中的位置和姿态等信息，也即相机的位姿。进行相机标定的目的是为了能够准确地测量物体的位置、大小和形状等信息，从而实现图像测量、机器视觉、虚拟现实等领域的应用。相机标定通常需要通过拍摄特定的标定板来进行，标定板上通常会标定一些已知的点或特征，从而通过这些点或特征在图像中的位置变化来计算相机内部和外部参数。相机标定可以通过多种算法来实现，如棋盘格标定法、圆点标定法、基于平面和直线的标定法等。它在计算机视觉、机器人、自动驾驶等领域都有广泛的应用。
33.相机分区标定是一种相机标定方法，通过将相机视野划分为不同的区域，对每个区域内的标定点进行独立的标定，从而提高标定的准确性和稳定性。在相机分区标定中，每个区域可以具有不同的权重或标定参数，以适应不同区域内的特征和标定需求。
34.如图1、2所示，一种分区分层相机标定方法，包括如下步骤：
35.步骤1：利用在相机1视野内的标定物获取相机1的初始标定参数，可以通过控制机器人带着标定板移动到相机1视野范围内，并进行小范围位移旋转，获取若干标定板图像，计算得到初始相机1标定参数。标定板例如可为棋盘格标定板。因为相机1的视距与视野是已知参数，在此部分控制机器人移动的方式可以采用全自动的方式进行。
36.步骤2：将相机1的图像平面划分为n个区域2，在每个区域2内随机选取至少一个像素点坐标(ui,vi)，在相机1景深范围内沿垂直于图像平面的z轴上将相机1景深范围有效成像区域分为m层3，第i层的坐标为zi，根据中心层的zi值、中心区域201选取的坐标(ui,vi)值以及初始标定参数，确定中心区层的采样点坐标，。
37.如图2所示，相机1的视野区域是一个三维立体区域，类似于一个四棱台。
38.层3可在景深范围内等距划分，区域2是在图像平面内平均划分，在划分好的每个区层进行随机采样，达到均匀采样的效果，所谓区层即不同层3的不同区域2。
39.中心区层即中心层的中心区域201，例如，如果分为三层，则第2层为中心层，如分为4层，第2、3层为中心层，一般分为奇数层更佳，本实施例为5层，第三层为中心层；同理，中心区域201，例如，如果采用井字格划分的区域2，则最中间的矩形区域2为中心区域201。
40.步骤3：控制机器人带着标定板移动到中心区层采样点处，并在该处进行小范围位移旋转，改变位姿，获取若干标定板图像，计算得到中心区层对应的相机1标定参数，作为基础参数。
41.步骤4：根据zi值、不同区层的选取的坐标(ui,vi)值和基础参数，得到所有区层的采样点坐标，按步骤3中方法得到每一区层对应的相机1标定参数，即控制机器人带着标定板移动到各区层采样点处，并在该处进行小范围位移旋转，改变位姿，获取若干标定板图像，计算得到各区层对应的相机1标定参数。机器人根据划分的层与区域2，规划标定板的移动路径及采样区域2，完成整体路径规划后，机器人带着标定板根据规划的路径移动到采样区域2，并在采样区域2进行小范围的位移与旋转，从而获取若干标定板的图像，从而根据这些图像计算相机1的相应标定参数。除了初始控制标定板到相机1视野范围内外，其他需标定的区域2可以做到全自动标定，更适用于相机1的出厂标定。
42.进一步，获取每个区层中心点到相机1视野区域中心点的距离，中心点即为该区层所有点坐标的均值坐标，确定相机1标定参数和对应距离的关系，可拟合为一条曲线，并根据该关系确定最优的相机1标定参数，以及各区域2标定参数相对于最优参数的补偿值。
43.具体的，可以根据不同区层的对应距离确定不同区层相机1标定参数的权重比；本实施例的所述权重比为：如图3所示，以所述对应距离为半径r的球体4与相机1视野总体积的比值，不同区层相机1标定参数的加权平均数就是最佳的相机1标定参数。从而，可以根据最优标定参数获取不同区域2标定参数相对于最优标定参数的补偿值。
44.生成图像的方法为：相机1拍摄时，根据上述标定方法获得的相机1最优参数建立物体点云，再对各个点进行分区层，根据各区层标定参数的补偿值对点云进行优化。即，通过初始标定参数，自动控制机器人带着标定板移动到相机1成像中心区域201，从而在中心区域201获取更为精确的基础标定参数，再通过基础标定参数进行分区层取样标定，确定各区域2相机1标定参数和其到中心点对应距离的关系，并根据该关系确定最优的相机1标定参数，同时确定各区层参数补偿值，实际拍摄时根据最优参数建立物体点云，再对各个点进行分区层，根据各区层补偿值对点云进行优化，就可以得到精准的物体点云。
45.之所以对不同区域标定参数进行加权，是因为在相机标定中，我们通常会使用多组已知的世界坐标和对应的图像坐标来计算相机内部参数和外部参数。这些点可能分布在整个图像中，但是实际上，离相机较近的点比离相机较远的点更容易被正确地检测和匹配，因此对于不同距离的点，我们可以根据其距离权重来分配不同的标定区域，以便更加精确地计算相机的内部参数和外部参数。
46.具体来说，相机距离加权的分区标定将图像分为多个距离区间，并为每个区间分配一个权重值。在标定时，每个区间内的点的权重值是不同的，距离相机较近的点权重较大，距离相机较远的点权重较小。通过这种方式，可以更加精确地计算出相机的内部参数和外部参数，从而提高标定的精度和稳定性。
47.尽管本文较多地使用了一些术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。说明书及附图中所示的装置及方法中的动作、步骤等执行顺序，只要没有特别明示顺序的限定，只要前面处理的输出并不用在后面的处理中，则可以任意顺序实现。为描述方便起见而使用的类似次序性的用语(例如，“首先”、“接着”、“其次”、“再
次”、“然后”等)，并不意味着必须依照这样的顺序实施。
48.本文中所描述的具体实施例，仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例，做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

技术特征：
1.一种分区分层相机标定方法，其特征在于，包括如下步骤：步骤一，利用在相机视野内的标定物获取相机的初始标定参数；步骤二，将相机的图像平面划分为n个区域，在每个区域内随机选取至少一个像素点坐标(ui,vi)，在相机景深范围内沿垂直于图像平面的z轴上将相机有效成像区域分为m层，第i层的坐标为zi，根据中心层的zi值、中心区域的坐标(ui,vi)值以及初始标定参数，确定中心区层的采样点坐标；步骤三，利用标定物处于中心区层采样点区域的若干图像，计算得到的相机标定参数作为基础参数；步骤四，根据不同层的zi值、不同区域的坐标(ui,vi)值和基础参数，确定不同区层的采样点坐标，利用标定物处于不同区层采样点区域时的若干图像，计算得到不同区层对应的相机标定参数。2.根据权利要求1所述的分区分层相机标定方法，其特征在于，所述标定物为标定板。3.根据权利要求2所述的分区分层相机标定方法，其特征在于，所述标定板由机械人控制移动。4.根据权利要求3所述的分区分层相机标定方法，其特征在于，根据划分的层与区域，规划标定板的移动路径及采样区域。5.根据权利要求4所述的分区分层相机标定方法，其特征在于，完成整体路径规划后，机器人带着标定板根据规划的路径移动到采样区域，并在采样区域进行小范围的位移与旋转，从而获取若干标定板的图像，从而根据这些图像计算相机的相应标定参数。6.根据权利要求1所述的分区分层相机标定方法，其特征在于，还包括：获取不同区层坐标中心点到相机视野区域坐标中心点的对应距离，确定不同区层相机标定参数和所述对应距离的关系，根据该关系确定最优的相机标定参数。7.根据权利要求6所述的分区分层相机标定方法，其特征在于，根据不同区层的对应距离确定不同区层相机标定参数的权重比；不同区层相机标定参数的加权平均数就是最佳的相机标定参数。8.根据权利要求7所述的分区分层相机标定方法，其特征在于，所述权重比为以所述对应距离为半径的球体与相机视野总体积的比值。9.根据权利要求6所述的分区分层相机标定方法，其特征在于，根据最优标定参数获取不同区域标定参数相对于最优标定参数的补偿值。10.一种图像生成方法，其特征在于，包括如权利要求9所述的分区分层相机标定方法，根据最优参数建立物体点云，对各个点进行分区层，根据各区层标定参数的补偿值对点云进行优化，从而获得点云图像。

技术总结
本发明提供了一种分区分层相机标定及图像生成方法，属于计算机视觉技术领域。它解决了现有技术中的问题。本分区分层相机标定及图像生成方法，通过初始标定参数，可以自动控制机器人带着标定板移动到相机成像中心区域，从而在中心区域获取更为精确的基础标定参数，再通过基础标定参数进行分区层取样标定，确定各区域相机标定参数和其到中心点对应距离的关系，并根据该关系确定最优的相机标定参数，同时确定各区层参数补偿值，实际拍摄时根据最优参数建立物体点云，再对各个点进行分区层，根据各区层补偿值对点云进行优化，就可以得到精准的物体点云。准的物体点云。准的物体点云。


技术研发人员：郑铭岳 杨仕涛 黄丹 刘鹏辉
受保护的技术使用者：深圳职业技术学院
技术研发日：2023.05.23
技术公布日：2023/8/16