一种站位-视点联合覆盖路径规划方法与流程

1.本发明属于移动视觉检测规划的技术领域，具体涉及一种站位-视点联合覆盖路径规划方法。


背景技术：

2.大型复杂组件的外观质量检测面临着空间跨度大、检测项目类型多的问题。例如，在船舶制造、航空航天等领域，经常进行针对数米尺度组件的检测作业。传统地，需要检测人员目视检查，这种方式效率较低，且容易出错。随着机器人与视觉技术的发展，基于移动视觉机器人的产品质量检测方案正在引起越来越多的关注。这种集成了移动机器人、机械臂、传感器的检测方案具备广域移动、精准到达、高效采集、自动分析的能力。由于潜在出现位置的随机性，对于表面质量问题的检查通常要求覆盖目标区域。而由于组件的较大尺度与自遮挡特性，通常需要设置多个视点方可实现覆盖。
3.视点布局与序列对于自动化视觉检测的数据采集质量与效率具有重要影响，这被统称为覆盖路径规划(cpp)。其中，视点布局规划通常被视作集合覆盖问题。由于要检查的产品的通常三维模型是已知的，因而常采用基于模型的视点规划技术。其目的是找到在覆盖约束下使感知成本最小化的最佳相机位置。这里的成本主要是所需的视点数量。在视点较少的情况下，图像捕获时间和图像处理时间都将减少。视点序列规划的目标是在无碰撞的前提下尽可能降低机器人在不同视点间移动时的成本(如旅行时间)，这通常被看作一个旅行商问题。
4.然而，以上研究多面向固定的机械臂基座，这限制了待检产品的适用尺度上限。在移动视觉机器人检测方案中，机械臂基座随着移动机器人可以自由运动，因此可以检测更大尺度的产品。此时，机械臂基座位置(base position,bp)或称为站位(station)的布局影响视点可达性与检测效率，因此有必要进行综合考虑。独立的站位规划研究多集中于机器人加工领域，少量见于移动视觉检测。然而，尚未见有针对站位-视点位姿的关系建模与联合规划方法。


技术实现要素：

5.本发明的目的在于：在移动视觉检测规划过程中，为了考虑站位与视点的内在关系并进行联合规划，以提高移动视觉检测效率，本发明提供了一种面向移动视觉检测的站位-视点联合覆盖路径规划方法。
6.本发明主要通过以下技术方案实现：一种面向移动视觉检测的站位-视点联合覆盖路径规划方法，其特征在于，包括以下步骤：
7.1.表面离散化。均匀采样点(基元)是一种简洁的表面离散化方式。先把表面分割成均匀的三角网格，然后提取所有网格的中心作为采样点，这种方式可以借助一些现有工具，如meshlab、gmsh等。采样点包含三维坐标与三维法向信息，所有采样点组成基元集合
8.2.视点规划。其主要包含视点采样、可视性评估与视点选择三个子步骤。
9.2.1视点采样。视点采样是对视点空间的离散化。为每个待测基元生成若干可行的视点，所有视点组成候选视点集合在视点采样时，应考虑以下因素：待检基元与传感器之间的传感器约束与无遮挡约束；传感器与产品、环境、移动机器人、机械臂之间的无碰撞约束；可达性约束，即在当前站位空间中，确保至少存在一个站位使得该视点可达。
10.2.2可视性评估。判断一个基元相对于一个视点的可视情况，即可视性评估。采样后的候选视点集合与待检基元集合中两两元素分别进行可视性评估，得到可视性矩阵可视性评估由光线追踪技术实现。
11.2.3视点选择。视点选择即视点-基元集合覆盖问题的求解过程。在保证基元覆盖率的前提下，以视点数量最少为优化目标，采用贪心搜索算法对该集合覆盖问题进行求解。
12.3.站位规划。其主要包含站位采样、可达性评估与站位选择三个子步骤。
13.3.1站位采样。在可行的站位空间中进行采样，以实现站位空间离散化。首先，在视点采样之前，考虑实际场景所允许的站位空间大小，与各设备之间的碰撞性，进行站位预采样，得到站位集合在视点选择之后，根据选择后的视点集合对站位集合进行重采样，将那些对任一视点都不可达的站位移除，得到
14.3.2可达性评估。站位与视点之间的可达性问题，本质是机械臂的末端可达性问题，其可由逆运动学解算、碰撞检测等技术来判断。给定一个站位，若从视点可以计算出机械臂各关节的无碰撞逆运动学解，则该视点相对于该站位可被视为是可达的。在所有的站位与视点之间计算可达性，组成可达性矩阵位与视点之间计算可达性，组成可达性矩阵
15.3.3站位选择。与视点选择类似，通过贪心算法求解站位选择规划问题。
16.4.站位-视点联合序列规划。其主要包含运动成本评估、站位-视点聚类与站位-视点排序三个子步骤。
17.4.1运动成本评估。机械臂的运动由各关节的转动实现，其运动成本主要取决于各关节的转动角度。移动机器人的运动成本正比于移动轨迹长度。站位际运动成本矩阵其中“1”代表将home站位sh也纳入考虑。给定站位由其可达的视点所对应的机械臂配置记为conf。计算所有组合的机械臂关节配置，记为三元组集合：cfg＝{(i,j,conf)}。那么，视点际运动成本即所对应的机械臂关节配置之间的运动成本。视点际运动成本集合记为
18.4.2站位-视点聚类。由于一个视点可以从多个站位到达，因此在排序之前应首先确定视点归属于哪一个站位。基于遗传算法进行问题求解，其染色体长度为所参与视点的数量，其每个基因的数值为该视点所属站位的索引号，其适应度为近似运动成本的倒数。进一步地，任意两视点的运动成本与任意两站位的运动成本之和，作为近似运动成本。
19.4.3站位-视点排序。站位-视点排序问题可以近似地建模为聚类旅行商问题，即同时考虑站位序列与视点序列，且属于相同站位的视点总是被连续访问。不同的是，聚类旅行商问题仅需考虑视点际运动成本，而站位-视点排序需同时考虑站位际和视点际运动成本。基于遗传算法进行站位-视点排序规划。其染色体长度为所参与视点的数量，其基因值为视点索引号，其基因序列即视点序列，其适应度为前述运动成本的倒数。
20.本发明的有益效果：本发明深入分析站位规划与视点规划的内在联系，提出完整
的站位-视点联合覆盖路径规划方法，可有效实现较大尺度范围移动视觉检测的视点规划、站位规划与联合序列规划。该方法尤其适用于大型复杂组件的视觉检测，有望进一步提升大型复杂组件生产过程中的自动化、数字化水平，提升生产效率。
附图说明
21.图1是本发明的面向移动视觉检测的站位-视点联合覆盖路径规划流程图。
22.图2是本发明的站位-视点联合序列规划示意图。
23.图3是本发明的站位-视点序列规划遗传算法流程图。
具体实施方式
24.以下结合附图及实施例，对本发明进行进一步详细说明。
25.所采用的设备为一个尺寸为1000*700*600mm的移动机器人，一个最大工作半径为886.5mm的六自由度协作机械臂，一个视野角为15度、分辨率为1000*1000、景深范围为10～1200mm的相机。所使用的测试样例尺寸为1788*892*500mm。本发明的实现包含以下步骤(图1)：
26.1.表面离散化。根据待检测产品的三维模型与所选取的待检测表面，借助gmsh工具，将待检测表面进行均匀地三角剖分。取所有三角网格的重心坐标与法向，作为本发明所述之基元。
27.2.1视点采样。以基元为顶点，以其法向为轴线，建立一个圆锥区域，其母线与轴线夹角为15度。从圆锥顶点开始，以传感器的近景深与远景深将圆锥区域截取，并在截取的空间内，随机采样若干点，作为视点坐标；将该点指向基元的方向作为视点的方向。在此处，每一个基元生成一个视点。
28.2.2可视性评估。世界坐标系中的一个三维点p(p＝[x y z]
t
)是否能成像，主要是由相机内参(k)、外参(r，t)、景深距离(d1,d2)决定。成像的条件如公式：
[0029][0030]
其中，c为相机坐标系光心；w与h分别为相机分辨率的宽度与高度；z
′
[x
′y′
1]
t
＝k(r[x y z]
t
+t)。
[0031]
给定一个视点v，世界坐标系中三维点p在视点坐标系中的深度值为p在像素坐标系中的坐标为[x
′
p y
′
p
]
t
。由于降维，图像坐标系中的点[x
′
p y
′
p
]
t
对应视点坐标系中的一条射线，且p为这条射线上的一点。在这条射线上，只有距离视点最近(深度值最小)的点才得以正常成像，其余则被遮挡。在实现时可按照如下方式计算遮挡情况：
[0032][0033]
其中，zbuffer(
·
)可以获取视图中指定像素坐标所对应的深度值。在此处，基于opengl进行可视性评估。采样后的候选视点集合与待检基元集合中两两元素分别进行可视性评估，得到可视性矩阵可视性评估，得到可视性矩阵
[0034]
2.3视点选择。基于可视性矩阵v，采用贪心搜索算法，进行集合覆盖问题求解。在
进行视点选择之前，首先应判断所有的基元的可视性。若存在没有被观察到的基元，则将其从基元集合中移除。贪心搜索算法遍历所有的视点，并找到当前能够观察到最多基元的视点。循环对剩余视点进行检索，直到所有的基元都被观察到。
[0035]
3.1站位采样。在可行的站位空间中进行采样，以实现站位空间离散化。首先，在视点采样之前，考虑实际场景所允许的站位空间大小，与各设备之间的碰撞性，在平面空间进行均匀地站位预采样，得到站位集合在视点选择之后，根据选择后的视点集合对站位集合进行重采样，将那些对任一视点都不可达的站位移除，得到
[0036]
3.2可达性评估。对于给定视点v，其可达的条件在于：在站位可行空间中存在至少一个站位，且在机械臂关节配置空间中存在一组配置，使得末端传感器的位姿为v。可达约束主要体现在两个方面：移动机器人的可达与机械臂末端的可达。移动机器人的可达与自身参数、环境等因素有关，而机械臂末端的可达则与移动机器人位置、机械臂自身参数以及环境等因素有关。一般，可通过invkinematics(
·
)求解逆运动学解，来判断视点是否可达：
[0037][0038]
采用solidworks软件将包含移动机器人、机械臂与传感器的装配体转化为urdf模型，以借助pybullet进行运动学仿真。在pybullet中，对于某个站位与某个视点，移动机械臂基座到站位处，设定传感器绝对位姿，并通过逆运动学求解机械臂各关节转动角度。若无逆运动学解，则认为该视点相对于该站位不可达；若能求解出，则记录该可行解。在所有的站位与视点之间计算可达性，组成可达性矩阵站位与视点之间计算可达性，组成可达性矩阵
[0039]
3.3视点选择。与视点选择同理，基于可视性矩阵a，采用贪心搜索算法，进行集合覆盖问题求解。在进行站位选择之前，首先应判断所有的视点的可达性。若存在所有站位都不可达到的视点，则将其从视点集合中移除。贪心搜索算法遍历所有的站位，并找到当前能够到达最多视点的站位。循环对剩余站位进行检索，直到所有的视点都被到达。
[0040]
4.1运动成本评估。由于站位与视点之间存在包含/覆盖关系，因此，联合路径规划的基本原则为：同一站位的视点的访问顺序总是相近的(图2)。规划完成后的站位序列为最终站位数量为属于第i个站位的视点序列为其视点数量为其中第j个视点记为
[0041]
全部站位的机械臂运动成本为：
[0042][0043]
在公式中，第一项为所有站位内部的视点运动成本，第二项为站位之间的视点运动成本，第三项为home视点到起始视点的成本，最后一项为最终视点到home视点的成本。在计算上述的机械臂运动成本时，视点位姿应为相对于机械臂基坐标系的位姿。cv(
·
)用于计算两个视点之间的机械臂的运动成本。
[0044]
所有站位之间的移动机器人运动成本为：
[0045][0046]
其中，sh为home站位。cs(
·
)用于计算两个站位之间的移动机器人的运动成本。
[0047]
移动机器人的运动成本正比于移动轨迹长度。通过从pybullet中进行运动学仿真，寻找站位之间的最近无碰撞路径，并记录其路径长度，作为站位际运动成本。站位际运
动成本矩阵其中“1”代表将home站位sh也纳入考虑。机械臂的运动由各关节的转动实现，其运动成本主要取决于各关节的转动角度。通过pybullet运动学仿真，给定站位由其可达的视点所对应的机械臂配置记为conf。计算所有组合的机械臂关节配置，记为三元组集合：cfg＝{(i,j,conf)}。那么，视点际运动成本即所对应的机械臂关节配置之间的运动成本。
[0048]
4.2站位-视点聚类。由于一个视点可以从多个站位到达，因此在排序之前应首先确定视点归属于哪一个站位。基于遗传算法进行问题求解，其染色体长度为所参与视点的数量，其每个基因的数值为该视点所属站位的索引号。聚类是排序的前置步骤，其最终目标都是运动成本的最小化。然而，由于此时染色体中不含顺序信息，因此以近似运动成本的最小化作为目标，其适应度为近似运动成本的倒数。进一步地，任意两视点的运动成本与任意两站位的运动成本之和，作为近似运动成本。结果表明，近似运动成本驱动的聚类规划，可为排序提供一个较优的初始状态。
[0049]
4.3站位-视点排序。站位-视点排序问题可以近似地建模为聚类旅行商问题，即同时考虑站位序列与视点序列，且属于相同站位的视点总是被连续访问。不同的是，聚类旅行商问题仅需考虑视点际运动成本，而站位-视点排序需同时考虑站位际和视点际运动成本。基于遗传算法进行站位-视点排序规划。其染色体长度为所参与视点的数量，其基因值为视点索引号，其基因序列即视点序列，其适应度为前述运动成本的倒数。如图3所示，由于属于相同站位的视点总是相邻出现，因此应从站位序列与视点序列两个层面进行交叉与变异操作。
[0050]
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均落入本发明的保护范围之内。

技术特征：
1.一种面向移动视觉检测的站位-视点联合覆盖路径规划方法，其特征在于，该方法包括以下步骤：步骤s100:表面离散化。先把表面分割成均匀的三角网格，然后提取所有网格的中心作为采样点。采样点包含三维坐标与法向信息。采样点也称为基元；所有采样点组成基元集合。步骤s200:视点采样。视点采样是对视点空间的离散化。为每个待测基元生成若干可行的视点，所有视点组成候选视点集合。在视点采样时，应考虑以下因素：待检基元与传感器之间的传感器约束与无遮挡约束；传感器与产品、环境、移动机器人、机械臂之间的无碰撞约束；可达性约束，即在当前站位空间中，确保至少存在一个站位使得该视点可达。步骤s300:可视性评估。判断一个基元相对于一个视点的可视情况，即可视性评估。采样后的候选视点集合与待检基元集合中两两元素分别进行可视性评估，得到可视性矩阵步骤s400:视点选择。视点选择即视点-基元集合覆盖问题的求解过程。在保证基元覆盖率的前提下，以视点数量最少为优化目标，采用组合优化算法对该集合覆盖问题进行求解。步骤s500:站位采样。在可行的站位空间中进行采样，以实现站位空间离散化。步骤s600:可达性评估。站位与视点之间的可达性问题，本质是机械臂的末端可达性问题，其可由逆运动学解算、碰撞检测等技术来判断。给定一个站位，若从视点可以计算出机械臂各关节的无碰撞逆运动学解，则该视点相对于该站位可被视为是可达的。在所有的站位与视点之间计算可达性，组成可达性矩阵步骤s700:站位选择。与视点选择类似，站位选择即站位-视点集合覆盖问题的求解过程。在保证视点覆盖率的前提下，以站位数量最少为优化目标，采用组合优化算法对该集合覆盖问题进行求解。步骤s800:运动成本评估。在仿真空间计算站位际运动成本与视点际运动成本，且二者之和为总体运动成本。机械臂的运动由各关节的转动实现，其运动成本主要取决于各关节的转动角度。移动机器人的运动成本正比于移动轨迹长度。步骤s900:站位-视点聚类。由于一个视点可以从多个站位到达，因此在排序之前应首先确定视点归属于哪一个站位。基于组合优化算法进行问题求解。步骤s1000:站位-视点排序。将站位-视点排序问题近似地建模为聚类旅行商问题，即同时考虑站位序列与视点序列，且属于相同站位的视点总是连续访问。不同的是，聚类旅行商问题仅需考虑视点际运动成本，而站位-视点排序需同时考虑站位际和视点际运动成本。基于组合优化算法进行问题求解。2.根据权利要求1所述的面向移动视觉检测的站位-视点联合覆盖路径规划方法，其特征在于，在步骤s500中，站位空间为一个平面空间，且站位的采样包含预采样与重采样两个步骤。首先，在视点采样之前，考虑实际场景所允许的站位空间大小，与各设备之间的碰撞性，进行站位预采样，得到站位集合。在视点选择之后，根据选择后的视点集合对站位集合进行重采样，将那些对任一视点都不可达的站位移除。3.根据权利要求1所述的面向移动视觉检测的站位-视点联合覆盖路径规划方法，其特
征在于，在步骤s800中，联合路径规划的基本原则为：同一站位的视点的访问顺序总是相近的。4.根据权利要求1所述的面向移动视觉检测的站位-视点联合覆盖路径规划方法，其特征在于，在步骤s800中，运动成本评估的方式如下：规划完成后的站位序列为最终站位数量为属于第i个站位的视点序列为其视点数量为其中第j个视点记为全部站位的机械臂运动成本为：在公式中，第一项为所有站位内部的视点运动成本，第二项为站位之间的视点运动成本，第三项为home视点到起始视点的成本，最后一项为最终视点到home视点的成本。在计算上述的机械臂运动成本时，视点位姿应为相对于机械臂基坐标系的位姿。c
v
(
·
)用于计算两个视点之间的机械臂的运动成本。所有站位之间的移动机器人运动成本为：其中，s
h
为home站位。c
s
(
·
)用于计算两个站位之间的移动机器人的运动成本。5.根据权利要求1所述的面向移动视觉检测的站位-视点联合覆盖路径规划方法，其特征在于，在步骤s600、s800中，机器人运动仿真基于pybullet实现。6.根据权利要求1所述的面向移动视觉检测的站位-视点联合覆盖路径规划方法，其特征在于，在步骤s900中，基于遗传算法进行问题求解，其染色体长度为所参与视点的数量，其每个基因的数值为该视点所属站位的索引号，其适应度为近似运动成本的倒数。进一步地，任意两视点的运动成本与任意两站位的运动成本之和，作为近似运动成本。7.根据权利要求1所述的面向移动视觉检测的站位-视点联合覆盖路径规划方法，其特征在于，在步骤s1000中，基于遗传算法进行站位-视点排序规划，其染色体长度为所参与视点的数量，其基因值为视点索引号，其基因序列即视点序列，其适应度为前述运动成本的倒数。由于属于相同站位的视点总是相邻出现，因此应从站位序列与视点序列两个层面进行交叉与变异操作。

技术总结
本发明属于移动视觉检测规划的技术领域，具体公开了一种站位-视点联合覆盖路径规划方法。该方法包括表面离散化、视点规划、站位规划与联合序列规划四大步骤。其中，视点规划包括视点采样、可视性评估与视点选择三个子步骤；站位规划包括站位采样、可达性评估与站位选择三个子步骤；联合序列规划包括运动成本评估、站位-视点聚类与站位视点排序三个子步骤。本发明深入分析站位规划与视点规划的内在联系，提出完整的面向较大尺度范围移动视觉检测的站位-视点联合覆盖路径规划方法。该方法尤其适用于大型复杂组件的视觉检测，有望进一步提升大型复杂组件生产过程中的自动化、数字化水平，提升生产效率。提升生产效率。提升生产效率。


技术研发人员：杜福洲 孔飞飞 高亚东
受保护的技术使用者：北京星航机电装备有限公司
技术研发日：2023.07.11
技术公布日：2023/10/15