一种基于机器视觉的无序抓取方法与流程

1.本发明属于基于机器视觉的运动控制领域，具体涉及一种基于机器视觉的无序抓取方法。


背景技术：

2.无序抓取被用于各种场合，典型的应用如汽车零部件生产线、快递包裹分拣线，其被用于执行抓取无序对象，例如无序堆积的工件、包裹等。在典型的应用场景中，相机定位识别系统确定抓取对象的类别、位置及位姿后，运动单元控制器通过逆运算产生运动指令，控制运动单元和终端抓取器的各关节运动，从而实现位于运动单元末端的终端抓取器的抓取。由于应用场景的不同，或者抓取对象的来源不同，抓取对象通常为无序状态，即呈现为散乱混合堆积的状态，这带来了很多问题。堆积放置的抓取对象之间相互遮挡，加剧了准确识别的难度，这大大降低了抓取的成功率，甚至带来安全问题。
3.一方面，在无序堆积状态下，对抓取对象进行抓取，由于堆积物存在一定的堆积高度，常常处于不稳定的状态，或者因抓取波及相互邻接的其他堆积物，影响堆积物的整体稳定性，这样会导致堆积物产生滑坡或倾覆，从而使抓取对象之间或者运动单元与其他待抓取对象之间发生碰撞，损害抓取对象或运动单元的安全。
4.另一方面，抓取对象由于保管不当或相互碰撞等原因，抓取对象可能发生变形，而且在散乱混合堆积的情况下，抓取对象通常以随机的位置和位姿放置，这进一步降低了识别了准确性。为准确识别抓取对象，确定抓取对象的位置、位姿以及计算抓取位置，避免运动单元与其他抓取对象或料箱或其他障碍物发生碰撞，或者抓取过程中的意外掉落，相机定位识别系统通常需要使用多个相机或视觉传感器，或者使用复杂的推测方法或模型，这常常带来较高的成本，且稳定性较差。
5.以上背景技术内容的公开仅用于辅助理解本技术的发明构思及技术方案，其并不必然属于本技术的现有技术，在没有明确的证据表明上述内容在本技术的申请日已经公开的情况下，上述背景技术不应当用于评价本技术的新颖性和创造性。


技术实现要素：

6.本发明提供一种基于机器视觉的无序抓取方法，其在保证对于无序对象的抓取可靠性的基础上，提高抓取的效率和灵活性。该方法包括：步骤10：拍照及图像预处理；步骤20：将抓取对象的存放区域划分为多个待抓取区域，对各待抓取区域进行初步识别，并根据识别结果确定最优待抓取区域；步骤30：初始化抓取集合，确定抓取集合的第一元素；步骤40：确定最大抓取集合；步骤50：对最大抓取集合执行抓取，并根据最大抓取集合的抓取置信度，规划并执行抓取后的运动单元和终端抓取器的运动路径。
7.根据本发明的一方面，将抓取对象的存放区域划分为多个待抓取区域，具体为根据存放区域的深度和rgb图像数字信息，控制单元判定存放区域的抓取对象的边缘和邻接关系，并根据抓取对象是否存在邻接，将存放区域划分为多个独立的、互不邻接的待抓取区域。
8.根据本发明的一方面，对各待抓取区域进行初步识别，具体为对抓取对象的边缘进行非极大值抑制，利用霍夫变换获得与边缘对应的边缘线，沿边缘线检测图像中具有区域极值的区域，并采用小区域模板匹配算法对多个具有区域极值的区域分别进行模板匹配识别。
9.根据本发明的一方面，初始化抓取集合，具体为判断最优待抓取区域的最高抓取对象的类别是否唯一确定，如是，则建立抓取集合，同时将最优待抓取区域的最高抓取对象作为该抓取集合的第一元素，如否，则执行单独抓取，完成单独抓取后，再次进行抓取集合的初始化。
10.根据本发明的一方面，单独抓取包括终端抓取器对最高抓取对象执行抓持，并根据抓取对象的识别特征，将所抓持的抓取对象移动到识别位置，同时识别并跟踪所抓持的抓取对象的识别特征。
11.根据本发明的一方面，确定最大抓取集合，其具体步骤包括：通过图像识别，利用接触容差在抓取集合中的第n元素的邻接区域中进行搜索，确定与第n元素邻接的不小于接触容差的多个备选抓取对象，并在多个备选抓取对象中确定与第n元素的邻接面积最大的同类邻接抓取对象，将该同类邻接抓取对象并入抓取集合，记为抓取集合的第n+1元素；通过神经网络算法，估算抓取集合的最优抓取位置及相应的抓取置信度，判断同时抓取集合内所有n+1元素的抓取置信度是否高于安全阈值，如是，则转入前一步骤，如否，则将该抓取集合中第n+1元素移出集合，并将该集合确定为最大抓取集合。
12.根据本发明的一方面，安全阈值可设定为不同的数值。
13.根据本发明的一方面，如安全阈值大于第一安全阈值，则抓取后如无必要，终端抓取器可以单个动作且高加速度地移动至目标位置；如安全阈值大于第二安全阈值，且小于第一安全阈值，则抓取后如无必要，终端抓取器可以单个动作且低加速度地移动至目标位置；如安全阈值大于第三安全阈值，且小于第二安全阈值，则运动过程中调整终端抓取器的位姿。
附图说明
14.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：图1是本发明实施例的无序堆积的抓取对象的示意图；图2是本发明实施例的基于机器视觉的无序抓取方法的流程图。
实施方式
15.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实
施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
16.其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
17.本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，本发明中的多个表示一定数量的物体，以上用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
18.本发明提供一种基于机器视觉的无序抓取系统，其包括：运动单元，其包括多个连杆和多个关节，所述多个连杆中的一个通过关节来连接到另一个连杆。典型的运动单元，包括但不限于机器人、机械手、机械臂。
19.相机，所述相机对装有抓取对象的存放区域进行拍照，经预处理后，获取存放区域的带有深度和rgb数字信息的图像；相机为3d深度相机，用来获取抓取对象的表面信息。相机可固定于运动单元的末端或作业空间内的某一位置，例如安装在存储抓取对象的储物箱或运输抓取对象的传送带上方的支架上。
20.终端抓取器，其位于运动单元的末端，是运动单元执行抓取任务的终端工具，当运动单元运动到指定位置后，终端抓取器可根据需要进一步调整位置和位姿，并通过开合动作完成抓取。终端抓取器优选为夹爪型，终端抓取器可在与抓取对象的接触部位根据需要设置触觉传感器，用于获取抓取对象的相关信息，例如抓取对象的表面纹理、粗糙程度与物体中心等相关信息。初始状态下的终端抓取器闭合，与抓取对象存在安全距离，在运动单元运行到抓取对象的操作位置时，打开终端抓取器，通过运动单元和终端抓取器的关节运动，调整终端抓取器的位置和姿态，避免和抓取对象产生碰撞，当终端抓取器到达最佳抓取区域但没有接触时，终端抓取器以一定的力闭合并停留一定的时间。
21.控制单元，其控制运动单元和终端抓取器的运动。控制单元基于逆运算，规划运动单元和终端抓取器的运动路径，并做出关节的运动指令，从而控制运动单元和终端抓取器的运动。
22.无序堆积的抓取对象如附图1所示。根据附图2，本发明提供一种基于机器视觉的无序抓取方法，其具体步骤如下：步骤10：相机拍照及图像预处理。相机对装有抓取对象的存放区域进行拍照，经预处理后，获取存放区域的带有深度和rgb数字信息的图像。
23.相机为3d深度相机，用来获取抓取对象的表面信息。相机可固定于运动单元的末端或作业空间内的某一位置，例如安装在存储抓取对象的储物箱或运输抓取对象的传送带上方的支架上。
24.步骤20：将抓取对象的存放区域划分为多个待抓取区域，对各待抓取区域进行初步识别，并根据识别结果确定最优待抓取区域。
25.其中，将抓取对象的存放区域划分为多个待抓取区域，具体为：根据存放区域的深度和rgb图像数字信息，控制单元判定存放区域的抓取对象的边缘和邻接关系，并根据抓取对象是否存在邻接，将存放区域划分为多个独立的、互不邻接的待抓取区域。
26.其中，对各待抓取区域进行初步识别，并根据识别结果确定最优待抓取区域，具体为：控制单元对存放区域的抓取对象的边缘进行非极大值抑制，并利用霍夫变换获得与边缘对应的边缘线，沿边缘线检测图像中具有区域极值的区域，并采用小区域模板匹配算法对多个具有区域极值的区域分别进行模板匹配识别。该处理可降低匹配工作量，提高匹配准确度，提升了系统的处理效率。通过前述处理，可实现对多个待抓取区域内的多个抓取对象的初步识别，并计算各待抓取区域的区域优先指数m，将区域优先指数m最大的区域确定为最优待抓取区域，即执行下一步骤的抓取操作的作业区域。区域优先指数的计算公式为：m= k*p*h/r2，其中p为待抓取区域内可初步识别的抓取对象的数量，h为待抓取区域内的各抓取对象的最高高度，r为待抓取区域的最小外切圆（如附图1中的虚线所示）的半径，k为经验系数。
27.通过在实施抓取前，识别最优的待抓取区域，可有效避免安全风险。待抓取区域的抓取对象堆积高度越大，可识别对象越多，运动单元抓取操作越容易，也不容易导致抓取对象堆积物发生滑坡或碰撞。
28.步骤30：控制单元初始化抓取集合，确定抓取集合的第一元素。抓取集合为运动单元执行单次抓取任务时同时抓取的抓取对象所构成的集合，集合中的元素为抓取对象。其中，初始化抓取集合，确定抓取集合的第一元素，具体包括：判断最优待抓取区域的最高抓取对象的类别是否唯一确定，如是，则建立抓取集合，同时将最优待抓取区域的最高抓取对象作为该抓取集合的第一元素，如否，则执行单独抓取，完成单独抓取后，再次进行抓取集合的初始化，确定抓取集合的第一元素。
29.其中，单独抓取，其具体包括：终端抓取器对类别不能唯一确定的抓取对象执行抓持，并根据所抓持的抓取对象的识别特征，将所抓持的抓取对象移动到识别位置，在移动过程中，识别并跟踪所抓持的抓取对象的识别特征，判断所抓持的抓取对象的类别，其后将其运送至该类别对应的分类区域。其中，在执行抓持前，可将各类抓取对象的识别特征的三维数据存入控制单元，或者在执行抓持前，通过人工标注的方法，对类别已知的识别对象的进行图像识别，并标注相应的识别特征。
30.将所抓持的抓取对象移动到识别位置，在移动过程中，识别并跟踪所抓持的抓取对象的识别特征，其中包括：将识别特征的间隔一定数量的像素内设定正样本，以识别特征为中心，向外扩展的边缘区域设定为负样本，对各样本进行投影变换，并更新分布参数，从而实现移动过程中识别特征的跟踪，同时计算即时特征向量与正向的特征向量的余弦值，根据余弦值的最大收敛方向修正运动单元的运动路径，直至运动至余弦值最大的识别位置。本发明的抓取对象可包括包裹、工件等，抓取对象的识别特征可以包括但不限于轮廓特征、纹理特征、局部特征，以及贴附于抓取对象表面的识别码，如二维码、条形码等。
31.终端抓取器是实施运动单元抓取任务的终端工具，当运动单元运动到指定位置后，终端抓取器可根据需要进一步调整位置和位姿，并通过开合动作完成抓取。终端抓取器
优选为夹爪型，终端抓取器可在与抓取对象的接触部位根据需要设置触觉传感器，用于获取抓取对象的相关信息，例如抓取对象的表面纹理、粗糙程度与物体中心等相关信息。初始状态下的终端抓取器闭合，与抓取对象存在安全距离，在运动单元运行到抓取对象的操作位置时，打开终端抓取器，通过运动单元和终端抓取器的关节运动，调整终端抓取器的位置和姿态，避免和抓取对象产生碰撞，当终端抓取器到达最佳抓取区域但没有接触时，终端抓取器以一定的力闭合并停留一定的时间。
32.对抓取集合的初始化处理提高了识别准确度，避免了对图像点云、图像分割等复杂的预处理，可降低相机识别系统的要求，并提高识别准确性。
33.步骤40：确定最大抓取集合。其具体步骤包括：步骤410：通过图像识别，利用接触容差在抓取集合中的第n元素的邻接区域中进行搜索，确定与第n元素邻接的不小于接触容差的多个备选抓取对象，并在多个备选抓取对象中确定与第n元素的邻接面积最大的同类邻接抓取对象，将该同类邻接抓取对象并入抓取集合，记为抓取集合的第n+1元素；接触容差可根据抓取对象的表面特征确定；步骤420：通过神经网络算法，估算抓取集合的最优抓取位置及相应的抓取置信度，即判断同时抓取集合内所有n+1元素的抓取置信度是否高于安全阈值，如是，则转入步骤410，如否，则将该抓取集合中第n+1元素移出集合，并将该集合确定为最大抓取集合。
34.安全阈值可根据抓取效率要求、生产安全要求等实际情况，设定为不同的数值，从而兼顾安全性和抓取效率。运动单元可同时抓取多个抓取对象，同时抓取的多个抓取对象构成抓取集合。通过最大化抓取集合，即将单次抓取的抓取对象数量最大化，可在保证抓取成功率的基础上，提高运动单元的抓取效率。
35.步骤420中的神经网络算法的输入值包括抓取对象的表面刚度、摩擦系数、密度、三维图像数据、元素数量、邻接方式、邻接面积、抓取点位置，输出值为抓取置信度，神经网络算法的训练数据集的构建包括：针对每种抓取对象，建立相应的神经网络数据集，初始化每类抓取对象的表面刚度、摩擦系数、密度、三维图像数据；对于单个抓取对象，标注若干抓取点，计算在各抓取点下，终端抓取器与抓取对象之间的受力和转动力矩，根据其受力和转动力矩判断抓取置信度；对于邻接的两个同类抓取对象，输入不同的邻接方式、邻接面积，输入数量可根据实际情况确定，对于邻接的两个抓取对象，标注若干抓取点，模拟计算在各抓取点下，终端抓取器与接触的抓取对象之间以及各抓取对象之间的受力和转动力矩，根据其受力和转动力矩判断抓取置信度，通过转置、对称、旋转等方式，获取在不同邻接方式、邻接面积、抓取点的情况下进行抓取的抓取置信度；通过快速无序扩展算法，增加邻接的抓取对象，模拟计算对于不同数量的同类邻接抓取对象执行抓取操作时，在不同邻接方式、邻接面积、抓取点的情况下进行抓取的抓取置信度。该构建方法结合了经验数据、实验数据和理论计算结果，显著减少示教或实机操作所需要准备的数据量，也降低了计算量，从而减少了运动单元抓取的成本，提高了效率。采用基于神经网络的深度学习算法，可以自动完成学习及判断工程，取得对相互邻接的不同数量的抓取对象的高效、精准的抓取的效果。
36.步骤50：终端抓取器对最大抓取集合执行抓取，并根据最大抓取集合的抓取置信度，规划并执行抓取后的运动单元和终端抓取器的运动路径。
37.根据安全阈值的取值，可划分为安全标准依次降低的三个标准：第一安全阈值、第二安全阈值、第三安全阈值，第一安全阈值、第二安全阈值、第三安全阈值为数值依次降低
的归一化的数值。如果安全阈值的取值大于第一安全阈值，则允许抓取后如无必要，无需变更运动单元的终端抓取器的位姿，从而以单个动作且较高的加速度移动至目标位置。如果安全阈值大于第二安全阈值，且小于第一安全阈值，则允许抓取后如无必要，不需要变更运动单元的终端抓取器的位姿，从而以单个动作且较低的加速度移动至目标位置。需要说明的是，运动单元通常具有关节动作限制，从而限制运动单元的无限灵活性。在安全阈值的取值小于第一安全阈值的情况下，抓取后必要变更运动单元的终端抓取器的位姿，通常是为了避免障碍或保证运动的流畅性，从而根据逆运动学规划，改变关节角，从而改变终端抓取器的位姿。
38.如果安全阈值大于第三安全阈值，且小于第二安全阈值，则要求抓取后，以抓取集合的三维模型进行有限元建模，并施加重力加速度和运动加速度，以终端抓取器与接触的抓取对象之间以及各抓取对象之间的受力和转动力矩最小化为预设目标，以规划路径为约束，对抓取集合的有限元模型进行拓扑优化，根据拓扑优化结果，调整运动单元的运动过程中的终端抓取器的位姿，从而使抓取集合保持在安全、稳定的位姿。在抓取置信度较低的情况下，抓取位姿的规划常常基于抓取置信度的考虑，其有可能不足以使运动单元以单个动作移动到目标位置，因此根据抓取集合的抓取置信度，对抓取后的运动单元和终端抓取器的运动路径进行规划，可保证抓取的安全性和高效率。
39.上文所描述的各种方法，在一些实施例中，可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由rom和/或通信单元而被载入和/或安装到设备上。当计算机程序被加载到ram并由cpu执行时，可以执行上文描述的方法中的一个或多个动作或步骤。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。
40.以上内容是结合具体/优选的实施方式对本技术所作的进一步详细说明，不能认定本技术的具体实施只局限于这些说明。对于本技术所属技术领域的普通技术人员来说，在不脱离本技术构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本技术的保护范围。

技术特征：
1.一种基于机器视觉的无序抓取方法，其包括：步骤10：拍照及图像预处理；步骤20：将抓取对象的存放区域划分为多个待抓取区域，对各待抓取区域进行初步识别，并根据识别结果确定最优待抓取区域；步骤30：初始化抓取集合，确定抓取集合的第一元素；步骤40：确定最大抓取集合；步骤50：对最大抓取集合执行抓取，并根据最大抓取集合的抓取置信度，规划并执行抓取后的运动单元和终端抓取器的运动路径。2.根据权利要求1所述的基于机器视觉的无序抓取方法，其特征在于：将抓取对象的存放区域划分为多个待抓取区域，具体为根据存放区域的深度和rgb图像数字信息，控制单元判定存放区域的抓取对象的边缘和邻接关系，并根据抓取对象是否存在邻接，将存放区域划分为多个独立的、互不邻接的待抓取区域。3.根据权利要求1所述的基于机器视觉的无序抓取方法，其特征在于：对各待抓取区域进行初步识别，具体为对抓取对象的边缘进行非极大值抑制，利用霍夫变换获得与边缘对应的边缘线，沿边缘线检测图像中具有区域极值的区域，并采用小区域模板匹配算法对多个具有区域极值的区域分别进行模板匹配识别。4.根据权利要求1所述的基于机器视觉的无序抓取方法，其特征在于：初始化抓取集合，具体为判断最优待抓取区域的最高抓取对象的类别是否唯一确定，如是，则建立抓取集合，同时将最优待抓取区域的最高抓取对象作为该抓取集合的第一元素，如否，则执行单独抓取，完成单独抓取后，再次进行抓取集合的初始化。5.根据权利要求4所述的基于机器视觉的无序抓取方法，其特征在于：单独抓取包括终端抓取器对类别不能唯一确定的抓取对象执行抓持，并根据预存的各类抓取对象的识别特征，将所抓持的抓取对象移动到识别位置，同时识别并跟踪所抓持的抓取对象的识别特征。6.根据权利要求1所述的基于机器视觉的无序抓取方法，其特征在于：确定最大抓取集合，其具体步骤包括：通过图像识别，利用接触容差在抓取集合中的第n元素的邻接区域中进行搜索，确定与第n元素邻接的不小于接触容差的多个备选抓取对象，并在多个备选抓取对象中确定与第n元素的邻接面积最大的同类邻接抓取对象，将该同类邻接抓取对象并入抓取集合，记为抓取集合的第n+1元素；通过神经网络算法，估算抓取集合的最优抓取位置及相应的抓取置信度，判断同时抓取集合内所有n+1元素的抓取置信度是否高于安全阈值，如是，则转入前一步骤，如否，则将该抓取集合中第n+1元素移出集合，并将该集合确定为最大抓取集合。7.根据权利要求6所述的基于机器视觉的无序抓取方法，其特征在于：安全阈值可设定为不同的数值。8.根据权利要求6所述的基于机器视觉的无序抓取方法，其特征在于：如安全阈值大于第一安全阈值，则抓取后如无必要，终端抓取器可以单个动作且高加速度地移动至目标位置；如安全阈值大于第二安全阈值，且小于第一安全阈值，则抓取后如无必要，终端抓取器可以单个动作且低加速度地移动至目标位置；如安全阈值大于第三安全阈值，且小于第二安全阈值，则运动过程中调整终端抓取器的位姿。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行根据权利要求1-8中任一项所述方法的步骤。

技术总结
本发明涉及一种基于机器视觉的无序抓取方法。该方法包括：将抓取对象的存放区域划分为多个待抓取区域，对各待抓取区域进行初步识别，并根据识别结果确定最优待抓取区域；初始化抓取集合，确定抓取集合的第一元素；确定最大抓取集合；控制终端抓取器对最大抓取集合执行抓取，并根据最大抓取集合的抓取置信度，规划并执行抓取后的运动单元和终端抓取器的运动路径。该方法在保证抓取可靠性的基础上，提高抓取的效率和灵活性。高抓取的效率和灵活性。高抓取的效率和灵活性。


技术研发人员：张晓龙 甘亚光 刘元建 程通
受保护的技术使用者：纳博特南京科技有限公司
技术研发日：2023.02.28
技术公布日：2023/3/24