面向非结构环境下复杂装配任务的高效模块化系统设计与知识推理方法

1.本发明属于面向复杂装配任务的工业机器人模块化系统设计与知识推理方法，建立包含装配知识库模块、视觉模块、通信模块与动作控制模块的高效装配规划系统；针对非结构环境下的复杂装配任务，构建知识推理机制，使机器人能够根据零件装配要求，利用视觉图像处理与动作控制自主推理出可行的装配序列。


背景技术：

2.复杂装配任务往往需要对多种不同形状的零件进行有序组装，要求工人记忆大量的装配知识，对其专业知识水平要求极高。虽然近年大量机器人设备被应用于装配行业，但是多数是在结构化场景下应用，零件位置固定，机械臂只需按要求到达不同位置，不具备自主推理能力，能实现的装配任务单一，不利于机器人在多场景下完成多种装配任务。针对装配行业中这一痛点问题，本发明研究非结构化环境下(零件姿态未知)，多种复杂装配任务的高效实现方案，对系统内装配知识学习、环境感知、动作控制及通信等部分进行模块化设计，优化机器人系统内部信息传递，使机器人可根据装配任务要求变化，自主灵活完成多种复杂装配任务；同时，构建知识推理机制，使机器人面对未知工作场景，能够识别不同零件之间的复杂位置关系，结合装配任务要求，自主推理并生成装配序列。


技术实现要素：

3.本发明提供一种面向非结构环境下复杂装配任务的高效模块化系统设计与知识推理的方法，以解决未知环境下机器人根据装配要求，自主推理装配动作序列的难题。具体措施为：首先，按照不同功能，对机器人系统进行模块化设计，分别为知识库模块、视觉感知模块、动作控制模块及通信模块。知识库模块分层存储零件属性、动作指令与不同的装配任务；视觉感知模块控制相机对工作区域进行拍照，完成对场景中杂乱摆放零件的位置与姿态识别；通信模块与动作控制模块紧密联接，主要功能为对机器人进行网口通信，使(1)机器人能够结合视觉模块与知识库模块规划运动并执行装配任务；(2)对机器人上的其他传感器进行通信并控制。其次，针对非结构环境下杂乱、交叠摆放的零件装配，构建知识推理模型，通过视觉检测零件位姿，并经由图像后处理，实现有覆盖零件的识别，结合知识库内装配要求，机器人自主推理可行的装配操作序列，完成对有覆盖的零件进行移除与再装配。
4.本发明面向非结构化环境下复杂装配任务，将通过以下步骤实现系统高效模块化设计与知识推理：
5.(1)机器人系统高效模块化设计：该发明分知识库模块、视觉感知模块、通信模块与动作控制模块四个模块。知识库模块的创建包括两部分，第一部分为装配知识库的建立，存储内容包括零件的属性(物理属性与操作属性)、机器人动作指令(指令模板与参数选项)、已知的装配任务序列(包括操作对象与其对应的次序和装配的位姿)。以上知识库内容可以以可视化知识图谱的形式展现，方便维护与更新。第二部分为基于python语言的知识
库查询功能设计，负责实时检索、调用知识库内信息。若通过外部输入任务指令，该设计解析获取得到的操作对象名称及其对应的次序，在知识库内查询相应信息并输出字典文件供后续模块使用；若输入任务为知识库内存储的已知装配任务，则可直接调取知识库内的任务信息，用于后续自主推理。
6.视觉感知模块实现也包括两部分：第一部分为对相机的拍摄控制，实时获取到工作区内的2d图像与点云；第二部分是视觉实时处理，首先要制作模板，分为2d模式与3d模式两种情况。在面对结构简单的、不同种类零件图像有明显区别的物体时，则可选用2d模式下的视觉处理：通过拍摄每种零件在相机视野内多种位置下的图像，在图像上绘制零件所在大致区域(roi)，分析roi区域内图像灰度值的变化，提取出零件轮廓。完成上述操作后，生成2d模板文件，并保存到模型库中，供后续匹配使用。若已知零件的stl模型，则可直接使用3d视觉：读取stl模型，将stl模型表面离散化，创建零件的3d点云模板，保存至模型库，供后续匹配使用。3d模板比2d模板更便捷，精度更高。然后，通过模板匹配估计零件当前位姿，2d模式下，提取杂乱场景中所有零件的轮廓，根据模板文件进行匹配，返回重合度(即分数)最高的n个(n为自定的个数)，记录分数用于后续的知识推理。3d模式下，则通过对杂乱场景拍摄得到的点云与3d模板点云进行匹配，返回重合度(即分数)最高的n个(n为自定的个数)，记录分数用于后续的知识推理。实验结果显示，2d情况下的匹配分数最高为1，3d情况下的匹配分数最高为0.5(因为3d视角下，单次拍摄只能覆盖50％的零件表面，而模板文件是100％的表面点云)。
7.通信模块与机器人动作控制模块紧密联接，也可分为两部分：第一部分为机器人控制模块，通过网口通信，将获取到的操作位姿发送至机器人完成从初始位姿到达场景中操作物体的位姿、再到从知识库中提取的目标装配位姿。第二部分是工具控制模块，是对机器人末端工具或者其他工具的控制，经由串口通信，读取知识库中不同工具的串口控制指令，再根据不同操作对象的不同操作属性，自动生成适合每一种零件的末端工具操作指令，并通过串口的形式发送给工具。
8.(2)非结构环境下基于知识推理的复杂装配任务实现：由于在非结构环境下，零件散乱摆放，零件与零件之间互相交叠(互相遮挡)，机器人需要结合知识库内装配要求与视觉感知，自主推理出合适的操作动作序列来完成装配任务。针对该种情况，本发明提供一种基于匹配相似度分数的推理机制，结合视觉模块在2d或3d模式下记录的匹配分数，匹配相似度小于0.85的零件(相似度满分为1)a被认为是被其他零件遮挡，导致在视图中并不能完全展示出50％的表面，这时进入推理流程，取距离零件a位置最近的零件b的匹配结果，设置其为遮挡位姿，则在装配被遮挡零件之前，会先将遮挡的零件通过机器人操作移动至空闲等待区，如此推理，直至所有所需的零件均获取到合格的位姿之后，即可自主生成整个任务的装配序列，并保存至本地，供后续通信模块与动作控制模块调取。
9.根据上述技术方案，本发明具有以下优点：
10.本发明面向非结构环境下复杂装配任务所设计的模块化系统，将知识库、视觉感知、通信与动作控制进行模块化设计，明显提高了各模块之间信息传递的效率，且易维护、易切换、简化了编程繁琐。对于复杂装配任务处理形式多样，既可以以知识库的方式存储，也可以通过输入外部任务指令完成；对于非结构环境下杂乱摆放的零件装配，视觉感知模块可以实时检测零件位姿且当零件有堆叠时，能够基于知识推理，自主生成可行的装配动
作序列，提高了机器人完成复杂装配任务的灵活性、智能性。
附图说明
11.图1是本发明中可视化的知识库示意图；
12.图2是本发明中复杂装配任务的总流程示意图，包括各模块之间的协同关系。
具体实施方式
13.下面对本发明的实施例作详细说明，本实施例在本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
14.附图1展示了可视化的知识库示意图，利用层次化知识图谱进行描述，紫色节点是装配知识库，为顶层节点，该节点包含零件、动作、任务三类信息。零件节点存储各种形状的零件信息，包括小圆柱、方块、大长方体、三棱柱、桥、圆柱体、半圆、零件1、零件2、零件3等，每个零件实体节点内存储的相关信息含有id号，语义名称，形状、材质、大小尺寸、颜色、重量、可操作方式、位置(视觉检测获取)等；动作节点下包含抓取与放置技能，抓取技能的实现又可以按执行顺序分为识别、抓、移动三个动作或子事件，而放置技能可分为转移、放(松开)两个动作。任务节点(绿色节点)内存储了多种已知装配方案(任务一、任务二、任务三等)。
15.附图2是复杂装配任务的总流程示意图，描述了各模块之间的协同关系。可分为s0、s1、s2、s34个事件。事件s0：创建层次化知识图谱库；事件s1：输入任务指令查询获取目标零件与装配信息；事件s2：视觉处理模块与知识推理模块同时进行，机器人识别零件姿态并自主推理遮挡情况下的零件装配动作序列；事件s3：根据最终生成的操作序列，经由通信模块与动作控制模块直接控制机器人与多种末端工具完成装配任务。
16.事件s1：如图所示，可以通过方式1和方式2给机器人下达装配任务。若为外部输入任务(方式2)，则需要解析任务指令，得到每个零件名称及其装配次序；然后查询知识库，输出相对应零件的属性信息与装配任务信息(装配次序、装配位姿等)。
17.事件s2：依据s1输出的零件装配次序，依次提取零件信息，判断该零件是否有遮挡标志，若为真(true)，则从知识库中读取相对应的遮挡物b位姿及目标装配位姿，送至通信与动作控制模块，经由事件s3控制机器人与多种末端工具完成装配操作；若为假(false)，则读取零件模板，并与实际场景视觉信息进行匹配，返回score。根据score是否大于0.85来判断零件是否有可能被遮挡，若为真(true)，提取抓取点，转换至机器人坐标系下，将该零件位姿信息及目标装配位姿送至通信与动作控制模块，经事件s3，完成零件装配；若为假(false)，则该零件可能被局部遮挡，找到距离其位置最近的零件，判定为遮挡零件，识别其位姿，同时查询知识图谱提取空余等待位姿，将遮挡零件位姿及空间等待位姿送至通信与动作控制模块，机器人完成对遮挡物的移除。如此循环，直至所有零件装配完毕。
18.事件s3：根据s2中生成的最终可执行位姿，完成装配操作。step1:按照装配次序依次读取抓取位姿与目标装配位姿；step2:通过s1中查询得到的物体属性，读取抓取的材质与力度，并决定最终的抓取力度，查询知识库并获取末端工具的控制指令，按照抓取力度计算出对应功能的指令值；step3:通过基于python设计的网口与串口通信联合读取step1和step2中获取到的信息，并按顺序发送至机器人完成操作。
19.以下是实现以上装配任务应用到的7个子模块。
20.(1)知识库创建模块：创建知识库；
21.(2)知识库查询模块：完成装配任务中各种知识的检索与关系的查询；
22.(3)拍摄控制模块：控制相机在何时以何种参数进行拍摄；
23.(4)视觉处理模块：通过模板匹配等方式获取工作空间内目标零部件的位姿信息；
24.(5)机器人控制模块：通过网口通信控制机器人的姿态；
25.(6)末端工具控制模块：通过串口通信控制工具的姿态；
26.(7)知识推理模块：通过高效便捷的推理算法，自主生成任务的装配序列。

技术特征：
1.面向非结构环境下复杂装配任务的高效模块化系统设计与知识推理方法，其特征在于，该方法包括如下步骤：按照不同功能，对机器人系统进行模块化设计，分别为知识库模块、视觉感知模块、动作控制模块及通信模块；知识库模块分层存储零件属性、动作指令与不同的装配任务；视觉感知模块控制相机对工作区域进行拍照，完成对场景中杂乱摆放零件的位置与姿态识别；通信模块与动作控制模块联接，对机器人系统进行网口通信；(1)使机器人系统能够结合视觉模块与知识库模块规划运动并执行装配任务；(2)对机器人系统上的其他传感器进行通信并控制；针对非结构环境下杂乱、交叠摆放的零件装配，构建知识推理模型，通过视觉检测零件位姿，并经由图像后处理，实现有覆盖零件的识别，结合知识库内装配要求，机器人自主推理可行的装配操作序列，完成对有覆盖的零件进行移除与再装配。2.根据权利要求1所述的面向非结构环境下复杂装配任务的高效模块化系统设计与知识推理方法，其特征在于，知识库模块的创建包括两部分，第一部分为装配知识库的建立，存储内容包括零件的属性即物理属性与操作属性、机器人动作指令即指令模板与参数选项、已知的装配任务序列即包括操作对象与其对应的次序和装配的位姿；第二部分为基于python语言的知识库查询功能设计，负责实时检索、调用知识库内信息；若通过外部输入任务指令，该设计解析获取得到的操作对象名称及其对应的次序，在知识库内查询相应信息并输出字典文件供后续模块使用；若输入任务为知识库内存储的已知装配任务，则直接调取知识库内的任务信息，用于后续自主推理。3.根据权利要求1所述的面向非结构环境下复杂装配任务的高效模块化系统设计与知识推理方法，其特征在于，视觉感知模块实现也包括两部分：第一部分为对相机的拍摄控制，实时获取到工作区内的2d图像与点云；第二部分是视觉实时处理，首先要制作模板，分为2d模式与3d模式两种情况；在面对结构简单的、不同种类零件图像有明显区别的物体时，则选用2d模式下的视觉处理：通过拍摄每种零件在相机视野内多种位置下的图像，在图像上绘制零件所在大致区域roi，分析roi区域内图像灰度值的变化，提取出零件轮廓；完成上述操作后，生成2d模板文件，并保存到模型库中，供后续匹配使用；若已知零件的stl模型，则直接使用3d视觉：读取stl模型，将stl模型表面离散化，创建零件的3d点云模板，保存至模型库，供后续匹配使用；然后，通过模板匹配估计零件当前位姿，2d模式下，提取杂乱场景中所有零件的轮廓，根据模板文件进行匹配，返回重合度即分数最高的n个，n为自定的个数，记录分数用于后续的知识推理；3d模式下，则通过对杂乱场景拍摄得到的点云与3d模板点云进行匹配，返回重合度即分数最高的n个，记录分数用于后续的知识推理；实验结果显示，2d情况下的匹配分数最高为1，3d情况下的匹配分数最高为0.5。4.根据权利要求1所述的面向非结构环境下复杂装配任务的高效模块化系统设计与知识推理方法，其特征在于，机器人控制模块通过网口通信，将获取到的操作位姿发送至机器人完成从初始位姿到达场景中操作物体的位姿、再到从知识库中提取的目标装配位姿；机器人控制模块通过工具控制模块，是对机器人末端工具或者其他工具的控制，经由串口通信，读取知识库中不同工具的串口控制指令，根据不同操作对象的不同操作属性，自动生成
适合每一种零件的末端工具操作指令，并通过串口的形式发送给工具。5.根据权利要求1所述的面向非结构环境下复杂装配任务的高效模块化系统设计与知识推理方法，其特征在于，采用基于匹配相似度分数的推理机制，结合视觉模块在2d或3d模式下记录的匹配分数，匹配相似度小于0.85的零件a被认为是被其他零件遮挡，导致在视图中并不能完全展示出50％的表面，进入推理流程：取距离零件a位置最近的零件b的匹配结果，设置其为遮挡位姿，则在装配被遮挡零件之前，会先将遮挡的零件通过机器人操作移动至空闲等待区；如此，直至所有所需的零件均获取到合格的位姿之后，即可自主生成整个任务的装配序列，并保存至本地，供后续通信模块与动作控制模块调取。

技术总结
本发明公开了面向非结构环境下复杂装配任务的高效模块化系统设计与知识推理方法，机器人系统进行模块化包括知识库模块、视觉感知模块、动作控制模块及通信模块。知识库模块分层存储零件属性、动作指令与不同的装配任务；视觉感知模块控制相机对工作区域进行拍照，完成对场景中杂乱摆放零件的位置与姿态识别；通信模块与动作控制模块联接；构建知识推理模型，结合知识库内装配要求，机器人自主推理可行的装配操作序列，完成对有覆盖的零件进行移除与再装配。本发明对于复杂装配任务处理形式多样，以知识库的方式存储或通过输入外部任务指令完成；基于知识推理，自主生成可行的装配动作序列，提高了机器人完成复杂装配任务的灵活性、智能性。智能性。智能性。


技术研发人员：刘春芳 阮晋琛
受保护的技术使用者：北京工业大学
技术研发日：2023.06.02
技术公布日：2023/9/5