一种基于3D视觉的实训系统及其控制方法与流程

一种基于3d视觉的实训系统及其控制方法
技术领域
1.本发明涉及光学成像应用技术领域，尤其涉及一种基于3d视觉的实训系统及其控制方法。


背景技术：

2.随着科学技术的发展，以机器视觉技术为基础的定位、抓取、检测等技术已经逐渐应用于各行各业，但相应的实操教学系统还并不够完善，往往存在着定位精度较差且步骤繁琐导致操作易出错等问题。


技术实现要素：

3.本发明所要解决的技术问题是提供一种基于3d视觉的机械臂实训系统及方法，以提高定位精度，且步骤简洁便于操作。
4.第一方面，本发明提供了一种基于3d视觉的实训系统，包括操作台、3d视觉传感器、机械臂控制装置及上位机，所述3d视觉传感器设于所述操作台上并面向所述操作台，包括相机、投影仪及控制处理器，所述控制处理器分别与所述投影仪及所述相机电连接，用于控制所述投影仪投射预设的结构光至放置于所述操作台的被测物体上，控制所述相机采集所述被测物体上的投影图像，接收所述相机采集到的所述投影图像并进行分析处理，获得深度图像及初始三维点云；所述机械臂控制装置设于所述操作台的一侧，用于与机械臂电连接，控制所述机械臂及与所述机械臂连接的拾取工具工作；所述上位机分别与所述3d视觉传感器与所述机械臂控制装置电连接，用于控制所述3d视觉传感器工作，接收所述3d视觉传感器获得的所述投影图像、所述深度图像和所述初始三维点云，根据所述投影图像、所述深度图像和所述初始三维点云进行被测物体的检测及定位处理，获取操作点信息，根据获得的操作点信息结合操作指令生成操作控制信号并发送至所述机械臂控制装置。
5.第二方面，本发明还提供了一种基于3d视觉的实训系统的控制方法，应用于上述的基于3d视觉的实训系统，包括以下步骤：图像采集：上位机控制3d视觉传感器的控制处理器驱动投影仪投射预设的结构光至放置于操作台的被测物体上并驱动相机采集被测物体上的投影图像；三维点云获取：控制处理器接收相机采集到的所述投影图像并进行分析处理，获得深度图像及初始三维点云，将所述投影图像、所述深度图像和所述初始三维点云传输至上位机；被测物体检测定位：上位机根据接收到的所述投影图像、所述深度图像和所述初始三维点云进行被测物体的检测及定位处理，获取操作点信息；操作控制信号生成：根据获得的操作点信息结合操作指令生成操作控制信号并发送至机械臂控制装置；操作执行：机械臂控制装置根据接收到的操作控制信号进行分析处理后控制机械臂和/或拾取工具工作。
6.本发明的有益技术效果在于：本发明的基于3d视觉的实训系统通过设置上位机、设于操作台上的包括相机、投影仪及控制处理器的3d视觉传感器和设于操作台一侧的用于与机械臂电连接以控制机械臂及与机械臂连接的拾取工具工作的机械臂控制装置，以使上
位机可控制3d视觉传感器工作，利用控制处理器控制投影仪投射预设的结构光至放置于操作台的被测物体上，控制相机采集被测物体上的投影图像，接收相机采集的投影图像并进行分析处理，获得深度图及初始三维点云，从而上位机可接收该投影图像、深度图像及初始三维点云以进行被测物体检测及定位处理，获取操作点信息以生成操作控制信号后发送至机械臂控制装置控制机械臂及与机械臂连接的拾取工具工作，通过利用主动结构光及三维点云进行检测定位，提高检测定位精度，通过上位机驱动机械臂控制装置以控制机械臂及与机械臂连接的拾取工具工作，步骤方便简洁，使得操作不易出错，可靠性强。本发明的基于3d视觉的实训系统的控制方法也具有上述功能。
附图说明
7.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
8.图1为本发明实施例提供的基于3d视觉的实训系统的框架示意图；
9.图2为本发明实施例提供的基于3d视觉的实训系统的控制方法的流程示意图；
10.图3为本发明实施例提供的基于3d视觉的实训系统的控制方法的子流程示意图。
具体实施方式
11.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
12.请参阅图1所示，图1为本发明实施例提供的基于提供的基于3d视觉的实训系统的框架示意图，所述基于3d视觉的实训系统10包括操作台、3d视觉传感器11、机械臂控制装置12及上位机13，所述3d视觉传感器11设于所述操作台上并面向所述操作台，包括相机、投影仪及控制处理器，所述控制处理器分别与所述投影仪及所述相机电连接，用于控制所述投影仪投射预设的结构光至放置于所述操作台的被测物体上，控制所述相机采集所述被测物体上的投影图像，接收所述相机采集到的所述投影图像并进行分析处理，获得深度图像及初始三维点云；其中，所述初始三维点云是指所述深度图像的各像素对应的三维坐标点；所述机械臂控制装置12设于所述操作台的一侧，用于与机械臂电连接，控制所述机械臂及与所述机械臂连接的拾取工具工作；所述上位机13分别与所述3d视觉传感器11与所述机械臂控制装置12电连接，用于控制所述3d视觉传感器11工作，接收所述3d视觉传感器11获得的所述投影图像、所述深度图像和所述初始三维点云，根据所述投影图像、所述深度图像和所述初始三维点云进行被测物体的检测及定位处理，获取操作点信息，根据获得的操作点信息结合操作指令生成操作控制信号并发送至所述机械臂控制装置12。操作点信息是通过算法处理从点云中找出的六维的拾取位置和姿态，以供机械臂执行。该算法包括ppf模板匹配算法、区域生长分割和质心计算算法。
13.其中，投影仪可为光栅投影仪，用于投射结构光至被测物体上，结构光包括条纹光栅或编码光栅等，操作台的台面可为银色铁板，拾取工具可为夹爪或吸盘等具有拾取功能
的部件。上位机13安装有实训操作软件以与用户交互，控制3d视觉传感器11及机械臂控制装置12工作的进行，调整3d视觉传感器11及机械臂控制装置12的配置参数，可通过上位机根据实际操作任务需求定义各操作任务的操作流程，例如，可将将张开夹爪-移动到操作点-闭合夹爪的过程定义为拾取，将移动到放料点-张开夹爪的过程定义为放置，则此时用户只需自定义机械臂拾取放置的起始点和放料点参数即可快速完成拾取放置流程的参数配置。只需将机械臂安装在预设位置，并将拾取工具安装于机械臂的末端后完成相应接线，即可实现上位机13与机械臂的连接，然后通过上位机13的实训操作软件进行相应的实训操作选择，则可控制3d视觉传感器11、机械臂及拾取工具进行相应的实训操作，实训操作可包括检测定位、拾取和放置等功能。实训操作软件还可包括自动识别3d视觉传感器11及自动配置ip等功能，实现硬件接通后可一键连接。3d视觉传感器11的投影仪为高像素的投影仪，相机采用高像素高帧率的相机，以在硬件上提高三维点云重建的精度，控制处理器中可内置有环境光抑制技术，点云去噪、点云滤波、点云平滑等现有的后期处理技术，以进一步提高点云精度，从而提高检测定位精度。机械臂可采用aubo机械臂，机械臂控制装置12一方面可对aubo机械臂进行控制，另一方面通过aubo机械臂的数据输出信号间接控制拾取工具进行控制。aubo机械臂的api接口只提供拾取工具和机械臂控制装置12两者之间的移动接口和控制机械臂控制装置12的io信号接口的功能，将拾取工具的信号控制端通过接线与机械臂控制装置12的io信号接口相连，则可通过机械臂控制装置12的io信号接口输出的io信号控制拾取工具工作。检测定位可包括形状检测、颜色检测、缺陷检测和字符识别。
14.所述基于3d视觉的实训系统10通过设置上位机、设于操作台上的包括相机、投影仪及控制处理器的3d视觉传感器和设于操作台一侧的用于与机械臂电连接以控制机械臂及与机械臂连接的拾取工具工作的机械臂控制装置，以使上位机可控制3d视觉传感器工作，利用控制处理器控制投影仪投射预设的结构光至放置于操作台的被测物体上，控制相机采集被测物体上的投影图像，接收相机采集的投影图像并进行分析处理，获得深度图像和初始三维点云，从而上位机可接收该投影图像、深度图像和初始三维点云以进行被测物体检测及定位处理，获取操作点信息以生成操作控制信号后发送至机械臂控制装置控制机械臂及与机械臂连接的拾取工具工作，通过主动结构光技术可使得重建三维结果更精确，通过利用三维点云进行检测定位，提高检测定位精度，通过上位机驱动机械臂控制装置以控制机械臂及与机械臂连接的拾取工具工作，步骤方便简洁，使得操作不易出错，可靠性强。
15.具体地，在本实施例中，所述控制处理器包括控制模块和gpu模块，所述控制模块分别与所述投影仪、所述相机及所述gpu模块电连接，以分别控制所述投影仪、所述相机及所述gpu模块工作；所述gpu模块与所述相机电连接，用于接收所述相机采集到的所述投影图像并进行分析处理，获得深度图像及初始三维点云。其中，利用gpu(graphicsprocessingunit，图形处理器)模块进行图像处理可提高点云重建速度。
16.优选地，所述gpu模块包括结构光解码单元、标定单元及三角测量单元，所述结构光解码单元用于解析所述投影图像，获得结构光解码信息；所述标定单元用于对所述相机进行标定，获取相机内参和相机畸变参数；所述三角测量单元分别与所述结构光解码单元和所述标定单元相连，根据所述结构光解码信息、所述相机内参和所述相机畸变参数，采用三角测量法计算所述投影图像中各像素对应的三维点坐标。其中，可通过计算投影图像中
的结构光的像素位置、灰度变化或相位变化以解析获得结构光解码信息。结构光解码信息包括结构光的形状信息和结构光的位移信息，三角测量法是通过三角化技术将相机的光线与结构光之间的交点计算为三维点云。
17.请参阅图2所示，图2是本发明实施例提供的基于3d视觉的实训系统的控制方法，所述基于3d视觉的实训系统的控制方法应用于上述的基于3d视觉的实训系统，包括步骤s11-s15：
18.步骤s11、图像采集：上位机控制3d视觉传感器的控制处理器驱动投影仪投射预设的结构光至放置于操作台的被测物体上并驱动相机采集被测物体上的投影图像；
19.步骤s12、三维点云获取：控制处理器接收相机采集到的所述投影图像并进行分析处理，获得深度图像及初始三维点云，将所述投影图像、所述深度图像和所述初始三维点云传输至上位机；
20.步骤s13、被测物体检测定位：上位机根据接收到的所述投影图像、所述深度图像和所述初始三维点云进行被测物体的检测及定位处理，获取操作点信息；根据投影图像、深度图像和初始三维点云进行被测物体的检测以检测是否存在被测物体，并可对被测物体的状态进行检测，然后对检测到的被测物体进行定位，获取对应的位置信息，使得操作更准确。
21.步骤s14、操作控制信号生成：根据获得的操作点信息结合操作指令生成操作控制信号并发送至机械臂控制装置；
22.步骤s15、操作执行：机械臂控制装置根据接收到的操作控制信号进行分析处理后控制机械臂和/或拾取工具工作。
23.其中，所述基于3d视觉的实训系统的控制方法通过上位机控制3d视觉传感器工作，利用控制处理器控制投影仪投射预设的结构光至放置于操作台的被测物体上，控制相机采集被测物体上的投影图像，接收相机采集的投影图像并进行分析处理，获得深度图像和初始三维点云，从而上位机可接收该投影图像、深度图像和初始三维点云以进行被测物体的检测及定位处理，获取操作点信息以生成操作控制信号后发送至机械臂控制装置控制机械臂及与机械臂连接的拾取工具工作，通过利用主动结构光及三维点云进行检测定位，提高检测定位精度，通过上位机驱动机械臂控制装置以控制机械臂及与机械臂连接的拾取工具工作，步骤方便简洁，使得操作不易出错，可靠性强。
24.具体地，所述步骤s11前还可包括：
25.实训准备：于操作台上放置被测物体，于预设位置安装机械臂并使机械臂与机械臂控制装置电连接，于机械臂的末端安装拾取工具。拾取工具可通过机械臂与机械臂控制装置电连接。
26.具体地，所述步骤s12中的所述获得深度图像及初始三维点云的步骤可包括：
27.解析所述投影图像，获得结构光解码信息；
28.对相机进行标定，获取相机内参和相机畸变参数；
29.根据所述结构光解码信息、所述相机内参和所述相机畸变参数，采用三角测量法计算所述投影图像中各像素对应的三维点坐标，获得深度图像，并根据获得的深度图像获得初始三维点云。
30.结合图3，具体地，在本实施例中，所述步骤s13具体包括：
31.步骤s131、边缘检测及提取：上位机对所述投影图像进行区域划分，获得被测物体周围区域，对所述被测物体周围区域进行图像处理，获得被测物体周围区域的图像最佳灰度值，根据获得的所述被测物体周围区域的图像最佳灰度值提取被测物体边缘；以减少复杂场景和光影的干扰，提高边缘检测的效果，减少不同区域光线强度不同导致的干扰，鲁棒性高。其中，区域划分时，对矩形和三角形的直线的识别采用大量细线段拟合的方法，以更容易区分目标线段与干扰线段，提高边缘检测的准确性。
32.步骤s132、操作点获取：将提取到的被测物体边缘上采样至所述投影图像的尺寸，获取操作点信息。其中，上位机可通过调用opencv对提取到的被测物体边缘进行上采样，以使被测物体边缘恢复至投影图像的大小。
33.具体地，所述步骤s131包括：
34.上位机对所述投影图像进行区域划分，获得被测物体周围区域；
35.对所述被测物体周围区域进行下采样后进行像素归一化处理，获得被测物体周围区域的图像最佳灰度值；
36.根据获得的所述被测物体周围区域的图像最佳灰度值采用自适应阈值提取边缘轮廓的方法提取获得被测物体边缘。其中，通过下采样可使得被测物体周围区域的像素的梯度变化更明显，以便后续进行边缘提取，通过像素归一化处理可使得对应区域的像素分布在0～255之间，通过自适应阈值提取边缘轮廓的方法进行轮廓提取使得提取的轮廓更精确。
37.具体地，当被测物体为主视图呈圆形的物品时，所述步骤s131后还包括：
38.于所述初始三维点云中去除背景点云，获得净被测物体点云，对所述净被测物体点云进行拟合圆操作，计算获得所述净被测物体点云的拟合圆的圆半径。
39.综上所述，本发明的基于3d视觉的实训系统通过设置上位机、设于操作台上的包括相机、投影仪及控制处理器的3d视觉传感器和设于操作台一侧的用于与机械臂电连接以控制机械臂及与机械臂连接的拾取工具工作的机械臂控制装置，以使上位机可控制3d视觉传感器工作，利用控制处理器控制投影仪投射预设的结构光至放置于操作台的被测物体上，控制相机采集被测物体上的投影图像，接收相机采集的投影图像并进行分析处理，获得深度图及初始三维点云，从而上位机可接收该投影图像、深度图像及初始三维点云以进行被测物体检测及定位处理，获取操作点信息以生成操作控制信号后发送至机械臂控制装置控制机械臂及与机械臂连接的拾取工具工作，通过利用主动结构光及三维点云进行检测定位，提高检测定位精度，通过上位机驱动机械臂控制装置以控制机械臂及与机械臂连接的拾取工具工作，步骤方便简洁，使得操作不易出错，可靠性强。本发明的基于3d视觉的实训系统的控制方法也具有上述功能。
40.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种基于3d视觉的实训系统，其特征在于，包括：操作台；3d视觉传感器，设于所述操作台上并面向所述操作台，包括相机、投影仪及控制处理器，所述控制处理器分别与所述投影仪及所述相机电连接，用于控制所述投影仪投射预设的结构光至放置于所述操作台的被测物体上，控制所述相机采集所述被测物体上的投影图像，接收所述相机采集到的所述投影图像并进行分析处理，获得深度图像及初始三维点云；机械臂控制装置，设于所述操作台的一侧，用于与机械臂电连接，控制所述机械臂及与所述机械臂连接的拾取工具工作；上位机，分别与所述3d视觉传感器与所述机械臂控制装置电连接，用于控制所述3d视觉传感器工作，接收所述3d视觉传感器获得的所述投影图像、所述深度图像和所述初始三维点云，根据所述投影图像、所述深度图像和所述初始三维点云进行被测物体的检测及定位处理，获取操作点信息，根据获得的操作点信息结合操作指令生成操作控制信号并发送至所述机械臂控制装置。2.根据权利要求1所述的基于3d视觉的实训系统，其特征在于，所述控制处理器包括控制模块和gpu模块，所述控制模块分别与所述投影仪、所述相机及所述gpu模块电连接，以分别控制所述投影仪、所述相机及所述gpu模块工作；所述gpu模块与所述相机电连接，用于接收所述相机采集到的所述投影图像并进行分析处理，获得深度图像及初始三维点云。3.根据权利要求2所述的基于3d视觉的实训系统，其特征在于，所述gpu模块包括结构光解码单元、标定单元及三角测量单元，所述结构光解码单元用于解析所述投影图像，获得结构光解码信息；所述标定单元用于对所述相机进行标定，获取相机内参和相机畸变参数；所述三角测量单元分别与所述结构光解码单元和所述标定单元相连，根据所述结构光解码信息、所述相机内参和所述相机畸变参数，采用三角测量法计算所述投影图像中各像素对应的三维点坐标，获得深度图像，并根据获得的深度图像获得初始三维点云。4.一种基于3d视觉的实训系统的控制方法，其特征在于，应用于权利要求1至3任一项所述的基于3d视觉的实训系统，包括以下步骤：图像采集：上位机控制3d视觉传感器的控制处理器驱动投影仪投射预设的结构光至放置于操作台的被测物体上并驱动相机采集被测物体上的投影图像；三维点云获取：控制处理器接收相机采集到的所述投影图像并进行分析处理，获得深度图像及初始三维点云，将所述投影图像、所述深度图像和所述初始三维点云传输至上位机；被测物体检测定位：上位机根据接收到的所述投影图像、所述深度图像和所述初始三维点云进行被测物体的检测及定位处理，获取操作点信息；操作控制信号生成：根据获得的操作点信息结合操作指令生成操作控制信号并发送至机械臂控制装置；操作执行：机械臂控制装置根据接收到的操作控制信号进行分析处理后控制机械臂和/或拾取工具工作。5.根据权利要求4所述的基于3d视觉的实训系统的控制方法，其特征在于，所述图像采集的步骤前还包括：实训准备：于操作台上放置被测物体，于预设位置安装机械臂并使机械臂与机械臂控
制装置电连接，于机械臂的末端安装拾取工具。6.根据权利要求4所述的基于3d视觉的实训系统的控制方法，其特征在于，所述三维点云获取的步骤中的所述获得深度图像及初始三维点云的步骤包括：解析所述投影图像，获得结构光解码信息；对相机进行标定，获取相机内参和相机畸变参数；根据所述结构光解码信息、所述相机内参和所述相机畸变参数，采用三角测量法计算所述投影图像中各像素对应的三维点坐标，获得深度图像，并根据获得的深度图像获得初始三维点云。7.根据权利要求4所述的基于3d视觉的实训系统的控制方法，其特征在于，所述被测物体检测定位的步骤具体包括：边缘检测及提取：上位机对所述投影图像进行区域划分，获得被测物体周围区域，对所述被测物体周围区域进行图像处理，获得被测物体周围区域的图像最佳灰度值，根据获得的所述被测物体周围区域的图像最佳灰度值提取被测物体边缘；操作点获取：将提取到的被测物体边缘上采样至所述投影图像的尺寸，获取操作点信息。8.根据权利要求7所述的基于3d视觉的实训系统的控制方法，其特征在于，所述边缘检测及提取的步骤具体为：上位机对所述投影图像进行区域划分，获得被测物体周围区域；对所述被测物体周围区域进行下采样后进行像素归一化处理，获得被测物体周围区域的图像最佳灰度值；根据获得的所述被测物体周围区域的图像最佳灰度值采用自适应阈值提取边缘轮廓的方法提取获得被测物体边缘。9.根据权利要求7所述的基于3d视觉的实训系统的控制方法，其特征在于，当被测物体为主视图呈圆形的物品时，所述边缘检测及提取的步骤后还包括：于所述初始三维点云中去除背景点云，获得净被测物体点云，对所述净被测物体点云进行拟合圆操作，计算获得所述净被测物体点云的拟合圆的圆半径。

技术总结
本发明公开一种基于3D视觉的实训系统及其控制方法，实训系统包括操作台、3D视觉传感器、机械臂控制装置及上位机，3D视觉传感器包括相机、投影仪及控制处理器，控制处理器控制投影仪投射结构光至放置于操作台的被测物体上，控制相机采集投影图像，接收投影图像并分析处理，获得深度图像及初始三维点云；机械臂控制装置设于操作台的一侧，以与机械臂电连接，控制机械臂及与其连接的拾取工具工作；上位机分别与3D视觉传感器与机械臂控制装置电连接，以控制3D视觉传感器工作，接收投影图像、深度图像和初始三维点云并进行被测物体检测及定位处理，获取操作点信息，根据操作点信息结合操作指令生成操作控制信号并发送至机械臂控制装置。臂控制装置。臂控制装置。


技术研发人员：丁兢 丁克 张成 李翔 马洁 王丰 叶闯 林锦辉 胡财荣 刘芊伟 陆俊君 淳豪 张敏 王凯
受保护的技术使用者：佛山显扬科技有限公司
技术研发日：2023.06.09
技术公布日：2023/8/13