基于灰度质心提取算法的视觉合作靶标特征点定位方法与流程

1.本发明属于计算机视觉测量技术领域，特别是指一种基于灰度质心提取算法的视觉合作靶标特征点定位方法。


背景技术：

2.基于合作目标的视觉测量技术具有识别稳定、定位精度高、处理效率高等优点。现有技术中，以文献“一种基于视觉的uuv轴向及周向偏差检测方法”为代表的常规的视觉测量合作靶标一般利用轮廓检测、特征匹配结合滤波算法，结合靶标本身特征信息进行靶标识别及定位。该种靶标尺寸一般较大，特征点无法在待测物体表面精准定位。解放军信息工程大学冯其强等人在《数字工业摄影测量技术及应用》([m].测绘出版社.2013)中提出利用强反光材料制作的圆形贴片靶标，可以利用靶标材料反光度高的特性，结合特征匹配以及灰度质心提取算法，对靶标进行识别和定位。但是，这种靶标用于摄影测量，靶标本身由于特征信息非常少，无法存储单个靶标的信息，需要靠后期数据处理获得靶标信息，无法做到快速测量，效率过低。


技术实现要素：

[0003]
为了解决双目视觉测量系统在实际使用中，需要对被测物体所需测量的特征点进行高精度实时测量的问题，本发明提出一种基于灰度质心提取算法的视觉合作靶标特征点定位方法，该方法识别难度低、识别效率高、算法简单，可以辅助双目视觉测量系统快速定位靶标位置。
[0004]
本发明的目的是这样实现的：
[0005]
一种基于灰度质心提取算法的视觉合作靶标特征点定位方法，包括以下步骤：
[0006]
步骤1：将靶标贴在待测位置处；所述靶标由两部分构成，一部分为辅助识别结构，包括外围圆和内部二维码，用于辅助识别及靶标信息存储，另一部分为具有反光特性的特征点；
[0007]
步骤2：将双目视觉控制器对准贴有靶标的待测位置并稳定放置，打开照明灯，对靶标区域进行实时图像采集；
[0008]
步骤3：对采集到的图像进行灰度处理，得到灰度图像；
[0009]
步骤4：对灰度图像进行高斯滤波和中值滤波处理以剔除噪声，并对图像质量进行判定，如果图像的对比度无法满足轮廓检测要求，则进行clahe局部直方图均衡化处理，实现图像增强，并再次利用高斯滤波和中值滤波剔除噪声；将剔除噪声后的图像进行二值化处理；
[0010]
步骤5：对步骤4处理后的图像进行轮廓检测，利用面积、圆度、同心圆检测对轮廓进行筛选，获得符合靶标特征的轮廓框roi；
[0011]
步骤6：对roi内的二维码进行扫描，获得靶标的id信息，然后，对靶标内轮廓的圆度、面积、灰度均值参数进行二次筛选，获得靶标的特征点；
[0012]
步骤7：利用灰度质心法，获得特征点在图像坐标系下的坐标，完成对靶标的整个识别及在图像坐标系下的二维坐标定位过程；
[0013]
步骤8：双目视觉控制器对左右相机的特征点二维坐标、靶标id信息进行数据融合，结合预先标定得到的双目视觉控制器标定参数，解算得到靶标特征点在世界坐标系下的三维坐标，完成对待测位置的定位。
[0014]
本发明的有益效果在于：
[0015]
1、本发明适配的定位靶标将简化后的二维码、圆形外轮廓以及用于摄影测量的强反光靶标结合，利用简化版二维码识别难度低、识别效率高、算法简单的优势，可以辅助双目视觉测量系统快速定位靶标位置。
[0016]
2、本发明利用双目视觉测量系统对该靶标进行测量，通过左右摄像机分别对该靶标进行识别和特征点定位，结合双目视觉测量系统预先标定完成的内参外参，快速解算出靶标特征点在三维坐标系下的特征值。
[0017]
3、本发明可用于计算机视觉领域图像识别和定位算法，以二维码形式存储靶标信息，通过识别二维码和圆形轮廓进行靶标识别，通过灰度质心提取算法定位反光靶标特征点。
附图说明
[0018]
图1为本发明的流程图。
[0019]
图2为经过灰度处理后的相机采集图像。
[0020]
图3为经过clahe局部直方图均衡化处理和高斯滤波、中值滤波后的结果。
[0021]
图4为图像二值化处理后的结果。
[0022]
图5为轮廓检测后的结果。
[0023]
图6为经过筛选后符合要求的靶标轮廓。
[0024]
图7为框取的roi(region of interest)。
具体实施方式
[0025]
下面结合附图与具体实施方式对本发明作进一步详细描述。
[0026]
一种基于灰度质心提取算法的视觉合作靶标特征点定位方法，该方法采用简化的二维码，通过识别简化的二维码，完成靶标识别后的roi(region of interest)圈定过程；然后，对靶标识别进行二次确认的过程，对反光圆形靶标进行灰度质心提取算法，解算其中心，从而完成对靶标特征点位置在图像坐标系下的坐标定位；最后，结合双目视觉控制器标定参数，融合数据解算特征点在世界坐标系下的三维坐标。
[0027]
根据靶标的结构设计，其识别及特征点定位流程如下：图像预处理过程，特征识别及筛选过程，特征点定位过程。后续双目视觉测量系统通过解算两个单目相机的图像坐标系下的特征点定位坐标，结合双目视觉测量系统标定的内参和外参，对特征点在世界坐标系下的坐标进行解算。
[0028]
双目视觉测量系统进入工作模式后，进行实时图像采集，对实时采集到的图像进行靶标检测，未检测到图像中的靶标则继续捕捉新的图像，检测到靶标后输出靶标三维坐标解算结果，传输至上位机后，继续捕捉新的图像。具体步骤如下：
[0029]
1.预处理
[0030]
预处理阶段包括图像灰度处理、高斯滤波、canny边缘检测、轮廓检测、轮廓筛选、靶标区域roi(region of interest)圈定的过程。相机获取的实时图像是rgb图像，即红绿蓝三通道图像，在实际处理中需要转换为单通道的灰度图像，计算公式为：
[0031]
gray＝0.299r+0.587g+0.114b
[0032]
基于灰度图像进行高斯滤波，进行边缘检测，边缘检测流程为：将获取的灰度图像进行图像平滑处理、求取图像梯度、进行非极大值抑制和利用滞后阈值法确定选定轮廓。轮廓检测过程对噪声非常敏感，图像平滑处理的作用是去除噪声，首先采用高斯(gauss)滤波方法降噪，根据高斯公式生成滤波算子，然后在图像矩阵中各个像素点及其邻近像素点组成的矩阵于滤波算子进行卷积操作，去除噪声。
[0033]
完成滤波后，对图像进行canny边缘检测，2阶canny算子为：
[0034][0035][0036]
进一步地，可求该像素点处沿x和y两个方向的梯度，即为求该处沿x和y方向的偏导数：
[0037]fx
′
(x,y)＝g
x
＝[f(x+1,y)+f(x+1,y+1)-f(x,y)-f(x,y+1)]/2
[0038]fy
′
(x,y)＝g
x
＝[f(x,y+1)+f(x+1,y+1)-f(x,y)-f(x+1,y)]/2
[0039]
并得图像矩阵中各个像素点的梯度：
[0040][0041]
梯度为矢量，其方向为：
[0042][0043]
求得图像梯度后，需对梯度值进行非极大值抑制，以防止所获取的边缘存在不连续、宽度不均匀等问题。其原理为，寻找局部梯度最大值的点作为边缘点，将不是最大值的点剔除，保证所获取的边缘的像素宽度为1。非极大值抑制后进行双阈值检测，即为设置强阈值和弱阈值，当某像素坐标处的梯度超过强阈值，则判定为边缘点，若梯度低于弱阈值，则判定不是边缘点。梯度值高于弱阈值低于强阈值时，则根据附近点是否为边缘点进行判别，若为孤立点，即附近无其余边缘点时，则判定不是边缘点，若不为孤立点，即与之相连的点有连续的边缘点，则判定为边缘点。
[0044]
获得所有轮廓后，根据面积、圆度、解算圆心后同心圆圆心像素坐标间距等条件进行筛选，其中圆度计算公式为：
[0045][0046]
式中：r为圆度，s为轮廓面积，c为轮廓周长。r越接近于1，则形状越接近于圆。在圈定好roi后，可以对靶标进行识别和特征点定位。
[0047]
2.靶标信息识别及特征点定位
[0048]
在圈定了roi以后，对roi区域内的靶标进行信息识别。首先对roi区域内的二维码进行扫描，利用的模块是cv2.aruco.detectmarkers。检测到二维码信息后可以获得该靶标的id，以便于输出测量点信息以及匹配左右相机内的特征点。完成二维码扫描后，对靶标区域内轮廓进行筛选，选定圆度、面积、轮廓内灰度值均符合反光靶标特征的轮廓，确定为反光靶标。利用图像中反光靶标的成像，结合灰度质心提取算法，提取其灰度质心，作为特征点在图像坐标系下的坐标。在图像中截取图像块b，将b对应的灰度值矩阵定义为：
[0049]mpq
＝∑
x,y∈b
x
pyq
i(x,y)
[0050]
其中，x,y表示像素坐标，i(x,y)表示此像素坐标的灰度值。
[0051]
计算灰度质心c的公式为：
[0052]m00
＝∑
x,y∈b
i(x,y)
[0053]m10
＝∑
x,y∈b
x
×
i(x,y)
[0054]m01
＝∑
x,y∈b
x
×
i(x,y)
[0055][0056]
计算得到的灰度质心坐标即为靶标特征点在图像坐标系下的坐标值。
[0057]
下面为一个更具体的例子：
[0058]
一种基于灰度质心提取算法的视觉合作靶标特征点定位方法，如图1所示，包括以下步骤：
[0059]
步骤1：靶标由两部分构成，一部分为辅助识别结构，包括外围圆和内部二维码，用于辅助识别和靶标信息存储。另一部分为特征点定位部分，即反光靶标，该部分受到灯光照射可以强烈反光。将反光靶标贴到待测位置上，既可利用双目视觉控制器对待测位置进行测量。
[0060]
步骤2：将双目视觉控制器对准贴有靶标的待测位置并稳定放置，打开照明灯，运行自动测量程序，双目视觉控制器对实时图像进行采集。
[0061]
步骤3：对采集到的图像进行灰度处理，结果如图2所示。
[0062]
步骤4：对灰度图像进行高斯滤波和中值滤波处理，程序自行进行进行图像质量判定，如果对比度无法满足轮廓检测要求，进行clahe局部直方图均衡化处理，完成图像增强操作，并利用高斯滤波和中值滤波再次剔除噪声，其结果如图3所示。剔除噪声后进行二值化处理，二值化处理结果如图4所示。
[0063]
步骤5：对滤波后的灰度图像或者二值化图像进行轮廓检测，轮廓检测结果如图5所示。对轮廓利用面积、圆度、同心圆检测等进行筛选，获得符合靶标特征的轮廓，结果如图6所示。
[0064]
步骤6：根据轮廓框取roi(region of interest)，框取结果如图7所示。对roi内的二维码进行扫描，获得该靶标的相关信息，如靶标id等。对靶标内轮廓的圆度、面积、灰度均值等参数进行二次筛选，获得反光靶标特征点。
[0065]
步骤7：对靶标特征点利用灰度质心法，获得特征点在图像坐标系下的坐标，完成对靶标的整个识别及在图像坐标系下的二维坐标定位过程。
[0066]
步骤8：双目视觉控制器对左右相机的特征点二维坐标、id等信息进行数据融合，结合预先标定得到的双目视觉控制器标定参数，解算得到靶标特征点在世界坐标系下的三
维坐标。
[0067]
总之，本发明将强反光靶标贴于所需测量位置，将双目视觉控制器对准靶标；双目视觉控制器捕捉实时画面，对左右两个相机捕捉到的画面进行同步处理，进行轮廓检测、特征匹配及筛选，通过扫描简易二维码对靶标进行识别，并确定靶标id；扫描并筛选符合条件的外圆轮廓，对roi进行圈定，同时对靶标识别进行二次确认；在roi内识别反光靶标，并利用灰度质心提取算法对反光靶标在图像坐标系下的坐标进行提取定位，从而完成对靶标识别及在图像坐标系下的定位；双目视觉控制器融合两个相机图像中提取到的特征点二维坐标信息，结合双目视觉控制器标定参数，解算出靶标特征点在三维坐标系下的坐标。
[0068]
本发明将简化后的二维码、圆形外轮廓以及用于摄影测量的强反光靶标结合，利用简化版二维码识别难度低、识别效率高、算法简单的优势，可以辅助双目视觉测量系统快速定位靶标位置。

技术特征：
1.一种基于灰度质心提取算法的视觉合作靶标特征点定位方法，其特征在于，包括以下步骤：步骤1：将靶标贴在待测位置处；所述靶标由两部分构成，一部分为辅助识别结构，包括外围圆和内部二维码，用于辅助识别及靶标信息存储，另一部分为具有反光特性的特征点；步骤2：将双目视觉控制器对准贴有靶标的待测位置并稳定放置，打开照明灯，对靶标区域进行实时图像采集；步骤3：对采集到的图像进行灰度处理，得到灰度图像；步骤4：对灰度图像进行高斯滤波和中值滤波处理以剔除噪声，并对图像质量进行判定，如果图像的对比度无法满足轮廓检测要求，则进行clahe局部直方图均衡化处理，实现图像增强，并再次利用高斯滤波和中值滤波剔除噪声；将剔除噪声后的图像进行二值化处理；步骤5：对步骤4处理后的图像进行轮廓检测，利用面积、圆度、同心圆检测对轮廓进行筛选，获得符合靶标特征的轮廓框roi；步骤6：对roi内的二维码进行扫描，获得靶标的id信息，然后，对靶标内轮廓的圆度、面积、灰度均值参数进行二次筛选，获得靶标的特征点；步骤7：利用灰度质心法，获得特征点在图像坐标系下的坐标，完成对靶标的整个识别及在图像坐标系下的二维坐标定位过程；步骤8：双目视觉控制器对左右相机的特征点二维坐标、靶标id信息进行数据融合，结合预先标定得到的双目视觉控制器标定参数，解算得到靶标特征点在世界坐标系下的三维坐标，完成对待测位置的定位。

技术总结
本发明提供一种基于灰度质心提取算法的视觉合作靶标特征点定位方法，涉及高精度视觉测量技术领域。本发明将强反光靶标贴于所需测量位置，将双目视觉控制器对准靶标；双目视觉控制器捕捉实时画面，对左右两个相机捕捉到的画面进行同步处理，进行轮廓检测、特征匹配及筛选，通过扫描简易二维码对靶标进行识别，并确定靶标ID；对ROI进行圈定，同时对靶标识别进行二次确认；在ROI内识别反光靶标，并利用灰度质心提取算法对反光靶标在图像坐标系下的坐标进行提取定位；双目视觉控制器融合两个相机图像中提取到的特征点二维坐标信息，结合双目视觉控制器标定参数，解算出靶标特征点在三维坐标系下的坐标。坐标系下的坐标。坐标系下的坐标。


技术研发人员：冯立甲 程志峰 夏立 王铮 张万才 王建宅 孙伟 刘晓宇 米丹枫 孙龙飞
受保护的技术使用者：中国电子科技集团公司第五十四研究所
技术研发日：2023.07.06
技术公布日：2023/10/15