一种基于双环识别的复材蜂窝自动植入方向的识别方法与流程

1.本发明涉及蜂窝视觉识别技术领域，具体涉及一种基于双环识别的复材蜂窝自动植入方向的识别方法。


背景技术：

2.随着民用航空工业的发展，噪声水平已成为影响型号市场竞争力的重要技术指标，发动机是最主要的噪声源，通过应用短舱声衬消声技术，可以有效降低发动机的噪声，短舱声衬消声就是在发动机短舱管道内铺设声衬层，以降低噪等向外传播。吸音蜂窝复合材料是商用航空发动机短舱声衬的核心结构。
3.吸音蜂窝复合材料结构上包括蜂窝型材(如图1所示)以及内嵌消声帽，目前制备吸引蜂窝复合材料的主要加工方法是人工制备，首先使用棉棒蘸取胶液在蜂窝孔腔内壁进行刷胶，随后人工将裁切好的内嵌消声帽植入到蜂窝孔腔内的指定深度，并且对边缘进行压实。该操作的人工操作繁琐，吸声蜂窝制造周期长，同时植入精度受人工操作水平影响大，造成生产效率低、吸声蜂窝质量不可控。
4.复材蜂窝自动植入设备是一种基于机器人技术和视觉识别技术，开展吸声蜂窝自动加工以达到代替人工的一种制造技术。该设备能够通过机器人识别出蜂窝孔位置信息，引导机器人工具末端对蜂窝孔腔内壁进行涂胶，随后完成蜂窝孔内消声帽的植入。该设备能够有效提吸声蜂窝的制备效率以及质量。
5.但在实际的自动植入工作中，由于光线干扰、被微小物体遮挡、蜂窝孔腔体边沿破损或是蜂窝孔本体受压形变等情况，将会造成对蜂窝孔识别的失败，这种个别的蜂窝孔识别失败将会影响自动植入设备异常停机或是异常换行，致使吸声蜂窝完成自动制备后大面积蜂窝孔跳过没被加工。
6.因此，发明人提供了一种基于双环识别的复材蜂窝自动植入方向的识别方法。


技术实现要素：

7.(1)要解决的技术问题
8.本发明实施例提供了一种基于双环识别的复材蜂窝自动植入方向的识别方法，解决了复材蜂窝自动植入设备在加工中的异常停机以及异常换行的技术问题。
9.(2)技术方案
10.本发明提供了一种基于双环识别的复材蜂窝自动植入方向的识别方法，包括以下步骤：
11.获取蜂窝型材的图像；
12.根据所述图像，确定所述蜂窝型材的中心点；
13.依据所述中心点，通过双环识别所述蜂窝型材的自动植入方向。
14.进一步地，所述获取蜂窝型材的图像，具体为：
15.利用固定在机械臂末端的工业rgbd相机捕捉所述图像信息。
16.进一步地，所述根据所述图像，确定所述蜂窝型材的中心点，具体包括如下步骤：
17.根据所述图像进行翻转矫正，使得所述图像与人工视野的坐标对齐；
18.对所述图像进行灰度化操作，将其转换为灰度图像并消除噪点干扰，以获得目标灰度图像；
19.对所述目标灰度图像进行二值化操作，获取蜂窝型材结构形状；
20.对所述蜂窝型材结构形状的轮廓进行平滑处理；
21.依据平滑处理后的蜂窝型材结构形状，获取轮廓所包络的轮廓信息；
22.根据所述轮廓信息，计算每个蜂窝孔的轮廓形态学中心点。
23.进一步地，利用中值滤波函数，消除所述灰度图像中的噪点干扰。
24.进一步地，所述对所述蜂窝型材结构形状的轮廓进行平滑处理之前，还包括：
25.对所述蜂窝型材结构形状的图像进行形态学开/闭运算以消除噪点干扰。
26.进一步地，所述依据所述中心位置，通过双环识别所述蜂窝型材的自动植入方向，具体包括如下步骤：
27.获取相机视野中心点；
28.统计在相机视野范围内的所有蜂窝孔的轮廓形态学中心点，根据各个轮廓形态学中心点到所述相机视野中心点的距离按照从小到大进行排序；
29.确定所述相机视野范围内距离所述相机视野中心点最近的中心蜂窝孔的中心点为bestc1点；
30.筛选所述中心蜂窝孔附近的内环蜂窝孔、外环蜂窝孔；
31.根据自动植入设备所谓的当前植入方向及所述内环蜂窝孔、所述外环蜂窝孔的判断结果，识别所述自动植入设备的植入方向。
32.进一步地，所述筛选所述中心蜂窝孔附近的内环蜂窝孔、外环蜂窝孔，具体为：
33.确定距离所述中心蜂窝孔小于1个蜂窝孔直径的区域为内环蜂窝孔；以及，
34.确定距离所述中心蜂窝孔大于1个蜂窝孔直径且小于2个蜂窝孔直径的区域为外环蜂窝孔。
35.进一步地，所述根据自动植入设备的当前植入方向及所述内环蜂窝孔、所述外环蜂窝孔的判断结果，识别所述自动植入设备的植入方向，具体包括如下步骤：
36.记录所述当前植入方向，记为δ0；
37.遍历所述内环蜂窝孔中的所有识别成功的蜂窝孔，通过计算各个蜂窝孔与所述相机视野中心点的连线与δ0的夹角，并筛选出所述内环蜂窝孔与δ0夹角最小的点记为bestc2_1，其夹角记为δ1；
38.遍历所述外环蜂窝孔中的所有识别成功的蜂窝孔，通过计算各个蜂窝孔与所述相机视野中心点的连线与δ0的夹角，并筛选出所述外环蜂窝孔与δ0夹角最小的点记为bestc2_2，其夹角记为δ2；
39.根据δ1、δ2计算结果，分析判断结果bestc2的计算结果。
40.进一步地，所述根据δ1、δ2计算结果综合分析判断结果bestc2的计算结果，具体包括：
41.当内环蜂窝孔筛选的最小夹角在
±
30
°
之内且外环蜂窝孔筛选存在任意角度的夹角时，将bestc2_1点记为bestc2，自动植入方向δ0不变；
42.当内环蜂窝孔筛选的最小夹角大于30
°
且外环蜂窝孔筛选最小夹角小于30
°
时，将bestc2_2点记为bestc2，自动植入方向δ0不变；
43.当内环蜂窝孔筛选的最小夹角大于30
°
且外环蜂窝孔筛选最小夹角也大于30
°
时，将bestc2_1点记为bestc2，自动植入方向δ0取其补角，即δ0＝180
°‑
δ0。
44.进一步地，所述识别所述自动植入设备的植入方向后，还包括：
45.输出所述植入方向需要植入的蜂窝孔坐标及方向，并对所述自动植入设备的当前植入方向进行修改。
46.(3)有益效果
47.综上，本发明通过视觉传感器，捕捉蜂窝图像；根据捕捉的蜂窝图像捕捉蜂窝孔形态学中心；通过双环识别判据对蜂窝加工过程中的各个工况进行分析，最终输出当前状态下所需要加工的蜂窝孔坐标以及下个加工蜂窝孔的坐标和方向。操作简单，视觉定位精确，同时对环境光线的改变不敏感，计算定位鲁棒性强、速度快、成本低、安全性强，明显提高蜂窝型材连续性自动植入的效率。
附图说明
48.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
49.图1是蜂窝型材的结构示意图；
50.图2是本发明实施例提供的一种基于双环识别的复材蜂窝自动植入方向的识别方法的流程示意图；
51.图3是本发明实施例提供的一种基于双环识别的复材蜂窝自动植入方向的识别方法中确认蜂窝型材的中心点的流程示意图；
52.图4是本发明实施例提供的一种基于双环识别的复材蜂窝自动植入方向的识别方法中双环识别自动植入方向的流程示意图；
53.图5是本发明实施例提供的一种内环蜂窝孔、外环蜂窝孔的位置示意图。
54.图中：
55.10-内环蜂窝孔；20-外环蜂窝孔。
具体实施方式
56.下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例的详细描述和附图用于示例性地说明本发明的原理，但不能用来限制本发明的范围，即本发明不限于所描述的实施例。
57.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参照附图并结合实施例来详细说明本技术。
58.图2是本发明实施例提供的一种基于双环识别的复材蜂窝自动植入方向的识别方法的流程示意图，如图2所示，该方法可以包括以下步骤：
59.s100、获取蜂窝型材的图像。
60.具体地，利用固定在机械臂末端的工业rgbd相机捕捉图像信息，工业rgbd相机架设位于机械臂末端，每次在加工前对蜂窝型材进行拍照。
61.s200、根据图像，确定蜂窝型材的中心点。
62.如图3所示，步骤s200具体包括如下步骤：
63.s201、根据图像进行翻转矫正，使得图像与人工视野的坐标对齐。
64.图像校正，针对相机捕捉的图像首先开展图像校正，其主要是通过计算机自动计算出所捕捉的图像尺寸、中心点、旋转矩阵、多余边框等参数，随后根据上料的方向和图像方向进行旋转，使得图像坐标、机器人坐标、物理坐标对齐。为了保证运算实时性，减少图像计算量，自动运算截取60*60mm窗口作为图像计算有效区域。
65.s202、对图像进行灰度化操作，将其转换为灰度图像并消除噪点干扰，以获得目标灰度图像。
66.具体地，图像的灰度化操作，将rgbd相机捕捉的三通道的彩色图像，经过color_rgb2gray灰度算法转换为单通道的灰度图像。灰度的原理为：gray＝b*0.114+g*0.587+r*0.299。图像的中值滤波操作，减少图像中的噪声噪点，减少相机拍摄过程中的噪点影响。
67.s203、对目标灰度图像进行二值化操作，获取蜂窝型材结构形状。
68.具体地，图像的二值化操作，根据适当灰度值作为判定阈值，捕捉到近似正六边形的蜂窝孔腔体的图像。
69.s204、对蜂窝型材结构形状的轮廓进行平滑处理。
70.具体地，图像的形态学开/闭运算，调整适当的内核尺寸，消除图像中的白色噪点以及黑色噪点，同时使蜂窝孔腔体的图像更加平滑。
71.s205、依据平滑处理后的蜂窝型材结构形状，获取轮廓所包络的轮廓信息。
72.具体地，寻找轮廓运算，基于调整修正后的图像，进一步捕捉蜂窝轮廓包络的轮廓信息。
73.s206、根据轮廓信息，计算每个蜂窝孔的轮廓形态学中心点。
74.具体地，蜂窝孔的轮廓形态学中心点的计算，根据轮廓信息，计算蜂窝型材孔的轮廓形态学中心点的坐标并保存，形态学中心是采用图像的矩进行计算，其公式为：
[0075][0076]
式中，p、q表示矩阵的阶数；
[0077]
角点为中心m
00
[0078][0079]
一阶矩m
01
[0080][0081]
一阶矩m
10
[0082][0083]
即形态学中心点的坐标x＝m
10
/m
00
，y＝m
01
/m
00
。
[0084]
s300、依据中心点，通过双环识别蜂窝型材的自动植入方向。
[0085]
具体地，根据蜂窝孔中心点识别的信息，综合筛选出自动植入设备当前植入的蜂
窝孔坐标以及即将植入的蜂窝孔坐标与方向，并且将位置信息以特定格式发送给机器人进行插补运动，如图4所示，具体包括如下步骤：
[0086]
s301、获取相机视野中心点。
[0087]
具体地，将视野中心点标记固定，记为roi(roi.x+roi.width/2,roi.y+roi.height/2)点，该点作为工业rgbd相机与机器人固定插补值点，作为插补运算的原点。
[0088]
s302、统计在相机视野范围内的所有蜂窝孔的轮廓形态学中心点，根据各个轮廓形态学中心点到相机视野中心点的距离按照从小到大进行排序。
[0089]
具体地，上述步骤最终计算出的轮廓形态学中心点，计算各个点到roi点的距离diss，将中心点、距离diss、轮廓序号i一一绑定记录。其中轮廓中心点到roi点距离diss计算公式为：
[0090][0091]
遍历所有的蜂窝孔中心点计算后，根据各点到roi点的距离diss从小到大排序。
[0092]
s303、确定相机视野范围内距离相机视野中心点最近的中心蜂窝孔的中心点为bestc1点。
[0093]
具体地，筛选上述排序下，距离相机视野中心点最近的蜂窝孔格点记为bestc1点，该点在逻辑上作为自动植入设备当前应当植入的点。
[0094]
s304、筛选中心蜂窝孔附近的内环蜂窝孔、外环蜂窝孔。
[0095]
具体地，如图5所示，筛选上述排列下的双环蜂窝阵列，即按照排序位于第2～7顺位，同时满足diss小于13mm的蜂窝作为双环蜂窝阵列的内圈组成，内环蜂窝孔10的最大数量为6个；排列位于第8～19顺位，同时满足diss大于14mm且小于22mm的蜂窝作为双环蜂窝阵列的外圈组成，外环蜂窝孔20的最大数量为12个。
[0096]
s305、根据自动植入设备所谓的当前植入方向及内环蜂窝孔、外环蜂窝孔的判断结果，识别自动植入设备的植入方向。
[0097]
作为一种可选的实施方式，步骤s304中，筛选中心蜂窝孔附近的内环蜂窝孔、外环蜂窝孔，具体为：
[0098]
确定距离中心蜂窝孔小于1个蜂窝孔直径的区域为内环蜂窝孔；以及，
[0099]
确定距离中心蜂窝孔大于1个蜂窝孔直径且小于2个蜂窝孔直径的区域为外环蜂窝孔。
[0100]
作为一种可选的实施方式，步骤s305中，根据自动植入设备的当前植入方向及内环蜂窝孔、外环蜂窝孔的判断结果，识别自动植入设备的植入方向，具体包括如下步骤：
[0101]
s3051、记录当前植入方向，记为δ0；
[0102]
s3052、遍历内环蜂窝孔中的所有识别成功的蜂窝孔，通过计算各个蜂窝孔与相机视野中心点的连线与δ0的夹角，并筛选出内环蜂窝孔与δ0夹角最小的点记为bestc2_1，其夹角记为δ1；
[0103]
s3053、遍历外环蜂窝孔中的所有识别成功的蜂窝孔，通过计算各个蜂窝孔与相机视野中心点的连线与δ0的夹角，并筛选出外环蜂窝孔与δ0夹角最小的点记为bestc2_2，其夹角记为δ2；
[0104]
s3054、根据δ1、δ2计算结果，分析判断结果bestc2的计算结果。
[0105]
作为一种可选的实施方式，步骤s3044中，根据δ1、δ2计算结果综合分析判断结果bestc2的计算结果，具体包括以下三种情况：
[0106]
a)当内环蜂窝孔筛选的最小夹角在
±
30
°
之内且外环蜂窝孔筛选存在任意角度的夹角时，即将bestc2_1点记为bestc2，自动植入方向δ0不变；
[0107]
b)当内环蜂窝孔筛选的最小夹角大于30
°
且外环蜂窝孔筛选最小夹角小于30
°
时，即将bestc2_2点记为bestc2，自动植入方向δ0不变；
[0108]
c)当内环蜂窝孔筛选的最小夹角大于30
°
且外环蜂窝孔筛选最小夹角也大于30
°
时，即将bestc2_1点记为bestc2，自动植入方向δ0取其补角，即δ0＝180
°‑
δ0。
[0109]
作为一种可选的实施方式，识别所述自动植入设备的植入方向后，还包括：输出植入方向需要植入的蜂窝孔坐标及方向，并对自动植入设备的当前植入方向进行修改。具体地，最终将bestc1、bestc2点以及自动植入设备的植入方向δ0转换统一格式后传输给自动植入设备，使用该方法，对整体的复材蜂窝植入效率提升明显。
[0110]
该识别方法为蜂窝型材自动植入设备提供准确的坐标信息，能识别每个形状不规则、形态不完全一致的六边形蜂窝孔的轮廓，并计算出蜂窝孔的形态学中心，经过双环识别算法筛选出最佳的植入蜂窝孔以及最佳的植入方向，最后将坐标信息发送给机器人进行插补运动。
[0111]
需要明确的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本发明并不局限于上文所描述并在图中示出的特定步骤和结构。并且，为了简明起见，这里省略对已知方法技术的详细描述。
[0112]
以上仅为本技术的实施例而已，并不限制于本技术。在不脱离本发明的范围的情况下对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围内。

技术特征：
1.一种基于双环识别的复材蜂窝自动植入方向的识别方法，其特征在于，该方法包括以下步骤：获取蜂窝型材的图像；根据所述图像，确定所述蜂窝型材的中心点；依据所述中心点，通过双环识别所述蜂窝型材的自动植入方向。2.根据权利要求1所述的基于双环识别的复材蜂窝自动植入方向的识别方法，其特征在于，所述获取蜂窝型材的图像，具体为：利用固定在机械臂末端的工业rgbd相机捕捉所述图像信息。3.根据权利要求1所述的基于双环识别的复材蜂窝自动植入方向的识别方法，其特征在于，所述根据所述图像，确定所述蜂窝型材的中心点，具体包括如下步骤：根据所述图像进行翻转矫正，使得所述图像与人工视野的坐标对齐；对所述图像进行灰度化操作，将其转换为灰度图像并消除噪点干扰，以获得目标灰度图像；对所述目标灰度图像进行二值化操作，获取蜂窝型材结构形状；对所述蜂窝型材结构形状的轮廓进行平滑处理；依据平滑处理后的蜂窝型材结构形状，获取轮廓所包络的轮廓信息；根据所述轮廓信息，计算每个蜂窝孔的轮廓形态学中心点。4.根据权利要求3所述的基于双环识别的复材蜂窝自动植入方向的识别方法，其特征在于，利用中值滤波函数，消除所述灰度图像中的噪点干扰。5.根据权利要求1所述的基于双环识别的复材蜂窝自动植入方向的识别方法，其特征在于，所述对所述蜂窝型材结构形状的轮廓进行平滑处理之前，还包括：对所述蜂窝型材结构形状的图像进行形态学开/闭运算以消除噪点干扰。6.根据权利要求3所述的基于双环识别的复材蜂窝自动植入方向的识别方法，其特征在于，所述依据所述中心位置，通过双环识别所述蜂窝型材的自动植入方向，具体包括如下步骤：获取相机视野中心点；统计在相机视野范围内的所有蜂窝孔的轮廓形态学中心点，根据各个轮廓形态学中心点到所述相机视野中心点的距离按照从小到大进行排序；确定所述相机视野范围内距离所述相机视野中心点最近的中心蜂窝孔的中心点为bestc1点；筛选所述中心蜂窝孔附近的内环蜂窝孔、外环蜂窝孔；根据自动植入设备所谓的当前植入方向及所述内环蜂窝孔、所述外环蜂窝孔的判断结果，识别所述自动植入设备的植入方向。7.根据权利要求6所述的基于双环识别的复材蜂窝自动植入方向的识别方法，其特征在于，所述筛选所述中心蜂窝孔附近的内环蜂窝孔、外环蜂窝孔，具体为：确定距离所述中心蜂窝孔小于1个蜂窝孔直径的区域为内环蜂窝孔；以及，确定距离所述中心蜂窝孔大于1个蜂窝孔直径且小于2个蜂窝孔直径的区域为外环蜂窝孔。8.根据权利要求6所述的基于双环识别的复材蜂窝自动植入方向的识别方法，其特征
在于，所述根据自动植入设备的当前植入方向及所述内环蜂窝孔、所述外环蜂窝孔的判断结果，识别所述自动植入设备的植入方向，具体包括如下步骤：记录所述当前植入方向，记为δ0；遍历所述内环蜂窝孔中的所有识别成功的蜂窝孔，通过计算各个蜂窝孔与所述相机视野中心点的连线与δ0的夹角，并筛选出所述内环蜂窝孔与δ0夹角最小的点记为bestc2_1，其夹角记为δ1；遍历所述外环蜂窝孔中的所有识别成功的蜂窝孔，通过计算各个蜂窝孔与所述相机视野中心点的连线与δ0的夹角，并筛选出所述外环蜂窝孔与δ0夹角最小的点记为bestc2_2，其夹角记为δ2；根据δ1、δ2计算结果，分析判断结果bestc2的计算结果。9.根据权利要求8所述的基于双环识别的复材蜂窝自动植入方向的识别方法，其特征在于，所述根据δ1、δ2计算结果综合分析判断结果bestc2的计算结果，具体包括：当内环蜂窝孔筛选的最小夹角在
±
30
°
之内且外环蜂窝孔筛选存在任意角度的夹角时，将bestc2_1点记为bestc2，自动植入方向δ0不变；当内环蜂窝孔筛选的最小夹角大于30
°
且外环蜂窝孔筛选最小夹角小于30
°
时，将bestc2_2点记为bestc2，自动植入方向δ0不变；当内环蜂窝孔筛选的最小夹角大于30
°
且外环蜂窝孔筛选最小夹角也大于30
°
时，将bestc2_1点记为bestc2，自动植入方向δ0取其补角，即δ0＝180
°‑
δ0。10.根据权利要求6所述的基于双环识别的复材蜂窝自动植入方向的识别方法，其特征在于，所述识别所述自动植入设备的植入方向后，还包括：输出所述植入方向需要植入的蜂窝孔坐标及方向，并对所述自动植入设备的当前植入方向进行修改。

技术总结
本发明涉及蜂窝视觉识别技术领域，具体涉及一种基于双环识别的复材蜂窝自动植入方向的识别方法。其包括步骤：获取蜂窝型材的图像；根据图像，确定蜂窝型材的中心点；依据中心点，通过双环识别蜂窝型材的自动植入方向。该基于双环识别的复材蜂窝自动植入方向的识别方法的目的是解决复材蜂窝自动植入设备在加工中的异常停机以及异常换行的问题。的异常停机以及异常换行的问题。的异常停机以及异常换行的问题。


技术研发人员：李洋 王羽洁 樊楚一 李喆 艾士博 李扬
受保护的技术使用者：中国航空工业集团公司北京航空精密机械研究所
技术研发日：2023.06.20
技术公布日：2023/10/7