一种深度视觉的菠萝全向定位自动化采摘方法

1.本发明涉及自动化装备技术领域，具体为一种深度视觉的菠萝全向定位自动化采摘方法。


背景技术：

2.菠萝是热带四大水果之一，富含大量人体所需的维生素、矿物质、有机酸及纤维质等。中国菠萝主产区包括海南，广西，云南和广东省，年种植面积约52000公顷至65000公顷，总产量达300万吨。菠萝收获后80％以鲜果的形式进入市场，采收时间与采摘方式均为影响鲜果品质的关键因素。
3.现阶段，全球菠萝产地主要以人工采摘配合机械收集平台协同作业，该采收方式需要大量的人力，劳动力成本占菠萝生产销售利润的近50％。由于菠萝植株坚硬且呈刺状使得采收环境恶劣，严重影响人工采摘效率，且采摘过程易造成果实外伤，不利于后续储存运输。本发明的菠萝全向定位采摘方法可实现全自动菠萝无损采摘，较大程度减少果农采收负担，对促进菠萝产业发展具有重要的意义。


技术实现要素：

4.本发明的目的在于提供一种深度视觉的菠萝全向定位自动化采摘方法，以解决上述背景技术中提出人工采摘效率低且易损坏的问题。
5.为实现上述目的，本发明提供如下技术方案：一种深度视觉的菠萝全向定位自动化采摘方法，包括控制中心、全向定位机构和双臂采摘机构，所述控制中心内置电控系统用于控制装置整体运行；所述全向定位机构包括旋转底座、电机a、升降杆、电机b、旋转关节和深度摄像头，所述控制中心固定安装在所述旋转底座上方，且所述升降杆转动安装在所述旋转底座上方中间位置，并且所述旋转关节安装在所述升降杆的水平位置末端，同时所述深度摄像头安装在旋转关节末端，所述电机a用于驱动升降杆转动，电机b用于驱动升降杆升降；
6.所述双臂采摘机构包括固定盘、旋转头、活动关节a、主臂、活动关节b和活动关节c，所述固定盘固定安装在所述旋转底座上表面，且所述固定盘上方转动安装有旋转头，并且所述旋转头上端半嵌入式安装有活动关节a，所述活动关节a上端转动安装有主臂，且所述活动关节b和活动关节c均半嵌入式安装在主臂侧面，所述旋转头、活动关节a、活动关节b、活动关节c分别由电机c、电机d、电机e和电机h驱动。
7.优选的，所述活动关节b顶端固定安装有捕获支臂主轴，且所述捕获支臂主轴前端转动安装有利用电机f驱动的捕获支臂旋转轴，并且所述捕获支臂旋转轴前端转动安装有由电机g驱动的夹取钳，同时所述夹取钳内侧表面固定安装有缓冲垫。
8.优选的，所述活动关节c前端固定安装有切割支臂主轴，且所述切割支臂主轴前端转动安装有由电机i驱动的切割支臂旋转轴，并且所述切割支臂旋转轴前端转动安装有由电机j驱动的切割钳，同时两个所述切割钳内侧固定安装有测距传感器和切割单元。
9.优选的，所述旋转关节内部转动安装有旋转球杆，且所述旋转球杆顶端固定安装有固定片，并且所述旋转球杆底端安装有转向控制轴x、转向控制轴y和转向控制轴z，所述转向控制轴z由固定环进行固定，且所述转向控制轴x、转向控制轴y和转向控制轴z分别由电机k、电机l和电机m驱动。
10.优选的，所述活动关节a、活动关节b和活动关节c均设置为双齿结构，该双齿结构包括相互啮合的大齿轮、小齿轮和外部的圆形底盘，所述大齿轮由电机n驱动，且所述大齿轮和小齿轮外表面均设置有连接杆，但所述小齿轮外部的连接杆通过连接件连接。
11.优选的，所述切割单元包括刀槽、弹簧、牵引绳、电机o、压片刀、切刀和支撑片，所述刀槽为橡胶材质，且所述切刀设置为扇形不锈钢材质，并且所述切刀的刀柄固定于压片刀上，所述牵引绳一段连接压片刀和支撑片，所述牵引绳另一端管过刀槽连接电机o，且所述支撑片设置为两片磁性金属材料。
12.优选的，所述旋转底座位于装置最下方，且所述旋转底座设置为半径25cm、高20cm的不锈钢圆柱形结构，并且所述升降杆设置为“l”形结构，同时所述升降杆的升降范围为60-200cm。
13.优选的，所述缓冲垫设置为橡胶复合材料。且所述缓冲垫表面为凸起软体球状颗粒。
14.与现有技术相比，本发明的有益效果是：该深度视觉的菠萝全向定位自动化采摘方法，采用新型的结构设计，可以实现菠萝采摘过程中复杂背景下目标果实全角度采样定位、果实目标夹取、果梗切割等工作的协调衔接，整个过程无需人工参与，实现了真正意义的全自动化采摘，能够促进菠萝采摘自动化生产，其具体内容如下：
15.1、全向定位机构旋转关节安装于升降杆水平轴末端且与水平轴夹角135
°
，旋转关节包括旋转球杆与3块转向控制轴，控制轴可带动球杆实现3个轴向旋转(范围0～180
°
)，以调节采样点位置，双臂采摘机构包括肩关节、主臂、捕获支臂、切割支臂、捕获手、切割手，执行菠萝果实无损采摘，全向定位机构深度摄像头安装于旋转关节球杆末端，实时采集采样点视野范围内样本图像数据。
16.2、双臂采摘机构主臂通过活动关节分别连接肩关节与支臂，通过屈伸动作调节采摘终端趋近垂直定位点，双臂采摘机构捕获支臂包括主轴与旋转轴，主轴通过活动关节连接于主臂末端，旋转轴带动捕获手旋转(范围0～360
°
)，双臂采摘机构切割支臂包括主轴与旋转轴，主轴通过活动关节连接于主臂，旋转轴带动切割手旋转(范围0～360
°
)。
17.3、切割单元包括刀槽、切刀、弹簧、压力片、支撑片、牵引绳，所述刀槽为橡胶材质，所述压力片一面安装切刀，另一面连接弹簧，所述弹簧一端固定于刀槽背板，另一端连接压力片，所述切刀扇形结构，固定于压力片上，所述牵引绳一端连接压力片，另一端穿过刀槽背板连接动力源，切割钳打开状态牵引绳收缩，切刀拉回刀槽隐藏，避免损伤采摘果实目标，切割钳闭合时牵引绳松弛，切刀弹出刀槽完成切割，所述支撑片为2片磁性金属材料，牵引绳收缩时，支撑片拉至刀槽侧面，牵引绳松弛，支撑片互吸，卡在切刀两侧，避免切刀回弹。
附图说明
18.图1为本发明整体结构示意图；
19.图2为本发明全向定位机构结构示意图；
20.图3为本发明双臂采摘机构结构示意图；
21.图4为本发明旋转关节结构示意图；
22.图5为本发明活动关节关节结构示意图；
23.图6为本发明切割单元结构示意图；
24.图7为本发明装置结构模块化结构示意图；
25.图8为本发明控制流程图。
26.图中：100、控制中心；200、全向定位机构；300、双臂采摘机构；1、旋转底座；2、电机a；3、升降杆；4、电机b；5、旋转关节；6、深度摄像头；7、固定盘；8、旋转头；9、电机c；10、活动关节a；11、电机d；12、主臂；13、活动关节b；14、电机e；15、捕获支臂主轴；16、捕获支臂旋转轴；17、电机f；18、夹取钳；19、电机g；20、缓冲垫；21、活动关节c；22、电机h；23、切割支臂主轴；24、切割支臂旋转轴；25、电机i；26、切割钳；27、电机j；28、测距传感器；29、切割单元；30、旋转球杆；31、固定片；32、转向控制轴x；33、电机k；34、转向控制轴y；35、电机l；36、转向控制轴z；37、电机m；38、固定环；39、圆形底盘；40、连接件；41、大齿轮；42、电机n；43、小齿轮；44、连接杆；45、刀槽；46、弹簧；47、牵引绳；48、电机o；49、压力片；50、切刀；51、支撑片。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.如图1所示，菠萝全向定位自动化采摘装置结构包括：控制中心100、全向定位机构200、双臂采摘机构300，所述全向定位机构200、双臂采摘机构300分别和控制中心100电连接。本实施例控制中心100的功能由arm与dsp实现，控制中心100的壳体前面板设置屏幕和键盘，可以实现和用户的交互。
29.具体的，如图2所示，本实施例的全向定位机构200包括旋转底座1、升降杆3、旋转关节5、深度摄像头6，升降杆3固定在旋转底座1上，旋转关节5固定在升降杆3末端，深度摄像头6固定在旋转关节5末端，旋转底座1连接有电机a2，升降杆3连接有电机b4，上述电机与控制中心100电连接。
30.具体的，如图3所示，本实施例的双臂采摘机构300包括固定盘7、旋转头8、活动关节a10、主臂12、活动关节b13、捕获支臂主轴15、捕获支臂旋转轴16、夹取钳18、缓冲垫20、活动关节c21、切割支臂主轴23、切割支臂旋转轴24、切割钳26、测距传感器28、切割单元29，半球形旋转头8扣装在固定盘7上，通过水平旋转带动整个双臂采摘机构300调整作业角度，主臂12通过活动关节a10连接旋转头8，捕获支臂主轴15通过活动关节b13连接主臂12，切割支臂主轴23通过活动关节c21连接主臂12，上述机械臂借助各个活动关节实现屈伸动作，夹取钳18安装在捕获支臂旋转轴16上，夹取钳18内侧附有橡胶缓冲垫20，切割钳26安装在切割支臂旋转轴24上，切割钳26内侧设置测距传感器28、下侧设置切割单元29。
31.旋转头8连接有电机c9，活动关节a10内嵌电机d11，活动关节b13内嵌电机e14，活动关节c21内嵌电机h22，捕获支臂旋转轴16连接电机f17，夹取钳18连接电机g19，切割支臂
旋转轴24连接电机i25，切割钳26连接电机j27，上述电机与控制中心100电连接。
32.具体的，如图4所示，本实施例的旋转关节5包括旋转球杆30、固定片31、转向控制轴x32、转向控制轴y34、转向控制轴z36、固定环38，旋转球杆30末端通过固定片31连接深度摄像头6，转向控制轴x32带动旋转球杆30沿球面纬线方向旋转，转向控制轴y34带动旋转球杆30沿球面经线方向旋转，转向控制轴z36带动旋转球杆30围绕固定环38末端旋转，旋转关节5通过固定环38安装在升降杆3水平轴末端。
33.转向控制轴x32连接有电机k33、转向控制轴y34连接有电机l35、转向控制轴z36连接有电机m37，上述电机与控制中心100电连接。
34.具体的，如图5所示，本实施例的活动关节包括圆形底盘39、连接件40、大齿轮41、小齿轮43、连接杆44，大齿轮41、小齿轮43轴心固定于圆形底盘39上，连接杆44其中1根固定安装在大齿轮41上，另1根与z形连接件40活动连接，连接件40一端固定安装在小齿轮43上，大齿轮41带动小齿轮43转动时，利用2根连接杆44移动角度差异，间接控制末端连接体动作路线。
35.大齿轮41连接有电机n42，活动关节安装于不同位置，均配置独立驱动电机。
36.具体的，如图6所示，本实施例的切割单元29包括刀槽45、弹簧46、牵引绳47、压力片49、切刀50、支撑片51，压力片49连接切刀50与弹簧46，弹簧46一端固定于刀槽45背板上，牵引绳47一端连接压力片49、支撑片51，另一端穿过刀槽45背板连接动力源。牵引绳47的收放可带动各终端动作，完成切刀50隐藏与弹出。
37.牵引绳47连接有电机o48。
38.本实施例工作过程如下：
39.如图8所示，启动电源，控制中心100初始化各终端原点位置，并发出启动指令，系统运行，深度摄像头6接收指令后将菠萝图像深度数据发送至控制中心100，控制中心100对图像数据进行处理运算，针对当前视野范围标定采摘目标，判断采摘目标个数n是否为0，如果n＝0，控制中心100发送控制信号驱动电机a2带动旋转底座1顺时针转动30
°
，并用旋转后的位置更新原点位置，如果n》0，控制中心100对各个采摘目标按照深度进行排序，并存入a[n]，估计a[i]最佳采样空间位置(xi,yi,zi)，作为深度摄像头6的目标采样点，控制中心100驱动电机b4带动升降杆3调整纵向高度，使采样点趋近yi，控制中心100驱动电机k33带动转向控制轴x32、电机l35带动转向控制轴y34、电机m37带动转向控制轴z36动作，使旋转球杆30带动深度摄像头6调整角度，减小与目标采样点的误差距离(x
iδ
,y
iδ
,z
iδ
)，控制中心100对当前采样点的图像深度数据进行处理运算，得出2个夹取钳18中心点移动的目标位置，即捕获定位点(x
ib
,y
ib
,z
ib
)，2个切割钳26中心点移动的目标位置，即切割定位点(x
iq
,y
iq
,z
iq
)，控制中心100发送控制信号驱动电机c9带动旋转头8转动，调整肩关节使捕获定位点趋近(x
ib
,z
ib
)，控制中心100发送控制信号驱动电机d11带动活动关节a10动作，调整主臂12位移，使捕获定位点趋向y
ib
，控制中心100发送控制信号驱动电机e14带动活动关节b13动作，调整捕获支臂主轴15位移减小(x
ibδ
,y
ibδ
,z
ibδ
)，控制中心100发送控制信号驱动电机f17带动捕获支臂旋转轴16转动，调整夹取角度，控制中心100发送控制信号驱动电机g19带动夹取钳18开合动作，夹取并固定目标果实，控制中心100获取测距传感器28的信号，修正切割定位点(x
iq
,y
iq
,z
iq
)，控制中心100发送控制信号驱动电机h22带动活动关节c21动作，从而控制切割支臂主轴23移动，使切割定位点趋近(x
iq
,y
iq
,z
iq
)，控制中心100发送控制信号驱
动电机i25带动切割支臂旋转轴24转动，调整切割角度，控制中心100发送控制信号驱动电机o48带动牵引绳47松弛，切刀50弹出，控制中心100发送控制信号驱动电机j27带动切割钳26闭合，完成切割，控制中心100发送控制信号驱动捕获机构各电机，恢复原点位置，夹取钳18释放目标果实a[i]，完成当前目标a[i]的采摘，如果i《＝n，循环采摘下一个目标果实，直至i》n，整个装置旋转至下一角度进行采摘，当装置周围360
°
均无采摘目标，结束整个菠萝采摘装置所在地面位置的采摘，可将采摘装置移动至下一地面位置进行采摘。
[0040]
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0041]
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0042]
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种深度视觉的菠萝全向定位自动化采摘方法，包括控制中心(100)、全向定位机构(200)和双臂采摘机构(300)，其特征在于：所述控制中心(100)内置电控系统用于控制装置整体运行；所述全向定位机构(200)包括旋转底座(1)、电机a(2)、升降杆(3)、电机b(4)、旋转关节(5)和深度摄像头(6)，所述控制中心(100)固定安装在所述旋转底座(1)上方，且所述升降杆(3)转动安装在所述旋转底座(1)上方中间位置，并且所述旋转关节(5)安装在所述升降杆(3)的水平位置末端，同时所述深度摄像头(6)安装在旋转关节(5)末端，所述电机a(2)用于驱动升降杆(3)转动，电机b(4)用于驱动升降杆(3)升降；所述双臂采摘机构(300)包括固定盘(7)、旋转头(8)、活动关节a(10)、主臂(12)、活动关节b(13)和活动关节c(21)，所述固定盘(7)固定安装在所述旋转底座(1)上表面，且所述固定盘(7)上方转动安装有旋转头(8)，并且所述旋转头(8)上端半嵌入式安装有活动关节a(10)，所述活动关节a(10)上端转动安装有主臂(12)，且所述活动关节b(13)和活动关节c(21)均半嵌入式安装在主臂(12)侧面，所述旋转头(8)、活动关节a(10)、活动关节b(13)、活动关节c(21)分别由电机c(9)、电机d(11)、电机e(14)和电机h(22)驱动。2.根据权利要求1所述的一种深度视觉的菠萝全向定位自动化采摘方法，其特征在于：所述活动关节b(13)顶端固定安装有捕获支臂主轴(15)，且所述捕获支臂主轴(15)前端转动安装有利用电机f(17)驱动的捕获支臂旋转轴(16)，并且所述捕获支臂旋转轴(16)前端转动安装有由电机g(19)驱动的夹取钳(18)，同时所述夹取钳(18)内侧表面固定安装有缓冲垫(20)。3.根据权利要求1所述的一种深度视觉的菠萝全向定位自动化采摘方法，其特征在于：所述活动关节c(21)前端固定安装有切割支臂主轴(23)，且所述切割支臂主轴(23)前端转动安装有由电机i(25)驱动的切割支臂旋转轴(24)，并且所述切割支臂旋转轴(24)前端转动安装有由电机j(27)驱动的切割钳(26)，同时两个所述切割钳(26)内侧固定安装有测距传感器(28)和切割单元(29)。4.根据权利要求1所述的一种深度视觉的菠萝全向定位自动化采摘方法，其特征在于：所述旋转关节(5)内部转动安装有旋转球杆(30)，且所述旋转球杆(30)顶端固定安装有固定片(31)，并且所述旋转球杆(30)底端安装有转向控制轴x(32)、转向控制轴y(34)和转向控制轴z(36)，所述转向控制轴z(36)由固定环(38)进行固定，且所述转向控制轴x(32)、转向控制轴y(34)和转向控制轴z(36)分别由电机k(33)、电机l(35)和电机m(37)驱动。5.根据权利要求1所述的一种深度视觉的菠萝全向定位自动化采摘方法，其特征在于：所述活动关节a(10)、活动关节b(13)和活动关节c(21)均设置为双齿结构，该双齿结构包括相互啮合的大齿轮(41)、小齿轮(43)和外部的圆形底盘(39)，所述大齿轮(41)由电机n(42)驱动，且所述大齿轮(41)和小齿轮(43)外表面均设置有连接杆(44)，但所述小齿轮(43)外部的连接杆(44)通过连接件(40)连接。6.根据权利要求3所述的一种深度视觉的菠萝全向定位自动化采摘方法，其特征在于：所述切割单元(29)包括刀槽(45)、弹簧(46)、牵引绳(47)、电机o(48)、压片刀(49)、切刀(50)和支撑片(51)，所述刀槽(45)为橡胶材质，且所述切刀(50)设置为扇形不锈钢材质，并且所述切刀(50)的刀柄固定于压片刀(49)上，所述牵引绳(47)一段连接压片刀(49)和支撑片(51)，所述牵引绳(47)另一端管过刀槽(45)连接电机o(48)，且所述支撑片(51)设置为两
片磁性金属材料。7.根据权利要求1所述的一种深度视觉的菠萝全向定位自动化采摘方法，其特征在于：所述旋转底座(1)位于装置最下方，且所述旋转底座(1)设置为半径25cm、高20cm的不锈钢圆柱形结构，并且所述升降杆(3)设置为“l”形结构，同时所述升降杆(3)的升降范围为60-200cm。8.根据权利要求2所述的一种深度视觉的菠萝全向定位自动化采摘方法，其特征在于：所述缓冲垫(20)设置为橡胶复合材料，且所述缓冲垫(20)表面为凸起软体球状颗粒。

技术总结
本发明公开了一种深度视觉的菠萝全向定位自动化采摘方法，包括控制中心、全向定位机构和双臂采摘机构，所述控制中心内置电控系统用于控制装置整体运行；所述全向定位机构包括旋转底座、电机A、升降杆、电机B、旋转关节和深度摄像头，所述控制中心固定安装在所述旋转底座上方，且所述升降杆转动安装在所述旋转底座上方中间位置，并且所述旋转关节安装在所述升降杆的水平位置末端。该深度视觉的菠萝全向定位自动化采摘方法，采用新型的结构设计，可以实现菠萝采摘过程中复杂背景下目标果实全角度采样定位、果实目标夹取、果梗切割等工作的协调衔接，整个过程无需人工参与，实现了真正意义的全自动化采摘，能够促进菠萝采摘自动化生产。生产。生产。


技术研发人员：李明 王润涛 刘瑶 王树文
受保护的技术使用者：岭南师范学院
技术研发日：2023.05.05
技术公布日：2023/7/25