用于差速型双轮机器人对接手机磁吸式充电接口的方法

1.本发明涉及电子产品充电技术领域，特别是涉及用于差速型双轮机器人对接手机磁吸式充电接口的方法。


背景技术：

2.给手机充电是我们日常生活的一部分。目前市场缺少给手机进行自动充电的家居产品。使用充电线进行人工供电也难以做到适时供电与断电。为手机进行自动充电可以为人们带来便利，只需将手机放于桌子上，机器人就会自动为手机充电，人们无需再为手机的电量而忧虑。
3.现有的广东小天才技术有限公司提出了一种基于充电体与待充电装置间通信的可以设置充电模式的智能充电方法；战炜先生在智能充电设备及终端上添加了专用软件，实现了有线连接与无线连接等各种通信手段下的控制充电模式；浙江浙能能源服务有限公司借助agv运输车牵引机器人，开发出一款可以应用于地下车库可以实现对电动汽车充电或者对自身充电的组合式自动充电机器人；山东国兴智能科技有限公司研发出一种无人值守充电桩用自主引导式充电机器人，实现对汽车充电接口的自动识别和充电；中弗(无锡)新能源有限公司将充电机器人、sofc发电系统和控制中心，控制中心与移动充电机器人和sofc发电系统通信连接集成，开发出一款自动移动至目标带充电车辆并对其进行充电的机器人。
4.目前已有的成熟的可自主进行供电的装置聚焦于充电桩等技术，供电对象为汽车等体积较大的产品，缺少以手机为对象的自主供电技术。为汽车自动充电的技术使用的传感器成本高、扩展性不够，无法直接套用到手机充电技术中。kddi在2017年研发出一项为手机充电的展示技术，“充电机器人”在方形凹槽特定虚线区域内，机器人从固定位置出发寻找虚线区域范围内的手机，通过凸起式磁吸式接口实现与手机的对接，进行充电。现有技术作用区域局限：该技术只能在特定展示凹槽及虚线区域发挥作用，对实际场景的支持较不完善。对接过程缓慢：机器人移动及对接过程花费时间较长，大约需要3分钟时间。


技术实现要素：

5.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
6.为此本发明提出一种用于差速型双轮机器人对接手机磁吸式充电接口的方法，采用的充电小车为差速型双轮机器人，通过蓝牙向充电小车发送手机的位置信息，搭载充电宝的小车接收到信息后自主规划路径，通过陀螺仪与视觉信息的辅助，自动识别手机并连接充电。
7.本发明的另一个目的在于提出一种用于差速型双轮机器人对接手机磁吸式充电接口的系统。
8.为达上述目的，本发明一方面提出一种用于差速型双轮机器人对接手机磁吸式充电接口的方法，包括：
9.利用传感器获取待识别手机充电口的图像以及手机与充电装置的相对位置信息，并融合传感器的测量数据得到手机和充电装置之间的方位角信息；
10.将所述待识别手机充电口的图像输入至预训练的视觉识别模型进行充电口识别以得到充电口位置识别结果；
11.判断所述充电口位置识别结果中的充电口位置图像像素是否达到预设像素阈值，根据达到预设像素阈值的判断结果得到充电装置与手机之间的距离信息；
12.基于所述距离信息、所述相对位置信息和所述方位角信息控制充电装置与待识别手机充电口的充电对接，并根据手机充电特征的识别结果判断识别的手机充电口与充电装置是否对接成功。
13.另外，根据本发明上述实施例的用于差速型双轮机器人对接手机磁吸式充电接口的方法还可以具有以下附加的技术特征：
14.进一步地，在本发明的一个实施例中，所述传感器，包括陀螺仪、蓝牙模块、编码器和摄像头中的多种；所述充电装置至少包括所述传感器，所述充电装置采用差速型两轮驱动结构，车轮通过带有编码器的电机驱动。
15.进一步地，在本发明的一个实施例中，训练所述视觉识别模型，包括：
16.获取待识别手机充电口的样本图像；
17.将包含所述样本图像的数据集输入至神经网络模型进行基于目标手机磁吸式充电口识别的网络模型训练，以得到训练好的视觉识别模型。
18.进一步地，在本发明的一个实施例中，所述采用差速型两轮驱动结构，在得到所述方位角信息之后，所述方法，还包括：
19.基于充电装置的预设行驶速度和所述距离信息，以利用电机转速pid控制车轮的左右轮速度得到速度控制结果；
20.将所述方位角信息作为反馈量的位置式pd控制电机的输出占空比的调整量，根据调整量控制结果和所述速度控制结果使得所述充电装置直线行驶；以及，
21.利用增量式pid控制车轮的目标差速，并利用所述电机转速pid将当前车轮速度调整至所述预设行驶速度使得所述充电装置以预设角度旋转行驶。
22.进一步地，在本发明的一个实施例中，根据所述充电口位置识别结果中识别的充电口在图像中的横坐标调整充电装置的方向，使得识别的充电口位置位于视野中央；
23.当识别的充电口在图像中的纵坐标大于预设阈值时，控制充电装置直线前行第一预设距离与识别的充电口进行对接；
24.在对接过程中通过识别屏幕亮起的手机充电特征判断对接是否成功，若识别亮起，判断对接成功；若识别未亮起，判断对接失败，则控制充电装置倒退第二预设距离重新对接。
25.进一步地，在本发明的一个实施例中，根据所述手机与充电装置的相对位置信息，得到手机与充电装置之间的第一规划路径和第二规划路径；
26.判断充电装置是否位于预设的手机充电口区域，若是，则控制充电装置根据所述第一规划路径行驶至手机充电口的正前方，若否，则控制充电装置根据所述第二规划路径行驶。
27.为达上述目的，本发明另一方面提出一种用于差速型双轮机器人对接手机磁吸式
充电接口的系统，包括：
28.传感器模块，用于获取待识别手机充电口的图像以及手机与充电装置的相对位置信息，并融合传感器模块的测量数据得到手机和充电装置之间的方位角信息；
29.视觉识别模块，用于将所述待识别手机充电口的图像输入至预训练的视觉识别模型进行充电口识别以得到充电口位置识别结果；
30.距离确定模块，用于判断所述充电口位置识别结果中的充电口位置图像像素是否达到预设像素阈值，根据达到预设像素阈值的判断结果得到充电装置与手机之间的距离信息；
31.接口对接模块，用于基于所述距离信息、所述相对位置信息和所述方位角信息控制充电装置与待识别手机充电口的充电对接，并根据手机充电特征的识别结果判断识别的手机充电口与充电装置是否对接成功。
32.本发明实施例的用于差速型双轮机器人对接手机磁吸式充电接口的方法和系统，通过摄像头、编码器、陀螺仪等多种传感器，对多路数据进行滤波融合，实现机器人的精确控制与定位；通过模板匹配等方法减少背景环境对视觉识别的干扰；改进运动模式与调整方法，实现与手机的快速对接。
33.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
34.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
35.图1是根据本发明实施例的用于差速型双轮机器人对接手机磁吸式充电接口的方法的流程图；
36.图2是根据本发明实施例的算法流程图；
37.图3是根据本发明实施例的用于差速型双轮机器人对接手机磁吸式充电接口的系统结构图；
38.图4是根据本发明实施例的系统硬件模块关系图。
具体实施方式
39.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
40.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
41.下面参照附图描述根据本发明实施例提出的用于差速型双轮机器人对接手机磁吸式充电接口的方法和系统。
42.图1是本发明实施例的用于差速型双轮机器人对接手机磁吸式充电接口的方法的
流程图。
43.如图1所示，该方法包括但不限于以下步骤：
44.s1，利用传感器获取待识别手机充电口的图像以及手机与充电装置的相对位置信息，并融合传感器的测量数据得到手机和充电装置之间的方位角信息；
45.s2，将待识别手机充电口的图像输入至预训练的视觉识别模型进行充电口识别以得到充电口位置识别结果；
46.s3，判断充电口位置识别结果中的充电口位置图像像素是否达到预设像素阈值，根据达到预设像素阈值的判断结果得到充电装置与手机之间的距离信息；
47.s4，基于距离信息、相对位置信息和方位角信息控制充电装置与待识别手机充电口的充电对接，并根据手机充电特征的识别结果判断识别的手机充电口与充电装置是否对接成功。
48.本发明实施例的用于差速型双轮机器人对接手机磁吸式充电接口的方法，可以改进机器的运动模式，缩短充电对接时间。增加了对复杂环境背景的支持，对接作用范围只需在任何一个相对大的平面，而不必在特定展示凹槽内的特定虚线区域。本方法可迁移至其余差速双轮机器人的在其他场景下的功能设计。
49.下面结合附图对本发明实施例的用于差速型双轮机器人对接手机磁吸式充电接口的方法进行详细阐述。
50.具体地，如图2所示，为本发明的实施的算法流程图。本发明的传感器，可以包括陀螺仪、蓝牙模块、编码器和摄像头中的多种；充电装置至少包括传感器，充电装置采用差速型两轮驱动结构，车轮通过带有编码器的电机驱动。优选地，本发明的充电装置可以为结合地两轮驱动结构和充电宝。
51.在一些实施例中，本发明实施例进行视觉识别，主要识别手机磁吸式充电口并判断距离和识别手机充电特征。
52.本发明将待识别手机充电口的图像输入至预训练的视觉识别模型进行充电口识别，优选地，可采用不同的视觉识别算法。如预先对充电口拍摄制作训练集，构建、训练神经网络并存储在openmv的sd卡中，通过神经网络进行目标识别。
53.具体地，获取待识别手机充电口的样本图像；将包含样本图像的数据集输入至神经网络模型进行基于目标手机磁吸式充电口识别的网络模型训练，以得到训练好的视觉识别模型。
54.进一步地，只采信摄像头图像下部一部分图像，预先使用在openmv中存储充电口的图片模板，采用openmv提供的模板匹配算法库匹配充电口位置，以减少背景环境对目标识别的干扰。
55.当充电口像素达到一定规模，可证明充电口像素数目与充电口到小车的距离成正比，以此获取小车与手机间的距离。
56.对接过程结束后，摄像头识别手机充电成功时屏幕的特征以判断充电是否成功。若未识别到相应特征，小车将退回重新对接。
57.由此，使用模板匹配减少背景环境的干扰，扩大对实际场景的支持。对接时提供充电口的方位信息，之后识别手机充电特征。
58.在一些实施例中，本发明实施例对融合陀螺仪与编码器的数据得到更准确的方位
角信息。
59.具体地，将每一个状态变量为三维向量xk＝[s
1k s
2k wk]
t
，其中s
1t
、s
2t
为编码器测出的两驱动轮的运动距离，wk为测出的角速度。
[0060]
可得系统的状态方程为：
[0061]
x
k+1
＝axk+qk[0062]
其中，qk为系统噪声矩阵，a的表达式为：
[0063][0064]
其中μ为校正系数，需要根据实验效果反馈进行调整。
[0065]
系统的测量方程为：
[0066]
mk＝hkxk+vk[0067]
其中vk为测量噪声矩阵，hkxk为测量结果，值直接在陀螺仪和编码器中读出将上述矩阵参数代入卡尔曼滤波方程可以得到更为精确的wk。
[0068]
由此，减少测量误差，提高控制精度，缩短对接时间。由于陀螺仪与编码器本身的测量误差，直接通过单一传感器读取角度或行驶距离等信息的误差较大，采用数据融合方法可以有效降低误差。
[0069]
在一些实施例中，本发明实施例使得充电装置直线行驶，实现指定距离的低误差的直线行驶。
[0070]
具体地，设置固定速度和目标距离，利用电机转速pid尽可能保持左右轮速度一致，采用滤波融合后解算的角度为反馈量的位置式pd控制左右电机的输出占空比的调整量，尽可能保持小车直线行驶。
[0071]
在一些实施例中，本发明实施例使得充电装置以固定角度旋转形式。实现指定角度的原地旋转。
[0072]
具体地，采用增量式pid控制两轮的目标差速，再用电机的转速pid调整至该设定速度。增量式pid在静态误差较大与接近目标值时的调整量差异较大，故设置当目标角度穿过目标值时，将目标速度goal调整为-0.5*goal以快速抑制超调，并保留微调静态误差的能力。实验中，小车原地旋转90
°
，误差在5
°
以内。
[0073]
在一些实施例中，本发明实施例将磁吸式接口保留在视野中央，通过控制充电装置(小车)使磁吸式充电口位于摄像头的视野中央。
[0074]
具体地，为磁吸式接口的横坐标采用与直线行驶类似的位置式pd控制，以尽可能保持其位于视野中央。最后当接口中心纵坐标大于一定阈值后，小车直线前行一定距离与之对接。通过识别屏幕亮起的特征判断对接是否成功，失败则倒退一段距离重新对接。使小车在对接过程中对准磁吸式接口。
[0075]
在一些实施例中，本发明实施例路径规划，规划小车行驶的目标点位与在各个点位旋转的角度。
[0076]
可以理解的是，可采用不同的路径规划与前进方式。如设置与流程中不同的控制目标点位，如控制小车以弧形轨迹而非直线轨迹到达目标点位等。
[0077]
具体地，本发明须已知小车与手机的相对位置信息，若位于手机下半区将行驶至手机正前方一定距离的点，若位于手机上半区，将先到达手机的侧面，再行驶至手机正前方。以解算小车的运动路径，使小车顺利到达充电口正前方。
[0078]
根据本发明实施例的用于差速型双轮机器人对接手机磁吸式充电接口的方法，通过摄像头、编码器、陀螺仪等多种传感器，对多路数据进行滤波融合，实现机器人的精确控制与定位；通过模板匹配等方法减少背景环境对视觉识别的干扰；改进运动模式与调整方法，实现与手机的快速对接。
[0079]
为了实现上述实施例，如图3所示，本实施例中还提供了用于差速型双轮机器人对接手机磁吸式充电接口的系统10，该系统10包括，传感器模块100、视觉识别模块200、距离确定模块300和接口对接模块400。
[0080]
传感器模块100，用于获取待识别手机充电口的图像以及手机与充电装置的相对位置信息，并融合传感器模块的测量数据得到手机和充电装置之间的方位角信息；
[0081]
视觉识别模块200，用于将待识别手机充电口的图像输入至预训练的视觉识别模型进行充电口识别以得到充电口位置识别结果；
[0082]
距离确定模块300，用于判断充电口位置识别结果中的充电口位置图像像素是否达到预设像素阈值，根据达到预设像素阈值的判断结果得到充电装置与手机之间的距离信息；
[0083]
接口对接模块400，用于基于距离信息、相对位置信息和方位角信息控制充电装置与待识别手机充电口的充电对接，并根据手机充电特征的识别结果判断识别的手机充电口与充电装置是否对接成功。
[0084]
进一步地，还包括模型训练模块，用于：
[0085]
获取待识别手机充电口的样本图像；
[0086]
将包含样本图像的数据集输入至神经网络模型进行基于目标手机磁吸式充电口识别的网络模型训练，以得到训练好的视觉识别模型。
[0087]
进一步地，充电装置，包括编码器、单片机、驱动板、陀螺仪、摄像头和蓝牙模块；充电装置采用差速型两轮驱动结构；其中，
[0088]
蓝牙模块，用于获取手机初始位置信息，并发送至所述单片机；
[0089]
摄像头，用于识别待识别手机充电口和手机充电特征，并将识别结果发送至单片机；陀螺仪，用于获取方位角信息并发送至单片机；单片机，设有处理器，用于对手机初始位置信息、识别结果和方位角信息进行数据融合处理以输出波信号；
[0090]
驱动板，设有驱动单元，用于接收波信号并输出驱动信号至带有编码器的电机以驱动车轮行驶。
[0091]
进一步地，驱动单元，还用于反馈电机转速至处理器。
[0092]
具体地，本发明实施例的系统硬件模块结构如图4所示。充电装置(充电小车)采用差速型两轮驱动结构，通过autocad自主设计两层底版，顶部放置用于给手机充电的充电宝，底部放置单片机、驱动板、陀螺仪、摄像头、蓝牙等模块。单片机采用arduino leonardo，车轮由带编码器的电机驱动，陀螺仪采用jy901s，摄像头采用openmv4 h7plus带ov5640。
[0093]
根据本发明实施例的用于差速型双轮机器人对接手机磁吸式充电接口的系统，采用的充电小车为差速型双轮机器人，通过蓝牙向充电小车发送手机的位置信息，搭载充电
宝的小车接收到信息后自主规划路径，通过陀螺仪与视觉信息的辅助，自动识别手机并连接充电。
[0094]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0095]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

技术特征：
1.一种用于差速型双轮机器人对接手机磁吸式充电接口的方法，其特征在于，包括以下步骤：利用传感器获取待识别手机充电口的图像以及手机与充电装置的相对位置信息，并融合传感器的测量数据得到手机和充电装置之间的方位角信息；将所述待识别手机充电口的图像输入至预训练的视觉识别模型进行充电口识别以得到充电口位置识别结果；判断所述充电口位置识别结果中的充电口位置图像像素是否达到预设像素阈值，根据达到预设像素阈值的判断结果得到充电装置与手机之间的距离信息；基于所述距离信息、所述相对位置信息和所述方位角信息控制充电装置与待识别手机充电口的充电对接，并根据手机充电特征的识别结果判断识别的手机充电口与充电装置是否对接成功。2.根据权利要求1所述的方法，其特征在于，所述传感器，包括陀螺仪、蓝牙模块、编码器和摄像头中的多种；所述充电装置至少包括所述传感器，所述充电装置采用差速型两轮驱动结构，车轮通过带有编码器的电机驱动。3.根据权利要求1所述的方法，其特征在于，训练所述视觉识别模型，包括：获取待识别手机充电口的样本图像；将包含所述样本图像的数据集输入至神经网络模型进行基于目标手机磁吸式充电口识别的网络模型训练，以得到训练好的视觉识别模型。4.根据权利要求2所述的方法，其特征在于，所述采用差速型两轮驱动结构，在得到所述方位角信息之后，所述方法，还包括：基于充电装置的预设行驶速度和所述距离信息，以利用电机转速pid控制车轮的左右轮速度得到速度控制结果；将所述方位角信息作为反馈量的位置式pd控制电机的输出占空比的调整量，根据调整量控制结果和所述速度控制结果使得所述充电装置直线行驶；以及，利用增量式pid控制车轮的目标差速，并利用所述电机转速pid将当前车轮速度调整至所述预设行驶速度使得所述充电装置以预设角度旋转行驶。5.根据权利要求1所述的方法，其特征在于，根据所述充电口位置识别结果中识别的充电口在图像中的横坐标调整充电装置的方向，使得识别的充电口位置位于视野中央；当识别的充电口在图像中的纵坐标大于预设阈值时，控制充电装置直线前行第一预设距离与识别的充电口进行对接；在对接过程中通过识别屏幕亮起的手机充电特征判断对接是否成功，若识别亮起，判断对接成功；若识别未亮起，判断对接失败，则控制充电装置倒退第二预设距离重新对接。6.根据权利要求1所述的方法，其特征在于，根据所述手机与充电装置的相对位置信息，得到手机与充电装置之间的第一规划路径和第二规划路径；判断充电装置是否位于预设的手机充电口区域，若是，则控制充电装置根据所述第一规划路径行驶至手机充电口的正前方，若否，则控制充电装置根据所述第二规划路径行驶。7.一种用于差速型双轮机器人对接手机磁吸式充电接口的系统，其特征在于，包括：传感器模块，用于获取待识别手机充电口的图像以及手机与充电装置的相对位置信息，并融合传感器模块的测量数据得到手机和充电装置之间的方位角信息；
视觉识别模块，用于将所述待识别手机充电口的图像输入至预训练的视觉识别模型进行充电口识别以得到充电口位置识别结果；距离确定模块，用于判断所述充电口位置识别结果中的充电口位置图像像素是否达到预设像素阈值，根据达到预设像素阈值的判断结果得到充电装置与手机之间的距离信息；接口对接模块，用于基于所述距离信息、所述相对位置信息和所述方位角信息控制充电装置与待识别手机充电口的充电对接，并根据手机充电特征的识别结果判断识别的手机充电口与充电装置是否对接成功。8.根据权利要求7所述的系统，其特征在于，还包括模型训练模块，用于：获取待识别手机充电口的样本图像；将包含所述样本图像的数据集输入至神经网络模型进行基于目标手机磁吸式充电口识别的网络模型训练，以得到训练好的视觉识别模型。9.根据权利要求7所述的系统，其特征在于，所述充电装置，包括编码器、单片机、驱动板、陀螺仪、摄像头和蓝牙模块；所述充电装置采用差速型两轮驱动结构；其中，所述蓝牙模块，用于获取手机初始位置信息，并发送至所述单片机；所述摄像头，用于识别所述待识别手机充电口和手机充电特征，并将识别结果发送至所述单片机；所述陀螺仪，用于获取所述方位角信息并发送至所述单片机；所述单片机，设有处理器，用于对所述手机初始位置信息、所述识别结果和所述方位角信息进行数据融合处理以输出波信号；所述驱动板，设有驱动单元，用于接收所述波信号并输出驱动信号至所述带有编码器的电机以驱动车轮行驶。10.根据权利要求9所述的系统，其特征在于，所述驱动单元，还用于反馈电机转速至所述处理器。

技术总结
本发明公开了用于差速型双轮机器人对接手机磁吸式充电接口的方法，该方法包括：利用传感器获取待识别手机充电口的图像以及手机与充电装置的相对位置信息，并融合传感器的测量数据得到手机和充电装置之间的方位角信息；将待识别手机充电口的图像输入至预训练的视觉识别模型进行充电口识别以得到充电口位置识别结果；判断充电口位置识别结果中的充电口位置图像像素是否达到预设像素阈值，根据达到预设像素阈值的判断结果得到充电装置与手机之间的距离信息，控制充电装置与待识别手机充电口的充电对接。本发明能够自动识别手机并连接充电，并改进机器运动模式，缩短对接时间。缩短对接时间。缩短对接时间。


技术研发人员：张宇航 刘亚希 聂子驹 张浩 罗川
受保护的技术使用者：清华大学
技术研发日：2023.04.13
技术公布日：2023/7/25