基于姿态调整及投影校准的家居陪护机器人的交互方法与流程

1.本发明涉及智能家居技术领域，具体涉及一种基于姿态调整及投影校准的家居陪护机器人的交互方法。


背景技术：

2.专利号为us15589319的技术方案，公开一种基于手指方向的距离全息对象交互方法，其采用用户控制由投影仪投影在位置中心点上方的空中的多个3d全息对象中的3d全息对象。虽然其使用到了3d全息投影，此种方式在日常场景、尤其是家庭环境中不易实现，无法方便的进行操作，局限性较大；使用到了3d全息投影，成本较高；相较于这种方式，在日常场景中的平面内进行投影会降低成本消耗；采用计算机外推用户手指指尖指向的方式，绘制用户手指指尖与3d投影全息对象的全息交线；相较于这种方式，根据手指位姿进行手指指向绘制，找到与图像交汇点、再放大该区域，并在投影图片上增加红色标记点的方式更便于用户识别正确的手指指向。另外，现有智能养老场景中，老年用户和机器人交互是一个比较麻烦的问题，因为该类用户在操作和语音输入方面，均无法准确表达自己的需求和意思。


技术实现要素：

3.本发明要解决的技术问题是：克服现有技术的不足，提供一种基于姿态调整及投影校准的家居陪护机器人的交互方法，通过全局坐标系的建立、姿态调整及投影校准、手势识别及物品确认，可以实现家居陪护过程中，人机交互投影区域更清晰、手势姿态识别更精准、目标物品确认更便捷。
4.本发明的技术方案为：
5.一种基于姿态调整及投影校准的家居陪护机器人的交互方法，包括如下步骤：
6.s1、全局坐标系的建立：陪护机器人3d扫描每个房间的空间布局，建立全局坐标；并对目标物品建立局部坐标，全局坐标和局部坐标均存储于本地陪护机器人内；
7.s2、陪护机器人的手势唤醒：每个房间均安装有唤醒设备，唤醒设备实时扫描手势姿态，唤醒设备与陪护机器人联动控制，当唤醒设备检测到用户发出特定手势姿态时启动陪护机器人；
8.s3、陪护机器人的轨迹规划：陪护机器人根据全局坐标规划最佳路线，并根据最佳路线快速到达用户所在房间，做好交互前的准备工作；
9.s4、用户姿态的识别：陪护机器人利用双目视觉系统采集用户的姿态，判断用户的最佳交互角度；
10.s5、投影位置的选择：陪护机器人利用投影仪在最佳交互角度上进行投影，投影内容包含目标物品所在目录；
11.s6、姿态调整及投影校准：陪护机器人通过调整与用户之间的距离进行姿态调整，并进而控制投影区域的清晰度，保证手势在投影区域内识别的精准度；
12.s7、手势识别及物品确认：用户利用手势在投影区域内，采用逐级点击的方式寻找
目标物品所在的目录，并通过双击方式确认对应目标物品；
13.s8、目标物品的轨迹规划：陪护机器人根据目标物品所在的局部坐标，在全局坐标规划最佳路线，快速到达目标物品所在房间，做好拿取前的准备工作；
14.s9、目标物品的拿取与返回：陪护机器人拿取对应目标物品，并根据轨迹规划原路返回，并将目标物品送至用户手上；
15.s10、陪护机器人的复位：唤醒设备检测到用户发出特定手势姿态，控制陪护机器人回到原房间复位，等待下次唤醒。
16.优选地，所述步骤s2和步骤s10中的唤醒设备，包括相机和视觉检测系统，相机采集用户手势并与存储于视觉检测系统内的手势进行对比，对比结果一致则启动或复位陪护机器人。
17.优选地，所述步骤s2和步骤s10中的特定手势姿态，视觉检测系统通过对比前一帧图像中手部关键点、后一帧图像中手部关键点，动态识别出特定手势姿态。
18.优选地，所述步骤s4中用户姿态分为：站、坐、行、躺姿态，根据用户的不同姿态选择不同方位的投影区域。
19.优选地，所述步骤s4中投影区域包括地面、墙壁、天花板、手掌、幕布，投影区域还允许根据用户的手指指向进行交互角度的修改。
20.优选地，所述步骤s5中投影内容，投影内容包括目标物品目录、娱乐目录、管理目录、生活目录。
21.优选地，所述步骤s5中投影内容与手势姿态采用同一坐标系，陪护机器人根据手势位姿到与图像的交汇区域，通过特定手势姿态放大交汇区域，并在投影区域上增加红色标记点，标记出用户所指目标物品。
22.优选地，所述步骤s6中姿态调整，姿态调整包括陪护机器人前进、后退、左移、右移动作调整，姿态调整过程中，投影区域保持恒定，投影清晰度逐渐发生变化。
23.优选地，所述步骤s7中目标物品所在的目录，与目标物品建立局部坐标采用一一对应关系，用户标记出需要的目标物品在目录对应的位置，双击方式确认，陪护机器人与目标物品所在控制柜联动控制，控制柜做好拿取前的准备工作。
24.优选地，所述步骤s9中拿取对应目标物品，陪护机器人搭载有托盘，控制柜与机械臂配合，机械臂将目标物品夹持到托盘上，陪护机器人通过托盘将目标物品输送至用户所在房间，并移动至用户面前。
25.本发明与现有技术相比，具有以下有益效果：
26.通过全局坐标系的建立，将每个房间、用户所在位置、目标物品的位置进行精准定位；
27.通过姿态调整及投影校准，通过不断调整陪护机器人与用户之间的距离，从而使人机交互投影区域更清晰，手势姿态识别更精准；
28.通过手势识别及物品确认，采用目录双击确认的方式，快捷的实现目标物品确认，方便家居老人的独立使用。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1是本发明的结构示意图。
31.图2是全局坐标系的建立的结构示意图。
32.图3是投影位置的选择的结构示意图之一。
33.图4是投影位置的选择的结构示意图之二。
34.图5是投影位置的选择的结构示意图之三。
35.图6是姿态调整及投影校准的结构示意图。
36.图7是手势识别及物品确认的结构示意图。
37.图中：1、陪护机器人；2、唤醒设备；3、用户；4、目标物品；5、地面；6、墙壁；7、天花板。
具体实施方式
38.为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
39.实施例1
40.如图1所示，本实施例提供了一种基于姿态调整及投影校准的家居陪护机器人的交互方法，包括如下步骤：
41.s1、全局坐标系的建立：陪护机器人13d扫描每个房间的空间布局，建立全局坐标；并对目标物品4建立局部坐标，全局坐标和局部坐标均存储于本地陪护机器人1内，如图2所示；
42.s2、陪护机器人的手势唤醒：每个房间均安装有唤醒设备2，唤醒设备2实时扫描手势姿态，唤醒设备2与陪护机器人1联动控制，当唤醒设备2检测到用户3发出特定手势姿态时启动陪护机器人1；
43.s3、陪护机器人的轨迹规划：陪护机器人1根据全局坐标规划最佳路线，并根据最佳路线快速到达用户3所在房间，做好交互前的准备工作；
44.s4、用户3姿态的识别：陪护机器人1利用双目视觉系统采集用户3的姿态，判断用户3的最佳交互角度；
45.s5、投影位置的选择：陪护机器人1利用投影仪在最佳交互角度上进行投影，投影内容包含目标物品4所在目录；
46.s6、姿态调整及投影校准：陪护机器人1通过调整与用户3之间的距离进行姿态调整，并进而控制投影区域的清晰度，保证手势在投影区域内识别的精准度；
47.s7、手势识别及物品确认：用户3利用手势在投影区域内，采用逐级点击的方式寻找目标物品4所在的目录，并通过双击方式确认对应目标物品4；
48.s8、目标物品4的轨迹规划：陪护机器人1根据目标物品4所在的局部坐标，在全局坐标规划最佳路线，快速到达目标物品4所在房间，做好拿取前的准备工作；
49.s9、目标物品4的拿取与返回：陪护机器人1拿取对应目标物品4，并根据轨迹规划原路返回，并将目标物品4送至用户3手上；
50.s10、陪护机器人1的复位：唤醒设备2检测到用户3发出特定手势姿态，控制陪护机器人1回到原房间复位，等待下次唤醒。
51.工作原理：
52.本发明通过全局坐标系的建立，将每个房间、用户3所在位置、目标物品4的位置进行精准定位；
53.本发明通过姿态调整及投影校准，通过不断调整陪护机器人1与用户3之间的距离，从而使人机交互投影区域更清晰，手势姿态识别更精准；
54.本发明通过手势识别及物品确认，采用目录双击确认的方式，快捷的实现目标物品4确认，方便家居老人的独立使用。
55.实施例2
56.在实施例1的基础上，所述步骤s2和步骤s10中的唤醒设备2，包括相机和视觉检测系统，相机采集用户3手势并与存储于视觉检测系统内的手势进行对比，对比结果一致则启动或复位陪护机器人1。
57.优选地，所述步骤s2和步骤s10中的特定手势姿态，视觉检测系统通过对比前一帧图像中手部关键点、后一帧图像中手部关键点，动态识别出特定手势姿态。
58.优选地，所述步骤s4中用户3姿态分为：站、坐、行、躺姿态，根据用户3的不同姿态选择不同方位的投影区域。
59.优选地，所述步骤s4中投影区域包括地面5、墙壁6、天花板7、手掌、幕布，投影区域还允许根据用户3的手指指向进行交互角度的修改，如图3-图5所示；
60.优选地，所述步骤s5中投影内容，投影内容包括目标物品目录、娱乐目录、管理目录、生活目录，如图7所示。
61.优选地，所述步骤s5中投影内容与手势姿态采用同一坐标系，陪护机器人1根据手势位姿到与图像的交汇区域，通过特定手势姿态放大交汇区域，并在投影区域上增加红色标记点，标记出用户3所指目标物品4，如图6所示。
62.优选地，所述步骤s6中姿态调整，姿态调整包括陪护机器人1前进、后退、左移、右移动作调整，姿态调整过程中，投影区域保持恒定，投影清晰度逐渐发生变化。
63.优选地，所述步骤s7中目标物品4所在的目录，与目标物品4建立局部坐标采用一一对应关系，用户3标记出需要的目标物品4在目录对应的位置，双击方式确认，陪护机器人1与目标物品4所在控制柜联动控制，控制柜做好拿取前的准备工作，如图7所示。
64.优选地，所述步骤s9中拿取对应目标物品4，陪护机器人1搭载有托盘，控制柜与机械臂配合，机械臂将目标物品4夹持到托盘上，陪护机器人1通过托盘将目标物品4输送至用户3所在房间，并移动至用户3面前。
65.需要说明的是：无论何时何地，即便是用户3生病仰卧在床，也可以通过该方法和机器人交互。
66.无论何时何地，陪护机器人1和用户3都可进行准确的交流。陪护机器人1根据自身携带的投影仪，在用户3位姿合适的区域内投影，把交流的内容图示出来。用户3用手指选择投影区域上的内容，陪护机器人1用双目结构光捕获手指的指向，在投影区域上选择用户3
选定的内容。
67.尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

技术特征：
1.一种基于姿态调整及投影校准的家居陪护机器人的交互方法，其特征在于，包括如下步骤：s1、全局坐标系的建立：陪护机器人(1)3d扫描每个房间的空间布局，建立全局坐标；并对目标物品(4)建立局部坐标，全局坐标和局部坐标均存储于本地陪护机器人(1)内；s2、陪护机器人的手势唤醒：每个房间均安装有唤醒设备(2)，唤醒设备(2)实时扫描手势姿态，唤醒设备(2)与陪护机器人(1)联动控制，当唤醒设备(2)检测到用户(3)发出特定手势姿态时启动陪护机器人(1)；s3、陪护机器人的轨迹规划：陪护机器人(1)根据全局坐标规划最佳路线，并根据最佳路线快速到达用户(3)所在房间，做好交互前的准备工作；s4、用户姿态的识别：陪护机器人(1)利用双目视觉系统采集用户(3)的姿态，判断用户(3)的最佳交互角度；s5、投影位置的选择：陪护机器人(1)利用投影仪在最佳交互角度上进行投影，投影内容包含目标物品(4)所在目录；s6、姿态调整及投影校准：陪护机器人(1)通过调整与用户(3)之间的距离进行姿态调整，并进而控制投影区域的清晰度，保证手势在投影区域内识别的精准度；s7、手势识别及物品确认：用户(3)利用手势在投影区域内，采用逐级点击的方式寻找目标物品(4)所在的目录，并通过双击方式确认对应目标物品(4)；s8、目标物品(4)的轨迹规划：陪护机器人(1)根据目标物品(4)所在的局部坐标，在全局坐标规划最佳路线，快速到达目标物品(4)所在房间，做好拿取前的准备工作；s9、目标物品(4)的拿取与返回：陪护机器人(1)拿取对应目标物品(4)，并根据轨迹规划原路返回，并将目标物品(4)送至用户(3)手上；s10、陪护机器人(1)的复位：唤醒设备(2)检测到用户(3)发出特定手势姿态，控制陪护机器人(1)回到原房间复位，等待下次唤醒。2.如权利要求1所述的基于姿态调整及投影校准的家居陪护机器人的交互方法，其特征在于，所述步骤s2和步骤s10中的唤醒设备(2)，包括相机和视觉检测系统，相机采集用户(3)手势并与存储于视觉检测系统内的手势进行对比，对比结果一致则启动或复位陪护机器人(1)。3.如权利要求2所述的基于姿态调整及投影校准的家居陪护机器人的交互方法，其特征在于，所述步骤s2和步骤s10中的特定手势姿态，视觉检测系统通过对比前一帧图像中手部关键点、后一帧图像中手部关键点，动态识别出特定手势姿态。4.如权利要求1所述的基于姿态调整及投影校准的家居陪护机器人的交互方法，其特征在于，所述步骤s4中用户(3)姿态分为：站、坐、行、躺姿态，根据用户(3)的不同姿态选择不同方位的投影区域。5.如权利要求1或4所述的基于姿态调整及投影校准的家居陪护机器人的交互方法，其特征在于，所述步骤s4中投影区域包括地面(5)、墙壁(6)、天花板(7)、手掌、幕布，投影区域还允许根据用户(3)的手指指向进行交互角度的修改。6.如权利要求5所述的基于姿态调整及投影校准的家居陪护机器人的交互方法，其特征在于，所述步骤s5中投影内容，投影内容包括目标物品(4)目录、娱乐目录、管理目录、生活目录。
7.如权利要求1或6所述的基于姿态调整及投影校准的家居陪护机器人的交互方法，其特征在于，所述步骤s5中投影内容与手势姿态采用同一坐标系，陪护机器人(1)根据手势位姿到与图像的交汇区域，通过特定手势姿态放大交汇区域，并在投影区域上增加红色标记点，标记出用户(3)所指目标物品(4)。8.如权利要求7所述的基于姿态调整及投影校准的家居陪护机器人的交互方法，其特征在于，所述步骤s6中姿态调整，姿态调整包括陪护机器人(1)前进、后退、左移、右移动作调整，姿态调整过程中，投影区域保持恒定，投影清晰度逐渐发生变化。9.如权利要求1或8所述的基于姿态调整及投影校准的家居陪护机器人的交互方法，其特征在于，所述步骤s7中目标物品(4)所在的目录，与目标物品(4)建立局部坐标采用一一对应关系，用户(3)标记出需要的目标物品(4)在目录对应的位置，双击方式确认，陪护机器人(1)与目标物品(4)所在控制柜联动控制，控制柜做好拿取前的准备工作。10.如权利要求9所述的基于姿态调整及投影校准的家居陪护机器人的交互方法，其特征在于，所述步骤s9中拿取对应目标物品(4)，陪护机器人(1)搭载有托盘，控制柜与机械臂配合，机械臂将目标物品(4)夹持到托盘上，陪护机器人(1)通过托盘将目标物品(4)输送至用户(3)所在房间，并移动至用户(3)面前。

技术总结
本发明涉及智能家居技术领域，具体涉及一种基于姿态调整及投影校准的家居陪护机器人的交互方法。本发明包括S1、全局坐标系的建立；S2、陪护机器人的手势唤醒；S3、陪护机器人的轨迹规划；S4、用户姿态的识别；S5、投影位置的选择；S6、姿态调整及投影校准；S7、手势识别及物品确认；S8、目标物品的轨迹规划；S9、目标物品的拿取与返回；S10、陪护机器人的复位。本发明通过全局坐标系的建立、姿态调整及投影校准、手势识别及物品确认，可以实现家居陪护过程中，人机交互投影区域更清晰、手势姿态识别更精准、目标物品确认更便捷。目标物品确认更便捷。


技术研发人员：陈苏畅 郭占友
受保护的技术使用者：中山市家的电器有限公司
技术研发日：2023.05.11
技术公布日：2023/8/23