机器人取货检测方法及装置、机器人与流程

1.本技术涉及仓储物流技术领域，尤其涉及一种机器人取货检测方法及装置、机器人。


背景技术：

2.当前，在仓储物流的工作场景中，通过无人叉车等机器人进行货物运输的需求日益增长。然而，在实践中发现，由于机器人通过传感器采集的数据往往具有滞后性，在货运过程中容易产生识别、定位失准的情况，甚至需要经常停车检测校准，大大降低了机器人的运输效率。


技术实现要素：

3.本技术实施例公开了一种机器人取货检测方法及装置、机器人，能够提升无人叉车等机器人在运动过程中检测取货对象的准确性，实现不停车检测及取货，从而有利于提升机器人货运的精度以及运输效率。
4.本技术实施例第一方面公开一种机器人取货检测方法，应用于机器人，所述机器人包括图像采集模块以及里程计模块，所述方法包括：获取所述图像采集模块采集的至少一帧检测图像，以及所述里程计模块采集的多帧里程信息；将所述至少一帧检测图像与所述多帧里程信息进行匹配，分别确定每帧检测图像所匹配的目标帧里程信息；获取最近一帧检测图像所匹配的第一目标帧里程信息，并根据所述最近一帧检测图像，以及所述第一目标帧里程信息，确定目标取货对象对应的第一位置信息；根据所述里程计模块采集的最近一帧里程信息，以及所述第一目标帧里程信息和所述第一位置信息，确定所述目标取货对象对应的当前位置信息。
5.本技术实施例第二方面公开一种机器人取货检测装置，应用于机器人，所述机器人包括图像采集模块以及里程计模块，所述机器人取货检测装置包括：获取单元，用于获取所述图像采集模块采集的至少一帧检测图像，以及所述里程计模块采集的多帧里程信息；匹配单元，用于将所述至少一帧检测图像与所述多帧里程信息进行匹配，分别确定每帧检测图像匹配的目标帧里程信息；第一确定单元，用于获取最近一帧检测图像所匹配的第一目标帧里程信息，并根据所述最近一帧检测图像，以及所述第一目标帧里程信息，确定目标取货对象对应的第一位置信息；第二确定单元，用于根据所述里程计模块采集的最近一帧里程信息，以及所述第一目标帧里程信息和所述第一位置信息，确定所述目标取货对象对应的当前位置信息。
6.本技术实施例第三方面公开了一种机器人，包括：
存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行本技术实施例第一方面公开的任意一种机器人取货检测方法中的全部或部分步骤。
7.与相关技术相比，本技术实施例具有以下有益效果：在本技术实施例中，应用机器人取货检测方法的机器人可以包括图像采集模块以及里程计模块，该机器人可以获取图像采集模块采集的至少一帧检测图像，以及里程计模块采集的多帧里程信息，进而可以将上述至少一帧检测图像与多帧里程信息进行匹配，分别确定每帧检测图像所匹配的目标帧里程信息。机器人可以获取最近一帧检测图像所匹配的第一目标帧里程信息，并根据该最近一帧检测图像，以及第一目标帧里程信息，确定目标取货对象对应的第一位置信息。在此基础上，机器人可以根据里程计模块采集的最近一帧里程信息，以及上述第一目标帧里程信息和第一位置信息，确定目标取货对象对应的当前位置信息。可见，实施本技术实施例，能够在仓储物流的工作场景中，通过对机器人所采集的检测图像以及里程信息进行匹配，并根据最新采集的最近一帧里程信息，推测机器人在当前时刻所处的位置，从而能够不断根据最新采集的里程信息，在机器人运动的过程中持续确定取货对象的位置信息，同时基于最新采集的检测图像对上述位置信息进行持续校准。这样的机器人取货检测方法，能够降低由于机器人通过传感器采集数据存在滞后而可能导致的误差，有效提升机器人在运动过程中检测取货对象的准确性，避免无人叉车等机器人出现需要停车检测校准的情况，从而实现不停车检测及取货，不仅能够提升机器人货运的精度，还有利于提高机器人货运的自动化运输效率。
附图说明
8.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例中所需要使用的附图进行简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
9.图1是本发明实施例公开的机器人取货检测方法的一种应用场景示意图；图2是本技术实施例公开的一种机器人取货检测方法的流程示意图；图3是本技术实施例公开的一种机器人运动轨迹示意图；图4是本技术实施例公开的另一种机器人取货检测方法的流程示意图；图5是本技术实施例公开的一种触发信号的示意图；图6是本技术实施例公开的又一种机器人取货检测方法的流程示意图；图7是本技术实施例公开的一种机器人取货检测方法的时序图；图8是本技术实施例公开的一种机器人的模块化示意图；图9是本技术实施例公开的又一种机器人的模块化示意图。
具体实施方式
10.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本
申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
11.需要说明的是，本技术实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
12.本技术实施例公开了一种机器人取货检测方法及装置、机器人，能够提升无人叉车等机器人在运动过程中检测取货对象的准确性，实现不停车检测及取货，从而有利于提升机器人货运的精度以及运输效率。
13.以下将结合实施例和附图进行详细描述。
14.请参阅图1，图1是本技术实施例公开的机器人取货检测方法的一种应用场景示意图，可以包括机器人10（例如无人叉车等，也可称为自动搬运机器人或自动导向车，即automated guided vehicle，agv）以及目标取货对象20。在仓储物流的工作场景中，机器人10可以通过对目标取货对象20进行检测、识别，获取该目标取货对象20对应的位置信息，以便于精确地对目标取货对象20进行取放、运输。
15.如图1所示，机器人10可以包括图像采集模块11以及里程计模块12，通过对该图像采集模块11和里程计模块12所采集的数据进行分析计算，可以确定机器人10和目标取货对象20之间的相对位置关系，进而确定该目标取货对象20对应的位置信息。
16.其中，上述图像采集模块11，可以包括摄像头模组，以用于针对机器人10附近，尤其是其前方空间进行图像采集，得到相应的检测图像。该检测图像可以用于进行目标检测，以确定其中可能存在的目标取货对象20。示例性地，上述图像采集模块11可以包括tof（time of flight，飞行时间）相机、2d相机等，也可以包括其他具有硬件触发功能的传感器。在一些实施例中，上述图像采集模块11也可以替换为（或者在已设置图像采集模块11的基础上追加设置）其他类型的感知模块，例如3d激光雷达、红外传感器等。示例性地，以3d激光雷达为例，该3d激光雷达可以用于对机器人10附近，尤其是其前方空间的目标取货对象20进行检测，并通过其所采集到的点云数据，准确定位上述目标取货对象20。
17.其中，上述里程计模块12，可以包括用于对机器人10运动的空间信息、方向信息等进行记录，得到相应的里程信息的模组，例如里程计、惯性传感器（如加速度传感器、陀螺仪等）、舵轮运动及转向记录模块（如针对电机、车轮、转向盘、制动器等部件的相关状态、控制信号进行记录的模块）等各类能够提供运动信息的传感器或记录模块。根据上述里程计模块12所采集的里程信息，可以确定机器人10所处的位置，进而可以结合上述图像采集模块11所采集的检测图像，进一步确定目标取货对象20对应的位置信息。
18.示例性地，以机器人10包括无人叉车为例，上述图像采集模块11可以设置于该无人叉车的叉臂根部间的中点处（例如设置于车体上或叉臂结构上，前者如图1所示），也可以根据实际条件设置于其他位置（例如基于无人叉车形态、仓储空间环境的不同调整设置位置）。上述里程计模块12则可以设置于该无人叉车内部，或者根据具体需求设置于无人叉车的其他不同位置。
19.需要说明的是，图1所示的机器人10为车辆形态，这仅是一种示例。在其他实施例中，机器人10也可以具有其他不同的形态，例如轨道机器人、非车辆形态的无轨道机器人
等，本技术实施例中不作具体限定。示例性地，上述机器人10所搭载的图像采集模块11和里程计模块12，可以由该机器人10内置的处理器模块（未具体图示）进行控制，例如车机、电脑、基于soc（system-on-a-chip，片上系统）的机器人取货检测系统等各类设备或系统，本技术实施例中也不作具体限定。
20.在一些实施例中，上述图像采集模块11和里程计模块12，也可以分别搭载有相应的处理单元，并通过与机器人10内置的其他必要模块建立通信连接，受控实现所需的机器人取货检测功能。示例性地，上述其他必要模块，可以包括硬件触发模块（可用于向图像采集模块11和/或里程计模块12发送触发信号）、目标检测模块（可用于根据图像采集模块11和/或里程计模块12所采集的数据，检测目标取货对象20）、结果预测模块（可用于根据图像采集模块11和/或里程计模块12所采集的数据，确定目标取货对象20对应的位置信息）等，本技术实施例中也不作具体限定。
21.示例性地，上述目标取货对象20，可以包括待取放的货物、货物托盘（例如空托盘，或者盛放有货物的托盘）、货架等，也可以包括用于确定机器人10后续运动目标的位置标识或方向标识（例如用于指示机器人10停靠或朝向某一方向运动的条形码、二维码等），可根据该机器人10在工作场景中的具体需求而确定。
22.在本技术实施例中，为了在仓储物流的工作场景中对目标取货对象20的位置进行检测，并克服相关技术中由于机器人10通过各类传感器采集到的数据存在滞后性，而导致对目标取货对象20的识别、定位失准的问题，可以通过结合上述图像采集模块11所采集的检测图像，以及里程计模块12所采集的里程信息，共同实现对目标取货对象20的精确定位。示例性地，机器人10可以获取图像采集模块11采集的至少一帧检测图像，以及里程计模块12采集的多帧里程信息，并将上述至少一帧检测图像与多帧里程信息进行匹配，分别确定每帧检测图像所匹配的目标帧里程信息。进一步地，机器人10可以获取最近一帧检测图像所匹配的第一目标帧里程信息，并根据该最近一帧检测图像，以及上述第一目标帧里程信息，确定目标取货对象对应的第一位置信息。在此基础上，机器人10可以根据里程计模块12采集的最近一帧里程信息，以及上述第一目标帧里程信息和第一位置信息，确定目标取货对象20对应的当前位置信息。
23.可见，实施本实施例的机器人取货检测方法，能够通过对机器人10所采集的检测图像以及里程信息进行匹配，并根据最新采集的最近一帧里程信息，推测机器人10在当前时刻所处的位置，从而能够不断根据最新采集的里程信息，在机器人10运动的过程中持续确定目标取货对象20的位置信息，同时基于最新采集的检测图像对上述位置信息进行持续校准。这样的机器人取货检测方法，能够降低由于机器人10通过传感器（例如上述的图像采集模块11和里程计模块12）采集数据存在滞后而可能导致的误差，有效提升机器人10在运动过程中检测目标取货对象20的准确性。在仓储物流的工作场景中，这样能够避免无人叉车等机器人10出现需要停车检测校准的情况，从而实现不停车检测及取货，不仅能够提升机器人10货运的精度，还有利于提高机器人10货运的自动化运输效率。
24.请参阅图2，图2是本技术实施例公开的一种机器人取货检测方法的流程示意图，该方法可以应用于上述的机器人，该机器人可以包括图像采集模块以及里程计模块。如图2所示，该机器人取货检测方法可以包括以下步骤：202、获取图像采集模块采集的至少一帧检测图像，以及里程计模块采集的多帧里
程信息。
25.在本技术实施例中，机器人可以通过图像采集模块进行持续或间断的图像采集，得到至少一帧检测图像；同时，还可以通过里程计模块进行持续或间断的里程信息采集，得到多帧里程信息。为了尽可能节省功耗，机器人在进行上述图像采集以及里程信息采集时，均可以按照一定的时间间隔进行，并且可以基于指定的触发控制逻辑定时进行。
26.示例性地，本技术实施例中的机器人还可以包括硬件触发模块，该硬件触发模块可以用于向上述图像采集模块以及里程计模块分别发送相应的触发信号。
27.在一些实施例中，上述硬件触发模块可以按照第一频率（例如1hz、2hz等），定时向图像采集模块发送第一触发信号，以触发该图像采集模块按照第一频率采集检测图像。类似地，该硬件触发模块也可以按照第二频率（例如5hz、10hz等），定时向里程计模块发送第二触发信号，以触发该里程计模块按照第二频率采集机器人自身的里程信息。
28.其中，上述第一频率可以与第二频率相同，也可以不相同。在一些实施例中，第二频率可以高于第一频率，即，相同时长内里程计模块所采集里程信息的帧数，可以保持高于图像采集模块所采集检测图像的帧数，以在尽可能降低机器人处理检测图像所需消耗的算力和时间（即节省算力，提高检测效率）的基础上，仍保持较高的里程记录频率，确保机器人后续对目标取货对象进行定位的准确性。
29.可选地，上述第二频率可以为第一频率的整数倍（例如2倍、3倍、5倍等），以便于后续对机器人所获取的检测图像和里程信息进行匹配。在一些实施例中，每次硬件触发模块向图像采集模块发送第一触发信号，均可与该硬件触发模块向里程计模块发送第二触发信号同步进行，即，针对每个第一触发信号，均存在同时触发的第二触发信号。
30.示例性地，请参阅图3，图3是本技术实施例公开的一种机器人运动轨迹示意图。如图3所示，在机器人运动的过程中，每隔一定时长（例如按照上述的第二频率），其内置的硬件触发模块均可向里程计模块发送第二触发信号，以触发该里程计模块定时采集里程信息（如机器人运动轨迹中的黑点所示），该里程信息可以包括机器人的空间坐标、朝向方向信息等。在此基础上，针对里程计模块采集里程信息的时刻，每隔一定时长（例如按照上述的第一频率），即，在里程计模块采集里程信息的部分相隔该固定时长的时刻（例如t0、t1、t2时刻等），硬件触发模块可以同时向图像采集模块发送第一触发信号，以触发该图像采集模块定时采集检测图像（如机器人运动轨迹中，t0、t1、t2时刻对应的图像采集模块所示）。需要说明的是，图3所示的里程计模块采集里程信息的帧率，为图像采集模块采集检测图像的帧率的2倍，这仅是一种示例，在其他实施例中也可以为其他倍数。
31.其中，上述检测图像，可以包括可见光图像，也可以包括基于点云数据得到的三维重建图像等，本技术实施例中不作具体限定。上述里程信息，则可以包括机器人运动的空间信息、方向信息等，例如该机器人的空间坐标x、y、z（可基于指定原点所建立的xyz三维坐标系而确定），以及该机器人的朝向方向信息roll（横滚角/翻滚角，即绕z轴旋转的角度）、pitch（俯仰角，即绕x轴旋转的角度）、yaw（航向角/偏航角，即绕y轴旋转的角度）等，本技术实施例中也不作具体限定。
32.204、将上述至少一帧检测图像与多帧里程信息进行匹配，分别确定每帧检测图像所匹配的目标帧里程信息。
33.在本技术实施例中，机器人在获取上述图像采集模块采集的至少一帧检测图像，
以及里程计模块采集的多帧里程信息之后，可以通过对该至少一帧检测图像和多帧里程信息进行匹配，确定存在匹配关系的检测图像和里程信息，进而可以在后续步骤中获取机器人采集检测图像时的位置，并进一步确定目标取货对象的位置。
34.在一些实施例中，机器人可以分别记录采集上述至少一帧检测图像和多帧里程信息的时间戳，从而可以通过比对各帧检测图像和里程信息的时间戳，确定采集时间上相匹配（例如时间戳重合，或者时间戳之差小于指定时间阈值等）的检测图像和里程信息，分别得到每帧检测图像所匹配的目标帧里程信息。
35.在另一些实施例中，机器人还可以分别获取上述至少一帧检测图像和多帧里程信息的帧编号，从而可以根据各帧检测图像和里程信息的帧编号，分别计算每帧检测图像的图像帧编号所对应的里程帧编号，并将具有相应里程帧编号的里程信息，作为相应检测图像所匹配的目标帧里程信息。
36.示例性地，当图像采集模块首次采集到检测图像时，机器人可以获取其里程计模块所采集的里程信息对应的第一里程帧编号。在此基础上，针对上述至少一帧检测图像中的任一帧检测图像，机器人均可根据其对应的检测图像帧编号以及上述第一里程帧编号，计算出其所匹配的目标帧里程信息对应的第二里程帧编号。
37.以目标帧检测图像为例，该目标帧检测图像可以为上述至少一帧检测图像中的任一帧检测图像，机器人可以获取该目标帧检测图像对应的检测图像帧编号，进而可以根据第一里程帧编号和该检测图像帧编号，利用预先设定的函数，计算得到第二里程帧编号。
38.示例性地，上述预先设定的函数可以为，也可以为其他函数关系，例如（其中可以为上述的第二频率相对第一频率的倍数）等，可以基于图像采集模块以及里程计模块对帧编号记录的具体设置而确定。在此基础上，机器人可以将上述第二里程帧编号对应的里程信息，确定为目标帧检测图像所匹配的目标帧里程信息。
39.206、获取最近一帧检测图像所匹配的第一目标帧里程信息，并根据该最近一帧检测图像，以及第一目标帧里程信息，确定目标取货对象对应的第一位置信息。
40.在本技术实施例中，为了确定目标取货对象对应的当前位置信息，可以通过确定机器人的位置，再基于该机器人与目标取货对象的相对位置关系，确定目标取货对象的实时位置。
41.在一些实施例中，由于机器人通过其里程计模块采集里程信息的帧率相对较高，该里程信息可以相对实时地反映机器人在某一时刻所处的位置。示例性地，通过获取图像采集模块所采集的最近一帧检测图像，并进一步获取其所匹配的第一目标帧里程信息，可以基于该第一目标帧里程信息，确定机器人在采集上述最近一帧检测图像时的位置。
42.在此基础上，通过对上述最近一帧检测图像进行目标检测，可以确认其中是否存在目标取货对象，即，图像采集模块所采集的最近一帧检测图像是否已包含目标取货对象。在存在目标取货对象的情况下，机器人可以对上述最近一帧检测图像进一步分析，判断该机器人与目标取货对象的相对位置关系，并结合上述第一目标帧里程信息，基于机器人在采集上述最近一帧检测图像时的位置，确定此时目标取货对象对应的第一位置信息。
43.208、根据里程计模块采集的最近一帧里程信息，以及上述第一目标帧里程信息和第一位置信息，确定目标取货对象对应的当前位置信息。
44.在本技术实施例中，由于机器人通过其里程计模块采集里程信息的帧率相对较高，基于该里程计模块采集的最近一帧里程信息，可以相对实时地确定机器人在当前时刻所处的位置，进而可以确定目标取货对象对应的当前位置信息。
45.示例性地，机器人在获取其里程计模块采集的最近一帧里程信息之后，通过结合上述第一目标帧里程信息，可以判断机器人从采集上述最近一帧检测图像的时刻到当前时刻，期间整体的运动轨迹。在此基础上，进一步结合上述第一位置信息，可以对机器人与目标取货对象的相对位置关系进行更新，进而确定出目标取货对象对应的当前位置信息。
46.可见，实施上述实施例所描述的机器人取货检测方法，能够通过对机器人所采集的检测图像以及里程信息进行匹配，并根据最新采集的最近一帧里程信息，推测机器人在当前时刻所处的位置，从而能够不断根据最新采集的里程信息，在机器人运动的过程中持续确定取货对象的位置信息，同时基于最新采集的检测图像对上述位置信息进行持续校准。这样能够降低由于机器人通过传感器采集数据存在滞后而可能导致的误差，有效提升机器人在运动过程中检测取货对象的准确性。在仓储物流的工作场景中，还能够避免无人叉车等机器人出现需要停车检测校准的情况，从而实现不停车检测及取货，不仅能够提升机器人货运的精度，还有利于提高机器人货运的自动化运输效率。
47.请参阅图4，图4是本技术实施例公开的另一种机器人取货检测方法的流程示意图，该方法可以应用于上述的机器人，该机器人可以包括图像采集模块以及里程计模块。如图4所示，该机器人取货检测方法可以包括以下步骤：402、每隔第一时长向图像采集模块发送第一触发信号，且每隔第二时长向里程计模块发送第二触发信号；其中，上述第一时长大于第二时长，且针对每个第一触发信号，均存在同时触发的第二触发信号。
48.在本技术实施例中，为了确保图像采集模块所采集的每帧检测图像，均存在与之相匹配的目标帧里程信息，以用于后续对目标取货对象进行定位，机器人在通过其硬件触发模块控制对图像采集模块以及里程计模块的触发信号时，可以使之同步触发，即，针对每个第一触发信号（用于触发图像采集模块采集检测图像），均存在同时触发的第二触发信号（用于触发里程计模块采集里程信息）。
49.在一些实施例中，上述硬件触发模块可以每隔第一时长向图像采集模块发送第一触发信号，并且每隔第二时长向里程计模块发送第二触发信号。示例性地，请参阅图5，图5是本技术实施例公开的一种触发信号的示意图，每个信号上升沿均可表示单次的触发信号。如图5所示，上述第一时长可以大于第二时长，即第二触发信号对应的第二频率，可以大于第一触发信号对应的第一频率。
50.进一步地，如图5所示，针对每个第一触发信号的信号上升沿（例如t0、t1、t2时刻等），同一时刻必然存在第二触发信号的信号上升沿，从而可以确保每次图像采集模块采集检测图像时，里程计模块均可记录同一时刻的里程信息，以便于在后续步骤中匹配为相应的目标帧里程信息。在其他实施例中，也可以是针对每个第一触发信号的信号下降沿、高电平、低电平等，在同一时刻存在第二触发信号相应的信号下降沿、高电平、低电平等，即上述硬件触发模块可以采用信号上升沿、信号下降沿、高低电平等多种硬件触发方式。还有一些
实施例中，上述硬件触发模块也可以采用指定的通讯接口，并通过该通讯接口对应的触发方式来实现对图像采集模块以及里程计模块的硬件触发，本技术实施例中不作具体限定。
51.404、获取图像采集模块采集的至少一帧检测图像，以及里程计模块采集的多帧里程信息。
52.406、将上述至少一帧检测图像与多帧里程信息进行匹配，分别确定每帧检测图像所匹配的目标帧里程信息。
53.其中，步骤404以及步骤406与上述步骤202以及步骤204类似，此处不再赘述。
54.408、获取最近一帧检测图像所匹配的第一目标帧里程信息，并根据该最近一帧检测图像，以及第一目标帧里程信息，确定目标取货对象对应的第一位置信息。
55.其中，步骤408与上述步骤206类似。需要说明的是，在通过步骤406对上述至少一帧检测图像与多帧里程信息进行匹配之后，最近一帧检测图像所匹配的第一目标帧里程信息，可以用于确定在机器人通过图像采集模块采集到最近一帧检测图像时，该机器人所处的位置。在此基础上，通过对该最近一帧检测图像进行针对目标取货对象的目标检测，并结合上述第一目标帧里程信息，可以确定出目标取货对象对应的第一位置信息。
56.示例性地，机器人可以通过检测最近一帧检测图像中的目标取货对象，得到该目标取货对象在上述最近一帧检测图像中的图像位置信息，进而可以根据上述第一目标帧里程信息以及该图像位置信息，确定出目标取货对象对应的第一位置信息。
57.具体地，机器人在得到上述图像位置信息之后，可以先根据该图像位置信息，确定出目标取货对象与机器人之间的相对方位信息，例如可以基于机器人在最近一帧检测图像中的图像位置对应的空间位置、景深信息（即图像深度信息）等进行计算。在此基础上，根据上述基准位置信息和该相对方位信息，机器人可以进一步确定目标取货对象此时对应的第一位置信息。
58.410、根据最近一帧里程信息和第一目标帧里程信息，计算机器人对应的移动轨迹信息。
59.412、根据上述移动轨迹信息和第一位置信息，确定目标取货对象对应的当前位置信息。
60.在本技术实施例中，由于机器人所采集的里程信息的帧率相对较高，基于其里程计模块采集的最近一帧里程信息，并进一步结合上述第一目标帧里程信息和第一位置信息，可以相对实时、准确地确定出目标取货对象对应的当前位置信息。
61.示例性地，机器人可以先根据最近一帧里程信息和第一目标帧里程信息，计算出该机器人对应的移动轨迹信息，该移动轨迹信息可以用于表示机器人从采集上述最近一帧检测图像的时刻到当前时刻，期间整体的运动轨迹。在此基础上，机器人可以结合其在采集上述最近一帧检测图像时的第一位置信息，对该机器人与目标取货对象的相对位置关系进行更新，进而可以确定出目标取货对象对应的当前位置信息。
62.在一些实施例中，上述计算过程可以如以下公式1所示。
63.公式1：
64.其中，由最近一帧里程信息和第一目标帧里程信息所得到的矩阵计算结果
，可以用于表征机器人对应的移动轨迹信息；再结合第一位置信息对应的坐标位置，可以计算得到目标取货对象对应的当前位置信息（可以通过坐标位置表示）。
65.可选地，尽管机器人采集里程信息的帧率相当高，但由于数据的采集、传输过程不可避免地存在滞后性，为了进一步提升对目标取货对象定位的精确度，还可以针对这一滞后延迟情形进行修正。
66.在一些实施例中，机器人还可以获取最近一帧里程信息对应的延迟时长，并基于该延迟时长对上述移动轨迹信息进行修正，得到修正后的移动轨迹信息。其中，上述延迟时长可以用于表示里程计模块采集最近一帧里程信息的时刻，与当前时刻之间的时间差（例如0.1毫秒、0.05毫秒等）。对上述移动轨迹信息进行修正的修正量，则可以基于机器人在该时间差内沿其运动方向继续移动的趋势而确定。
67.在此基础上，机器人可以根据上述修正后的移动轨迹信息和第一位置信息，基于与上述公式1相似的方式，继续确定目标取货对象对应的当前位置信息。
68.可见，实施上述实施例所描述的机器人取货检测方法，能够通过对机器人所采集的检测图像以及里程信息进行匹配，在机器人运动的过程中持续确定取货对象的位置信息，从而能够降低由于机器人通过传感器采集数据存在滞后而可能导致的误差，有效提升机器人在运动过程中检测取货对象的准确性。在仓储物流的工作场景中，这样能够避免无人叉车等机器人出现需要停车检测校准的情况，从而实现不停车检测及取货，不仅能够提升机器人货运的精度，还有利于提高机器人货运的自动化运输效率。此外，通过结合机器人最新采集的检测图像和里程信息，可以相对准确地推测机器人以及取货对象在当前时刻的位置，从而能够进一步提升机器人对取货对象进行定位的准确性。
69.请参阅图6，图6是本技术实施例公开的又一种机器人取货检测方法的流程示意图，该方法可以应用于上述的机器人，该机器人可以包括图像采集模块以及里程计模块。如图6所示，该机器人取货检测方法可以包括以下步骤：602、每隔第一时长向图像采集模块发送第一触发信号，且每隔第二时长向里程计模块发送第二触发信号；其中，上述第一时长大于第二时长，且针对每个第一触发信号，均存在同时触发的第二触发信号。
70.其中，步骤602与上述步骤402类似，此处不再赘述。
71.604、获取图像采集模块采集的至少一帧检测图像，以及里程计模块采集的多帧里程信息。
72.606、将上述至少一帧检测图像与多帧里程信息进行匹配，分别确定每帧检测图像所匹配的目标帧里程信息。
73.其中，步骤604以及步骤606与上述步骤202以及步骤204类似，此处不再赘述。
74.608、获取最近一帧检测图像所匹配的第一目标帧里程信息，并根据该最近一帧检测图像，以及第一目标帧里程信息，确定目标取货对象对应的第一位置信息。
75.其中，步骤608与上述步骤408类似，此处不再赘述。
76.610、根据里程计模块采集的最近一帧里程信息，以及上述第一目标帧里程信息和第一位置信息，确定目标取货对象对应的当前位置信息。
77.其中，步骤610与上述步骤410以及步骤412类似，此处不再赘述。
78.612、获取各帧检测图像所匹配的目标帧里程信息以及对应的第一位置信息。
79.在本技术实施例中，为了对机器人检测、定位目标取货对象过程中的系统误差进行统计分析，可以在对上述至少一帧检测图像与多帧里程信息进行匹配之后，分别获取各帧检测图像所匹配的目标帧里程信息；进而，在针对各帧检测图像进行目标检测，确定出目标取货对象对应的第一位置信息之后，还可以分别获取各帧检测图像对应的第一位置信息。
80.614、分别根据各帧检测图像所匹配的目标帧里程信息以及对应的第一位置信息，计算得到机器人在目标坐标系中的多个第二位置信息；上述目标坐标系包括基于多帧里程信息中的任一帧里程信息建立的坐标系。
81.在本技术实施例中，基于上述多帧里程信息中的任一帧里程信息，均可建立相应的坐标系，以用于确定机器人及目标取货对象在某一时刻的坐标位置。示例性地，以目标坐标系（即基于多帧里程信息中的任一帧里程信息建立的坐标系）为例，机器人在t0时刻，在该目标坐标系中的第二位置信息，可以基于以下公式2推导得到。
82.公式2：
83.其中，表示机器人在各个时刻t采集的检测图像所匹配的目标帧里程信息，则表示机器人检测到的目标取货对象在各个时刻t对应的第一位置信息。需要说明的是，上述第二位置信息并非表示机器人在t0时刻的实际位置，而是基于该机器人在各个时刻t所采集的数据推导得到的推测位置。
84.616、根据各个第二位置信息，确定机器人对应的系统误差数据。
85.在本技术实施例中，根据上述各个第二位置信息，机器人可以确定其在检测、定位目标取货对象过程中的系统误差数据。示例性地，该系统误差数据可以通过对上述各个第二位置信息求方差、标准差等方式得到，也可以通过统计上述各个第二位置信息的分布情况得到。
86.在一些实施例中，以对上述各个第二位置信息求方差为例，该方差值可以直接作为机器人对应的系统误差数据，也可以经过加权调整后作为上述系统误差数据。其中，若该方差值越大，可以表示机器人根据各个时刻t所采集的数据，推导得到其在同一时刻t0对应的第二位置信息的波动较大，故而系统误差较大，需根据上述系统误差数据进行修正；若该方差值越小，则可以表示机器人推导得到其在同一时刻t0对应的第二位置信息的波动较小，故而系统误差较小，暂不需要进一步修正针对目标取货对象的定位结果。
87.在一些实施例中，机器人对目标取货对象进行检测、定位的过程，还可以基于硬件触发模块（可用于向图像采集模块和/或里程计模块发送触发信号）、目标检测模块（可用于根据图像采集模块和/或里程计模块所采集的数据，检测目标取货对象）、结果预测模块（可用于根据图像采集模块和/或里程计模块所采集的数据，确定目标取货对象对应的第一位置信息和当前位置信息）等必要模块来辅助实现。需要说明的是，上述各个模块是依据其所需实现的功能进行划分的，在实际应用场景中，上述各个模块可以按需进行合并、拆分或替换（例如目标检测模块和结果预测模块可以合并为同一模块，目标检测模块可以拆分为多个子模块等），本技术实施例中不作具体限定。
88.示例性地，请参阅图7，图7是本技术实施例公开的一种机器人取货检测方法的时序图。如图7所示，该机器人取货检测方法可以包括以下步骤：702、硬件触发模块向里程计模块定时发送第二触发信号。
89.704、里程计模块向硬件触发模块反馈多帧里程信息。
90.706、硬件触发模块将多帧里程信息分别发送至目标检测模块和结果预测模块。
91.其中，目标检测模块和结果预测模块在接收到上述多帧里程信息之后，可以分别对其进行缓存。上述步骤702至步骤706可以循环进行，以不断采集并更新机器人的最新里程信息。
92.708、硬件触发模块向图像采集模块定时发送第一触发信号。
93.其中，硬件触发模块可以每隔第一时长向图像采集模块发送第一触发信号，且每隔第二时长向上述里程计模块发送第二触发信号。上述第一时长可以大于第二时长，且针对每个第一触发信号，均存在同时触发的第二触发信号，即步骤708可以与上述步骤702同步进行。
94.710、图像采集模块向目标检测模块反馈至少一帧检测图像。
95.712、目标检测模块将上述至少一帧检测图像与多帧里程信息进行匹配，分别确定每帧检测图像所匹配的目标帧里程信息。
96.其中，目标帧里程信息可以为上述多帧里程信息中的任一帧里程信息。
97.714、目标检测模块获取最近一帧检测图像所匹配的第一目标帧里程信息，并对最近一帧检测图像进行目标检测，确定目标取货对象对应的第一位置信息。
98.716、目标检测模块将上述第一位置信息以及第一目标帧里程信息发送至结果预测模块。
99.其中，结果预测模块在接收到上述第一位置信息以及相应的第一目标帧里程信息之后，可以对其进行缓存。上述步骤708至步骤716也可以循环进行，并且与上述步骤702至步骤706的循环相互独立，以不断采集并更新检测图像，并基于最新的最近一帧检测图像，确定目标取货对象准确的第一位置信息。
100.718、结果预测模块根据里程计模块采集的最近一帧里程信息，以及上述第一目标帧里程信息和第一位置信息，确定目标取货对象对应的当前位置信息。
101.其中，上述步骤718也可以循环进行，以在上述两个循环的基础上，不断基于最新的最近一帧里程信息，推测目标取货对象对应的当前位置信息，从而可以相对准确地实现对目标取货对象的实时定位。
102.可见，实施上述实施例所描述的机器人取货检测方法，能够通过对机器人所采集的检测图像以及里程信息进行匹配，在机器人运动的过程中持续确定取货对象的位置信息，从而能够降低由于机器人通过传感器采集数据存在滞后而可能导致的误差，有效提升机器人在运动过程中检测取货对象的准确性。在仓储物流的工作场景中，这样能够避免无人叉车等机器人出现需要停车检测校准的情况，从而实现不停车检测及取货，不仅能够提升机器人货运的精度，还有利于提高机器人货运的自动化运输效率。此外，通过对机器人检测、定位取货对象的系统误差进行统计分析，有利于进一步修正定位算法及定位结果，从而能够提升机器人对取货对象进行定位的准确性和可靠性。
103.请参阅图8，图8是本技术实施例公开的一种机器人取货检测装置的模块化示意
图，该机器人取货检测装置可以是上述的机器人，也可以是应用于上述的机器人中的装置。其中，上述的机器人可以包括图像采集模块以及里程计模块。如图8所示，该机器人取货检测装置可以包括获取单元801、匹配单元802、第一确定单元803以及第二确定单元804，其中：获取单元801，用于获取图像采集模块采集的至少一帧检测图像，以及里程计模块采集的多帧里程信息；匹配单元802，用于将上述至少一帧检测图像与多帧里程信息进行匹配，分别确定每帧检测图像所匹配的目标帧里程信息；第一确定单元803，用于获取最近一帧检测图像所匹配的第一目标帧里程信息，并根据该最近一帧检测图像，以及第一目标帧里程信息，确定目标取货对象对应的第一位置信息；第二确定单元804，用于根据里程计模块采集的最近一帧里程信息，以及上述第一目标帧里程信息和第一位置信息，确定目标取货对象对应的当前位置信息。
104.可见，实施上述实施例所描述的机器人，能够在仓储物流的工作场景中，通过对机器人所采集的检测图像以及里程信息进行匹配，在机器人运动的过程中持续确定取货对象的位置信息，从而能够降低由于机器人通过传感器采集数据存在滞后而可能导致的误差，有效提升机器人在运动过程中检测取货对象的准确性。这样能够避免无人叉车等机器人出现需要停车检测校准的情况，从而实现不停车检测及取货，不仅能够提升机器人货运的精度，还有利于提高机器人货运的自动化运输效率。
105.在一种实施例中，该机器人取货检测装置还可以包括未图示的信号发送单元，该信号发送单元可以用于在上述获取单元801获取图像采集模块采集的至少一帧检测图像，以及里程计模块采集的多帧里程信息之前，每隔第一时长向图像采集模块发送第一触发信号，且每隔第二时长向里程计模块发送第二触发信号。
106.其中，上述第一时长可以大于第二时长，且针对每个第一触发信号，均存在同时触发的第二触发信号。
107.在一种实施例中，上述匹配单元802，具体可以用于：获取第一里程帧编号，该第一里程帧编号为图像采集模块首次采集检测图像时，里程计模块采集的里程信息对应的帧编号；获取目标帧检测图像对应的检测图像帧编号，该目标帧检测图像可以为上述至少一帧检测图像中的任一帧检测图像；根据上述第一里程帧编号和检测图像帧编号，计算得到第二里程帧编号，并将该第二里程帧编号对应的里程信息，确定为目标帧检测图像所匹配的目标帧里程信息。
108.在一种实施例中，上述第一确定单元803，具体可以用于：检测最近一帧检测图像中的目标取货对象，得到该目标取货对象在最近一帧检测图像中的图像位置信息；根据上述第一目标帧里程信息以及图像位置信息，确定目标取货对象对应的第一位置信息。
109.在一种实施例中，上述第二确定单元804，具体可以用于：根据最近一帧里程信息和第一目标帧里程信息，计算机器人对应的移动轨迹信
息；根据上述移动轨迹信息和第一位置信息，确定目标取货对象对应的当前位置信息。
110.在一种实施例中，上述第二确定单元804，具体还可以用于：获取最近一帧里程信息对应的延迟时长，并基于该延迟时长对上述移动轨迹信息进行修正，得到修正后的移动轨迹信息；其中，延迟时长用于表示里程计模块采集最近一帧里程信息的时刻，与当前时刻之间的时间差；根据上述修正后的移动轨迹信息和第一位置信息，确定目标取货对象对应的当前位置信息。
111.在一种实施例中，该机器人取货检测装置还可以包括未图示的第三确定单元以及误差计算单元，其中：上述获取单元801，还用于获取各帧检测图像所匹配的目标帧里程信息以及对应的第一位置信息；第三确定单元，用于分别根据各帧检测图像所匹配的目标帧里程信息以及对应的第一位置信息，计算得到机器人在目标坐标系中的多个第二位置信息；上述目标坐标系可以包括基于多帧里程信息中的任一帧里程信息建立的坐标系；误差计算单元，用于根据各个第二位置信息，确定机器人对应的系统误差数据。
112.可见，实施上述实施例所描述的机器人，能够通过对机器人所采集的检测图像以及里程信息进行匹配，在机器人运动的过程中持续确定取货对象的位置信息，从而能够降低由于机器人通过传感器采集数据存在滞后而可能导致的误差，有效提升机器人在运动过程中检测取货对象的准确性。在仓储物流的工作场景中，这样能够避免无人叉车等机器人出现需要停车检测校准的情况，从而实现不停车检测及取货，不仅能够提升机器人货运的精度，还有利于提高机器人货运的自动化运输效率。此外，通过结合机器人最新采集的检测图像和里程信息，可以相对准确地推测机器人以及取货对象在当前时刻的位置，从而能够进一步提升机器人对取货对象进行定位的准确性。此外，通过对机器人检测、定位取货对象的系统误差进行统计分析，有利于进一步修正定位算法及定位结果，从而能够进一步提升机器人对取货对象进行定位的准确性和可靠性。
113.请参阅图9，图9是本技术实施例公开的一种机器人的模块化示意图，该机器人可以包括上述的图像采集模块以及里程计模块，进一步还可以包括上述的硬件触发模块、目标检测模块以及结果预测模块等。如图9所示，该机器人（具体可以为该机器人所包括的各个模块）可以包括：存储有可执行程序代码的存储器901；与存储器901耦合的处理器902；其中，处理器902调用存储器901中存储的可执行程序代码，可以执行上述实施例所描述的任意一种机器人取货检测方法中的全部或部分步骤。
114.此外，本技术实施例进一步公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机可以执行上述实施例所描述的任意一种机器人取货检测方法中的全部或部分步骤。
115.此外，本技术实施例进一步公开一种计算机程序产品，当该计算机程序产品在计
算机上运行时，使得计算机可以执行上述实施例所描述的任意一种机器人取货检测方法中的全部或部分步骤。
116.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器（read-only memory，rom）、随机存储器（random access memory，ram）、可编程只读存储器（programmable read-only memory，prom）、可擦除可编程只读存储器（erasable programmable read only memory，eprom）、一次可编程只读存储器（one-time programmable read-only memory，otprom）、电子抹除式可复写只读存储器（electrically-erasable programmable read-only memory，eeprom）、只读光盘（compact disc read-only memory，cd-rom）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
117.以上对本技术实施例公开的一种机器人取货检测方法及装置、机器人进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。

技术特征：
1.一种机器人取货检测方法，其特征在于，应用于机器人，所述机器人包括图像采集模块以及里程计模块，所述方法包括：获取所述图像采集模块采集的至少一帧检测图像，以及所述里程计模块采集的多帧里程信息；将所述至少一帧检测图像与所述多帧里程信息进行匹配，分别确定每帧检测图像所匹配的目标帧里程信息；获取最近一帧检测图像所匹配的第一目标帧里程信息，并根据所述最近一帧检测图像，以及所述第一目标帧里程信息，确定目标取货对象对应的第一位置信息；根据所述里程计模块采集的最近一帧里程信息，以及所述第一目标帧里程信息和所述第一位置信息，确定所述目标取货对象对应的当前位置信息。2.根据权利要求1所述的方法，其特征在于，在所述获取所述图像采集模块采集的至少一帧检测图像，以及所述里程计模块采集的多帧里程信息之前，所述方法还包括：每隔第一时长向所述图像采集模块发送第一触发信号，且每隔第二时长向所述里程计模块发送第二触发信号；其中，所述第一时长大于所述第二时长，且针对每个所述第一触发信号，均存在同时触发的第二触发信号。3.根据权利要求1所述的方法，其特征在于，所述将所述至少一帧检测图像与所述多帧里程信息进行匹配，分别确定每帧检测图像所匹配的目标帧里程信息，包括：获取第一里程帧编号，所述第一里程帧编号为所述图像采集模块首次采集检测图像时，所述里程计模块采集的里程信息对应的帧编号；获取目标帧检测图像对应的检测图像帧编号，所述目标帧检测图像为所述至少一帧检测图像中的任一帧检测图像；根据所述第一里程帧编号和所述检测图像帧编号，计算得到第二里程帧编号，并将所述第二里程帧编号对应的里程信息，确定为所述目标帧检测图像所匹配的目标帧里程信息。4.根据权利要求1所述的方法，其特征在于，所述根据所述最近一帧检测图像，以及所述第一目标帧里程信息，确定目标取货对象对应的第一位置信息，包括：检测所述最近一帧检测图像中的目标取货对象，得到所述目标取货对象在所述最近一帧检测图像中的图像位置信息；根据所述第一目标帧里程信息以及所述图像位置信息，确定所述目标取货对象对应的第一位置信息。5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述里程计模块采集的最近一帧里程信息，以及所述第一目标帧里程信息和所述第一位置信息，确定所述目标取货对象对应的当前位置信息，包括：根据所述最近一帧里程信息和所述第一目标帧里程信息，计算所述机器人对应的移动轨迹信息；根据所述移动轨迹信息和所述第一位置信息，确定所述目标取货对象对应的当前位置信息。6.根据权利要求5所述的方法，其特征在于，所述根据所述移动轨迹信息和所述第一位置信息，确定所述目标取货对象对应的当前位置信息，包括：
获取所述最近一帧里程信息对应的延迟时长，并基于所述延迟时长对所述移动轨迹信息进行修正，得到修正后的移动轨迹信息；其中，所述延迟时长用于表示所述里程计模块采集所述最近一帧里程信息的时刻，与当前时刻之间的时间差；根据所述修正后的移动轨迹信息和所述第一位置信息，确定所述目标取货对象对应的当前位置信息。7.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：获取各帧检测图像所匹配的目标帧里程信息以及对应的第一位置信息；分别根据所述各帧检测图像所匹配的目标帧里程信息以及对应的第一位置信息，计算得到所述机器人在目标坐标系中的多个第二位置信息；所述目标坐标系包括基于所述多帧里程信息中的任一帧里程信息建立的坐标系；根据各个所述第二位置信息，确定所述机器人对应的系统误差数据。8.一种机器人取货检测装置，其特征在于，应用于机器人，所述机器人包括图像采集模块以及里程计模块，所述机器人取货检测装置包括：获取单元，用于获取所述图像采集模块采集的至少一帧检测图像，以及所述里程计模块采集的多帧里程信息；匹配单元，用于将所述至少一帧检测图像与所述多帧里程信息进行匹配，分别确定每帧检测图像匹配的目标帧里程信息；第一确定单元，用于获取最近一帧检测图像所匹配的第一目标帧里程信息，并根据所述最近一帧检测图像，以及所述第一目标帧里程信息，确定目标取货对象对应的第一位置信息；第二确定单元，用于根据所述里程计模块采集的最近一帧里程信息，以及所述第一目标帧里程信息和所述第一位置信息，确定所述目标取货对象对应的当前位置信息。9.一种机器人，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至7任一项所述的方法。10.一种机器人取货检测方法，其特征在于，应用于机器人，所述机器人包括硬件触发模块、图像采集模块、里程计模块、目标检测模块以及结果预测模块，所述方法包括：由所述硬件触发模块每隔第一时长向所述图像采集模块发送第一触发信号，且每隔第二时长向所述里程计模块发送第二触发信号；其中，所述第一时长大于所述第二时长，且针对每个所述第一触发信号，均存在同时触发的第二触发信号；由所述里程计模块向所述硬件触发模块反馈多帧里程信息，并由所述硬件触发模块将所述多帧里程信息分别发送至所述目标检测模块和所述结果预测模块；由所述图像采集模块向所述目标检测模块反馈至少一帧检测图像，并由所述目标检测模块将所述至少一帧检测图像与所述多帧里程信息进行匹配，分别确定每帧检测图像所匹配的目标帧里程信息，所述目标帧里程信息为所述多帧里程信息中的任一帧里程信息；由所述目标检测模块获取最近一帧检测图像所匹配的第一目标帧里程信息，并对所述最近一帧检测图像进行目标检测，确定目标取货对象对应的第一位置信息；由所述目标检测模块将所述第一位置信息以及所述第一目标帧里程信息发送至所述结果预测模块；
由所述结果预测模块根据所述里程计模块采集的最近一帧里程信息，以及所述第一目标帧里程信息和所述第一位置信息，确定所述目标取货对象对应的当前位置信息。

技术总结
一种机器人取货检测方法及装置、机器人，该方法应用于机器人，包括：获取图像采集模块采集的至少一帧检测图像，以及里程计模块采集的多帧里程信息；将上述至少一帧检测图像与多帧里程信息进行匹配，分别确定每帧检测图像所匹配的目标帧里程信息；获取最近一帧检测图像所匹配的第一目标帧里程信息，并根据该最近一帧检测图像以及第一目标帧里程信息，确定目标取货对象对应的第一位置信息；根据里程计模块采集的最近一帧里程信息，以及第一目标帧里程信息和第一位置信息，确定目标取货对象对应的当前位置信息。实施本申请实施例，能够提升无人叉车等机器人在运动过程中检测取货对象的准确性，从而提升机器人货运的精度以及运输效率。率。率。


技术研发人员：杨秉川 方牧 鲁豫杰 李陆洋 杨思琪 方晓曼
受保护的技术使用者：未来机器人（深圳）有限公司
技术研发日：2023.06.09
技术公布日：2023/7/12