用于机器人系统管理的方法和装置与流程

1.本公开的示例实施例总体上涉及机器人系统管理，更具体地涉及用于通过机器人系统中的跟踪设备来确定位置的方法、装置、系统和计算机可读介质。


背景技术：

2.随着计算机和自动控制的发展，机器人系统已经在制造业中被广泛应用于处理各种类型的工作对象。例如，工具可以配备在机器人系统的端部手臂处，用于通过诸如切割、抓取等操作来处理工作对象。通常，机器人系统可以具有多个机器人手臂，每个机器人手臂可以通过在手臂端部处的对应关节进行旋转。机器人系统可以被编程为基于演示编程(pbd)技术沿着用于处理工作对象的路径驱动工具。然而，pbd技术涉及复杂的程序，并且在位置确定方面存在缺陷。因此，希望提出一种更高效的用于位置确定的解决方案，从而可以以有效的方式基于所确定的位置来管理机器人系统。


技术实现要素：

3.本公开的示例实施例提供了机器人系统管理的解决方案。
4.在第一方面，本公开的示例实施例提供了一种用于确定跟踪设备的位置的方法，这里跟踪设备包括视觉传感器和惯性传感器。该方法包括：基于由视觉传感器收集的参考标记的图像来获取跟踪设备相对于参考标记的第一位置；在跟踪设备的移动之后由惯性传感器获取跟踪设备相对于第一位置的第二位置；以及基于第一位置和第二位置来确定跟踪设备相对于参考标记的位置。通过这些实施例，提供了一种包括视觉传感器和惯性传感器两者的跟踪设备用于位置确定。在这一点上，跟踪设备可以在不需要外部传感器(诸如用于发射诸如激光信号、磁信号、wi-fi信号等信号的信号源)的情况下自行确定位置。此外，可以消除由阻挡信号源的障碍物或对信号源的干扰引起的误差。因此，位置确定可以以更方便和有效的方式来实现。
5.在一些实施例中，获取第一位置包括：获取参考标记的真实尺寸；获取参考标记在图像中的虚拟尺寸；以及基于真实尺寸、虚拟尺寸和视觉传感器的聚焦参数来确定第一位置。由于参考标记的真实尺寸和聚焦参数是预先已知的，并且虚拟尺寸可以通过包括在图像中的像素容易地测量，所以第一位置可以以简单并且有效的方式确定。
6.在一些实施例中，该方法还包括：在移动之后由视觉传感器收集跟踪设备的工作环境的环境图像；以及基于环境图像和先前环境图像来校正第二位置，先前环境图像由视觉传感器在用于收集环境图像的时间点之前的先前时间点处收集。通过这些实施例，在跟踪设备的移动期间收集的图像可以进一步校正惯性传感器的潜在误差。因此，可以进一步提高位置确定的准确性。
7.在一些实施例中，校正第二位置包括：基于图像分析分别从环境图像和先前环境图像中标识一对特征点，该对特征点对应于工作环境中的环境特征；以及确定该对特征点的位置之间的偏移；以及基于该偏移来校正第二位置。通过这些实施例，工作环境中的自然
因素，诸如点、线等，可以用作用于校正由惯性传感器引起的误差的环境特征。由于环境包括丰富的自然因素，可以进一步有效地提高位置确定的准确性。
8.在一些实施例中，跟踪设备被附接到部署在机器人系统中的工具和将由机器人系统处理的工作对象中的一者，并且参考标记被附接到工具和工作对象中的另一者。通过这些实施例，可以以准确的方式确定在工具与将由工具处理的工作对象之间的相对位置。
9.在一些实施例中，该方法还包括：在工具沿着用于处理工作对象的轨迹的移动期间确定跟踪设备的一组位置。通过这些实施例，跟踪设备可以用于获取用于处理工作对象的路径，并且因此工程师可以沿着轨迹引导跟踪设备。与用跟踪工具和信号源来生成路径的常规方式相比，跟踪设备本身可以有效并且准确地记录工具路径。此外，工具路径可以被转换为用于驱动机器人系统处理工作对象的机器人路径。
10.在一些实施例中，跟踪设备包括电话设备，视觉传感器包括配备在电话设备中的相机，并且惯性传感器包括配备在电话设备中惯性测量单元(imu)。这里，电话设备可以被重新用作跟踪设备，并且因此不需要设计专用跟踪设备。通过这些实施例，诸如智能电话等普通电话设备可以用作跟踪设备。具体地，智能电话中的相机设备可以作为用于收集图像的视觉传感器而工作，并且智能电话中的imu可以作为用于确定智能电话的位置的惯性传感器而工作。
11.在一些实施例中，该方法由安装在电话设备中的应用来实现，并且该方法还包括：经由至该应用的用户输入来调节机器人系统的处理参数。通过这些实施例，不需要对电话设备的硬件进行任何改变，而是只需要在电话设备中安装应用，然后该应用可以实现用于位置确定的上述步骤。此外，用于控制机器人系统的工程师可以利用该应用来调节机器人系统的参数。与通过编写和运行软件代码来控制机器人系统的常规方式相比，该应用可以为机器人系统管理提供一种方便的方式。
12.在一些实施例中，参考标记包括快速响应(qr)码。通过这些实施例，qr码可以用作参考标记。与具有大尺寸、高精度的常规测量工具相比，qr码易于以较小的尺寸和较高的精度来生成。因此，qr码可以以简单且有效的方式促进位置确定。
13.在第二方面，本公开的示例实施例提供了一种用于通过跟踪设备管理机器人系统的方法，这里跟踪设备包括视觉传感器和惯性传感器。该方法包括：基于由视觉传感器收集的工具标记的图像来获取跟踪设备相对于工具标记的第一位置，工具标记被附接到部署在机器人系统中的工具；在跟踪设备的移动之后由惯性传感器获取跟踪设备相对于第一位置的第二位置，跟踪设备在移动期间耦合到工具；基于第一位置和第二位置来确定工具校准位置，工具校准位置表示用于校准工具的、跟踪设备相对于工具标记的位置。与通过在复杂的校准过程中以多个姿态放置部署在机器人系统中的工具来校准工具的常规方法相比，所提出的解决方案只需要将工具标记附接到工具并且由跟踪设备收集测量。然后，可以根据来自视觉传感器和惯性传感器的测量自动确定工具校准位置。因此，可以大大减少用于校准工具的工作量。
14.在一些实施例中，确定工具校准位置包括：获取工具标记相对于机器人系统的工具底座的位置；以及基于工具标记的位置以及第一位置和第二位置来确定工具校准位置。通过这些实施例，可以容易地以准确的方式测量工具标记的位置，并且因此可以准确地确定工具校准位置。
15.在一些实施例中，该方法还包括：基于机器人标记和工作对象标记来获取对象校准位置，机器人标记被附接到工具，工作对象标记被附接到将由机器人系统处理的工作对象，并且对象校准位置表示用于校准工作对象的、工作对象标记相对于机器人系统的框架底座的位置。与通过利用校准工具将机器人系统的手臂以多个姿态放置在工作对象周围来校准工作对象的常规方法相比，所提出的解决方案只需要将机器人标记附接到工具并且将工作对象标记附接到工作对象。然后，可以自动确定对象校准位置。因此，用于校准工作对象的复杂度水平可以大大降低。
16.在一些实施例中，获取对象校准位置包括：基于由视觉传感器收集的机器人标记的图像来获取跟踪设备相对于机器人标记的第三位置；基于在跟踪设备的移动之后由视觉传感器收集的工作对象标记的图像来获取跟踪设备相对于工作对象标记的第四位置，跟踪设备被移动以收集工作对象标记的图像；在移动期间由惯性传感器获取跟踪设备相对于第三位置的第五位置；以及基于机器人标记的位置以及第三位置、第四位置和第五位置来确定对象校准位置。通过这些实施例，视觉传感器可以收集机器人标记和工作对象标记的图像。此外，可以基于图像和惯性传感器的测量来自动确定对象校准位置。
17.在一些实施例中，该方法还包括：获取跟踪设备相对于工作对象标记的多个位置，跟踪设备耦合到工具，并且多个位置是在工具沿着用于由机器人系统处理工作对象的轨迹的移动期间确定的；以及基于跟踪设备的多个位置生成工具路径。通过这些实施例，跟踪设备可以被附接到用于处理工作对象的工具，并且因此工程师可以沿着轨迹引导工具。与由跟踪工具和信号源来生成工具路径的常规方式相比，跟踪设备本身可以以更有效和准确的方式记录工具路径。此外，工具路径可以被转换为用于驱动机器人系统处理工作对象的机器人路径。
18.在一些实施例中，获取多个位置包括：基于由视觉传感器收集的工作对象标记的图像来获取跟踪设备相对于工作对象标记的第六位置；在工具的移动期间由惯性传感器获取跟踪设备相对于第六位置的第七位置；以及基于第六位置和第七位置来确定跟踪设备相对于工作对象标记的多个位置中的位置。通过这些实施例，提供了包括视觉传感器和惯性传感器两者的跟踪设备，用于确定路径中的每个位置。在这一点上，跟踪设备可以在不需要外部信号源的情况下自行确定位置。此外，可以消除由信号源的阻挡物或对信号源的干扰引起的在位置确定中的误差。因此，位置确定可以以更方便和有效的方式来实现。
19.在一些实施例中，该方法还包括：基于工具校准位置、对象校准位置和工具路径来生成用于处理工作对象的机器人路径。通过这些实施例，所获取的工具路径可以自动转换为用于控制机器人系统中工具的移动的机器人路径。
20.在一些实施例中，该方法还包括：控制机器人系统基于机器人路径来处理工作对象。通过这些实施例，机器人系统可以驱动工具以精确地遵循轨迹，并且从而工作对象可以被准确地处理成期望形状。
21.在一些实施例中，工具标记、工作对象标记和机器人标记中的任一个包括快速响应(qr)码。通过这些实施例，qr码可以用作这些标记中的任一个。与具有大尺寸、高精度的常规校准工具相比，qr码易于以较小的尺寸和较高的精度来生成。因此，qr码可以以简单有效的方式促进校准。
22.在第三方面，本公开的示例实施例提供了一种用于确定跟踪设备的位置的装置，
跟踪设备包括视觉传感器和惯性传感器。该装置包括：第一获取单元，用于基于由视觉传感器收集的参考标记的图像来获取跟踪设备相对于参考标记的第一位置；第二获取单元，用于在跟踪设备的移动之后由惯性传感器获取跟踪设备相对于第一位置的第二位置；以及确定单元，用于基于第一位置和第二位置来确定跟踪设备相对于参考标记的位置。
23.在一些实施例中，第一获取单元包括：真实尺寸获取单元，用于获取参考标记的真实尺寸；虚拟尺寸获取单元，用于获取参考标记在图像中的虚拟尺寸；以及位置确定单元，用于基于真实尺寸、虚拟尺寸和视觉传感器的聚焦参数来确定第一位置。
24.在一些实施例中，该装置还包括：收集单元，用于在移动之后由视觉传感器收集跟踪设备的工作环境的环境图像；校正单元，以及用于基于环境图像和先前环境图像来校正第二位置，先前环境图像由视觉传感器在用于收集环境图像的时间点之前的先前时间点处收集。
25.在一些实施例中，校正单元包括：标识单元，用于基于图像分析分别从环境图像和先前环境图像中标识一对特征点，该对特征点对应于工作环境中的环境特征；以及偏移确定单元，用于确定该对特征点的位置之间的偏移；以及位置校正单元，用于基于偏移校正第二位置。
26.在一些实施例中，跟踪设备被附接到部署在机器人系统中的工具和将由机器人系统处理的工作对象中的一者，并且参考标记被附接到工具和工作对象中的另一者。
27.在一些实施例中，该装置还包括：路径确定单元，用于在工具沿着用于处理工作对象的轨迹的移动期间确定跟踪设备的一组位置。
28.在一些实施例中，跟踪设备包括电话设备，视觉传感器包括配备在电话设备中的相机，并且惯性传感器包括配备在电话设备中的惯性测量单元。
29.在一些实施例中，该装置由安装在电话设备中的应用来实现，并且该装置还包括：调节单元，用于经由至该应用的用户输入来调节机器人系统的处理参数。
30.在一些实施例中，参考标记包括快速响应(qr)码。
31.在第四方面，本公开的示例性实施例提供了一种根据本公开的实施例的用于管理机器人系统的装置，这里跟踪设备包括视觉传感器和惯性传感器。该装置包括：第一获取单元，用于基于由视觉传感器收集的工具标记的图像来获取跟踪设备相对于工具标记的第一位置的，工具标记被附接到部署在机器人系统中的工具；第二获取单元，用于在跟踪设备的移动之后由惯性传感器获取跟踪设备相对于第一位置的第二位置，跟踪设备在移动期间耦合到工具；确定单元，以及用于基于第一位置和第二位置来确定工具校准位置，工具校准位置表示用于校准工具的、跟踪设备相对于工具标记的位置。
32.在一些实施例中，确定单元包括：工具位置获取单元，用于获取工具标记相对于机器人系统的工具底座的位置；以及工具校准确定单元，用于基于工具标记的位置以及第一位置和第二位置来确定工具校准位置。
33.在一些实施例中，该装置还包括：对象获取单元，用于基于机器人标记和工作对象标记来获取对象校准位置，机器人标记被附接到工具，工作对象标记被附接到将由机器人系统处理的工作对象，并且对象校准位置表示用于校准工作对象的、工作对象标记相对于机器人系统的框架底座的位置。
34.在一些实施例中，对象获取单元包括：第三获取单元，用于基于由视觉传感器收集
的机器人标记的图像来获取跟踪设备相对于机器人标记的第三位置；第四获取单元，用于基于在跟踪设备的移动之后由视觉传感器收集的工作对象标记的图像来获取跟踪设备相对于工作对象标记的第四位置，跟踪设备被移动以收集工作对象标记的图像；第五获取单元，用于在移动期间由惯性传感器获取跟踪设备相对于第三位置的第五位置；以及对象校准确定单元，用于基于机器人标记的位置以及第三位置、第四位置和第五位置来确定对象校准位置。
35.在一些实施例中，该装置还包括：位置获取单元，用于获取跟踪设备相对于工作对象标记的多个位置，跟踪设备耦合到工具，并且多个位置是在工具沿着用于由机器人系统处理工作对象的轨迹的移动期间确定的；以及生成单元，用于基于跟踪设备的多个位置生成工具路径。
36.在一些实施例中，位置获取单元包括：第六获取单元，用于基于由视觉传感器收集的工作对象标记的图像来获取跟踪设备相对于工作对象标记的第六位置；第七获取单元，用于在工具的移动期间由惯性传感器获取跟踪设备相对于第六位置的第七位置；以及路径位置确定单元，用于基于第六位置和第七位置来确定跟踪设备相对于工作对象标记的多个位置中的位置。
37.在一些实施例中，该装置还包括：生成单元，用于基于工具校准位置、对象校准位置和工具路径来生成用于处理工作对象的机器人路径。
38.在一些实施例中，该装置还包括：控制单元，用于控制机器人系统基于机器人路径来处理工作对象。
39.在一些实施例中，工具标记、工作对象标记和机器人标记中的任一个包括快速响应(qr)码。
40.在第五方面，本公开的示例实施例提供了一种用于确定跟踪设备的位置的系统。该系统包括：耦合到计算机可读存储器单元的计算机处理器，存储器单元包括指令，该指令在由计算机处理器执行时实现用于确定跟踪设备的位置的方法。
41.在第六方面，本公开的示例性实施例提供了一种其上存储有指令的计算机可读介质，该指令当在至少一个处理器上执行时引起至少一个处理器执行用于确定跟踪设备的位置的方法。
42.在第七方面，本公开的示例实施例提供了一种用于管理机器人系统的系统。该系统包括：耦合到计算机可读存储器单元的计算机处理器，存储器单元包括指令，该指令在由计算机处理器执行时实现用于管理机器人系统的方法。
43.在第八方面，本公开的示例实施例提供了一种其上存储有指令的计算机可读介质，该指令当在至少一个处理器上执行时引起至少一个处理器执行用于管理机器人系统的方法。
附图说明
44.图1a示出了用于确定沿着用于由机器人系统处理工作对象的轨迹的位置的示意图；
45.图1b示出了用于确定沿着用于由机器人系统处理工作对象的轨迹的位置的示意图；
46.图2示出了根据本公开的实施例的用于确定跟踪设备的位置的过程的示意图；
47.图3示出了根据本公开的实施例的用于确定跟踪设备的位置的方法的示意性流程图；
48.图4示出了根据本公开的实施例的用于在初始阶段确定跟踪设备的位置的过程的示意图；
49.图5示出了根据本公开的实施例的用于校正由惯性传感器获取的位置的过程的示意图；
50.图6示出了根据本公开的实施例的用于确定在工具与工作对象之间的相对位置的过程的示意图；
51.图7示出了根据本公开的实施例的用于确定用于处理工作对象的工具路径的过程的示意图；
52.图8示出了根据本公开的实施例的用于通过智能电话控制机器人系统处理工作对象的过程的示意图；
53.图9示出了根据本公开的实施例的用于通过跟踪设备管理机器人系统的方法的示意性流程图；
54.图10示出了根据本公开的实施例的用于校准部署在机器人系统中的工具的过程的示意图；
55.图11示出了根据本公开的实施例的用于校准将由机器人系统处理的工作对象的过程的示意图；
56.图12示出了根据本公开的实施例的用于获取用于控制机器人系统的机器人路径的过程的示意图；
57.图13a示出了根据本公开的实施例的用于确定跟踪设备的位置的装置的示意图；
58.图13b示出了根据本公开的实施例的用于管理机器人系统的装置的示意图；
59.图14示出了用于实现根据本公开的实施例的方法的系统的示意图。
60.在整个附图中，相同或相似的附图标记用于指示相同或相似元素。
具体实施方式
61.现在将参考附图中所示的若干示例实施例来描述本公开的原理。尽管附图中示出了本公开的示例性实施例，但是应当理解，描述这些实施例仅仅是为了便于本领域技术人员更好地理解并且由此实现本公开，而不是以任何方式限制本公开的范围。
62.在机器人行业中，机器人编程是指生成机器人路径，该机器人路径引导部署在机器人系统的端部手臂处的工具处理工作对象。pbd技术是用于生成机器人路径的常用解决方案中的一个。pbd技术包括两种模式：直通模式和非触摸模式。将参考图1a来描述直通模式。在图1a中，工具140被附接到机器人系统130的端部手臂以处理工作对象110。工具140与机器人手臂一起由工程师直接移动，以便沿着期望轨迹(包括例如p1、p2、p3、p4
……
)引导工具140。在这一点上，记录手臂的姿态，然后可以生成机器人路径以重复所记录的姿态。然而，机器人系统130的正常操作应当被上述步骤中断，同时，工程师必须进入机器人工作区域来移动手臂。对于工业机器人系统来说，直通模式降低了生产效率，同时也存在严重的安全问题。
63.在非触摸模式下，工程师手持特殊跟踪工具，而不是机器人手臂，无需进入机器人工作区域。通常，工程师可以沿着期望轨迹移动跟踪工具，并且在跟踪工具周围的传感器可以用于跟踪和记录跟踪工具的姿态。参考图1b来描述非触摸模式。在图1b中，工程师可以手持跟踪工具122并且沿着用于处理工作对象110的轨迹移动。一个或多个传感器120(诸如激光传感器、磁传感器、wi-fi传感器、视觉传感器等)可以被预先部署，并且传感器120应当在跟踪工具122的位置p1、p2、p3、p4等之前仔细校准。然而，当跟踪工具122远离或者障碍物阻挡传感器120与跟踪工具122之间的通信时，传感器不能工作。此外，如果磁性传感器用于跟踪，则磁性传感器的工作范围有限，并且可能受到铁磁性材料的影响。
64.为了至少部分解决上述和其他潜在问题，根据本公开的实施例，提供了一种用于位置确定的新方法。通常，提供一种包括视觉传感器和惯性传感器两者的手持跟踪设备用于跟踪。由于所有传感器都嵌入在跟踪设备中，因此在跟踪设备周围不需要附属设备。因此，跟踪设备可以在大的区域内工作。此外，跟踪设备将不会受到工作环境中的铁磁干扰和/或障碍物的影响。
65.为了对本公开进行简要描述，将参考图2。图2示出了根据本公开的实施例的用于确定跟踪设备的位置的过程200的示意图。在图2中，跟踪设备210包括视觉传感器212和惯性传感器214。此外，提供参考标记220以便于位置确定。这里，参考标记220可以限定用于位置确定的坐标，即，所确定的位置是相对于参考标记220的。例如，如果期望确定跟踪设备210相对于将由机器人系统130处理的工作对象110的位置，则参考标记220可以被附接到工作对象110。
66.工程师可以将跟踪设备210保持到点232，并且扫描参考标记220。在这一点上，跟踪设备210相对于参考标记220的第一位置230可以根据由视觉传感器212收集的参考标记220的图像来确定。此外，跟踪设备210可以移动到点242，并且惯性传感器214可以测量跟踪设备210相对于第一位置230的第二位置240。此外，可以确定跟踪设备210相对于参考标记220的位置250。通过这些实施例，跟踪设备210可以在不需要外部传感器(诸如用于发射诸如激光信号、磁信号、wi-fi信号等信号的信号源)的情况下自行确定该位置。此外，可以消除由在常规跟踪工具与传感器之间的障碍物或对信号源的干扰引起的误差。
67.在下文中，将参考图3以了解关于位置确定的更多细节。图3示出了根据本公开的实施例的用于确定跟踪设备的位置的方法的示意流程图。在框310处，基于由视觉传感器212收集的参考标记220的图像来获取跟踪设备210相对于参考标记220的第一位置230。这里，参考标记220用于限定用于位置确定的参考坐标。在确定用于处理工作对象110的机器人路径的情况下，参考标记220可以被附接到工作对象110。
68.在一些实施例中，参考标记220可以被附接到在工作对象110上的任何位置，例如，参考标记220可以被附接到不会影响处理过程的拐角。在一些实施例中，参考坐标的原点可以限定在参考标记220的拐角处、参考标记220的中心处、或与参考标记220相关的另一位置处。在一些实施例中，参考坐标相对于参考标记220的轴方向可以预先限定。例如，x轴和y轴可以沿着参考标记220的边缘限定，并且可以使用右手坐标。
69.在一些实施例中，参考标记220可以包括快速响应(qr)码。通过这些实施例，qr码可以用作参考标记220。与具有大尺寸、高精度的常规测量工具相比，qr码易于以小尺寸和高精度来生成。因此，qr码可以以简单且有效的方式促进位置确定。此外，参考标记220与参
考坐标之间的偏移可以被编码在qr码中。一旦视觉传感器212扫描qr码，偏移就可以被读出，然后参考坐标可以以简单有效的方式被生成。
70.下文中，将参考图4了解关于确定第一位置230的更多细节。图4示出了根据本公开的实施例的用于在初始阶段确定跟踪设备的位置的过程400的示意图。首先，可以获取参考标记220的真实尺寸410。这里，真实尺寸410可以通过具有更高精度的测量设备来测量，例如，真实尺寸410可以用毫米、微米等单位来表示。视觉传感器212可以在扫描参考标记220时收集参考标记220的图像420。可以确定图像420中参考标记220的虚拟尺寸422。例如，可以从图像420中标识参考标记220的轮廓，并且可以将轮廓内像素的宽度和长度考虑为虚拟尺寸422。此外，可以获取视觉传感器212的(多个)聚焦参数430，并且因此可以基于在真实尺寸410、虚拟尺寸422和视觉传感器212的聚焦参数430之间的几何关系来确定第一位置440。由于参考标记的真实尺寸和聚焦参数是预先已知的，并且虚拟尺寸可以通过包括在图像中的像素容易地测量，所以第一位置可以以简单并且有效的方式确定。
71.在框320处，在跟踪设备210的移动之后，由惯性传感器214获取跟踪设备210相对于第一位置230的第二位置240。这里，惯性传感器214可以通过使用加速度计、陀螺仪和磁力计等的组合来测量跟踪设备210的比力、角速率和取向。惯性导航技术已经发展了多年，并且因此第二位置240可以被准确地确定。此外，在移动期间由视觉传感器212收集的图像可以用于校正由惯性传感器214引起的潜在误差。
72.在一些实施例中，视觉传感器212可以在移动期间收集跟踪设备210的工作环境的图像。这里，图像收集速率可以比惯性传感器214的速率低得多。如果视觉传感器212没有被障碍物阻挡，则所收集的图像可以用于校正第二位置240。具体地，第二位置2400可以基于环境图像和先前环境图像，该先前环境图像由视觉传感器212在用于收集环境图像的时间点之前的先前时间点处收集。通过这些实施例，在跟踪设备210在移动期间收集的图像可以进一步校正惯性传感器214的潜在误差。因此，可以进一步提高位置确定的准确性。
73.更多细节参考图5。图5示出了根据本公开的实施例的用于校正由惯性传感器获取的位置的过程500的示意图。在校正步骤中，不要求图像包括参考标记220。相反，图像可以包括也可以不包括参考标记220，只要图像包括工作环境中的相同环境特征。图5示出了当跟踪设备210位于点242时收集的环境图像510、以及在跟踪设备210到达点242之前收集的先前环境图像520。图像510和520两者包括相同环境特征(例如，在工作环境中对象的拐角、线或另一形状)。基于图像分析，可以分别从环境图像510和先前环境图像520中标识出一对特征点512和522，这里，该对特征点对应于工作环境中的相同环境特征。
74.此外，可以确定该对特征点512和522的位置之间的偏移，然后可以基于该偏移校正第二位置240。如果偏移表明跟踪设备210移动20毫米，而由惯性传感器214测量的第二位置240仅为10毫米，则可以增加第二位置。例如，第二位置240可以根据基于20毫米和10毫米的平均值的15毫米来设置。在另一示例中，如果根据偏移确定的距离大大低于由惯性传感器214确定的距离，则可以减小第二位置240。通过这些实施例，环境中的自然因素诸如点、线等，可以用作用于校正由惯性传感器214引起的误差的环境特征。由于环境包括丰富的自然因素，可以以简单有效的方式进一步提高位置确定的准确性。
75.再次参考图3，在框330处，基于第一位置230和第二位置240确定跟踪设备210相对于参考标记220的位置250。这里，位置250可以根据第一位置230和第二位置240的总和来确
定，因此跟踪设备210相对于参考标记220的位置250可以由跟踪设备210本身准确地获取。通过这些实施例，提供了一种包括视觉传感器和惯性传感器两者的跟踪设备用于位置确定。在这一点上，跟踪设备可以在不需要外部传感器(诸如用于发射诸如激光信号、磁信号、wi-fi信号等信号的信号源)的情况下自行确定位置。此外，可以消除由在跟踪设备与传感器之间的障碍物或对信号源的干扰引起的在位置确定中的误差。
76.前面的段落描述了用于确定跟踪设备210相对于参考标记220的位置250的步骤。此外，跟踪设备210可以用于测量在工具140与工作对象110之间的相对位置。具体地，跟踪设备210可以被附接到部署在机器人系统130中的工具140和将由机器人系统130处理的工作对象110中的一者。同时，参考标记220可以被附接到工具140和工作对象110中的另一者。通过这些实施例，可以有效地确定在工具140与工作对象110之间的相对位置。
77.下文中，将参考图6以了解关于用于基于上述跟踪设备210获取相对位置的更多细节。图6示出了根据本公开的实施例的用于确定在工具与工作对象之间的相对位置的过程600的示意图。在图6中，参考标记220可以被附接到工作对象110，并且跟踪设备210可以被附接到工具140。因此，跟踪设备210可以准确地确定在跟踪设备210与参考标记220之间的相对位置。尽管图6仅示出了跟踪设备210被附接到工具140以及参考标记220被附接到工作对象110的情况，但是跟踪设备210可以被附接到工作对象110并且参考标记220可以被附接到工具140。相对位置可以以类似的方式确定，并且下文中省略了细节。
78.此外，工程师可以沿着用于处理工作对象110的轨迹移动工具140，并且因此跟踪设备210可以在移动期间确定跟踪设备210相对于参考220的一组位置。图7示出了根据本公开的实施例的用于确定用于处理工作对象的工具路径的过程700的示意图。在图7中，轨迹710表示用于处理工作对象110的轨迹，例如，轨迹710可以由在工作对象110上的用于将工作对象110处理成期望形状的曲线来表示。在这一点上，工程师可以将工具140保持并且引导工具140的尖端跟随轨迹710，并且因此，跟踪设备210可以基于上述方法输出工具路径720。
79.通过这些实施例，跟踪设备可以被附接到用于处理工作对象的工具上，并且因此工程师可以沿着处理轨迹引导工具。与根据直通模式和非触摸模式生成工具路径的常规方式相比，跟踪设备本身可以准确地记录工具路径。
80.到目前为止，各种类型的智能电话都配备有高精度相机和imu。因此，跟踪设备210可以由电话设备来实现，视觉传感器212可以由配备在电话设备中的相机来实现，并且惯性传感器214可以由配置在电话设备中的imu来实现。这里，不需要设计专用跟踪设备。通过这些实施例，诸如智能电话等普通电话设备可以用作跟踪设备。具体地，智能电话中的相机设备可以作为用于收集图像的视觉传感器而工作，并且智能电话中的imu可以作为用于确定智能电话的位置的惯性传感器而工作。因此，可以大大降低跟踪设备的成本。
81.在一些实施例中，可以开发应用并且将其安装在电话设备中，以实现方法300。图8示出了根据本公开的实施例的用于通过智能电话控制机器人系统处理工作对象的过程800的示意图。在图8中，应用812安装在智能电话810中以实现上述方法300。工程师可以将参考标记220附接到工作对象110并且将智能电话810附接到工具140以生成工具路径720。此外，应用812可以将工具路径720转换为用于控制机器人系统130的机器人路径820。具体地，机器人路径820可以被输入到机器人控制器830中以驱动工具140将工作对象110处理成期望
形状。
82.在一些实施例中，应用812可以向工程师显示机器人路径820用于进一步控制。例如，机器人路径820可以如下表1所示。
83.表1机器人路径
84.编号xyz角度参数1参数2
……1ꢀꢀꢀꢀꢀ2ꢀꢀꢀꢀꢀ……ꢀꢀꢀꢀꢀ
85.在表1中，“xyz列”表示在特定时间点处的(x，y，z)位置，“角度”列表示在特定时间点处的取向角(角度1、角度2、角度3)，“参数”列表示机器人系统130的控制参数。例如，“参数1”可以表示工具140的旋转速度，“参数2”可以表示工具140是否接触工作对象110等等。工程师可以从智能电话810读取机器人路径820，并且可以经由至应用812的用户输入来调节机器人系统的处理参数。例如，工程师可以在模拟程序中运行机器人路径820，并且检查机器人系统中每个手臂的姿态是否可以被优化。然后，工程师可以经由应用812来优化参数，并且将优化的机器人路径输入到机器人控制器830中。
86.通过这些实施例，不需要对电话设备的硬件进行任何改变，而是只需要在电话设备中安装应用，然后该应用可以实现用于位置确定的上述步骤。此外，用于控制机器人系统的工程师可以利用该应用来调节机器人系统的参数。与通过编写和运行软件代码来控制机器人系统130的常规方式相比，该应用可以为机器人系统管理提供一种方便的方式。尽管图8示出了应用812输出机器人路径820，但是备选地和/或附加地，工具路径可以被输入到机器人控制器830中并且机器人控制器830可以生成机器人路径820。
87.在用于启动机器人系统130的初始阶段，应当校准工具140和工作对象110的位置。已经提出了各种校准解决方案，例如，工具校准是相对于机器人系统的工具底座(工具底座也称为“工具0”，并且它是机器人系统的已知参数)来对准用户限定的工具位置。在常规工具校准中，工具140被移动到至少四个不同位置，以收集用于工具校准的值。然而，如果工具不具有尖端结构，则很难实现具有高准确性的工具校准。即使工具具有尖端结构，工程师也需要丰富的经验和技能才能将工具放置到期望位置。
88.为了至少部分解决上述和其他潜在问题，提供了一种用于管理机器人系统的新方法。特别地，可以通过使用根据本公开的实施例的跟踪设备210来校准工具。更多细节将参考图9，该图示出了根据本公开的实施例的用于校准部署在机器人系统中的工具的过程900的示意图。在图9中，工具标记910可以被附接到工具140，以指示工具校准的坐标。首先，工程师可以将跟踪设备210保持在特定点(如图9中的点1所示)，以扫描工具标记910。在这一点上，可以获取跟踪设备相对于工具标记910的第一位置。此外，跟踪设备210可以在另一点(如图9中的点2所示)处被附接到工具140，并且然后，工具校准位置可以基于来自跟踪设备210的测量来确定。
89.图10示出了根据本公开的实施例的用于由跟踪设备管理机器人系统的方法1000的流程图。在框1010处，基于由视觉传感器212收集的工具标记910的图像来获取跟踪设备210相对于工具标记910中的第一位置。这里，工具标记910被附接到部署在机器人系统130中的工具140。这里，用于获取跟踪设备210的第一位置的详细步骤与参考图4描述的步骤类
似。具体地，可以获取工具标记910的真实尺寸和虚拟尺寸，并且因此，可以基于真实尺寸、虚拟尺寸和跟踪设备210中视觉传感器212的聚焦参数来确定跟踪设备210的第一位置。这里，跟踪设备210相对于工具标记910的第一位置可以由指示。
90.在框1020处，在跟踪设备210的移动之后，由惯性传感器214获取跟踪设备相对于第一位置的第二位置。这里，跟踪设备在移动期间耦合到工具。换言之，跟踪设备210在图9中从点1移动到点2，并且第二位置可以由惯性传感器214直接测量。这里，跟踪设备210相对于第一位置的第二位置可以由指示。
91.在框1030处，基于第一位置和第二位置来确定工具校准位置，工具校准位置表示用于校准工具140的、跟踪设备210相对于工具标记910的位置。在一些实施例中，可以获取工具标记910相对于机器人系统130的工具底座的位置，用于工具校准。在机器人系统130中，在工具标记910与工具底座之间的关系(由指示)可以由工具标记910的物理特征预先限定，并且因此在工具校准中具有已知值。此外，工具校准位置可以基于工具标记的位置以及第一位置和第二位置。在一些实施例中，以下公式1可以用于确定工具校准位置。
[0092][0093]
其中指示用于校准部署在机器人系统130的端部手臂处的工具910的工具校准位置，指示在工具标记910与工具底座之间的关系，指示跟踪设备210相对于工具标记910的第一位置，并且指示跟踪设备210相对于第一位置的第二位置。在上述公式1中，是在机器人系统130中的已知参数，由视觉传感器212测量，由惯性传感器214测量，并且因此，工具校准位置可以有效并且准确地确定。
[0094]
与通过在复杂的校准过程中将工具140放置成多个姿态来校准工具140的常规方法相比，所提出的解决方案仅需要将工具标记910附接到工具140并且从跟踪设备210收集测量。然后，可以根据来自视觉传感器212和惯性传感器214的测量自动确定工具校准位置。因此，可以大大减少用于校准工具140的工作量。
[0095]
在一些实施例中，可以通过将机器人标记附接到工具140并且将工作对象标记附接到将由机器人系统130处理的工作对象110来校准工作对象110。跟踪设备210可以分别扫描工具标记和工作对象标记，以便基于跟踪设备210的测量来获取用于工作对象校准的对象校准位置。这里，对象校准位置表示工作对象标记相对于机器人系统的框架底座(框架底座也称为“底座0”，并且它是机器人系统的已知参数)的位置，并且因此它可以用于校准工作对象110。与通过用校准工具将机器人系统的手臂以多个姿态放置在工作对象周围来校准工作对象的常规方法相比，所提出的解决方案只需要将机器人标记附接到工具并且将工作对象标记附接到工作对象。然后，可以自动确定对象校准位置。因此，用于校准工作对象
的复杂度水平可以大大降低。
[0096]
下文中，将参考图11以了解关于工作对象校准的更多细节。图11示出了根据本公开的实施例的用于校准将由机器人系统处理的工作对象的过程1100的示意图。在图11中，跟踪设备210可以放置在点3处，以扫描在工具140上的机器人标记1110。在这一点上，可以基于由视觉传感器212收集的机器人标记1110的图像来确定跟踪设备210相对于机器人标记1110的第三位置。这里，用于获取跟踪设备210的第三位置的详细步骤与参考图4描述的步骤类似。具体地，可以获取机器人标记1110的真实尺寸和虚拟尺寸，并且因此，跟踪设备210的第三位置可以基于真实尺寸、虚拟尺寸和视觉传感器212的聚焦参数来确定。这里，跟踪设备210相对于机器人标记1110的第三位置可以由指示。
[0097]
接下来，工程师可以将跟踪设备210移动到图11中的点4，以扫描工作对象110上的工作对象标记1120。在这一点上，跟踪设备210相对于工作对象标记1120的第四位置可以基于在跟踪设备的移动之后由视觉传感器212收集的工作对象标记1120的图像来确定。这里，跟踪设备被移动到点4，以收集工作对象标记1120的图像。具体地，可以获取工作对象标记1120的真实尺寸和虚拟尺寸，并且因此，跟踪设备210的第四位置可以基于真实尺寸、虚拟尺寸和视觉传感器212的聚焦参数来确定。这里，跟踪设备210相对于工作对象标记1120的第四位置可以由指示。
[0098]
在将跟踪设备210从点3移动到点4期间，可以在跟踪设备210的移动之后由惯性传感器214确定跟踪设备210相对于第三位置的第五位置。这里，第五位置可以由惯性传感器214直接测量。然后，对象校准位置可以基于机器人标记1110的位置以及第三位置、第四位置和第五位置。在一些实施例中，以下公式2可以用于确定对象校准位置。
[0099][0100]
其中指示用于校准将由机器人系统130处理的工作对象110的对象校准位置，指示可以从机器人系统130读取的机器人标记1110的位置，指示跟踪设备210相对于机器人标记1110的第三位置，指示跟踪设备210相对于工作对象标记1120的第四位置，并且指示跟踪设备210相对于第三位置的第五位置。在上述公式2中，可以从机器人系统130直接读取，同时，和可以由视觉传感器212和惯性传感器214测量。因此，可以有效并且准确地确定对象校准位置。通过这些实施例，跟踪设备210可以收集用于对象校准的测量，并且因此，对象校准位置可以根据所收集的测量被自动确定。
[0101]
应当理解，工具校准和工作对象校准可以独立地实现。尽管以上段落描述了在工作对象校准之前的工具校准，但工具校准可以在工作对象校准之后或在工作对象校准的同一时间点执行。
[0102]
在一些实施例中，工具标记910、工作对象标记1120和机器人标记1110中的任一个都包括qr码。通过这些实施例，qr码可以用作这些标记中的任一个。与具有大尺寸、高精度
的常规校准工具相比，qr码易于以较小的尺寸和较高的精度来生成。因此，qr码可以以简单且有效的方式促进校准。
[0103]
在一些实施例中，可以获取用于处理工作对象110的工具路径。这里，工具路径可以通过常规方式获取(例如，使用图1b所示的跟踪工具122和传感器120)。备选地和/或附加地，工具路径可以由跟踪设备210获取。具体地，当跟踪设备210可以被附接到工具140以确定相对于被附接到工作对象110的工作对象标记1120的工具路径时。工程师可以保持其上附接有跟踪设备210的工具140，并且沿着用于由机器人系统130处理工作对象110的轨迹来移动工具140。在这一点上，可以获取跟踪设备210相对于工作对象标记1120的多个位置。然后，可以基于跟踪设备210的多个位置来生成工具路径720。通过这些实施例，跟踪设备可以被附接到用于处理工作对象的工具，并且因此，工程师只需要沿着轨迹引导工具并且生成工具路径。与由一对跟踪工具和信号源来生成工具路径的常规方式相比，跟踪设备本身可以准确地记录工具路径。
[0104]
在一些实施例中，用于确定多个位置中的位置的详细步骤类似于由方法300实现的步骤。最初，跟踪设备210可以扫描工作对象标记1120以获取跟踪设备210相对于工作对象标记1110的第六位置。在这一点上，可以根据图4所示的过程，从工作对象标记1120的图像中确定第六位置。此外，在工具140的移动期间，惯性传感器214可以直接测量跟踪设备210相对于第六位置的第七位置。然后，可以基于第六位置和第七位置来确定跟踪设备的多个位置中的每个位置。通过这些实施例，提供了一种包括视觉传感器和惯性传感器两者的跟踪设备用于位置确定。在这一点上，跟踪设备可以在不需要外部信号源的情况下自行确定位置。此外，可以消除由信号源的阻挡物或对信号源的干扰引起的在位置确定中的误差。因此，位置确定可以以更方便和有效的方式来执行。
[0105]
应当理解，机器人路径可以控制端部手臂的移动，并且部署在端部手臂处的工具140可以与端部手臂一起移动。因此，在生成机器人路径时可以考虑工具校准位置。此外，由于对象校准位置表示在工作对象标记1120与机器人系统130的框架底座之间的关系，因此在生成机器人路径时也考虑对象校准位置。因此，可以基于工具校准位置、对象校准位置和工具路径来生成机器人路径用于处理工作对象。
[0106]
图12示出了根据本公开的实施例的用于获取用于控制机器人系统的机器人路径的过程1200的示意图。如图12所示，可以基于工具校准位置和对象校准位置将工具路径720转换为机器人路径1210。特别地，可以使用以下公式3。
[0107][0108]
其中指示用于控制机器人系统130的机器人路径，指示用于校准将由机器人系统130处理的工作对象110的对象校准位置，指示用于校准部署在机器人系统130的端部手臂处的工具910的工具校准位置，以及指示由跟踪设备210确定的工具路径720。由于公式3的右侧的所有参数都是已知的，工具路径720可以自动转换为机器人路径1210以控制在机器人系统130中
工具140的移动。
[0109]
在一些实施例中，该方法还包括：控制机器人系统130基于机器人路径1210来处理工作对象110。在这一点上，在机器人系统130的端部手臂处的工具140可以将工作对象110处理成期望形状。通过这些实施例，机器人系统130可以驱动工具130精确地遵循轨迹，使得工作对象可以根据需要被准确地处理。此外，本发明的实施例可以降低机器人系统部署的成本以及工程师的技术要求。通过使用跟踪设备210，工程师可以将标记附接到工具140和工作对象110，并且通过跟踪设备210收集测量。然后，在工具140开始处理工作对象110之前，工具140和工作对象110两者都可以基于所收集的测量而被自动校准。
[0110]
前面的段落已经描述了方法300和1000的详细步骤，在本公开的一些实施例中，方法300和1000可以通过对应装置来实现。图13a示出了根据本公开的实施例的用于确定跟踪设备的位置的位置确定装置1300a的示意图。如图13a所示，装置1300a用于确定跟踪设备的位置，跟踪设备包括视觉传感器和惯性传感器。装置1300a包括：第一获取单元1310a，用于基于由视觉传感器收集的参考标记的图像来获取跟踪设备相对于参考标记的第一位置；第二获取单元1320a，用于在跟踪设备的移动之后由惯性传感器获取跟踪设备相对于第一位置的第二位置；以及确定单元1330a，用于基于第一位置和第二位置来确定跟踪设备相对于参考标记的位置。
[0111]
在一些实施例中，第一获取单元1310a包括：真实尺寸获取单元，用于获取参考标记的真实尺寸；虚拟尺寸获取单元，用于获取参考标记在图像中的虚拟尺寸；以及位置确定单元，用于基于真实尺寸、虚拟尺寸和视觉传感器的聚焦参数来确定第一位置。
[0112]
在一些实施例中，装置1300a还包括：收集单元，用于在移动之后由视觉传感器收集跟踪设备的工作环境的环境图像；校正单元，以及用于基于环境图像和先前环境图像来校正第二位置，先前环境图像由视觉传感器在用于收集环境图像的时间点之前的先前时间点处收集。
[0113]
在一些实施例中，校正单元包括：标识单元，用于基于图像分析分别从环境图像和先前环境图像中标识一对特征点，该对特征点对应于工作环境中的环境特征；偏移确定单元，以及用于确定该对特征点的位置之间的偏移；以及位置校正单元，用于基于偏移校正第二位置。
[0114]
在一些实施例中，跟踪设备被附接到部署在机器人系统中的工具和将由机器人系统处理的工作对象中的一者，并且参考标记被附接到工具和工作对象中的另一者。
[0115]
在一些实施例中，装置1300a还包括：路径确定单元，用于在工具沿着用于处理工作对象的轨迹的移动期间确定跟踪设备的一组位置。
[0116]
在一些实施例中，跟踪设备包括电话设备，视觉传感器包括配备在电话设备中的相机，并且惯性传感器包括配备在电话设备中的惯性测量单元。
[0117]
在一些实施例中，装置1300a由安装在电话设备中的应用来实现，并且该装置还包括：调节单元，用于经由至该应用的用户输入来调节机器人系统的处理参数。
[0118]
在一些实施例中，参考标记包括快速响应(qr)码。
[0119]
图13b示出了根据本公开的实施例的用于管理机器人系统的机器人管理装置1300b的示意图，跟踪设备包括视觉传感器和惯性传感器。装置1300b包括：第一获取单元1310b，用于基于由视觉传感器收集的工具标记的图像来获取跟踪设备相对于工具标记的
第一位置，工具标记被附接到部署在机器人系统中的工具；第二获取单元1320b，用于在跟踪设备的移动之后由惯性传感器获取跟踪设备相对于第一位置的第二位置，跟踪设备在移动期间耦合到工具；以及确定单元1330b，用于基于第一位置和第二位置来确定工具校准位置，工具校准位置表示用于校准工具的、跟踪设备相对于工具标记的位置。
[0120]
在一些实施例中，确定单元1330b包括：工具位置获取单元，用于获取工具标记相对于机器人系统的工具底座的位置；以及工具校准确定单元，用于基于工具标记的位置以及第一位置和第二位置来确定工具校准位置。
[0121]
在一些实施例中，装置1300b还包括：用于基于机器人标记和工作对象标记来获取对象校准位置的对象获取单元，机器人标记被附接到工具，工作对象标记被附接到将由机器人系统处理的工作对象，并且对象校准位置表示用于校准工作对象的、工作对象标记相对于机器人系统的框架底座的位置。
[0122]
在一些实施例中，对象获取单元包括：第三获取单元，用于基于由视觉传感器收集的机器人标记的图像来获取跟踪设备相对于机器人标记的第三位置；第四获取单元，用于基于在跟踪设备的移动之后由视觉传感器收集的工作对象标记的图像来获取跟踪设备相对于工作对象标记的第四位置，跟踪设备被移动以收集工作对象标记的图像；第五获取单元，用于在移动期间由惯性传感器获取跟踪设备相对于第三位置的第五位置；以及对象校准确定单元，用于基于机器人标记的位置以及第三位置、第四位置和第五位置来确定对象校准位置。
[0123]
在一些实施例中，装置1300b还包括：位置获取单元，用于获取跟踪设备相对于工作对象标记的多个位置，跟踪设备耦合到工具，并且多个位置是在工具沿着用于由机器人系统处理工作对象的轨迹的移动期间确定的；以及生成单元，用于基于跟踪设备的多个位置生成工具路径。
[0124]
在一些实施例中，位置获取单元包括：第六获取单元，用于基于由视觉传感器收集的工作对象标记的图像来获取跟踪设备相对于工作对象标志的第六位置；第七获取单元，用于在工具的移动期间由惯性传感器获取跟踪设备相对于第六位置的第七位置；以及路径位置确定单元，用于基于第六位置和第七位置来确定跟踪设备相对于工作对象标记的多个位置中的位置。
[0125]
在一些实施例中，装置1300b还包括：生成单元，用于基于工具校准位置、对象校准位置和工具路径来生成用于处理工作对象的机器人路径。
[0126]
在一些实施例中，装置1300b还包括：控制单元，用于控制机器人系统基于机器人路径来处理工作对象。
[0127]
在一些实施例中，工具标记、工作对象标记和机器人标记中的任何一个包括快速响应(qr)码。
[0128]
在本公开的一些实施例中，提供了一种用于实现上述方法300和1000的系统。图14示出了用于实现根据本公开的实施例的方法的系统1400的示意图。系统1400包括：耦合到计算机可读存储器单元1420的计算机处理器1410，存储器单元1420包括指令1422，指令1422在由计算机处理器1410执行时实现方法300或1000。
[0129]
在本公开的一些实施例中，提供了一种用于管理相机系统的计算机可读介质。计算机可读介质其上存储有指令，并且该指令当在至少一个处理器上执行时可以引起至少一
个存储器执行如前面段落中描述的用于管理相机系统的方法，并且下文将省略细节。
[0130]
通常，本公开的各种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。一些方面可以在硬件中实现，而其他方面可以在固件或软件中实现，固件或软件可以由控制器、微处理器或其他计算设备执行。虽然本公开的实施例的各个方面被示出和描述为框图、流程图或使用一些其他图示，但是应当理解，作为非限制性示例，本文中描述的块、装置、系统、技术或方法可以在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备、或其某种组合中实现。
[0131]
本公开还提供了至少一种有形地存储在非暂态计算机可读存储介质上的计算机程序产品。计算机程序产品包括计算机可执行指令，诸如程序模块中包括的指令，该指令在目标真实或虚拟处理器上的设备中执行，以执行上文参考图3和图10所述的过程或方法。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。在各种实施例中，程序模块的功能可以理想地在程序模块之间组合或拆分。用于程序模块的机器可执行指令可以在本地或分布式设备内执行。在分布式设备中，程序模块可以位于本地和远程存储介质中。
[0132]
用于执行本公开的方法的程序代码可以以一种或多种编程语言的任何组合编写。这些程序代码可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得该程序代码在由处理器或控制器执行时引起流程图和/或框图中指定的功能/操作被实现。程序代码可以完全在机器上执行、部分地在机器上执行、作为独立软件包执行、部分地在机器上并且部分地在远程机器上执行，或者完全地在远程计算机或服务器上执行。
[0133]
上述程序代码可以实施在机器可读介质上，机器可读介质可以是任何有形介质，该介质可以包含或存储供指令执行系统、装置或设备使用或与之结合使用的程序。机器可读介质可以是机器可读信号介质或机器可读存储介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的或半导体的系统、装置或设备、或者前述各项的任何合适的组合。机器可读存储介质的更具体示例将包括具有一根或多根电线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、光纤、便携式光盘只读存储器(cd-rom)、光存储设备、磁存储设备、或者前述各项的任何合适的组合。
[0134]
此外，虽然操作是按特定顺序描述的，但这不应当被理解为要求这样的操作按所示的特定顺序或按顺序执行、或者要求执行所有所示的操作以获取理想的结果。在某些情况下，多任务处理和并行处理可以是有利的。同样，尽管在上述讨论中包括了若干具体的实现细节，但这些细节不应当被解释为对本公开的范围的限制，而是对可以特定于特定实施例的特征的描述。在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。另一方面，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施例中实现。
[0135]
尽管已经用特定于结构特征和/或方法行为的语言描述了主题，但应当理解，所附权利要求中定义的主题不一定限于上述特定特征或行为。相反，上面描述的具体特征和动作被公开作为实现权利要求的示例形式。

技术特征：
1.一种用于确定跟踪设备的位置的方法，所述跟踪设备包括视觉传感器和惯性传感器，并且所述方法包括：基于由所述视觉传感器收集的参考标记的图像来获取所述跟踪设备相对于所述参考标记的第一位置；在所述跟踪设备的移动之后，由所述惯性传感器获取所述跟踪设备相对于所述第一位置的第二位置；以及基于所述第一位置和所述第二位置来确定所述跟踪设备相对于所述参考标记的位置。2.根据权利要求1所述的方法，其中获取所述第一位置包括：获取所述参考标记的真实尺寸；获取所述参考标记在所述图像中的虚拟尺寸；以及基于所述真实尺寸、所述虚拟尺寸和所述视觉传感器的聚焦参数来确定所述第一位置。3.根据权利要求1所述的方法，还包括：在所述移动之后，由所述视觉传感器收集所述跟踪设备的工作环境的环境图像；以及基于所述环境图像和先前环境图像来校正所述第二位置，所述先前环境图像由所述视觉传感器在用于收集所述环境图像的时间点之前的先前时间点处收集。4.根据权利要求3所述的方法，其中校正所述第二位置包括：基于图像分析分别从所述环境图像和所述先前环境图像中标识一对特征点，所述一对特征点对应于所述工作环境中的环境特征；以及确定所述一对特征点的位置之间的偏移；以及基于所述偏移来校正所述第二位置。5.根据权利要求1所述的方法，其中所述跟踪设备被附接到部署在机器人系统中的工具和将由所述机器人系统处理的工作对象中的一者，并且所述参考标记被附接到所述工具和所述工作对象中的另一者。6.根据权利要求5所述的方法，还包括：在所述工具沿着用于处理所述工作对象的轨迹的移动期间确定所述跟踪设备的一组位置。7.根据权利要求6所述的方法，其中所述跟踪设备包括电话设备，所述视觉传感器包括配备在所述电话设备中的相机，并且所述惯性传感器包括配备在所述电话设备中的惯性测量单元。8.根据权利要求7所述的方法，其中所述方法由安装在所述电话设备中的应用来实现，并且所述方法还包括：经由至所述应用的用户输入来调节所述机器人系统的处理参数。9.根据权利要求1所述的方法，其中所述参考标记包括快速响应(qr)码。10.一种用于通过跟踪设备管理机器人系统的方法，所述跟踪设备包括视觉传感器和惯性传感器，并且所述方法包括：基于由所述视觉传感器收集的工具标记的图像来获取所述跟踪设备相对于所述工具标记的第一位置，所述工具标记被附接到部署在所述机器人系统中的工具；在所述跟踪设备的移动之后，由所述惯性传感器获取所述跟踪设备相对于所述第一位置的第二位置，所述跟踪设备在所述移动期间耦合到所述工具；以及基于所述第一位置和所述第二位置来确定工具校准位置，所述工具校准位置表示用于
校准所述工具的、所述跟踪设备相对于所述工具标记的位置。11.根据权利要求10所述的方法，其中确定所述工具校准位置包括：获取所述工具标记相对于所述机器人系统的工具底座的位置；以及基于所述工具标记的所述位置以及所述第一位置和所述第二位置来确定所述工具校准位置。12.根据权利要求10所述的方法，还包括：基于机器人标记和工作对象标记来获取对象校准位置，所述机器人标记被附接到所述工具，所述工作对象标记被附接到将由所述机器人系统处理的工作对象，并且所述对象校准位置表示用于校准所述工作对象的、所述工作对象标记相对于所述机器人系统的框架底座的位置。13.根据权利要求12所述的方法，其中获取所述对象校准位置包括：基于由所述视觉传感器收集的所述机器人标记的图像来获取所述跟踪设备相对于所述机器人标记的第三位置；基于在所述跟踪设备的移动之后由所述视觉传感器收集的所述工作对象标记的图像来获取所述跟踪设备相对于所述工作对象标记的第四位置，所述跟踪设备被移动以收集所述工作对象标记的所述图像；在所述移动期间由所述惯性传感器获取所述跟踪设备相对于所述第三位置的第五位置；以及基于所述机器人标记的位置以及所述第三位置、所述第四位置和所述第五位置来确定所述对象校准位置。14.根据权利要求12所述的方法，还包括：获取所述跟踪设备相对于所述工作对象标记的多个位置，所述跟踪设备耦合到所述工具，并且所述多个位置是在所述工具沿着用于由所述机器人系统处理所述工作对象的轨迹的移动期间确定的；以及基于所述跟踪设备的所述多个位置来生成工具路径。15.根据权利要求14所述的方法，其中获取所述多个位置包括：基于由所述视觉传感器收集的所述工作对象标记的图像来获取所述跟踪设备相对于所述工作对象标记的第六位置；在所述工具的所述移动期间由所述惯性传感器获取所述跟踪设备相对于所述第六位置的第七位置；以及基于所述第六位置和所述第七位置来确定所述跟踪设备相对于所述工作对象标记的所述多个位置中的位置。16.根据权利要求14所述的方法，还包括：基于所述工具校准位置、所述对象校准位置和所述工具路径来生成用于处理所述工作对象的机器人路径。17.根据权利要求16所述的方法，还包括：控制所述机器人系统基于所述机器人路径来处理所述工作对象。18.根据权利要求12所述的方法，其中所述工具标记、所述工作对象标记和所述机器人标记中的任一个包括快速响应(qr)码。19.一种用于确定跟踪设备的位置的装置，所述跟踪设备包括视觉传感器和惯性传感
器，并且所述装置包括：第一获取单元，用于基于由所述视觉传感器收集的参考标记的图像来获取所述跟踪设备相对于所述参考标记的第一位置；第二获取单元，用于在所述跟踪设备的移动之后由所述惯性传感器获取所述跟踪设备相对于所述第一位置的第二位置；以及确定单元，用于基于所述第一位置和所述第二位置来确定所述跟踪设备相对于所述参考标记的位置。20.根据权利要求19所述的装置，其中所述第一获取单元包括：真实尺寸获取单元，用于获取所述参考标记的真实尺寸；虚拟尺寸获取单元，用于获取所述参考标记在所述图像中的虚拟尺寸；以及位置确定单元，用于基于所述真实尺寸、所述虚拟尺寸和所述视觉传感器的聚焦参数来确定所述第一位置。21.根据权利要求19所述的装置，还包括：收集单元，用于在所述移动之后由所述视觉传感器收集所述跟踪设备的工作环境的环境图像；以及校正单元，用于基于所述环境图像和先前环境图像来校正所述第二位置，所述先前环境图像由所述视觉传感器在用于收集所述环境图像的时间点之前的先前时间点处收集。22.根据权利要求21所述的装置，其中所述校正单元包括：标识单元，用于基于图像分析分别从所述环境图像和所述先前环境图像中标识一对特征点，所述一对特征点对应于所述工作环境中的环境特征；以及偏移确定单元，用于确定所述一对特征点的位置之间的偏移；以及位置校正单元，用于基于所述偏移校正所述第二位置。23.根据权利要求19所述的装置，其中所述跟踪设备被附接到部署在机器人系统中的工具和将由所述机器人系统处理的工作对象中的一者，并且所述参考标记被附接到所述工具和所述工作对象中的另一者。24.根据权利要求23所述的装置，还包括：路径确定单元，用于在所述工具沿着用于处理所述工作对象的轨迹的移动期间确定所述跟踪设备的一组位置。25.根据权利要求24所述的装置，其中所述跟踪设备包括电话设备，所述视觉传感器包括配备在所述电话设备中的相机，并且所述惯性传感器包括配备在所述电话设备中的惯性测量单元。26.根据权利要求25所述的装置，其中所述装置由安装在所述电话设备中的应用来实现，并且所述装置还包括：调节单元，用于经由至所述应用的用户输入来调节所述机器人系统的处理参数。27.根据权利要求19所述的装置，其中所述参考标记包括快速响应(qr)码。28.一种用于通过跟踪设备管理机器人系统的装置，所述跟踪设备包括视觉传感器和惯性传感器，并且所述装置包括：第一获取单元，用于基于由所述视觉传感器收集的工具标记的图像来获取所述跟踪设备相对于所述工具标记的第一位置，所述工具标记被附接到部署在所述机器人系统中的工具；
第二获取单元，用于在所述跟踪设备的移动之后由所述惯性传感器获取所述跟踪设备相对于所述第一位置的第二位置，所述跟踪设备在所述移动期间耦合到所述工具；以及确定单元，用于基于所述第一位置和所述第二位置来确定工具校准位置，所述工具校准位置表示用于校准所述工具的、所述跟踪设备相对于所述工具标记的位置。29.根据权利要求28所述的装置，其中所述确定单元包括：工具位置获取单元，用于获取所述工具标记相对于所述机器人系统的工具底座的位置；以及工具校准确定单元，用于基于所述工具标记的所述位置以及所述第一位置和所述第二位置来确定所述工具校准位置。30.根据权利要求18所述的装置，还包括：对象获取单元，用于基于机器人标记和工作对象标记来获取对象校准位置，所述机器人标记被附接到所述工具，所述工作对象标记被附接到将由所述机器人系统处理的工作对象，并且所述对象校准位置表示用于校准所述工作对象的、所述工作对象标记相对于所述机器人系统的框架底座的位置。31.根据权利要求30所述的装置，其中所述对象获取单元包括：第三获取单元，用于基于由所述视觉传感器收集的所述机器人标记的图像来获取所述跟踪设备相对于所述机器人标记的第三位置；第四获取单元，用于基于在所述跟踪设备的移动之后由所述视觉传感器收集的所述工作对象标记的图像来获取所述跟踪设备相对于所述工作对象标记的第四位置，所述跟踪设备被移动以收集所述工作对象标记的所述图像；第五获取单元，用于在所述移动期间由所述惯性传感器获取所述跟踪设备相对于所述第三位置的第五位置；以及对象校准确定单元，用于基于所述机器人标记的位置以及所述第三位置、所述第四位置和所述第五位置来确定所述对象校准位置。32.根据权利要求30所述的装置，还包括：位置获取单元，用于获取所述跟踪设备相对于所述工作对象标记的多个位置，所述跟踪设备耦合到所述工具，并且所述多个位置是在所述工具沿着用于由所述机器人系统处理所述工作对象的轨迹的移动期间确定的；以及生成单元，用于基于所述跟踪设备的所述多个位置来生成工具路径。33.根据权利要求32所述的装置，其中所述位置获取单元包括：第六获取单元，用于基于由所述视觉传感器收集的所述工作对象标记的图像来获取所述跟踪设备相对于所述工作对象标记的第六位置；第七获取单元，用于在所述工具的所述移动期间由所述惯性传感器获取所述跟踪设备相对于所述第六位置的第七位置；以及路径位置确定单元，用于基于所述第六位置和所述第七位置来确定所述跟踪设备相对于所述工作对象标记的所述多个位置中的位置。34.根据权利要求32所述的装置，还包括：生成单元，用于基于所述工具校准位置、所述对象校准位置和所述工具路径来生成用于处理所述工作对象的机器人路径。35.根据权利要求34所述的装置，还包括：控制单元，用于控制所述机器人系统基于所
述机器人路径来处理所述工作对象。36.根据权利要求30所述的装置，其中所述工具标记、所述工作对象标记和所述机器人标记中的任一个包括快速响应(qr)码。37.一种用于确定跟踪设备的位置的系统，包括：耦合到计算机可读存储器单元的计算机处理器，所述存储器单元包括指令，所述指令在由所述计算机处理器执行时实现根据权利要求1至9中任一项所述的方法。38.一种其上存储有指令的计算机可读介质，所述指令当在至少一个处理器上执行时引起所述至少一个处理器执行根据权利要求1至9中任一项所述的方法。39.一种用于管理机器人系统的系统，包括：耦合到计算机可读存储器单元的计算机处理器，所述存储器单元包括指令，所述指令在由所述计算机处理器执行时实现根据权利要求10至18中任一项所述的方法。40.一种其上存储有指令的计算机可读介质，所述指令当在至少一个处理器上执行时引起所述至少一个处理器执行根据权利要求10至18中任一项所述的方法。

技术总结
本公开的实施例提供了用于确定跟踪设备的位置的方法、装置、系统和计算机可读介质，跟踪设备包括视觉传感器和惯性传感器。在该方法中，基于由视觉传感器收集的参考标记的图像来获取跟踪设备相对于参考标记的第一位置。在跟踪设备的移动之后，由惯性传感器获取跟踪设备相对于第一位置的第二位置。基于第一位置和第二位置来确定跟踪设备相对于参考标记的位置。通过这些实施例，位置确定可以通过单个跟踪设备以准确和有效的方式来实现。备以准确和有效的方式来实现。备以准确和有效的方式来实现。


技术研发人员：田野 方心宇 张佳帆
受保护的技术使用者：ABB瑞士股份有限公司
技术研发日：2021.04.13
技术公布日：2023/10/8