从表面的扫描信息中提取提取信息以与数据库一起使用的制作方法
未命名
08-13
阅读:99
评论:0
1.本发明涉及用于基于提取信息与数据库匹配来确定检测单元的位置的装置和方法。具体地,本发明涉及在具有斑点的地面上基于图像的定位。此外,本发明涉及用于将提取信息存储在数据库中的方法。
背景技术:
2.自由空间中的定位表示移动机器人操作的重要基本构件。为了移动机器人的有效和安全操作,例如在分拣系统中,机器人应该能够可靠地确定它们自己的位置。这里的潜在挑战是不断变化的环境,例如当货架或其他障碍物的位置改变时。此外,人们还对以更快的速度操作机器人感兴趣,例如更快地完成分拣操作。这样的一般条件对对应的机器人和相应的定位过程提出了很高的要求。
3.现有技术
4.以前定位机器人的方法差别很大。甚至在一些情况下,定位问题被智能跟踪(“线跟踪”)所绕过。可以在外部定位和内部定位之间进行区分。在外部定位的情况下,可以使用位于机器人外部的系统,而在内部定位的情况下,传感器技术可以位于机器人本身上。
5.对现有内部定位方法进行分类的一种方式可以基于所使用的传感器技术及其评估。已知方法包括:
6.基于无线电的定位方法:这里,以各种方式使用一个或多个参考发射机的信号来建立对参考发射机的相对定位。如果发射机的绝对位置已知,则这些方法也可以用于绝对定位。基于无线电的解决方案适用于室内和室外,并且此外在调制方法的使用、带宽、频率、使用的天线数量(关键字:mimo)等方面有所不同。基于无线电的定位方法的一个最著名的代表可能是gps,然而,例如gps优选地或者只能在室外使用。
7.基于距离测量的定位方法:这指的是依靠用其测量距离的不同传感器技术的所有方法。这些尤其包括激光距离传感器、超声波传感器、飞行时间传感器、立体或深度相机。传感器通常以这样的方式使用,即距离信息不仅可用于单个测量点,而且可用于多个(通常是连续的)点。为此,取决于传感器的类型,可以或必须进行多于一次的测量(例如:具有旋转镜的激光扫描仪),或者必须使用多于一个的传感器(例如:超声波传感器阵列)。测量点可以被理解为一种高度轮廓,其与一种地图相比较,从该地图中可以重建信息,在空间中的哪些位置可以记录该高度轮廓。例如,通常使用所谓的slam(同步定位和映射)算法,该算法结合映射和定位的过程,使代理能够在未知环境中找到它的路。
8.基于相机或基于标记的定位方法:类似于其他两种变型,这里可以相对于环境中的已知模式来确定位置,但是基于rgb相机图像,而不是基于高度轮廓或深度图像。一方面,存在试图仅从(未改变的)环境的图像中提取特征并且从这些特征构建地图的方法(例如:orb-slam),另一方面,存在通过人工插入到环境中的标记来工作的多种方法。类似于基于无线电的定位方法,系统本身知道标记在空间中的位置,并且它自己的定位是相对于观察到的标记来执行的。这可以通过三角测量(计算图像中若干标记相对于彼此的位置)、通过
附加深度信息(例如立体视觉或附加使用tof(飞行时间)相机)、或通过随时间改变图像中的标记位置来完成。例如,可以将例如qr码形式的标记应用于地面。
9.其他方法采用地面相机,使用光流和基于特征的检测的组合。
10.此外,还可以形成上述方法的组合。特别地,应该注意,现有技术的方法、方法的部分或单独特征也可以与下面说明的发明构思结合使用。
11.发明人已经认识到,以前用于移动机器人定位的解决方案有一些缺点。例如,使用跟踪来绕过定位问题的构思很难对变化的环境做出反应。基于无线电的方法依赖于足够的信号强度,因此在大型工业设施中必须考虑例如货架或机器的大型金属表面的屏蔽特性。此外,这种定位可能高度依赖于参考发射机,其故障可以使整个系统停止。基于具有映射算法的距离测量的系统可能对记录地图或更新地图的计算能力有很高的要求。基于标记的方法又依赖于预先应用的标记,标记可能会磨损,尤其是在操作期间,这可以导致错误。
12.因此,需要一种改进的定位构思。
13.因此,本发明的目的是提供一种装置,其允许定位速度、计算工作量和定位可靠性之间的改进的折衷。
14.该目的是通过独立权利要求的主题来实现的。
技术实现要素:
15.发明人已经认识到,表面的固有特征,特别是车辆在其上移动的地面或地板的固有特征,可以在随机分布中具有足够大的特征丰度,这可以用于定位。根据本发明的实施例基于以下核心思想:提取例如将要执行导航的环境的这种固有特征的提取信息,并且与数据库进行匹配,以便通过匹配来执行定位,在该数据库中存储了环境的多个固有特征的提取信息。
16.根据本发明的实施例,一种装置包括处理单元,该处理单元被配置为从表面的扫描中获得由检测单元提供的扫描信息,其中扫描信息包括关于表面的固有特征的信息。此外,处理单元被配置为从扫描信息中提取固有特征的提取信息,并且基于提取信息执行与数据库的匹配,其中表面的多个固有特征的提取信息被存储在数据库中。此外,处理单元被配置为基于匹配来确定检测单元的位置。
17.检测单元例如可以是光学检测单元,例如相机。表面的固有特征可以例如特别是描述表面随机分布特性的特征,即,例如,不是故意或以组织或预定的方式引入表面的特征。在该上下文中,固有特征可以包括例如视觉上可识别的、可区分的特征,该特征在整个表面上变化,并且优选地经由表面的局部有限的可变单独特征可区分,诸如表面具有的或用作其载体的材料。例如,这可以是表面的色斑或其他对比度差异或高度轮廓。此类特征的形成可以在制造过程期间随机发生,与使用诸如测量标记或qr码的标记相反,这些标记不被认为是相对于本发明的固有特征,因为它们是专门应用的。因此,发明构思能够例如简单地使用环境的主要特性,而不必引入编码信息。此外,通过借助于与数据库的匹配来确定位置,确定例如相对于空间中的位置的绝对位置是可能的,而不需要与参考位置或已知自己的开始信息进行附加的匹配,例如在测量速度或加速度的积分方法中。然而,应当注意,发明构思也可以通过这种另外的定位方法或部分方法来扩展。
18.根据本发明的实施例,一种系统包括:一个或多个在前面和下面解释的装置;表
面,具有固有特征,该装置被布置为相对于该表面是可移动的,并且被配置为确定检测单元相对于该表面的位置;以及数据库。
19.特别地,该装置可以具有检测单元,使得该装置(例如实现为移动机器人)可以通过确定检测单元的位置来确定其自己的位置。本发明的整个系统可以例如用作分拣系统的一部分,其中该表面是例如移动机器人在其上移动的地面。例如,由于根据本公开的快速且鲁棒的定位,这种整体系统的效率可以比先前的解决方案更高。
20.根据本发明的实施例,一种用于确定检测单元的位置的方法包括从检测单元获得扫描信息,其中扫描信息是表面的扫描,并且其中扫描信息包括关于表面的固有特征的信息。此外,该方法包括:从扫描信息中提取固有特征的提取信息;基于提取信息执行与数据库的匹配,其中,数据库存储表面的多个固有特征的提取信息;以及基于匹配来确定扫描单元的位置。这种方法实现检测单元的快速且鲁棒的定位,并且例如特别是在没有关于其自己位置的先验信息的情况下的定位。
21.根据本发明的实施例,一种用于在数据库中存储提取信息以供本发明的装置使用的方法包括获得扫描信息,其中,扫描信息是表面的扫描,并且其中,扫描信息包括关于表面的固有特征的信息。该方法还包括:从扫描信息中提取固有特征的提取信息;以及将表面的固有特征的提取信息存储在数据库中。
22.通过将提取信息存储在数据库中,可以使本发明的检测单元定位是可行的。由于例如关于提取、信息内容的阈值的可选使用、描述符的可选确定以及提取信息的评估的信息的模拟处理,例如在使用移动机器人的情况下,通过一个或多个位置精确已知的机器人,例如通过附加系统,可以执行环境(例如地表面)的映射。
23.根据本发明的实施例,一种计算机程序包括程序代码,当程序在计算机上运行时该程序代码用于执行本发明方法。
24.根据本发明的实施例,该装置包括被配置为提供扫描信息的检测单元。
25.例如,将检测单元集成到被实现为移动机器人的装置中实现装置的定位。此外,检测单元在装置上的限定布置可以用于操纵,例如改进扫描信息,例如当知道装置相对于表面的位置时用于扫描信息的光学校正。
26.根据本发明的实施例,处理单元被配置为基于与数据库的匹配来确定检测单元在空间中相对于表面的固有特征的位置。
27.通过确定检测单元的位置,例如方位,并且因此例如也确定装置的位置,可以实现更高级别的轨迹规划,例如具有避免碰撞和可能速度的计算。
28.根据本发明的实施例,考虑到扫描单元的光学特性,处理单元被配置为从扫描信息中提取固有特征的提取信息。
29.考虑检测单元(例如相机)的光学特性,可以有助于改进提取信息的质量。光学特性可以包括例如焦距、孔径角或其他参数,诸如所使用的透镜。此外,在装置包括检测单元的情况下,也可以考虑检测单元相对于装置的位置和取向。
30.根据本发明的实施例,处理单元被配置为在检测扫描信息时,基于关于检测单元在空间中的位置的粗略信息来选择数据库的提取信息的选择部分,并且使用选择部分进行匹配。
31.粗略信息可以是例如检测单元或装置的最后确定的位置。通过形成当前处理步骤
的先验信息的这种已知信息,例如,可以选择数据库中适合匹配的区域,换句话说,该区域包含固有特征的提取信息,该固有特征可以由检测单元在该处理步骤中相对于检测单元的最后位置到达。这可以减少计算工作量和/或改进位置信息的准确性。
32.根据本发明的实施例,处理单元被配置为从扫描信息中确定描述符作为基于表面的固有特征的提取信息的一部分,并且基于描述符执行与数据库的匹配,其中针对表面的多个固有特征的描述符存储在数据库中。
33.描述符可以是固有特征或固有特征的一部分(例如子特征)的数学描述。例如,在色斑在地表面上的情况下,可以计算描述色斑形状的描述符。例如,hu矩可以用于该目的。描述符实现对固有特征的分类,并且因此实现更好地与数据库匹配,因为描述符实现例如对固有特征的更精确描述,从而例如实现与存储特征的更可靠的关联。此外,旋转变化描述符可以用于例如确定固有特征相对于检测单元的位置,从而确定检测单元本身的位置。
34.根据本发明的实施例,处理单元被配置为确定旋转不变描述符作为基于表面的固有特征的提取信息的一部分。
35.旋转不变描述符可以用很少的计算工作量来确定,例如作为图像分割的副产品,例如在提取提取信息的过程中。这反过来可以实现对固有特征的分类或描述,这可以通过与数据库更准确的匹配来改进位置确定。
36.根据本发明的实施例,处理单元被配置为确定具有hu矩和/或orb特征的描述符。
37.hu矩和/或orb特征(orb=快速定向和旋转(oriented fast and rotated)brief,技术术语)形成可以用很少的计算工作量来确定的描述符的示例,使得它们适用于移动机器人。
38.根据本发明的实施例,表面的固有特征是具有随机属性的随机分布特征。
39.随机分布特征可以是例如移动机器人行进的地面的图案,其具有不同的尺寸、形状、颜色或纹理。此外,它也可以是地表面的高度轮廓。通过能够基于这种特征执行定位,本发明构思可以用于各种环境或应用中,而无需任何特殊准备,诸如建立无线电信标或例如以qr码的形式附加编码信息。
40.根据本发明的实施例,信息是随机分布特征的随机几何形状的描述。
41.例如,通过由检测单元检测随机分布特征的随机几何形状,通过描述几何形状的形状并且将其与数据库关联或匹配,除了位置之外,还可以确定检测单元的位置。此外,随机几何形状的数据库匹配使得能够例如对固有特征进行特别鲁棒的分类,从而实现鲁棒的位置确定。
42.根据本发明的实施例,随机分布特征具有带有随机表面面积和随机外部形状的连续区域,并且处理单元被配置为提取包括关于带有随机表面面积和随机外部形状的连续区域的信息在内的提取信息。
43.随机外部形状的随机表面面积的连续区域可以在各种工业上使用的地表面中发现,例如以色斑或其他图案的形式,使得本发明方法可以例如在没有结构改变的情况下通过提取各种现有植物中的提取信息来使用。
44.根据本发明的实施例,处理单元包括随机滤波器,并且处理单元被配置为借助于随机滤波器执行对所确定的检测单元的位置进行滤波,以确定检测单元的经滤波位置。
45.例如,通过使用随机滤波器,可以进一步改进检测单元位置的确定,特别是使用已
知的起始位置或检测单元在先前处理步骤中的位置,例如粗略信息。此外,例如来自加速度或位置传感器的附加信息也可以经由诸如卡尔曼滤波器之类的滤波器用于例如改进或冗余的位置确定。
46.根据本发明的实施例,表面的固有特征包括多个子特征,并且处理单元被配置为针对多个子特征中的每个子特征提取子提取信息的集合,并且从子提取信息的每个集合中确定值,该值与子提取信息的集合所关联的子特征的信息内容相关联。此外,处理单元被配置为将每个值与阈值进行比较,并且选择子提取信息的集合,针对所述子提取信息的集合所关联的子特征,确定值至少达到阈值,并且基于所选择的子提取信息的集合来执行与数据库的匹配。
47.例如,子特征可以是表面(例如地表面)的单独高程范围或图案。对于每个子特征,又可以提取多个子提取信息,多个子提取信息实现关于与数据库的匹配的子特征的描述。在地面的色斑的情况下,子特征可以是单色斑点,并且子提取信息的集合可以是关于色斑的位置、颜色、形状和其他特性的信息。在这方面,上述固有特征具体地可以包括多个子特征。具体地,例如,地表面的色斑作为整体可以形成固有特征,其中每个单独色斑形成子特征。然而,应当注意,固有特征也可以仅由扫描信息的子方面(诸如单色斑点)形成。由于环境或表面的扫描信息的差异化评估,各种信息可用于与数据库匹配,这可以导致例如更精确地确定检测单元的位置。阈值比较使得能够减少计算工作量,因为例如仅这种具有高信息含量的子特征的子提取信息用于与数据库进行匹配,从而可以减少歧义的风险。此外,计算可以集中在预期是好的、可区分的结果的候选者上,这实现低的计算工作量。
48.根据本发明的实施例,处理单元被配置为确定针对多个子特征中的每个子特征的描述符作为子提取信息的集合的一部分,并且基于所确定的描述符执行与数据库的匹配,其中,针对多个子特征的描述符存储在数据库中。
49.类似于确定针对固有特征的描述符,也可以针对每个子特征确定描述符,该描述符又可以用于对子特征进行分类或描述,以便通过与数据库匹配来改进位置确定。
50.根据本发明的实施例,处理单元被配置为基于相关联的子特征的出现概率来选择子提取信息的集合。
51.通过选择其对应的子特征出现概率低的子提取信息的集合,计算工作量可以很低,因为仅少量的子提取信息与数据库进行匹配。此外,由于较低的出现概率,对应的子特征可以更明确地与检测单元的位置相关联,这可以使得确定位置准确和/或鲁棒。
52.根据本发明的实施例,处理单元被配置为从子提取信息的每个集合中确定相关联的子特征的出现概率作为针对信息内容的值。
53.根据本发明,通过使用出现概率来确定信息内容,例如,提供了一种简单且易于解释的可能性来执行对子提取信息的集合的选择。
54.根据本发明的实施例,处理单元被配置为从所选择的子提取信息的集合中确定点云,并且基于点云匹配方法或算法来执行与数据库的匹配。
55.使用子提取信息的集合和子特征的位置(其可以是子提取信息的一部分),可以确定相关联的点云并且将其用于与数据库匹配。可以使用点云匹配算法的多个可能的实现,从而允许取决于可用的计算能力和架构在计算速度、计算工作量和准确性之间进行良好的折衷,例如,通过机器人本身或中央计算单元来计算移动机器人的位置。
56.根据本发明的实施例,处理单元被配置为基于迭代最近点、核相关和ransac(随机样本一致性)中的至少一种来执行数据库匹配。
57.对应的方法可以在移动处理单元中使用,而计算工作量很小。此外,它们能够与数据库进行足够准确的匹配,这可以实现自主机器人的导航。
58.根据本发明的实施例,处理单元被配置为从作为检测单元的相机获得作为图像的扫描信息,其中图像是地表面的扫描,并且其中图像包括关于图像背景和图像前景的信息,图像前景包括关于地面的多个色斑的信息。此外,处理单元被配置为从图像中提取关于图像前景的信息,并且针对多个色斑中的每个色斑,从图像前景的提取信息中提取子提取信息的集合,子提取信息的集合包括关于相关联的色斑的位置以及形状、颜色和面积参数中的至少一个的信息。
59.此外,处理单元被配置为例如从子提取信息的每个集合中确定值,该值与子提取信息的集合所关联的色斑的出现概率相关联,并且将每个值与阈值进行比较,并且选择子提取信息的集合,针对所述子提取信息的集合所关联的色斑,确定值至少达到阈值。此外,实施例的处理单元被配置为从包括关于相关联的色斑的位置的信息的所选择的子提取信息的集合中确定点云,并且基于点云和所选择的子提取信息的集合来执行与数据库的匹配,其中地表面的色斑的位置的预定点云和对应的子提取信息的集合存储在数据库中。此外,处理单元被配置为基于匹配来确定相机的位置。
60.关于色斑的位置的信息可以是关于检测单元的参考系统中的位置的信息。此外,rgb相机的使用允许例如子提取信息的容易提取,该子提取信息包含关于相关联色斑的颜色的信息。此外,可以计算描述符,例如用于色斑的例如关于它们形状的进一步分类,并且可以关于存储在数据库中的多个描述符执行与数据库的匹配。该构思实现在地表面上对相机位置的鲁棒且准确的定位。
61.根据本发明的实施例,该装置是自动和/或自主驾驶车辆,并且处理单元被配置为定位自动驾驶车辆。
62.当该装置被实现为自动驾驶车辆时,具体地可以通过集成检测单元通过确定检测单元的位置来定位车辆,该检测单元可以安装在车辆上的限定位置和地点。为了安全和有效地使用自动驾驶车辆,车辆的本发明实现使得能够进行鲁棒和快速的定位。
63.根据本发明的实施例,该装置是如用于分拣系统的机器人车辆。
64.根据实施例的分拣系统可以具有多个机器人车辆,为了有效和安全的操作,这些机器人车辆应该优选地能够确定它们自己的位置。根据本发明的定位可以例如减少安全距离以加速分拣过程。
65.根据本发明的实施例,一种用于在数据库中存储提取信息的方法包括确定与固有特征的信息内容相关联的值,并且将该值与阈值进行比较,并且如果固有特征的确定值至少达到阈值,则将表面的固有特征的提取信息存储在数据库中。
66.通过选择关于相关联固有特征的信息内容的提取信息,数据库的大小和用于与数据库匹配的计算工作量二者都可以得到改进,同时例如由于避免了不一致而改进位置确定的质量。
附图说明
67.下面将参考附图更详细地说明根据本公开的示例。关于所示的示意图,要指出的是,所示的功能框应被理解为根据本公开的装置的元件或特征和根据本公开的方法的对应方法步骤二者,并且根据本公开的方法的对应方法步骤也可以从中导出。在附图中:
68.图1示出了根据本发明实施例的装置的示意性侧视图;
69.图2a示出了根据本发明实施例的来自表面的扫描的扫描信息和提取信息的示例;
70.图2b示出了根据本发明实施例的与数据库匹配的示例;
71.图3示出了根据本发明实施例的另一扫描信息;
72.图4示出了一块具有斑点的橡胶地板的照片,其适用于本文所述pa231640的实施例;
73.图5示出了根据实施例的在图4的橡胶地板的图像中以彩色“斑点”形式的色斑的分割的示例性表示;
74.图6示出了根据实施例的在丢弃具有低信息内容的斑点之后的分割的示例性表示;
75.图7示出了待参考的观察到的点云与周围点的参考集的示意性比较,该观察到的点云可以例如根据图6中的说明获得;
76.图8示出了根据实施例执行的定位的正态分布误差的样本的示意性表示;
77.图9示出了机器人在平面中两次横穿的轨迹的示意性表示;
78.图10示出了根据实施例的在没有滤波的情况下的定位结果的示意性表示;以及
79.图11示出了根据实施例的滤波后的定位结果的示意性表示。
具体实施方式
80.在下面参考附图详细说明本发明的实施例之前,要指出的是,在不同的附图中,相同的元件、对象和/或结构或者具有相同功能或效果的元件、对象和/或结构设置有相同或相似的附图标记,使得不同实施例中所示的这些元件的描述是可互换的或相互适用的。
81.以下描述的实施例是在多个细节的上下文中描述的。然而,实施例可以在没有这些详细特征的情况下实现。此外,为了清楚起见,使用框图作为详细表示的替代来描述实施例。此外,单独实施例的细节和/或特征可以容易地彼此结合,只要没有明确地相反描述。
82.图1示出了根据本发明实施例的装置的示意性侧视图。图1示出了具有处理单元110的装置100。处理单元110可以包括微控制器,也可以包括处理器(中央处理单元cpu)和/或图形处理器单元(gpu)。
83.装置100可选地包括检测单元120。检测单元包括例如相机,诸如区域扫描相机或线扫描相机,但是也可以例如通过雷达(无线电检测和测距)或lidar(光检测和测距)被实现用于表面的其他扫描,优选地光学扫描。处理单元110被配置为从对表面130的扫描120a中获得由检测单元120提供的扫描信息,该扫描信息包括关于表面的固有特征的信息。在检测单元120不是该装置的一部分的情况下,该信息仍然可以由处理单元110诸如通过光学或基于无线电的数据传输、通过有线介质和/或通过存储介质从这样的设备获得,从而例如实现此后的定位。
84.处理单元110被配置为从扫描信息中提取固有特征的提取信息,并且基于提取信
息执行与数据库的匹配,其中数据库存储表面的多个固有特征的提取信息。此外,处理单元110包括可选的随机滤波器140。
85.固有特征可以被理解为例如借助于所使用的扫描技术可识别的特征,例如在表面上变化的光学可识别的、可区分的特征,并且优选地借助于表面的局部有限的可变单独特征可区分,例如作为表面具有的或至少用作其载体的材料的属性。例如,如果光学可识别的特征仍然被涂漆,并且油漆物理地形成表面但留下可识别的特征,则光学可识别的特征可以是载体的一部分。这种区别对于实施例来说并不重要,因此这种例如涂漆的载体仍然被理解为表面。例如,该特征是色斑或其他对比度差异和/或高度轮廓。
86.此外,处理单元100被配置为基于匹配来确定检测单元的位置。该装置例如可以是车辆,诸如图1中所示的移动机器人。作为能够进行定位的无人驾驶飞机、汽车或其他例如可移动对象的实现也是可能的。
87.与已知方法不同,实施例允许基于表面(诸如地面)的固有特征来执行检测单元的定位,例如通过评估光流来提供绝对定位。
88.处理单元110可以进一步被配置为确定检测单元在空间中相对于表面130的固有特征的位置。例如,基于检测单元120相对于地面的已知的、定义的位置,并且识别固有特征相对于检测单元的位置,例如,经由与旋转变化描述符的数据库匹配和/或点云匹配。为了进一步改进,尤其可以考虑检测单元的属性,诸如检测单元120(例如相机)的光学属性,以准备例如用于评估或信息提取的扫描信息。
89.处理单元可以被配置为例如将可能作为预处理的结果(其将在稍后讨论)的识别的固有特征与数据库进行匹配,其中数据库包含例如特征和分配的位置,使得基于匹配,分配的位置可以作为匹配的结果获得,并且定位因此基于固有特征。例如,与qr码相比,这可能意味着大大减少工作量,因为这种码不必首先应用于表面。除了位置之外,检测单元的旋转也可以从比较中获得,例如通过在数据库中存储所存储的特征的对应参考信息。
90.为了减少计算时间,处理单元110可以进一步考虑关于检测单元的位置的粗略信息,例如最后确定的位置,以便仅使用数据库的选择部分进行匹配。备选地或附加地,可以使用另外的信息,诸如车辆位于整个系统的特定部分或区段的知识,使得例如仅那些鉴于初步信息匹配是可行的或可能的数据库条目用于比较。
91.例如,处理单元110可以确定描述符作为基于表面的固有特征的提取信息的一部分,以基于描述符执行与数据库的匹配。这种描述符,即描述性标识符,可以是旋转变化的,但是优选地是旋转不变的。旋转不变描述符可以具有以下优点:在旋转下,例如在与数据库匹配期间,相对于存储在数据库中的相同但旋转的特征的描述符,与描述符相关联的特征的旋转下,它们仍然可以例如被可靠地识别或分配,例如具有高可靠性和/或准确性。这意味着即使对特征或子特征以不同的旋转角度进行定位,仍然可以基于描述符可靠地识别特征。当使用旋转不变描述符时,可以根据本发明使用点云匹配算法来确定旋转或精细确定检测单元的位置。此外,处理单元110还可以被配置为基于定向梯度直方图(hog)来确定关于固有特征的旋转的信息,并且因此最终基于例如检测单元相对于扫描信息的已知位置和定位来确定关于检测单元的旋转或定位的信息。
92.可选的随机滤波器140可以用于对所确定的检测单元的位置进行滤波,以确定检测单元的经滤波位置,例如以改进位置确定。
93.图2a示出了根据本发明的实施例的说明扫描信息的可能处理的示例性示意图,该扫描信息源自例如扫描表面,并且可以用于提取信息。图2a示出了具有示例性色斑的地板表面的扫描信息210,即表面中的颜色差异,例如从可用作例如洗衣机的基层的回收橡胶地板是已知的。
94.因此,固有特征220形成例如表面上的全部色斑,并且相关联的提取信息形成从中提取的全部信息,例如包括扫描信息210具有关于其信息的所有色斑或其一部分的整体或相对布置、形状、颜色、面积和/或位置。
95.在所示的情况下,固有特征220具有多个子特征220-1、220-2、220-3(以及其他),诸如以单独色斑的形式。应当注意,诸如单色背景的补色可以具有至少部分地例如关于形状、斑点的整体或相对布置、和/或斑点的面积的可比信息,该斑点的面积可以通过分离被视为背景的一部分。对于每个色斑,可以提取子提取信息230、240、250的相应集合。作为示例,示出了针对三个子特征220-1、220-2、220-3的提取。
96.对于子特征220-1,提取子提取信息230的集合,对于子特征220-2,提取子提取信息240的集合,对于子特征220-3,提取子提取信息250的集合。
97.子提取信息转而可以各自至少具有关于包括相关联的子特征的形状、颜色、面积参数和位置的集合的信息230-1、240-1、250-1,其中列举的内容、顺序和不同类别的数量应当被理解为仅仅是示例性的,并且不一定限制实施例。该信息可以以各种格式230-2、240-2、250-2存储。例如,该信息可以具有描述关于形状的信息的描述符。例如,关于颜色的信息可以使用rgb值或离散文本信息(例如“蓝色”)来描述。例如,描述面积内容的面积参数可以形成单个标量,诸如z1。位置又可以被确定为坐标元组,例如(位置x1,位置y1)。
98.可以从提取信息中确定值,该值与子提取信息相关的子特征的集合的信息内容相关联。根据图2a,这可以是例如面积参数。例如,可以假设大的色斑出现的频率低于小的色斑,反之亦然,或者一种颜色或形状出现的频率高于另一种颜色或形状。阈值比较230-3、240-3、250-3可以通过增加单独选择的子提取信息的信息内容来减少随后匹配数据库所需的计算工作量。例如,不考虑子特征220-2,因为它的相关联面积参数z2不满足相关联阈值240-3。这也可以以这样的方式表达,即非常可能的,即信息贫乏的子特征可以借助于阈值决策被排除或过滤掉。
99.图2b示出了根据本发明实施例的与数据库匹配的示例。图2b在框220b中示出了图2a的扫描信息210的子特征的表示,其中子特征所关联的子提取信息满足阈值。数据库270包括表面的多个固有特征或表面的固有子特征的提取信息或子提取信息。在数据库270中相关联的(未示出)子提取信息被分配给每个示出的子特征。通过例如关于子提取信息的布置和相应信息的匹配,子特征220b可以与数据库270中的信息相关联,以确定检测单元位置。
100.在实施例中,通过与数据库匹配来确定检测单元的位置可以包括若干步骤。例如,在第一步骤中,可以通过将子特征的相关联子提取信息与数据库的子提取信息进行匹配来获得子特征的可能位置的集合。由此可以确定子特征(例如斑点)在参考场中的可能位置,例如整个映射表面,例如地板表面。
101.在另一步骤中,随后可以使用点云匹配算法来抵消确定位置时的模糊性,或者换句话说,从可能位置的集合中确定子特征的真实或至少可能的位置。
102.也可以考虑附加信息,例如子特征相对于彼此的位置。例如,图2b的五个形状可以以不同的、相似的布置出现在空间数据库中,因为例如相似的子特征被映射在其他位置。在这种情况下,知道图像中存在子提取信息可能是不够的。因此,考虑元素(例如色斑或斑点)相对于彼此的布置可能是有利的或必要的。该信息可以由点云匹配算法处理,例如,以实现明确的分配。
103.在根据本发明的另外的实施例中,可以省略该另一步骤。在实施例中,可以确定非常明确的描述符,例如,仅查找数据库就足以确定子特征的位置,从而确定检测单元的位置。
104.图3示出了根据本发明实施例的另一扫描信息。图3示出了表面(例如地面)的扫描信息的高度轮廓,其中地面的子特征310例如是地面的各个高程和/或凹陷,并且其中子提取信息具有高程的高度或宽度信息320。理解为岛状结构,面积和/或形状以及高度在这里也可以用作颜色的替代或补充。
105.用于选择子提取信息的阈值例如由最小高度330形成,其中该示例也可以在深度方向上反转。因此,根据本发明的实施例不限于图像信息和/或地面。此外,环境特征也是可用的,例如,位于环境的天花板或墙壁上。例如,对于根据本发明的无人机编队,在三维空间中可以提取环境表面的固有特征的多个提取信息。
106.下面将参考图4、图5和图6更详细地描述根据本公开的另一实施例。
107.为此,图4示出了上面提到的具有色斑的一块橡胶地板的照片或图像,其例如可以至少部分地表示固有特征220。
108.该实施例的一方面形成相机形式的检测单元,该检测单元指向地面形式的表面或地表面,并且为了定位,试图或与处理单元一起形成以从记录的地面块或扫描信息中提取特殊特征,该扫描信息具有关于特殊和/或固有特征的信息,并且将其与位置已知的特征的数据库进行比较。换句话说,提取信息由相机从关于固有特征(例如,特殊特征)的信息中提取,以与数据库进行比较,其中表面的多个固有特征的提取信息存储在数据库中。
109.与基于标记的系统不同,这不涉及地面上特别应用的特征(例如qr码),也不涉及slam(“同步定位和映射”)过程,该过程从相机图像中独立提取特征并且映射它们,例如,orb-slam(orb=快速定向和旋转(oriented fast and rotated)brief,技术术语)就是这种情况。
110.为了更好地理解本发明构思,下面将例如与算法分开更详细地讨论地板表面的示例。生产如图4中所示的橡胶地板的标准过程使用回收材料(例如epdm-乙烯丙烯二烯(单体)颗粒),其以小的有色“薄片”的形式加入到基础化合物中。然后将与塑料颗粒混合的基础化合物挤出和/或轧制。该过程的结果是例如具有斑点图案的橡胶垫(切成一定尺寸或卷起),其中有斑点图案。图案的确切外观取决于加入的颗粒的类型和数量,但是所得“斑点”例如总是完全随机的,参见图4。因此,斑点是地板所固有的,并且同时由于其随机性,形成了用于定位的信息源。应该注意,根据特定的制造过程,本发明的方法不限于橡胶地板类别;例如,可以使用多种地板(例如类似于本文描述的地板)或者固有特征的不同随机性。
111.根据该实施例示例的方法的一个想法是使在制造过程期间自动创建的随机斑点图案可用于定位。为此,实施例提供了至少部分地预先在整个地表面上或整个地面上执行下述图像处理的过程以使其可用于定位,以便获得参考数据库,例如数据库中的spring,因
为这不一定是slam过程。整个处理流水线可以由以下元素组成或包括以下元素,这些元素可以顺序执行:
112.捕获图像后的第一步骤(不一定是首先要执行的)可以包括分割,其目的是从图像中分离出连续的颜色片段。这些连续的彩色区域可以被称为“(颜色)斑点”或颜色点,参见例如对图2a和图2b中的固有特征220-1、220-2和220-3的说明。换句话说,例如,在用于提取提取信息或子提取信息的第一步骤中,例如,可以分割图像以提取关于单独颜色斑点的颜色的提取信息。换句话说,例如对于单个色斑的子特征,分割形成提取信息的提取或子提取信息的提取的示例。
113.根据本文描述的实施例的系统包括本文描述的装置和具有固有特征的表面;其中该装置被布置为相对于表面可移动,并且被配置为确定检测单元相对于表面的位置。此外,该系统包括数据库。
114.这种分割的结果可以在图5中看到。在该方面,图5以图像中的彩色“斑点”的形式示出了色斑的分割。
115.根据所使用的地面类型,这里可以使用不同数量的不同分割级别。在图4和图5的示例中,地面由四种不同的颜色组成-红色、绿色、蓝色、黑色-其中主色(黑色)代表背景。该示例中的分割结果是三个二值图像,其将相同颜色的连续区域(“斑点”)与其余区域分开。尽管可以仅在其中的子集空间中执行评估,例如仅使用一种颜色或两种颜色,但是它提供了使用所有信息源的优点。
116.例如,为了使整个事务更可用于进一步的处理,或者降低计算复杂度,图像中存在的一部分信息被丢弃。所示的地面具有例如30%的epdm颗粒,红色、绿色和蓝色各10%。根据信息论基础,颜色包含最多的信息,因为地面的最大部分(70%)是黑色的。应该注意,地面或颜色部分的这种组成在这里仅旨在作为用于说明的示例,并且根据本发明的实施例不限于这种示例。
117.根据信息论基础,符号将携带最多信息,它出现的概率越低。由于鉴于生产过程,例如在图4和图5所示的地表面中,具有非常大面积的斑点出现的频率比具有小面积的斑点低,因此例如所有面积太小的斑点被丢弃。该事实不一定适用于可以根据本发明使用的所有地面。对于另一种橡胶地板,该比例很可能正好相反。重要的是要理解,斑点的筛选或丢弃,或者换句话说,子特征或其子提取信息的相关联种子的选择不一定必须基于观察到的像素面积来进行,而是例如根据特征或与特征相关联的提取信息或子提取信息来最佳地进行,所述特征或与特征相关联的提取信息或子提取信息例如是明确的并且改进和/或最大化各个元素的信息内容。可以通过观察和/或评估例如制造过程的表面,或者通过评估已经存在的地面,来确定哪些特征或阈值是合适的识别。
118.对于图6中的所有三个分割(r-g-b),可以看到上述处理的结果。
119.图6是在丢弃具有低信息内容的斑点之后的分割的表示,使得例如仅特征220-3至220-11保留用于评估片段,而诸如特征220-1和/或220-2的其他特征被忽略或过滤掉。应当注意,例如220-9、220-10和220-11特征的组合也可以被认为是组合特征。换句话说,图6示出了从其相关联的提取信息或子提取信息的集合确定值并且与阈值进行比较的特征或子特征,其中相关联的选择斑点的确定值至少满足阈值。
120.接下来,可以针对一个、若干个或所有斑点形成旋转不变特征描述符,例如作为提
取信息或子提取信息的一部分。为此,例如,可以使用所谓的hu矩,简而言之,其可以表示斑点形状的数学描述。在这一点上,也可以使用其他数学描述符,但是hu矩在算法上是非常有利的,因为它们可以在提取颜色信息的过程中作为副产品被计算,或者换句话说,从分割中是准免费的。
121.对于每个斑点,现在可以存储其位置和其hu矩。下一步骤可以在另一个抽象级别上再次执行。可以从所选择的子提取信息的集合中确定点云。因此,所有分割级别的所有斑点的位置可以被假设为一个点云。使用相机矩阵和例如到地面的已知距离,每个斑点的位置可以从像素坐标转换到世界坐标,即由斑点形成的点云中的点的距离对应于例如地面上斑点的实际或绝对物理距离。通过考虑相机形式的检测单元的其他光学特性,还可以实现从扫描信息中提取信息的进一步改进。
122.现在的目标是将获取图像的观察点云拟合到由存在于地面中并且存储在数据库中的所有斑点产生的点云,或者换句话说,是先前映射的点云。为此参见图7。
123.图7示出了左图像部分中的要参考的观察到的点云和右图像部分(右)中的周围点的参考集。图7右边可以表示数据库的部分的简化视图。示例性地示出了颜色斑点的匹配分组46。
124.可以使用点云匹配算法(例如,“迭代最近点
”‑
简称为icp)来实现拟合。该过程不限于使用迭代最近点算法;还有其他算法,例如核相关或ransac,其也可以用于拟合点云。
125.在这一点上,可以再次使用先前计算的描述符,例如特征描述符,因为可以利用它,如果它是以下情况则来自观察到的点云中的点可以拟合到参考云中的点:
126.a.位于相同的分割级别上(即具有相同的颜色)
127.b.根据基于特征描述符工作的度量具有小的距离(简单地说,就hu矩而言,具有相似的形状)。
128.应当注意,例如,特别是在另外的实施例中,另外的(子)提取信息也可以用于表征(子)特征,并且相应地,匹配或者换句话说,拟合也可以具有另外的边界条件。
129.将观察到的点云拟合到参考数据确保了不仅可以在一个步骤中确定例如机器人的检测单元在空间中的位置,而且可以确定其在空间中的旋转或定位。
130.在下文中,图8、图9、图10和图11用于描述根据本发明的另一实施例。该实施例使得能够借助于随机滤波器来改进位置确定,并且可以例如特别地与作为检测单元的地面相机一起使用。
131.该实施例的发明思想可以形成先前描述的发明构思的进一步发展,首先将概括地说明。
132.在所有类型的定位算法中,可能出现错误的定位。在当前实施例的上下文中,期望最小化真实世界使用的这种误差,因为例如在机器人的特定用例中,机器人否则将因为它思考时间短而非常不稳定地驱动,或者换句话说,定位暂时地反馈机器人已经跳到不同的位置。最小化可以通过统计滤波来完成,其中误差被建模为具有已知概率密度函数的随机变量。
133.滤波器可以通过统计模型完全根据数据工作(例如在“递归最小二乘”滤波器中),或者使用来自其他传感器的附加信息。在机器人学中,已经建立了使用里程计来对定位算法的结果进行滤波(例如,简单地说:“我是如何驾驶的”),因为该数据可以例如通过测量车
轮的转数容易地获得。同样,这些测量可能是错误的,但是由于车轮转数的传感器的误差通常与定位算法的误差不相关,因此可以有效地合并这两个值,以获得当前位置的更好估计。针对该任务的最常用的两种滤波器是卡尔曼滤波器和粒子滤波器。图8粗略地示出了原理。
134.图8示出了与沿两个正交方向x和y的与误差相关的正态分布定位误差的样本48的示意性表示。
135.基本上,可以使用各种滤波器,例如,在一些情况下,所使用的滤波器的类型甚至可能并不重要。为了更好地理解为什么对结果进行滤波可以有优势,或者甚至是重要的,下面将讨论图9、图10和图11。
136.图9示出了机器人在平面中两次横穿的轨迹52。单点表示由运动捕获系统测量的车辆在x-y平面上的真实位置(“地面实况”)。该曲线图反映了没有任何时间分量的覆盖的轨迹(以横向沙漏的形式,经过两次)。
137.图10示出了没有滤波的定位结果。示出了定位算法的结果。尽管仍然可以清楚地看到作为局部轨迹54的驱动轨迹,然而,错误的估计56也是清楚可见的,这可以导致轨迹54中的间隙58和/或异常值62。
138.图11示出了在滤波后的定位结果作为基于经滤波的单独定位的经滤波轨迹64。数据不像地面实况那样清晰,即仍然存在偏差,但也没有真正的异常值或间隙。
139.显而易见的是,使用附加的随机滤波器能够改进定位,例如特别是针对自主导航任务。根据本发明的机器人的里程计也可以用于进行滤波以改进位置信息。这也可以用于创建特别安全关键的系统,例如冗余系统,例如以降低错误定位和事故的概率。
140.结论和进一步评论
141.一般而言,根据本发明的实施例具有以下优点:本发明的方法在非常高的速度下仍然可以准确地运行,而没有很大的花费,例如,机器人具有检测单元(例如,当前的原型管理5m/s)。这可以是最重要的优点之一。除其他外,这也是由于所使用的算法的计算时间非常短,这是本发明装置的另一优点。
142.本发明的实施例中的图像分割和特征描述符的计算可以以高度并行的方式计算,例如在图形卡上,并且用于点云匹配的算法也可以以低计算复杂度执行(计算复杂度数量级的示例:示例性原型在jetson板上实现每秒50次定位)。换句话说,用于点云匹配的算法的计算量很小。
143.根据本发明的基于地面的定位通常具有以下优点(例如,在基于环境的定位之前或相对于基于环境的定位),即使在变化的环境(诸如自动化仓库)中,它也能鲁棒地工作。
144.优于现有解决方案的主要优点或最大优点可以是,本发明的方法(如上所述)在高速下仍然可靠地运行。
145.例如,与基于标记的方法相比,本发明构思的另一优点是,标记(例如qr码)首先不应用于地面,并且如果它们变得太旧也不必更新。此外,此类系统的示例不提供“无缝”定位,因为在标记(例如qr码)之间不识别是可能的。相比之下,本发明方法能够例如利用已经在例如地板的表面的制造过程中自动应用的特征进行无缝定位。
146.总之,根据本发明的实施例是基于例如分割色斑(例如地面中的斑点)、使用描述符(例如色斑的特征描述符)、使用点云匹配算法、以及在匹配或拟合中考虑先前提取的提取信息或子提取信息(例如先前提取的特征)的构思。
147.其他实施例可以基于红色、绿色和蓝色斑点的分割,橡胶地板中斑点的分割,使用hu矩作为特征描述符,使用icp作为点云匹配算法,以及在icp匹配中考虑hu矩。此外,例如,可以使用具有核相关的orb特征来代替具有icp的hu矩。
148.通常,根据本发明的实施例可以在技术上用于工业中使用的基本上任何形式的移动机器人。例如,如已经提及的,前述橡胶地板在许多应用中是绝对标准的,并且可以完美地用作例如工业厂房中的地板。然而,特别是因为例如与现有技术相比以非常高的速度定位的能力,所描述的发明方法特别适合于例如快速移动的移动机器人,其可以用于例如基于车辆的分拣系统或者与长距离运输相关。
149.根据本公开的实施例可以转换成slam方法,或者换句话说,用于slam方法。例如,slam的最大优点是可以应对变化的环境。让我们以包含桌椅的房间为例。椅子的位置可以随时间而改变。slam方法重新映射椅子的新位置,并且将其作为参考,直到再次改变。
150.然而,与slam方法相比,本发明方法的优点在于,地表面的固有特征被用作参考,例如在生产橡胶地板期间创建的斑点图案,从而根据本发明,不需要长期的重新映射过程,因为地面上的变化相当小,并且可以在与定位分开的过程中执行,甚至可能由另一装置/车辆执行(例如,对可能在若干年后发生的磨损迹象作出反应)。
151.根据本发明的实施例包括用于确定检测单元的位置的装置,该装置形成内部定位系统。
152.根据实施例的用于确定检测单元的位置的方法包括以下步骤:
153.从检测单元获得扫描信息,其中,扫描信息是表面的扫描,并且其中,扫描信息包括关于表面的固有特征的信息;以及
154.从扫描信息中提取固有特征的提取信息;以及
155.基于提取信息执行与数据库的匹配,其中,数据库存储表面的多个固有特征的提取信息;以及
156.基于匹配来确定检测单元的位置。
157.一种用于在数据库中存储提取信息以供根据本文描述的实施例的装置使用的方法包括以下步骤:
158.获得扫描信息,其中,扫描信息是表面的扫描,并且其中,扫描信息包括关于表面的固有特征的信息;以及
159.从扫描信息中提取固有特征的提取信息;以及
160.将表面的固有特征的提取信息存储在数据库中。
161.这种方法可选地还包括:
162.确定与固有特征的信息内容相关联的值;以及
163.将该值与阈值进行比较;以及
164.假设固有特征的确定值至少达到阈值,则将表面的固有特征的提取信息存储在数据库中。
165.所有列出的材料、环境影响、电特性和光学特性都被认为是示例,而不是穷尽的。
166.尽管已经在装置的上下文中描述了一些方面,但是应当清楚的是,这些方面也表示对相应方法的描述,使得装置的块或组件也应被理解为相应的方法步骤或方法步骤的特征。类似地,结合方法步骤来描述或被描述为方法步骤的方面也表示对对应装置的对应块
或细节或特性的描述。一些或全部方法步骤可以由硬件装置(或使用硬件装置)来执行,例如微处理器、可编程计算机或电子电路。在一些实施例中,最重要的方法步骤中的一些或更多可以由这种装置来执行。
167.取决于特定实现要求,可以在硬件中或在软件中实现本发明的实施例。可以使用数字存储介质来执行实现,例如软盘、dvd、蓝光盘、cd、rom、prom、eprom、eeprom或闪存、硬盘或任何其他磁或光存储介质,其上存储有电可读控制信号,所述信号能够与可编程计算机系统交互或互动,以便执行相应方法。因此,数字存储介质可以是计算机可读的。
168.因此,根据本发明的一些实施例包括具有电可读控制信号的数据载体,其能够与可编程计算机系统交互以便执行本文所述的任何方法。
169.一般而言,本发明的实施例可被实现为具有程序代码的计算机程序产品,该程序代码可操作以在计算机上运行计算机程序产品时执行任何方法。
170.例如,程序代码也可以存储在机器可读介质上。
171.其他实施例包括用于执行本文所述的任何方法的计算机程序,其中,该计算机程序存储在机器可读介质上。
172.换句话说,本发明方法的实施例因此是包括程序代码的计算机程序,程序代码用于在计算机程序在计算机上运行时执行本文所述的任何方法。
173.因此,本发明方法的另一实施例从而是数据载体(或数字存储介质或计算机可读介质),其上记录有用于执行本文描述的任何方法的计算机程序。数据载体、数字存储介质或计算机可读介质通常是有形的和/或非暂时性的或非暂态的。
174.因此,本发明方法的另一实施例从而是表示用于执行本文描述的任何方法的计算机程序的数据流或信号序列。数据流或信号序列可以例如被配置为经由数据通信链路(例如,经由互联网)传输。
175.另一实施例包括诸如计算机或可编程逻辑器件之类的处理设备,其被配置为或适于执行本文描述的任何方法。
176.另一实施例包括其上安装有计算机程序的计算机,该计算机程序用于执行本文所述的任何方法。
177.根据本发明的另一实施例包括被配置为向接收机发送计算机程序的装置或系统,所述计算机程序用于执行本文所述的方法中的至少一个。传输可以是例如电子的或光学的。接收机可以是例如计算机、移动设备、存储设备或类似设备。装置或系统可以例如包括用于向接收机发送计算机程序的文件服务器。
178.在一些实施例中,可编程逻辑器件(例如,现场可编程门阵列fpga)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中,现场可编程门阵列可以与微处理器交互,以执行本文描述的任何方法。通常,在一些实施例中,方法在任何硬件设备的部分上执行。这可以是通用硬件(例如,计算机处理器(cpu))或专用于方法的硬件(例如,asic)。
179.本文描述的装置可以使用例如硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来实现。
180.本文描述的装置或本文描述的装置的任何组件可以至少部分地在硬件和/或软件(计算机程序)中实现。
181.本文描述的方法可以例如使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来实现。
182.本文描述的方法或本文描述的方法的任何组件可以至少部分地由硬件和/或由软件执行。
183.上述实施例仅是对本发明的原理的说明。应当理解的是,本文所述的布置和细节的修改和变形对于本领域其他技术人员将是显而易见的。因此,本发明旨在仅由所附权利要求的范围来限制而不是由借助对本文的实施例的描述和解释所给出的具体细节来限制。
技术特征:
1.一种装置(100),包括:处理单元,被配置为:从表面(130)的扫描(120a)获得由检测单元(120)提供的扫描信息(210),所述扫描信息(210)包括关于所述表面(130)的固有特征(220)的信息;以及从所述扫描信息(210)中提取所述固有特征(220)的提取信息;以及基于所述提取信息执行与数据库(270)的匹配,其中,所述数据库(270)存储所述表面(130)的多个固有特征的提取信息;以及基于所述匹配来确定所述检测单元(120)的位置。2.根据权利要求1所述的装置(100),所述装置(100)包括被配置为提供所述扫描信息(210)的所述检测单元(120)。3.根据前述权利要求中任一项所述的装置(100),其中,所述处理单元(110)被配置为基于与所述数据库(270)的所述匹配,确定所述检测单元(120)在空间中相对于所述表面(130)的固有特征(220)的位置。4.根据前述权利要求中任一项所述的装置(100),其中,所述处理单元(110)被配置为考虑到所述检测单元(120)的光学属性,从所述扫描信息(210)中提取所述固有特征(220)的提取信息。5.根据前述权利要求中任一项所述的装置(100),其中,所述处理单元(110)被配置为:在检测所述扫描信息(210)时,基于关于所述检测单元(120)在空间中的位置的粗略信息来选择所述数据库(270)的提取信息的选择部分;以及使用所述选择部分进行匹配。6.根据前述权利要求中任一项所述的装置(100),其中,所述处理单元(110)被配置为:从所述扫描信息(210)中确定描述符,作为基于所述表面(130)的所述固有特征(220)的所述提取信息的一部分;以及基于所述描述符执行与所述数据库(270)的匹配,所述数据库(270)存储针对所述表面(130)的所述多个固有特征的描述符。7.根据权利要求6所述的装置(100),其中,所述处理单元(110)被配置为确定旋转不变描述符,作为基于所述表面(130)的所述固有特征(220)的所述提取信息的一部分。8.根据权利要求6或7中任一项所述的装置(100),其中,所述处理单元(110)被配置为确定包括hu矩和/或orb特征的描述符。9.根据前述权利要求中任一项所述的装置(100),其中,所述表面(130)的所述固有特征(220)是具有随机属性的随机分布特征。10.根据权利要求9所述的装置(100),其中,所述信息指定所述随机分布特征的随机几何形状的描述。11.根据权利要求9或10中任一项所述的装置(100),其中,所述随机分布特征包括具有随机面积和随机外部形状的连续表面;以及其中,所述处理单元(110)被配置为提取包括关于具有随机面积和随机外部形状的所述连续区域的信息在内的所述提取信息。12.根据前述权利要求中任一项所述的装置(100),其中,所述处理单元(110)包括随机滤波器(140),并且其中,所述处理单元(110)被配置为借助于所述随机滤波器(140)执行对所确定的所述检测单元(120)的位置的滤波,以确定所述检测单元(120)的经滤波位置。
13.根据前述权利要求中任一项所述的装置(100),其中,所述表面(130)的所述固有特征(220)包括多个子特征(220-1、220-2、220-3、310),并且其中,所述处理单元(110)被配置为:针对所述多个子特征中的每个子特征(220-1、220-2、220-3、310)提取子提取信息(230、240、250、320)的集合;以及从子提取信息(230、240、250、320)的每个集合中确定值,所述值与所述子提取信息(230、240、250、320)的集合所关联的子特征的信息内容相关联;以及将每个值与阈值(230-3、240-3、250-3、330)进行比较;以及选择子提取信息的集合,针对所述子提取信息的集合所关联的子特征(220-1、220-2、220-3、310),所确定的值至少达到所述阈值(230-3、240-3、250-3、330);以及基于所选择的子提取信息的集合来执行与所述数据库(270)的匹配。14.根据权利要求13所述的装置,其中,在所述数据库中存储有提取信息的所述多个固有特征的位置是已知的。15.根据权利要求13或14中任一项所述的装置(100),其中,所述处理单元(110)被配置为:针对所述多个子特征中的每个子特征(220-1、220-2、220-3、310),确定描述符作为所述子提取信息的集合的一部分;以及基于所确定的描述符执行与所述数据库(270)的匹配,其中,针对所述多个子特征(220-1、220-2、220-3、310)的描述符被存储在所述数据库(270)中。16.根据权利要求13至15中任一项所述的装置(100),其中,所述处理单元(110)被配置为基于相关联的子特征(220-1、220-2、220-3、310)的出现概率来选择所述子提取信息的集合。17.根据权利要求13至16中任一项所述的装置(100),其中,所述处理单元(110)被配置为从子提取信息(230、240、250、320)的每个集合中确定所述相关联的子特征(220-1、220-2、220-3、310)的出现概率作为针对所述信息内容的值。18.根据权利要求13至17中任一项所述的装置(100),其中,所述处理单元(110)被配置为从所选择的子提取信息的集合中确定点云,并且基于点云匹配算法执行与所述数据库(270)的匹配。19.根据权利要求18所述的装置(100),其中,所述处理单元(110)被配置为基于迭代最近点、核相关和ransac方法中的至少一种来执行与所述数据库(270)的匹配。20.根据前述权利要求中任一项所述的装置(100),其中,所述处理单元(110)被配置为:从作为检测单元(120)的相机获得作为图像的所述扫描信息(210),其中,所述图像是地表面的扫描(120a),并且其中,所述图像包括关于图像背景和图像前景的信息,所述图像前景包括关于地面的多个色斑的信息;以及从所述图像中提取关于所述图像前景的信息;以及针对所述多个色斑中的每个色斑,从所述图像前景的提取信息中提取子提取信息(230、240、250、320)的集合,所述子提取信息(230、240、250、320)的集合包括关于相关联的色斑的位置以及形状、颜色和面积参数中的至少一个的信息;以及
从子提取信息(230、240、250、320)的每个集合中确定值,所述值与所述子提取信息(230、240、250、320)的集合所关联的色斑的出现概率相关联;以及将每个值与阈值(230-3、240-3、250-3、330)进行比较;以及选择子提取信息的集合,针对所述子提取信息的集合所关联的色斑,所确定的值至少达到所述阈值(230-3、240-3、250-3、330);以及从所选择的子提取信息的集合中确定点云,所选择的子提取信息的集合具有关于所述相关联的色斑的位置的信息;以及基于所述点云和所选择的子提取信息的集合执行与所述数据库(270)的匹配,所述数据库(270)存储所述地表面的色斑的位置的预定点云和对应的子提取信息的集合;以及基于所述匹配来确定所述相机的位置。21.根据前述权利要求中任一项所述的装置(100),所述装置(100)是自动移动车辆,并且其中,所述处理单元(110)被配置为定位所述自动移动车辆。22.根据前述权利要求中任一项所述的装置(100),所述装置(100)是例如用于分拣系统的机器人车辆。23.一种系统,包括:根据前述权利要求中任一项所述的装置(100),以及表面(130),包括固有特征(220),所述装置(100)被布置为相对于所述表面(130)能够移动,并且被配置为确定所述检测单元相对于所述表面(130)的位置;以及数据库(270)。24.一种用于确定检测单元(120)的位置的方法,包括:从所述检测单元(120)获得扫描信息(210),其中,所述扫描信息(210)是表面(130)的扫描(120a),并且其中,所述扫描信息(210)包括关于所述表面(130)的固有特征(220)的信息;以及从所述扫描信息(210)中提取所述固有特征(220)的提取信息;以及基于所述提取信息执行与数据库(270)的匹配,其中,所述数据库(270)存储所述表面(130)的多个固有特征的提取信息;以及基于所述匹配来确定所述检测单元(120)的位置。25.一种用于在数据库(270)中存储提取信息以供根据权利要求1至22中任一项所述的装置(100)使用的方法,包括:获得扫描信息(210),其中,所述扫描信息(210)是表面(130)的扫描(120a),并且其中,所述扫描信息(210)包括关于所述表面(130)的固有特征(220)的信息;以及从所述扫描信息中提取所述固有特征(220)的提取信息;以及将所述表面(130)的所述固有特征(220)的提取信息存储在所述数据库(270)中。26.根据权利要求25所述的方法,所述方法还包括:确定与所述固有特征(220)的信息内容相关联的值;以及将所述值与阈值(230-3、240-3、250-3、330)进行比较;以及假设所述固有特征的确定值至少达到所述阈值(230-3、240-3、250-3、330),则将所述表面(130)的所述固有特征(220)的提取信息存储在所述数据库(270)中。27.一种包括程序代码的计算机程序,当所述程序在计算机上运行时,所述程序代码用
于执行根据权利要求24至26中任一项所述的方法。28.一种装置(100),包括:处理单元,被配置为:从表面(130)的扫描(120a)获得由检测单元(120)提供的扫描信息(210),所述扫描信息(210)包括关于所述表面(130)的固有特征(220)的信息;以及从所述扫描信息(210)中提取所述固有特征(220)的提取信息;以及基于所述提取信息执行与数据库(270)的匹配,其中,所述数据库(270)存储所述表面(130)的多个固有特征的提取信息;以及基于所述匹配来确定所述检测单元(120)的位置;以及其中,所述处理单元(110)被配置为:从作为检测单元(120)的相机获得作为图像的所述扫描信息(210),其中,所述图像是地表面的扫描(120a),并且其中,所述图像包括关于图像背景和图像前景的信息,所述图像前景包括关于地面的多个色斑的信息;以及从所述图像中提取关于所述图像前景的信息;以及针对所述多个色斑中的每个色斑,从所述图像前景的提取信息中提取子提取信息(230、240、250、320)的集合,所述子提取信息(230、240、250、320)的集合包括关于相关联的色斑的位置以及形状、颜色和面积参数中的至少一个的信息;以及从子提取信息(230、240、250、320)的每个集合中确定值,所述值与所述子提取信息(230、240、250、320)的集合所关联的色斑的出现概率相关联;以及将每个值与阈值(230-3、240-3、250-3、330)进行比较;以及选择子提取信息的集合,针对所述子提取信息的集合所关联的色斑,所确定的值至少达到所述阈值(230-3、240-3、250-3、330);以及从所选择的子提取信息的集合中确定点云,所选择的子提取信息的集合具有关于所述相关联的色斑的位置的信息;以及基于所述点云和所选择的子提取信息的集合执行与所述数据库(270)的匹配,所述数据库(270)存储所述地表面的色斑的位置的预定点云和对应的子提取信息的集合;以及基于所述匹配来确定所述相机的位置。
技术总结
发明涉及一种具有处理单元的装置,该处理单元旨在从表面的扫描中获得由检测单元提供的扫描信息,扫描信息包括关于表面的固有特征的信息。处理单元还旨在从扫描信息中提取固有特征的提取信息,并且基于提取信息执行与数据库的比较,其中表面的多个固有特征的提取信息被存储在数据库中。此外,处理单元旨在基于比较来确定检测单元的位置。较来确定检测单元的位置。较来确定检测单元的位置。
技术研发人员:扬
受保护的技术使用者:弗劳恩霍夫应用研究促进协会
技术研发日:2021.11.05
技术公布日:2023/8/9
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
