用于推导机动车的横向引导的调节参量的方法和机动车与流程

1.本发明涉及一种用于借助于机动车的至少一个摄像机的图像推导出用于机动车的横向引导的调节参量的方法。此外，本发明涉及一种设置为用于实施所述方法的计算机程序产品。此外，本发明涉及一种具有至少一个摄像机和用于执行所述方法的控制装置的机动车。


背景技术：

2.对机动车周围环境的监测对于车辆辅助系统和机动车的部分自动化行驶来说是必要的。在此，感兴趣的是，发现道路走向的待行驶车道。为此目的，机动车通常具有拍摄即将到来的道路走向的图像的摄像机。通常，在图像中识别出道路标记以确定待行驶车道。通常，接着将该车道往回投影到具有世界坐标的坐标系中。此外，借助于这些图像可以推导出用于机动车的横向引导的调节参量。为此目的，通常在坐标系中进行所投影的车道与车道标记的关联，以便推导出用于车辆的横向引导的调节参量。


技术实现要素：

3.本发明致力于这样的任务：针对用于借助于机动车的至少一个摄像机的图像推导出用于机动车的横向引导的调节参量的方法，针对用于实施该方法的计算机程序产品以及针对机动车(在该机动车中执行所述方法)给出改进的或者至少其他的实施方式，所述改进的或者至少其他的实施方式尤其消除了从现有技术中已知的解决方案的缺点。尤其是，本发明致力于这样的任务：针对所述方法、针对所述计算机程序产品以及针对所述机动车给出一些实施方式，这些实施方式的突出之处在于对调节参量和因此横向引导的更精确的和/或更节省资源的推导。
4.根据本发明，该任务通过本发明的主题来解决。有利实施方式是优选实施方式的内容。
5.本发明基于这样的一般性构思：借助于机动车的至少一个摄像机的图像从摄像机的原始测量空间和因而从摄像机的图像推导出用于横向引导的调节参量。因此，省去了在来自于图像的数据和坐标系、尤其是世界坐标系之间的投影或映射。在这里，本发明利用这样的认识：在图像和坐标系之间的投影分别需要至少一次变换。因为这类变换通常与不同参数有关，例如道路形状，所以这种变换和相应的投影是一个不普通，该问题可能导致相应的精度损失。因此，省去这类变换和与之伴随的精度损失导致对用于横向引导的调节参量的更准确的推导并且因此导致更准确的机动车横向引导和/或导致所需要资源的减少。这尤其随着到机动车的距离增大而适用，因为以上所提及的精度损失随距离通常成二次方地增大，并且因为图像随着到机动车的距离增大而包含更少像素。因此，调节参量的推导和横向引导可以借助于尤其是也用唯一的摄像机的图像精确地和/或节省资源地实现。
6.相应于这些发明构想，用机动车的至少一个摄像机拍摄在机动车环境中的道路走向的图像。道路走向包含待行驶车道，所述车道被投影到图像中。此外，根据图像基于自身
运动确定机动车的轨迹并且将该轨迹投影到图像中。以下，该轨迹也被称为行驶轨迹。在此，从被投影到图像中的车道和被投影到图像中的行驶轨迹的比较中推导出用于机动车的横向引导的调节参量。
7.用根据本发明的方法进行待行驶车道直接到图像中并且因此到二维环境模型中的投影。因此，可以省去附加的三维模型，例如回旋曲线和类似模型。这导致所述方法的简化且节省资源的执行。此外，以此方式实现，以简单的方式、例如通过样条曲线、多边形和类似方式体现车道。因此可能的是，也可靠地和简单地考虑更复杂的车道走向。
8.在推导调节参量时，有利地，待行驶车道被视为应有状态并且行驶轨迹被视为实际状态。
9.当前，“横向引导”可理解为横向于机动车行驶方向的机动车引导。车道中心引导、车道保持、尤其是车道保持辅助和类似功能尤其属于此。在进车道中心引导时，调节参量的推导有利地这样进行，使得机动车居中地在车道中行驶。在车道保持时，调节参量有利地这样进行，使得不离开该车道，尤其是这样进行，使得车道的标记不被驶过。
10.调节参量可以是任意的这样的调节参量：所述调节参量对机动车的横向引导具有影响，尤其是导致机动车的转弯行驶的改变。即，调节参量例如是转向角、转向速度或者转向力矩和类似参量。
11.显然，调节参量的“推导出”包括当前给出的调节参量中的调节参量改变。
12.根据本发明的方法使用已知的或者先前确定的待行驶车道以及至少一个摄像机的外部的且已知的校准。换言之，以已知的车道以及至少一个摄像机的外部校准为前提。
13.通过至少一个摄像机相对于机动车的校准可以对相对转向角改变到图像中的间距改变的映射进行缩放。因此，图像和环境之间的关系(也就是图像-世界关系)可以在没有车道到坐标系、尤其是世界坐标系中的明确投影的情况下来反映。这尤其使得能够对调节参量进行与速度有关的和/或因车辆特定的推导。
14.车道可以以任意的方式确定。
15.优选地，从至少一个摄像机的图像和因此同样地在至少一个摄像机的原始测量空间中例如借助于对多次梯度过渡的识别来确定车道。为此目的，可以从图像中提取表征车道的特征，以下也被称为道路边界特征。例如道路标记、例如道路边缘标记、中间条带标记和类似标记属于这些道路边界标记。同样地，道路边界特征可以是护栏和类似物。
16.替代地或者附加地，可以借助于对可行驶面、也已知为“自由空间(freespace)”和/或借助于地理地图和/或借助于语义分割来确定车道。同样地，车道可以通过与其他车辆轨迹的比较来确定，其中，为此目的，有利地考虑在道路走向的预给定部位处的典型行为，例如来自车队数据的典型行为。
17.优选地，用于确定行驶轨迹的自身运动估计根据摄像机的图像进行并因而基于摄像机或者基于图像进行。
18.可设想，为了确定行驶轨迹，使用单车道模型、尤其是阿克曼模型和/或地平面估计。即，例如借助于阿克曼模型和地平面估计来确定行驶轨迹，其中，地平面估计可能是带有噪声的。
19.替代地或者附加地，可设想，确定自身运动估计的消失点并且将其作为行驶轨迹投影到图像中。消失点在以下也被称为轨迹消失点。在此，优选地，此外确定车道的至少一
个消失点、以下也被称为车道消失点并且将其投影到图像中。然后，可以通过轨迹消失点与至少一个车道消失点的比较来推导出调节参量。在此可设想，替代于借助于单车道模型、尤其是阿克曼模型的迭代式投影，执行对调节参量的这种基于消失点的推导。
20.在待行驶车道的走向是直线的情况下，可以使用唯一的车道消失点。
21.与之相对地，如果车道是曲线的和/或弯曲，则优选使用两个或者多个车道消失点，其中，针对沿着车道的多个点分别确定相应的车道消失点并且将其投影到图像中。在此，通过这些车道消失点与轨迹消失点的比较推导出调节参量。
22.在一些有利的实施方式中，通过所投影的车道和所投影的行驶轨迹之间的按行的比较推导出调节参量。
23.通过以下方式产生对调节参量的有利推导：从所投影的车道和所投影的行驶轨迹中针对车道与行驶轨迹的碰撞求取不同的时间常数。这些时间常数也被本领域技术人员作为“到接触的时间(time to contact)”或者简短地作为“ttc”已知。在此，针对不同的时间常数中的至少一部分和因此针对ttc中的至少一部分将调节参量作为图像中的投影推导出。
24.在一些优选的实施方式中，通过实际状态和应有状态之间的按行的比较和因而有利地通过被投影到图像中作为实际状态的行驶轨迹和被投影到图像中作为应有状态的车道之间的按行的比较推导出调节参量。在此，调节参量改变可以针对不同的时间常数作为图像中的投影被推导出。
25.借助于光流确定横向的时间常数、也就是横向的ttc使得能够简单和可靠地推导出在至少一个摄像机的原始测量空间中并因此在图像中的调节参量。尤其以此方式能实现，简化和/或直接地推导出调节参量改变的速度。因此，可以以简单的方式控制对横向引导的干预的强度。
26.如以上所解释地，被推导出的调节参量有利地与横向引导的类型有关。
27.在进行车道中心引导时，可以通过到车道边缘、尤其是到车道标记的横向ttc来实现改进的横向引导。这可以使用例如用于确定车道的ttc作为调节参量改变。为了缩放到世界坐标中，足够的是，使用局部足够准确的平面模型，所述平面模型以非不变的横向速度在车道上行驶。借助于平面模型所求取的间距尤其能够实现，以无限的ttc尽可能居中地在车道中行驶。
28.显而易见的是，用根据本发明的方法也可以推导出两个或者多个调节参量。
29.显而易见的是，该方法自动化地执行。
30.优选地，该方法的实施借助于计算机程序产品、例如软件或者相应地设置的算法进行。
31.显而易见的是，这样的计算机程序产品本身也属于本发明的范围。
32.相应地构型的计算机系统可以使用于实施所述方法、尤其是计算机程序产品。
33.此外，显而易见的是，机动车同样地属于本发明的范围，在所述机动车中使用所述方法。
34.机动车具有至少一个摄像机，所述摄像机在运行时拍摄在机动车环境中的道路走向。至少一个摄像机与机动车的控制装置通信地连接，其中，控制装置构型为用于执行该方法。
35.控制装置可以至少部分地包含和/或实施计算机程序产品。同样地，控制装置可以至少部分地包含计算机系统或者与其相当。
36.机动车辆可以具有唯一的这样的摄像机、即单目摄像机)。
37.在机动车中，将调节参量有利地提供给用于实现驾驶辅助的驾驶辅助系统和/或可供该驾驶辅助系统使用。优选地，驾驶辅助系统构型为用于至少部分自主地驾驶机动车。在此，驾驶员辅助系统根据调节参量横向地引导车辆，即尤其是使机动车转向。
38.从优选实施方式、从附图和从相应的附图说明中根据附图得出本发明的另外的重要的特征和优点。
39.显而易见的是，以上所提到的和以下还要解释的特征不仅可以以分别所说明的组合、而且也可以以其他的组合或者单独地使用，而不离开本发明的框架。
40.本发明的优选的实施例在附图中示出并且在以下说明中更详尽地解释，其中，相同的附图标记涉及相同的或者相似的或者在功能上相同的部件。
附图说明
41.分别示意性地示出：
42.图1示出具有摄像机的机动车的简化的俯视图，
43.图2示出用于推导用于机动车的横向引导的调节参量的流程图，
44.图3示出由摄像机所拍摄的图像。
具体实施方式
45.为了在图1中示例性地示出的机动车1中进行横向引导、例如为了车道中心引导和/或为了保持车道，用机动车1的至少一个在图1中示出的摄像机2拍摄即将到来的道路走向4的图像3(见图3)。相应于以下解释，使用图像3用以推导用于机动车1的横向引导的调节参量、例如转向角和/或转向力矩。
46.在此，在图像3以内执行以下所解释的投影和推导。因此，与在图像3和坐标系之间的投影相比，防止或者至少减少由变换引起的误差和精度损失。这导致更精确地推导调节参量并且因此导致对机动车1的更精确的横向引导。在这里，需要待行驶车道5以及至少一个摄像机2的已知的外部校准。在图1中所示出的实施例中，机动车具有唯一的摄像机2。在以下说明中，以待行驶车道5和摄像机2的校准为前提。
47.在此，相应于图2地，在方法措施20中，道路走向4的待行驶车道5被投影到图像3中。方法措施20在以下也被称为车道投影措施20。在图3中示出车道5在摄像机2的图像3中的投影。所投影的车道5作为实线示出。相应于图3，待行驶车道5例如由道路边界特征9、在所示出的实施例中由道路标记12限界。道路边界特征9在图3中以虚线示出。此外，相应于图2，在方法措施21中，根据图3基于自身运动估计确定机动车1的轨迹6。以下，该轨迹6也被称为行驶轨迹6。行驶轨迹6在图3中以点划线示出。以下，方法措施21也被称为行驶轨迹措施21。自身运动估计有利地基于摄像机和/或基于图像进行。在以下的方法措施22中，从投影到图像中的车道5和投影到图像中的行驶轨迹6的比较中推导出用于机动车1的横向引导的调节参量。以下，方法措施22也被称为推导措施22。在此，在推导措施22中，车道5相当于应有状态并且行驶轨迹6相当于横向引导的实际状态。
48.在图2中所示出的流程图中认为，行驶轨迹措施21在车道投影测量20之后进行。显然，这些方法措施20，21也可以以相反的顺序或者同时地执行。
49.行驶轨迹6的确定可以借助于阿克曼模型和地平面估计来确定。接着，在行驶轨迹措施221中，将因此所确定的行驶轨迹6投影到图像3中。在此，行驶轨迹措施21也可以包括行驶轨迹6的确定。
50.为了推导调节参量并且因此在推导措施22中可以从所投影的车道5和所投影的行驶轨迹6中针对车道5与行驶轨迹6的碰撞求取不同的时间常数。这些时间常数对于本领域技术人员来说也作为“到接触的时间(time to contact)”或者简短地作为“ttc”已知并且在图3中作为“ttc”示出。在此，如在图3中所示出地，可以将用于不同时间常数的至少一部分的调节参量作为图像3中的投影推导出。这有利地通过所投影的车道5和所投影的行驶轨迹6之间的按行的比较来进行，其中，相应的行在图3中用横向延伸且平行的线示出。与之相应地，调节参量有利地由所投影的车道5和所投影的行驶轨迹6之间的按行的比较推导出。这意味着，可以由实际状态和应有状态之间的按行的比较推导出调节参量。在此，可以针对不同的时间常数将调节参量的改变作为图像3中的投影来确定，以便推导出相应地匹配的调节参量或调节参量改变。
51.替代地或者附加地，可设想，为了推导出调节参量而使用基于消失点的方案。为此目的，相应于图3地，机动车1的自身运动的消失点7(以下也称作轨迹消失点7)以及待行驶车道5的至少一个消失点8(以下也称作车道消失点8)被投影到图像3中。这尤其意味着，在行驶轨迹措施21中，由机动车1的自身运动确定轨迹消失点7并且将其投影到图像3中。此外，确定车道5的至少一个车道消失点8并且将其投影到图像3中。替代地或者附加地，在车道轨迹措施20中可以确定至少一个车道消失点8并且将其投影到图像3中。在此，调节参量通过消失点7，8的比较推导出。也就是说，在推导措施22中，调节参量通过轨迹消失点7与至少一个车道消失点8的比较来实现。在图3中所示出的实施例中示出直的车道5。因此，使用唯一的车道消失点8是足够的。与之相对地，如果车道5是曲线的和/或弯曲(未示出)，则有利地针对沿着车道5的多个点分别确定相应的车道消失点8并且通过车道消失点8与轨迹消失点7的比较推导出调节参量。
52.可设想，从摄像机2的图像3中确定车道5。这具有这样的优点：在图像3中执行所需要的措施。这导致可能的误差和/或不准确性的进一步减少。也就是说，待行驶车道5例如借助于道路边界特征9从图像3中被提取并且因此被确定。但也可设想，替代地或者附加地借助于确定可行驶面和/或借助于地理地图和/或借助于语义分割和/或通过与其他车辆轨迹的比较来确定待行驶车道5。
53.显然，连续地重复方法措施20，21，22，以便实现调节参量的相应的连续推导。
54.所述方法自动化地并且有利地借助于计算机程序产品、例如软件和/或为此而相应地设置的算法实施。
55.为了实施所述方法，机动车1如在图1中所示出地具有控制装置10，所述控制装置与摄像机2通信地连接并且相应地构型。在这里，控制装置10可以包括计算机系统11，所述计算机系统构型为用于执行所述方法、尤其是计算机程序产品。
56.尽管在上面的附图说明中仅以用于车辆1的横向引导的调节参量为主题，显而易见的是，用该方法也可以推导出两个或者多个调节参量。此外，显然的是，调节参量的推导
也包括现有的和/或给定的调节参量的改变。
57.在此，将至少一个被推导出的调节参量提供给机动车1的未示出的驾驶辅助系统。在此，驾驶辅助系统优选能使机动车1至少部分自动化地行驶，尤其是使其转向。

技术特征：
1.用于借助于机动车(1)的至少一个摄像机(2)的图像(3)推导出用于所述机动车(1)的横向引导的调节参量的方法，其中，所述至少一个摄像机(2)拍摄道路走向(4)的图像，-其中，将所述道路走向(4)的待行驶车道(5)投影到所述图像(3)中，-其中，所述机动车(1)的行驶轨迹(6)根据所述图像(3)基于自身运动估计来确定并且被投影到所述图像(3)中，-其中，从被投影到所述图像中的车道(5)和被投影到所述图像中的行驶轨迹(6)的比较中推导出用于所述机动车(1)的横向引导的调节参量。2.根据权利要求1所述的方法，其特征在于，所述行驶轨迹(6)借助于单车道模型、尤其是借助于阿克曼模型和地平面估计来确定。3.根据权利要求1或2所述的方法，-从所投影的车道(5)和所投影的行驶轨迹(6)中针对所述车道(5)与所述行驶轨迹(6)的碰撞求取不同的时间常数，-针对不同的时间点的至少一部分将所述调节参量作为所述图像(3)中的投影推导出。4.根据权利要求1至3中任一项所述的方法，其特征在于，通过所投影的车道(5)和所投影的行驶轨迹(6)之间的按行的比较推导出所述调节参量。5.根据权利要求1至5中任一项所述的方法，其特征在于，-确定所述自身运动估计的轨迹消失点(7)并且将其作为行驶轨迹(6)投影到所述图像(3)中，-确定所述车道(5)的至少一个车道消失点(8)并且将其投影到所述图像(3)中，-通过所述消失点(7，8)的比较推导出所述调节参量。6.根据权利要求5所述的方法，其特征在于，在车道(5)为曲线的情况下，为沿着所述车道(5)的多个点分别确定相应的车道消失点(8)，并且通过所述车道消失点(8)与所述轨迹消失点(7)的比较推导出所述调节参量。7.根据权利要求1至6中任一项所述的方法，其特征在于，从所述图像(3)中借助于道路边界特征(9)确定所述待行驶车道(5)。8.根据权利要求1至7中任一项所述的方法，其特征在于，借助于确定能行驶面和/或借助于地理地图和/或借助于语义分割和/或通过与其他车辆轨迹的比较来确定所述待行驶车道(5)。9.计算机程序产品，所述计算机程序产品设置为用于，实施根据权利要求1至8中任一项所述的方法。10.机动车(1)，所述机动车具有至少一个在运行时拍摄道路走向(4)的图像(3)的摄像机(2)，并且具有与所述至少一个摄像机(2)通信地连接的控制装置(10)，所述控制装置这
样构型，使得该控制装置执行根据权利要求1至9中任一项所述的方法。

技术总结
本发明涉及一种用于借助于机动车(1)的至少一个摄像机(2)的图像(3)推导出用于机动车(1)的横向引导的调节参量的方法，其中，所述至少一个摄像机(2)拍摄道路走向(4)的图像。所述调节参量的更精确的和/或更节省资源的推导和因此所述机动车(1)的横向引导由此实现：将待行驶车道(5)以及所述机动车的行驶轨迹(6)投影到所述图像中，并且由此实现：从被投影到所述图像中的车道(5)和所述被投影到所述图像中的行驶轨迹(6)的比较中推导出用于所述机动车(1)的横向引导的调节参量。此外，本发明涉及一种机动车(1)，在所述机动车中执行所述方法。在所述机动车中执行所述方法。在所述机动车中执行所述方法。


技术研发人员：A
受保护的技术使用者：罗伯特
技术研发日：2023.01.12
技术公布日：2023/7/21