在本车辆的自动和辅助驾驶中连续、自适应检测环境特征的计算机实施的方法与流程

1.本发明涉及一种用于在本车辆的自动和辅助驾驶中连续且自适应检测环境特征的计算机实施的方法，该方法包括使用机器训练模型；本发明涉及一种经训练的机器学习模型、一种执行该方法的系统以及多个非暂态计算机可读介质。


背景技术：

2.随着交通工具越来越自动且智能，需要使得车辆能够更好地、更鲁棒地且更全面地了解其周围环境的系统。这种系统的基础是高级驾驶辅助(adas)传感器，其可以可靠地对车辆环境中的某些特征(例如道路元素等)进行检测、测量和分类。
3.车辆的高级驾驶辅助(adas)传感器获取用于车辆的高级驾驶辅助功能的各种类型的数据，其中包括图像。
4.在此上下文中，硬件和软件的最新发展都导致了人工智能(即高级驾驶辅助传感器功能中的机器学习技术)的广泛部署。
5.在高级驾驶辅助传感器功能中使用的机器学习模型的训练通常基于在机器学习模型的帮助下创建多个场景。
6.多个场景中的每个特定场景涉及环境特征的特定组合。不受限制的场景示例：有树的笔直的高速公路、没有树的笔直的高速公路、隧道入口、隧道出口、隧道内部的笔直道路、停车场、海拔没有发生改变的弯道、海拔发生改变的弯道等。通过使用机器学习模型，期望的是，车辆能够基于与训练数据相对应的有限数量的场景来识别与来自场景的组合相似的环境特征组合。
7.机器学习模型的输出数据是从生成场景解释的服务器获取的数据解释。
8.然后，每个场景都具有用于本车辆v1的相关联的指令，其目的是出于驾驶安全而采取某种动作。这些指令通常包括当手动操作车辆时发送至驾驶员的消息或当自动驾驶车辆时发送至驾驶指令的消息。这些指令超过了本发明的范围。
9.现有技术的缺点
10.尽管非常强大，但与机器学习模型相关联的主要挑战之一是对这些机器学习模型进行训练。在训练期间，向机器学习模型提供多组示例，从而允许这些机器学习模型自动学习它们旨在提取的特征的某些细节(诸如质地、形状、颜色等)。最重要的方面是，在训练期间需要提供具有高度可变性的充足示例，以便机器学习模型真正地“理解”某一特征(例如车辆中的形状和车轮、行人的轮廓等)的相关性和判别性。如果使用足够的、多样化的示例不正确地进行训练，机器学习模型将提取对象和现象的不相关属性，这些属性符合所提供的示例但是不能很好地概括。这被称为过拟合，并且是影响机器学习模型的质量和鲁棒性的一个最显著的缺点。
11.在检测、分类、分割和本地化应用的情况下，机器学习模型的训练需要手动标记的数据，从而导致在提供充足的训练示例中需要大量人力。对于深度神经网络来说尤其如此，
其中，复杂、强大的架构需要训练数十万或甚至数百万的参数。为了训练这种网络，需要数万的训练示例，以避免过拟合，并构建强大的机器学习模型。由于数据可用性和标记所需的人力有限，因此这是不实际的。
12.一种更加高效的解决方案是检测机器学习模型可能会失败的情况(诸如误报和漏报、错误分类、导致对场景的错误解释等)，并且使用这些样本或相似案例(通常称为边缘案例)执行额外训练。这大大提高了使用相对少量的额外数据的机器学习模型的精度。
13.如上所述，重要的是，获得机器学习模型可能会失败的这种边缘案例并将这些边缘案例反馈回机器学习模型重新训练，从而大大提高了其性能。这种案例不仅是由经训练的模型的局限性决定的，而且可能更通常是由环境条件决定的。此处是几个示例：
[0014]-具有挑战性的照明情况，诸如在隧道、室内停车场等中发现的照明情况可能会降低负责对车道标志、交通标志、交通信号灯等进行检测和分类的基于相机的机器学习模型的精度；
[0015]-桥、防护轨和其他金属性结构可能会对基于雷达的机器学习模型在检测和定位交通参与者和静态环境元素方面的性能产生负面影响；
[0016]-此外，复杂场景(诸如十字路口和环形交叉口)可能证明对机器学习模型具有挑战性。
[0017]
目前，机器学习模型的重新训练是在本车辆的层面下递增进行的。场景的校正是由具有这样做的处理能力的服务器的操作员手动执行的，然后，正确的数据被发送至本车辆并且用于重新训练本车辆的相应机器学习模型。
[0018]
该方法的缺点如下：
[0019]-在使用单个示例进行重新训练之后，本车辆的相应机器学习模型的改进是微不足道的；
[0020]-由于校正是手动执行的，这需要额外的时间，因此改进的速度较慢；
[0021]-在一些情况下，当服务器的操作员没有可用的信息来进行校正时，他不得不执行其他动作以找到这种信息，这需要额外的成本。
[0022]
本发明解决的问题
[0023]
出于这些原因，要解决的技术问题不仅是检测这种机器学习模型失败的情况，而且能够提取与机器学习模型已经失败的相似场景相对应的传感器数据，这些传感器数据可以在稍后被分析并用作本车辆的机器学习模型的额外训练数据。
[0024]
因此，本发明的目的是解决现有技术的缺陷，并且提供在本车辆的自动和辅助驾驶下连续自适应检测环境特征的方法，使得当由本车辆检测到这种边缘案例时，允许自动检索其他车辆的相似案例，以便检测正确的场景并更新本车辆的机器学习模型。
[0025]
表达“重新训练机器学习模型”和“更新机器学习模型”在本发明中可互换使用。


技术实现要素：

[0026]
在第一方面，本发明的主题是一种在本车辆的自动和辅助驾驶中连续自适应检测环境特征的计算机实施的方法，本车辆连接至服务器，所述服务器连接至多个其他车辆，本车辆、其他车辆和服务器设置有机器学习模型，该方法包括：
[0027]
数据收集步骤i，该数据收集步骤由该本车辆的数据收集和处理单元执行：
[0028]-由该本车辆的adas传感器获取来自本车辆的周围环境的传感器数据，该传感器数据涉及所述环境特征；
[0029]-基于该机器学习模型来解释该传感器数据以生成特定场景解释，
[0030]-根据该特定场景解释将相关联的指令发送至该本车辆的执行电子控制单元，
[0031]-如果该特定场景解释错误，从而导致错误解释的特定场景，则接收来自该执行电子控制单元的反馈，
[0032]-从与该错误特定场景解释相对应的所获取的传感器数据提取相机图像，
[0033]-对与该错误解释的特定场景相对应的这些相机图像进行编码和散列，并获得本车辆的图像散列；
[0034]-将与该错误解释的特定场景相对应的该本车辆的图像散列与所获取的传感器数据和由这些其他车辆识别所述车辆的特定相似场景的请求一起发送至该服务器；
[0035]
数据处理步骤ii，该数据处理步骤由该服务器执行：
[0036]-识别与该本车辆的错误特定场景解释相对应的这些环境特征的特定组合，
[0037]-向该多个其他车辆广播该本车辆的图像散列和服务器请求，该服务器请求请求该多个其他车辆中的每一个将以下各项数据传送至该服务器：
[0038]-由所述车辆根据从该本车辆接收的该数据图像散列获得的特定相似场景，
[0039]
以及
[0040]-这些其他车辆分别在相似场景中获取的其他车辆的相关联传感器数据；
[0041]
数据处理步骤iii，该数据处理步骤由这些其他车辆相应的数据收集和处理单元执行：
[0042]-接收这些广播的本车辆的图像散列和来自该服务器的服务器请求；
[0043]-根据该服务器请求，由这些其他车辆中的每一个的adas传感器从所述每个其他车辆的周围环境获取传感器数据，
[0044]-由这些其他车辆处理所获取的传感器数据，包括：对来自所获取的传感器数据的其他车辆的相机图像进行提取、编码和散列，获得相应的其他车辆的图像散列，
[0045]-通过超过给定阈值的相似度分数将从该本车辆和这些相应其他车辆接收的这些图像散列之间的相似度进行比较，这意味着就结构和内容而言，高相似度分数对应于相似的图像，以及
[0046]-基于该相似度分数，
[0047]-由与该相似度分数超过该给定阈值的这些图像散列相对应的所述车辆检索所获取的传感器数据和这些特定相似场景，
[0048]-将以下各项发送至该服务器：
[0049]-由所述车辆根据从该本车辆接收的该数据图像散列获得的特定相似场景，
[0050]
以及
[0051]-分别针对这些其他车辆的相似场景获取的其他车辆的相关联传感器数据；
[0052]
数据处理步骤iv，该数据处理步骤由该服务器执行：
[0053]-将以下两项进行比较：
[0054]-与该错误解释的特定场景相对应的该本车辆的传感器数据，
[0055]
与
[0056]-分别针对这些相似场景获取的其他车辆的相关联传感器数据，
[0057]-将从该本车辆和这些其他车辆接收的所获取的传感器数据进行汇总，并且使用所汇总的传感器数据来递增地重新训练该机器学习模型，
[0058]-将该递增地重新训练的模型发送至该本车辆。
[0059]
在本发明的第二方面，提出了一种用于在本车辆的自动和辅助驾驶中连续自适应检测环境特征的训练方法，该训练方法基于额外训练数据由服务器根据任一实施例中的步骤4执行，其中，该额外训练数据是与本车辆的错误场景解释相对应的相应其他车辆的相关联获取的传感器数据。
[0060]
在本发明的第三方面，提出了一种根据任一实施例的方法训练的经训练的机器学习模型。
[0061]
在本发明的第四方面，提出了一种数据处理系统，该数据处理系统包括：
[0062]-本车辆，
[0063]-服务器，
[0064]-多个其他车辆，
[0065]
电信网络，该电信网络将该本车辆和其他车辆中的每一个连接至该服务器，
[0066]
其中，该系统包括被配置为执行任一实施例的方法的步骤的装置。最后，在本发明的第五方面，提出了存储有指令的多个非暂态计算机可读介质，这些指令当由服务器、本车辆和其他车辆中的一个或多个相应处理器执行时，使得相应一个或多个服务器处理器执行任一实施例中的方法。
[0067]
进一步的有利实施例是从属权利要求的主题。
[0068]
本发明的优点
[0069]
使用根据本发明的方法的主要优点如下：
[0070]-通过重新训练对本车辆的相应机器学习模型的改进程度高于现有技术水平，因为存在传感器数据(包括由遇到相似场景的多个车辆收集的图像的子集)，从而导致训练数据的可变性程度高得多；
[0071]-改进的时间显著缩短，一方面是因为数据采集过程的自动化，另一方面是因为节省时间；
[0072]-节省财政资源，因为除在本发明的方法中描述的动作之外，不需要执行任何其他动作来获得信息以重新训练模型。
[0073]-以高效的方式分配服务器的额外计算资源并且使用相对少量的额外数据极大提高了机器学习模型的精度。
[0074]-这种方法有利地允许不断改进交通参与者和静态环境元素的基于机器学习的检测和分类，这些静态环境元素诸如：车道、交通标志、交通信号灯、道路标记。
[0075]
本发明的其他特殊特征和优点可以从下面的描述和附图中得出。
附图说明
[0076]
图1是根据本发明的方法的示意性框图。
[0077]
图2a是本车辆遇到边缘案例的情况的场景的示意性表示。
[0078]
图2b是与由其他车辆vi之一识别的与图2a的场景相似的场景的示意性表示。
具体实施方式
[0079]
现在参考图1，展示了本发明的示例性实施例。
[0080]
本发明的方法在系统中执行，该系统包括：
[0081]-本车辆v1，
[0082]-服务器，
[0083]-多个其他车辆vi，其中，i＝2，...n，
[0084]-电信网络，该电信网络将该本车辆v1和其他车辆vi中的每一个连接至该服务器。
[0085]
本车辆v1、其他车辆vi设置有高级驾驶辅助(adas)传感器。
[0086]
服务器可以单件硬件服务器或多件硬件服务器，其既可以物理上邻近电信网络放置也可以在电信网络内进行通信。服务器的配置是根据现有技术进行的。
[0087]
本车辆v1、其他车辆vi和服务器设置有相同的机器学习模型。应理解，如果本领域的专家认为需要对每个车辆和/或服务器的机器学习模型进行微小调整，则这种微小调整落入“相同机器学习模型”的范围内。
[0088]
为了便于理解本发明，参考图2a和图2b考虑了具体的示例。在图2a的现实世界的场景中，存在隧道入口。例如，由于雷达传感器的性质，本车辆的感知系统可能会由于隧道墙壁的雷达反射而解释本车道上存在其他车辆，从而导致不希望的操作，诸如突然改变车道。本车辆的驾驶员将校正自动驾驶系统的动作。
[0089]
图2b表示了可由其他车辆通过本发明检测到的与车辆v1遇到的场景相似的场景，但存在以下不相关的差异：存在短尾猫、植被等。
[0090]
现实世界的风景被认为是动态的，即其随车辆行驶时位置的改变而连续地改变。出于例证的目的，图2a展示了某一时刻的情况。基于该现实，需要提供一种连续自适应检测环境特征的方法，这进而要求这些场景是连续自适应且丰富的。场景的自适应是通过使用服务器、本车辆v1和其他车辆vi的机器学习模型来执行的。
[0091]
根据本发明的方法具有五个步骤。
[0092]
该方法的第一步骤为数据收集步骤i，该数据收集步骤由本车辆v1的数据收集和处理单元执行。
[0093]
通过adas传感器理解相机、激光雷达、雷达等adas传感器数据(包括但不限于由前视相机、环绕相机系统等获取的相机图像)，本车辆v1使用该adas传感器数据捕获本车辆v1周围环境的环境特征。
[0094]
这种传感器数据基于本车辆v1的机器学习模型进行处理，该机器学习模型能够对诸如交通参与者和环境特征(即车道、交通标志、交通信号灯、道路标记等)等环境特征进行检测和分类。
[0095]
通过使用机器学习模型，本车辆v1的数据收集和处理单元对传感器数据进行解释以生成特定场景解释。
[0096]
在来自图2a和图2b的示例中，预期本车辆v1的数据收集和处理单元通过使用机器学习模型根据图2b所示的场景来解释从图2a的风景获取的传感器数据，然后，根据特定场景解释将相关联的指令发送至本车辆v1的执行控制单元。
[0097]
相关联的指令对应于来自本车辆v1的特定预期的行为。
[0098]
相关联的指令的示例为：减速和打开灯，分别对应于减速和打开灯的特定预期行
为。
[0099]
通过计算置信度、可信度分数，或通过由于驾驶员干预而导致的系统脱离来连续监测和验证传感器数据处理(检测、分类等)的合理性。通过解释驾驶员的动作来执行的这种验证不是本发明的目的。
[0100]
当执行控制单元检测到边缘案例时，即任何数据不一致(诸如机器学习失败、一致性检查、高度不确定性、脱离驾驶员等)，执行控制单元将特定场景解释错误的反馈发送至本车辆v1的数据收集和处理单元，这意味着存在错误解释的特定场景。
[0101]
每当本车辆v1的预期行为与实际行为之间出现差异时，反馈都被发送至本车辆v1的数据收集和处理单元。
[0102]
在接收到反馈之后，本车辆v1的数据收集和处理单元提取来自传感器数据的相机图像，优选地来自前视相机的图像，所述相机图像与错误解释的特定场景相对应。
[0103]
然后对所提取的图像进行编码和散列。对应的本车辆v1的图像散列被发送至服务器，伴随着与错误的特定场景解释相对应的所获取的传感器数据以及由本车辆v1的数据收集和处理单元向服务器提出的请求，用于由其他车辆vi识别其他车辆vi中的每一个的特定相似场景。
[0104]
以图2a和图2b为例，从图2a提取的图像被编码、散列，并和与图像相对应的所有其他传感器数据一起被发送至服务器。在这种情况下对服务器的请求是“要求”其他车辆vi识别与从图2a提取的图像相匹配的特定相似场景。
[0105]
其他车辆vi中的每一个设置有与本车辆v1的数据收集和处理单元类似的相应数据收集和处理单元。如果相应数据收集和处理单元的功能被相同地执行，则认为数据收集和处理单元之间存在相似度。
[0106]
在由服务器执行的数据处理步骤ii中，首先识别与由本车辆v1错误解释的特定场景相对应的环境特征的特定组合。
[0107]
然后，服务器广播从本车辆v1接收的图像散列和服务器请求，该服务器请求请求多个其他车辆vi中的每一个将以下各项数据传送至服务器：
[0108]-由所述车辆vi根据从该本车辆v1接收的该数据图像散列获得的特定相似场景，
[0109]-以及
[0110]-这些其他车辆vi分别在相似场景中获取的其他车辆vi的相关联传感器数据。
[0111]
在图2a的示例中，服务器请求是指以下事实：隧道入口(特定场景)的识别存在问题；以及其他车辆vi必须发送具有相似特性(其他车辆vi的图像散列)的隧道入口的传感器数据，以及与其他车辆vi图像散列(具有相似环境特征的隧道入口)相对应的所有所获取的传感器数据：进入与本车辆v1遇到的隧道具有相似特性的隧道。
[0112]
数据处理步骤iii由这些其他车辆vi的相应数据收集和处理单元执行。
[0113]
首先，其他车辆vi的数据收集和处理单元中的每一个从服务器接收广播的本车辆v1散列的图像和服务器请求。
[0114]
然后，其他车辆vi的adas传感器根据服务器请求，参考环境特征的特定组合，从所述每个其他车辆vi的周围环境获取传感器数据。在示例中，其他车辆vi的传感器数据获取关于进入与来自服务器的请求的隧道具有相似特性的隧道的信息。该步骤的持续时间是预设的：例如：一天或一周，这取决于可用的其他车辆的数量、风景的内容等。
[0115]
然后，其他车辆vi的相应数据收集和处理单元实时处理所获取的传感器数据：处理包括从传感器数据提取相机图像，对所提取的图像进行散列以及获得相应的其他车辆vi的图像散列。
[0116]
然后，其他车辆vi的相应数据收集和处理单元通过超过给定阈值的相似度分数将从本车辆v1接收的图像散列与这些其他车辆自身相应的图像散列之间的相似度进行比较，这意味着就结构和内容而言，高相似度分数对应于相似场景。
[0117]
尽管来自服务器的广播被其他车辆vi中的每一个接收，但可能并非来自多个其他车辆vi的所有其他车辆vi都能够根据服务器请求从其相应的周围环境获取图像，例如因为来自多个其他车辆vi的一些其他车辆vi在不存在这种相似的周围环境(例如不存在隧道)的区域上行驶。相反，已经从其相应周围环境获取的图像的每个其他车辆vi将输出相应的图像散列并且将相似度分数应用于其自身图像散列与从本车辆v1接收的图像散列之间的比较。
[0118]
然后，基于相似度分数，其他车辆vi的相应数据收集和处理单元检索所获取的传感器数据和与该相似度分数超过给定阈值的图像散列相对应的所述车辆vi的特定相似场景。
[0119]
如果其他车辆vi中的至少一个能够将如上所述的获取的传感器数据发送至服务器，则本发明起作用。
[0120]
在步骤iii的结束时，其他车辆vi的相应数据收集和处理单元将以下各项发送至服务器：
[0121]-由所述车辆vi根据从该本车辆v1接收的该数据图像散列获得的特定相似场景，
[0122]-分别针对这些相似场景获取的其他车辆vi的相关联传感器数据。
[0123]
数据处理步骤iv由该服务器执行。
[0124]
在该步骤中，服务器将以下两项进行比较：
[0125]-与v1错误解释的场景相对应的本车辆v1的传感器数据，
[0126]
与
[0127]-分别针对这些相似场景获取的其他车辆vi的相关联传感器数据，
[0128]
考虑到相似度分数的定义以及其他车辆vi的机器学习模型是相同的这一事实，有理由预期前述步骤中绝大多数所述其他车辆vi的特定相似场景是相同的。在示例中，这对应于图2b中描绘的图像。
[0129]
一旦服务器已经接收到由本车辆v1和其他车辆vi获取的传感器数据，服务器就将从其他车辆vi和本车辆v1接收到的所获取的传感器数据进行汇总。这是使用服务器的机器学习模型执行的。
[0130]
这就是服务器在步骤ii中请求其他车辆vi发送分别针对这些其他车辆vi的图像散列获取的相关联传感器数据的原因。实际上，其他车辆vi的数据散列用于识别边缘案例，而出于递增地重新训练机器学习模型的目的，边缘案例的传感器数据用于汇总，因为传感器数据提供的关于环境特征的信息比单独的图像更多。
[0131]
对所获取的传感器数据进行汇总是使用适合于传感器数据的汇总技术执行的。
[0132]
然后，所汇总的传感器数据被服务器用于递增地重新训练机器学习模型。
[0133]
在步骤iv的结束时，服务器将递增地重新训练的模型发送至本车辆v1。
[0134]
服务器发送递增地重新训练的机器学习模型是以将更新发送至本车辆v1的通常方式执行的，诸如但不限于空中更新。
[0135]
然后，在由本车辆v1的数据收集和处理单元执行的数据处理步骤v中，通过用从服务器接收的递增地重新训练的机器学习模型替换现有机器学习模型来更新本车辆v1上的机器学习模型。
[0136]
再次举例，通过重新训练本车辆v1的机器学习模型，如果再次面临图2a的风景，本车辆v1的数据收集和处理单元将根据图2b的特定场景正确地解释所获取的图像，所述特定场景现在已经用这些新的环境特征丰富。
[0137]
在优选实施例中，由服务器执行的机器学习模型的重新训练被发送至多个其他车辆vi，以更新其他车辆vi上的相应机器学习模型中的每一个。
[0138]
服务器发送递增地重新训练的机器学习模型是以将更新发送至多个其他车辆vi的通常方式执行的，诸如但不限于空中更新。
[0139]
这具有以下优点：车辆vi中的每一个可以在某一时刻扮演本车辆v1的角色，并且所有其他车辆vi可以利用本车辆v1的递增地重新训练的机器学习模型。
[0140]
在另一优选实施例中，用于对环境特征进行检测和分类的机器学习模型的示例是卷积神经网络(cnn)。
[0141]
在另一优选实施例中，图像编码和散列是通过视觉词袋(bow)表示进行的。根据该技术，通过提取图像特征从原始的图像获得视觉信息。图像特征对应于图像中具有高判别值的图像的区域，从而使得其代表图像内容。然后使用特征描述符表示图像特征，这些特征描述符以紧凑的形式描述对应区域，通常考虑这些区域内的梯度分布。经典方法使用尺度不变特征变换(sift)和加速鲁棒特征(surf)技术进行特征提取和描述。
[0142]
对于图像编码和散列而言，使用视觉词袋(bow)表示是有利的，因为这种技术增强了对现实世界风景的对象的对象分类。
[0143]
在使用视觉词袋(bow)表示的另一优选实施例中，使用了二进制技术。二进制技术的非限制性示例为：二进制鲁棒独立基本特征(brief)或定向和旋转二进制鲁棒独立基本特征(orb)，产生了更紧凑的表示，降低了与图像特征的处理、存储和传输相关联的计算成本。
[0144]
使用二进制技术的优点是，它们是高效的特征点描述，这导致提高了描述图像散列的现实世界风景的本质的能力。
[0145]
视觉词袋处理技术通常包括三个阶段：
[0146]
1.训练阶段：在该阶段中，从一系列训练图像中提取图像特征。然后，视觉上相似的图像特征被分组在一起，从而获得表示一组一般化的图像特征(称为视觉单词)的所谓的视觉词汇。使用聚类技术(诸如k均值聚类和层次聚类)执行特征分组；
[0147]
2.散列(索引)阶段：该阶段能够实现图像的紧凑表示。在此，从图像提取特征。然后，使用视觉相似度标准，将这些特征与训练阶段期间生成的词汇中的单词相关联。结果是给定图像的视觉单词出现频率的直方图，其表示图像散列；
[0148]
3.视觉相似度计算：为了计算两个图像之间的视觉相似度，计算了其散列的欧氏距离或余弦相似度。
[0149]
在本发明的第二方面，提出了一种用于在本车辆的自动和辅助驾驶中连续自适应
检测环境特征的训练方法，该训练方法基于额外训练数据由服务器根据任一实施例中的步骤4执行，其中，该额外训练数据是与本车辆v1的错误场景解释相对应的相应其他车辆vi的相关联获取的传感器数据。
[0150]
在本发明的方法开始之前，服务器已经使用初始训练数据对机器学习模型进行了训练。本发明涉及连续自适应检测环境特征，包括机器学习方法的更新。在该方法开始之前，本发明不涉及机器学习模型的最初训练。这就是本发明的训练方法使用如从相应其他车辆vi接收到的额外训练数据的原因。
[0151]
在本发明的第三方面，提出了一种根据任一实施例的方法训练的经训练的机器学习模型。
[0152]
第三方面的经训练的机器学习模型产生自机器学习方法的每次更新，所述更新是本发明的方法在任一实施例中的结果。
[0153]
在本发明的第四方面，提出了一种数据处理系统，该数据处理系统包括：
[0154]-本车辆v1，
[0155]-服务器，
[0156]-多个其他车辆vi，
[0157]-电信网络，该电信网络将该本车辆和其他车辆中的每一个连接至该服务器，
[0158]
本发明的系统包括被配置为执行任一实施例中的方法的步骤的装置，如以上在关于该方法的部分中披露的。
[0159]
最后，在本发明的第五方面，提出了存储有指令的多个非暂态计算机可读介质，这些指令当由服务器、本车辆和其他车辆中的一个或多个相应处理器执行时，使得相应一个或多个服务器处理器执行任一实施例中的方法。
[0160]
因为本发明的方法在分布式系统中执行，所以系统元件中的每一个，即服务器、本车辆v1和每个其他车辆vi具有其相应的存储有指令的非暂态计算机可读介质，并且具有一个或多个处理器。根据本方法的步骤，前述系统元件中的每一个执行该方法的某些步骤，如以上在关于该方法的部分中披露的。
[0161]
工业应用
[0162]
本发明在以下情况下用于工业领域，每当存在包括服务器和车辆的系统时，其中，车辆设置有adas传感器，并且其中，服务器和车辆两者都设置有机器学习模型，并且每当需要将递增地重新训练的模型发送至所有车辆时。
[0163]
一个特定用途是在汽车行业中，其中，车辆为道路车辆。由道路车辆之一遇到的边缘案例发起对机器学习模型的递增地重新训练，然后将该重新训练的机器学习模型发送至所有车辆。
[0164]
另一特定用途是在建造行业领域中，其中，车辆是全部配备有adas传感器的起重机、推土设备、拖拉机等。由起重机、推土设备、拖拉机等之一遇到的边缘案例发起对机器学习模型的递增地重新训练，然后将该重新训练的机器学习模型发送至所有车辆。
[0165]
另一特定用途是在机器人领域，其中，车辆为配备有adas传感器的机器人。由机器人之一遇到的边缘案例发起对机器学习模型的递增地重新训练，然后将该重新训练的机器学习模型发送至所有车辆。
[0166]
以上展示的特定用途的三个非限制性示例之间的唯一区别在于现实世界风景的
内容，以及对应场景的内容。然而，内容本身不是本发明的目的。
[0167]
尽管已经详细描述了本发明的某些实施例，但是与本发明相关的领域的技术人员将认识到用于实践如以下权利要求所限定的本发明的各种可替代的设计和实施例。

技术特征：
1.一种在本车辆v1的自动和辅助驾驶中连续自适应检测环境特征的计算机实施的方法，该本车辆v1连接至服务器，所述服务器连接至多个其他车辆vi，i＝2，...n，该本车辆v1、这些其他车辆vi和该服务器设置有机器学习模型，该方法包括：数据收集步骤i，该数据收集步骤i由该本车辆v1的数据收集和处理单元执行：-由该本车辆v1的adas传感器获取来自本车辆v1的周围环境的传感器数据，该传感器数据涉及所述环境特征；-基于该机器学习模型来解释该传感器数据以生成特定场景解释，-根据该特定场景解释将相关联的指令发送至该本车辆v1的执行电子控制单元，-如果该特定场景解释错误，从而导致错误解释的场景，则接收来自该执行电子控制单元的反馈，-从与该错误特定场景解释相对应的所获取的传感器数据提取相机图像，-对与该错误解释的特定场景相对应的这些相机图像进行编码和散列，并获得本车辆v1的图像散列；-将与该错误解释的特定场景相对应的该本车辆v1的图像散列与所获取的传感器数据和由这些其他车辆vi识别所述车辆vi的特定相似场景的请求一起发送至该服务器；数据处理步骤ii，该数据处理步骤ii由该服务器执行：-识别与该本车辆v1的错误特定场景解释相对应的这些环境特征的特定组合，-向该多个其他车辆vi广播该本车辆v1的图像散列和服务器请求，该服务器请求请求该多个其他车辆vi中的每一个将以下各项数据传送至该服务器：-由所述车辆vi根据从该本车辆v1接收的该数据图像散列获得的特定相似场景，以及-这些其他车辆vi分别在相似场景中获取的其他车辆vi的相关联传感器数据；数据处理步骤iii，该数据处理步骤iii由这些其他车辆vi的相应数据收集和处理单元执行：-接收这些广播的本车辆v1的图像散列和来自该服务器的服务器请求；-根据该服务器请求，由这些其他车辆vi中的每一个的adas传感器从所述每个其他车辆vi的周围环境获取传感器数据，-由这些其他车辆vi处理所获取的传感器数据，包括：对来自所获取的传感器数据的其他车辆vi的相机图像进行提取、编码和散列，获得相应的其他车辆vi的图像散列，-通过超过给定阈值的相似度分数将从该本车辆v1和这些相应其他车辆vi接收的这些图像散列之间的相似度进行比较，这意味着就结构和内容而言，高相似度分数对应于相似的图像，以及-基于该相似度分数，-由与该相似度分数超过该给定阈值的这些图像散列相对应的所述车辆vi检索所获取的传感器数据和这些特定相似场景，-将以下各项发送至该服务器：-由所述车辆vi根据从该本车辆v1接收的该数据图像散列获得的特定相似场景，以及
‑
分别针对这些其他车辆vi的相似场景获取的其他车辆vi的相关联传感器数据；数据处理步骤iv，该数据处理步骤iv由该服务器执行：-将以下两项进行比较：-与该错误解释的特定场景相对应的该本车辆v1的传感器数据，与-分别针对这些相似场景获取的其他车辆vi的相关联传感器数据，-将从该本车辆v1和这些其他车辆vi接收的所获取的传感器数据进行汇总，并且使用所汇总的传感器数据来递增地重新训练该机器学习模型，-将该递增地重新训练的模型发送至该本车辆v1；数据处理步骤v，该数据处理步骤v由该本车辆v1的数据收集和处理单元执行：-通过用从该服务器接收的该递增地重新训练的机器学习模型替换该现有的机器学习模型来更新该本车辆v1上的该机器学习模型。2.根据权利要求1所述的方法，其中，该递增地重新训练的机器学习模型由该服务器发送至该多个其他车辆vi，以更新这些其他车辆vi上的机器学习模型。3.根据权利要求1或2所述的方法，其中，该机器学习是卷积神经网络。4.根据权利要求1至3中任一项所述的方法，其中，该图像编码和散列是通过视觉词袋(bow)技术进行的。5.根据权利要求4所述的方法，其中，这些优选的视觉词袋技术为二进制技术，诸如二进制鲁棒独立基本特征(brief)或定向和旋转二进制鲁棒独立基本特征(orb)。6.一种用于在本车辆v1的自动和辅助驾驶中连续自适应检测环境特征的训练方法，该训练方法基于额外训练数据由服务器根据权利要求1至5中任一项的步骤4执行，其中，该额外训练数据是与本车辆v1的错误场景解释相对应的相应其他车辆vi的相关联获取的传感器数据。7.一种根据如权利要求1至5中任一项所述的方法训练的经训练的机器学习模型。8.一种数据处理系统，包括：-本车辆v1，-服务器，-多个其他车辆vi，其中，i＝2，...n，-电信网络，该电信网络将该本车辆v1和其他车辆vi中的每一个连接至该服务器，其中，该系统包括被配置为执行权利要求1至5中任一项所述的方法的步骤的装置。9.一种存储有指令的多个非暂态计算机可读介质，这些指令当由服务器、本车辆v1和其他车辆vi中的一个或多个相应处理器执行时，使得相应一个或多个服务器处理器执行如权利要求1至5中任一项所述的方法。

技术总结
本发明涉及一种在连接至服务器和多个其他车辆的本车辆的自动和辅助驾驶中连续自适应检测环境特征的方法。本车辆和这些其他车辆设置有彼此相似的相应机器学习模型。该方法包括本车辆的数据收集步骤，其中，基于本车辆的机器学习模型、所获取的传感器数据(其中包括图像)来生成特定的场景解释。当接收到该场景解释错误的反馈时，将本车辆的对应图像进行编码、散列并发送至服务器，并请求向该多个其他车辆广播这些图像，以请求这些其他车辆向服务器传送特定相似场景解释。然后，这些其他车辆识别与该错误场景解释相对应的环境特征的特定组合，获取这些其他车辆自身的传感器数据并对其进行处理，即包括对图像进行提取、编码和散列。其他车辆通过超过给定阈值的相似度分数将从本车辆和这些其他车辆Vi中的每一个接收的这些图像散列之间的相似度进行比较，这意味着就结构和内容而言，高相似度分数对应于相似的数据。针对这些其他车辆的超过给定阈值的图像散列，这些其他车辆识别出特定相似场景解释并将其发送至该服务器。服务器将与这些其他车辆和本车辆的图像散列相对应的这些其他车辆的传感器数据进行汇总，递增地重新训练本车辆的机器学习模型，并将该递增地重新训练的模型一起发送至本车辆。本发明进一步涉及一种经训练的机器学习模型、一种执行该方法的系统、以及多个非暂态计算机可读介质。及多个非暂态计算机可读介质。及多个非暂态计算机可读介质。


技术研发人员：T
受保护的技术使用者：大陆智行德国有限公司
技术研发日：2021.09.21
技术公布日：2023/7/12