在车辆的边缘训练感知模型的制作方法

1.本公开涉及在配备自动驾驶系统(automated driving system，ads)的车辆的边缘以基于边缘的方式来训练有监督或半监督(supervised or semi-supervised)感知模型。


背景技术：

2.在车辆领域，开发自动驾驶车辆的活动已经有好多年。越来越多的现代车辆具有先进驾驶员辅助系统(advanced driver-assistance system，adas)以提高车辆安全性和更广泛的道路安全性。adas(例如，可以由自适应巡航控制(adaptive cruise control，acc)、避免碰撞系统、前向碰撞警告等来表示)是可以在驾驶中辅助车辆驾驶员的电子系统。此外，在不远的将来，自动驾驶(autonomous driving，ad)将在更大程度上融入现代车辆。ad以及adas在本文将被称为通用的术语自动驾驶系统(ads)，其与例如由驾驶自动化的sae j3016等级(0-5)所定义的所有不同的自动化等级相对应。ads可以被理解为各种组件的复杂组合，这些组件可以被定义为系统，其中车辆的感知、决策和操作至少部分地由电子和机械而非人类驾驶员来执行。这可以包括对车辆、目的地的处理以及对周围环境的感知。虽然自动化系统对车辆具有控制权，但它允许人类操作员将所有的或至少一些责任交给系统。为了感知其周围环境，ads通常结合各种传感器，例如，雷达、lidar、声纳、相机、导航和/或定位系统(例如gnss，如gps、里程表和/或惯性测量单元)，在此基础上，先进控制系统可以解释传感器信息以识别适当的导航路径，以及障碍物和/或相关标志。
3.此外，数据隐私保护正变得越来越重要和受重视。为了解决(一个或多个)数据隐私问题，例如考虑到深度学习(deep learning，dl)算法，本领域已知的是使用联邦学习(federated learning，fl)。已经发现，通过联邦学习训练的模型可以实现与在集中托管数据集上训练的模型相当的性能水平，以及优于只看到孤立的单一机构数据的模型的性能水平。因此，联邦学习应用正变得越来越广泛，并且这种方法可以实现协作训练，而无需将数据移出组织的防火墙、或创建或存储数据的边缘设备。替代地，对算法的训练是在每个参与的组织或边缘设备处完成的，并且仅模型特性(例如，参数和/或梯度)被传输到组织之外。因此，这使得能够训练机器学习(machine learning，ml)/深度学习(dl)/人工智能(ai)模型(例如，ads ml/dl/ai模型，如感知模型)，而无需将个人数据传输到远程服务器，有效地保护数据隐私和安全。此外，在使用联邦学习方法时，减少或甚至消除了将大量数据从设备中移出(例如，从配备ads的车辆中移出)的需要，从而使得潜在地节省大量的带宽和/或存储，同时仍然成功地利用来自这些数据的学习和/或结果。此外，联邦学习方法可以通过使得能够利用在潜在的大型生产车辆上可用的数据，来提供缩短开发循环并改进ads的软件的机会。
4.本领域已知的ads使用的ml/ai模型通常是有监督学习方法，其需要注释(例如，标记)的数据来进行训练或更新。然而，在边缘(即在各个配备ads的车辆)产生高质量的注释/标记数据不是容易的任务。传统地，数据由专用数据收集车辆或车队车辆收集并被发送到
后台。在质量检查和整理步骤之后，数据被送到场外和/或内部注释器进行标记。然而，这种方法在联邦学习设置中是不可行的，因为数据旨在留在边缘而因此不能被传输到后台进行注释。在边缘处具有熟练的人类注释者也是不可行的。
5.此外，车队车辆中可用的资源和/或传感器与专用数据收集车辆相比往往是有限的，专用数据收集车辆通常配备有昂贵且高精度的地面实况传感器。这种限制可能严重影响车队车辆中的边缘上的注释数据的质量，这进而可能影响ads学习模型的质量；如果注释的质量不够，则训练模块的性能可能下降。
6.换句话说，考虑到对数据进行注释的局限性以及配备ads的车辆中传感器和嵌入式系统的局限性，在边缘提供足够高质量的标记数据是有挑战性的。此外，不具有足够高质量的数据来更新联邦学习解决方案中的本地模型可能不利地影响或甚至毁掉全局学习模型。


技术实现要素：

7.因此，本文的实施例的目标是提供一种方法，用于以改进和/或替代方式在配备ads的车辆的边缘以基于边缘的方式来训练有监督或半监督感知模型。
8.上述目标可以通过本文公开的主题来实现。在所附的权利要求中、在以下描述中以及在附图中阐述了实施例。
9.所公开的主题涉及一种由注释处理系统执行的方法，用于在配备ads的车辆的边缘以基于边缘的方式来训练有监督或半监督感知模型。注释处理系统在车辆被驾驶时存储从一组车载周围环境检测传感器获得的传感器数据。注释处理系统进一步基于选择标准从传感器数据选择符合注释的数据。此外，注释处理系统通过使用感知学习模型对包括在符合注释的数据中的事件进行注释来生成学习模型候选。此外，注释处理系统通过以下操作生成至少第一确证(corroboration)候选：基于从所获得的传感器数据中的基于雷达和/或激光雷达的传感器数据得出的对该事件的感知预测、和/或基于在数字地图中标识该事件，来对该事件进行注释。注释处理系统进一步在至少第一确证候选中的一个或多个与学习模型候选相匹配达到满足可预先确定的确证标准的程度时，确定事件的注释，该注释基于至少第一确证候选中的一个或多个和学习模型候选两者。此外，注释处理系统基于注释来更新感知模型。
10.所公开的主题还涉及一种注释处理系统，用于(和/或适于和/或被配置用于)在配备ads的车辆的边缘以基于边缘的方式来训练有监督或半监督感知模型。注释处理系统包括传感器数据存储单元，用于在车辆被驾驶时存储从一组车载周围环境检测传感器获得的传感器数据。注释处理系统还包括数据选择单元，用于基于选择标准从传感器数据选择符合注释的数据。此外，注释处理系统包括模型候选生成单元，用于通过使用感知学习模型对包括在符合注释的数据中的事件进行注释来生成学习模型候选。此外，注释处理系统包括确证候选生成单元，用于通过以下操作生成至少第一确证候选：基于从所获得的传感器数据中的基于雷达和/或激光雷达的传感器数据得出的对该事件的感知预测、和/或基于在数字地图中标识该事件，来对该事件进行注释。注释处理系统还包括注释确定单元，用于在至少第一确证候选中的一个或多个与学习模型候选相匹配达到满足可预先确定的确证标准的程度时，确定事件的注释，该注释基于至少第一确证候选中的一个或多个和学习模型候
选两者。此外，注释处理系统包括感知模型更新单元，用于基于所述注释来更新感知模型。
11.此外，所公开的主题涉及一种包括本文所述的注释处理系统的车辆。
12.此外，所公开的主题涉及一种计算机程序产品，包括计算机程序，该计算机程序含有存储在计算机可读介质或载波上的计算机程序代码，该计算机程序代码被布置为使计算机或处理器执行本文所述的注释处理系统的步骤。所公开的主题还涉及一种非易失性计算机可读存储介质，其上存储有所述计算机程序产品。
13.因此，引入了一种方法，使得车辆的边缘上的数据能够以自动和高效的方式以足够质量进行注释，并随后在此基础上更新所述车辆的边缘上的感知模型。也就是说，由于在车辆被驾驶时存储了从一组车载周围环境检测传感器获得的传感器数据，从周围环境检测传感器(例如，一个或多个相机、雷达和/或激光雷达)获得的、指示车辆的周围环境的数据在车辆上被连续地和/或间歇地(例如，在可预先确定的时间段期间)收集。此外，也就是说，由于基于选择标准从传感器数据选择了符合注释的数据，被认为适合和/或有关于后续注释的数据被从传感器数据过滤，例如，通过对传感器数据运行质量检查和/或应用整理方法。此外，也就是说，由于通过使用感知学习模型对包括在符合注释的数据中的事件进行注释生成了学习模型候选，通过利用车辆的边缘上的(例如，大容量)感知学习模型对所述事件进行注释，以自动化方式产生了对事件的基于感知学习模型的注释(例如，对例如图像中的物体的至少一部分的注释)。此外，也就是说，由于通过基于从所获得的传感器数据中的基于雷达和/或激光雷达的传感器数据得出的对事件的感知预测、和/或基于在数字地图中标识事件来对事件进行注释而生成了至少第一确证候选，作为对事件的基于感知学习模型的注释的补充，额外地利用(至少部分地)基于来自一个或多个车载雷达和/或激光雷达的传感器数据的感知预测以自动化方式产生了对所述事件的至少一部分的一个或多个基于雷达和/或激光雷达的注释，和/或额外地通过在至少第一数字地图中找到所述事件的匹配产生了对事件的至少一部分的一个或多个基于数字地图的注释。因此，基于至少部分不同的输入数据和/或使用至少部分不同的用于注释的模型和/或方法，在车辆的边缘生成了对(至少部分)同一事件的多个注释候选。此外，也就是说，由于在至少第一确证候选中的一个或多个与学习模型候选相匹配达到满足可预先确定的确证标准的程度时确定了事件的注释，该注释基于至少第一确证候选中的一个或多个和学习模型候选两者，基于雷达、激光雷达和/或数字地图的注释中的至少第一者和基于感知学习模型的注释被组合(在它们在可预先确定的范围内相符的情况下)，以便提供对事件的确证和/或融合注释。因此，对事件的验证和/或融合注释可以在车辆的边缘以自动和高效的方式确定。因此，所引入的概念使车辆的边缘上的数据能够以足够质量进行注释，而不需要(如本领域中公知的)人类的参与和/或交互，例如，交互式图像标记所涉及的人类注释者。此外，也就是说，由于基于注释更新了感知模型，对事件的经验证和/或确证的注释可被用作输入来训练驻留在车辆上的感知模型。因此，利用所引入的概念，在现实世界的联邦学习方案中，能够在车辆的边缘进行高效的有监督和/或半监督学习。
14.为此，提供了一种方法，用于以改进和/或替代方式在配备ads的车辆的边缘以基于边缘的方式来训练有监督或半监督感知模型。
附图说明
15.从以下具体实施方式和附图将容易地理解非限制性实施例的各个方面，包括特定的特征和优点，在附图中：
16.图1示出了根据本公开实施例的示例性注释处理系统的示意图。
17.图2是示出根据本公开实施例的示例性注释处理系统的示意性框图。
18.图3是描绘根据本公开实施例的由注释处理系统执行的示例性方法的流程图。
19.图4示出了根据本公开实施例的示例性注释处理系统的示例性注释处理的示意图；以及
20.图5示出了根据本公开实施例的示例性注释处理系统的示例性替代注释处理的示意图。
具体实施方式
21.下面将参照附图更全面地描述本公开的非限制性实施例，在附图中示出了本公开的当前优选的实施例。然而，本公开可以以许多不同的形式体现，并且不应被理解为仅限于本文所阐述的实施例。相同的参考字符通篇指代相同的元素。图中的一些方框的虚线表示这些单元或动作是可选的而不是必须的。
22.在下文中，根据本文中涉及在配备ads的车辆的边缘以基于边缘的方式来训练有监督或半监督感知模型的实施例，将公开一种方法，使得车辆的边缘上的数据能够以自动和高效的方式以足够质量进行注释，并随后在此基础上更新所述车辆的边缘上的感知模型。
23.现在参考附图，图1中描绘了根据本公开实施例的示例性注释处理系统1的示意图，图2中描绘了其示意性框图。注释处理系统1适于在配备ads 21的车辆2的边缘上以基于边缘的方式来训练有监督或半监督感知模型3。
24.车辆2(可以称为主机车辆或自主车辆)可以由任何(例如，已知的)有人驾驶或无人驾驶车辆表示，例如，发动机推进或电力驱动的车辆，如汽车、卡车、货车、面包车、公共汽车和/或拖拉机。此外，术语“车辆”可以指代“自主和/或至少部分自主的车辆”、“无人驾驶和/或至少部分无人驾驶的车辆”和/或“自动驾驶和/或至少部分自动驾驶的车辆”，并且根据示例还可以指代“生产车辆”。此外，车辆2上的ads21可以由例如本领域中已知的和/或尚未开发的任何adas或ad系统表示。此外，车辆2和/或ads 21可以包括、被提供有和/或具有车载的感知模块和/或系统(未示出)，其被适于例如在(例如，公知的)数字地图22的支持下(例如，高清晰度hd地图、和/或其等同物和/或后继者)估计车辆2的周围环境，并且随后适于估计周围环境的世界视图。感知模块可以指任何公知的系统和/或功能，其例如包括在车辆2和/或ads 21的一个或多个电子控制模块ecu和/或节点中，被适于和/或配置为解释传感器信息(与车辆2的驾驶相关)以识别例如物体、障碍物、车道、相关标志、适当的导航路径等。感知模块(其可以适于支持例如传感器融合、跟踪、定位等)因此可以适于依赖传感器信息。例如，这种示例性的传感器信息可以来自车辆2中包括的和/或在车辆2上提供的、适于感测和/或感知车辆2的位置和/或周围环境的一个或多个(例如，公知的)传感器，例如，由周围环境检测传感器23中的一个或多个的组合表示，如图像捕捉设备(例如，(一个或多个)相机231、(一个或多个)雷达232、(一个或多个)激光雷达233、超声波等)和/或定位系统、里
程表、惯性测量单元等。换句话说，感知模块在本文中应被理解为负责从车载传感器(例如，(一个或多个)相机231、(一个或多个)雷达232、(一个或多个)激光雷达233、超声波传感器等)获取原始传感器数据，并将该原始数据转换为场景理解的系统。另一方面，感知模型3可以由在车辆2上实时运行(和/或意图在车辆2上实时运行)、与其中的ads 21的感知模块相关联(和/或意图用于该感知模块)的任何可行的ml、dl和/或ai感知模型表示。短语“注释处理系统”可以指“注释计算系统”和/或“评估系统”，并且根据示例还可以指“注释融合和置信度分配系统”，而“由注释处理系统执行的方法”可以指“由注释处理系统执行的至少部分计算机实现的方法”。此外，“用于以基于边缘的方式”可以指“用于利用基于边缘的方法”，并且根据示例还可以指“用于以基于联邦学习的方式”，而“训练有监督或半监督感知模型”可以指“训练有监督或半监督感知模型”、“教导有监督或半监督感知模型”、“训练感知模型”和/或“训练ml、dl和/或ai感知模型”。根据示例，“感知模型”可以指“视觉感知模型”。另一方面，短语“在车辆的边缘”可以指“在车辆上和/或驻留在车辆上”和/或“意图在车辆中实时运行”。
25.如在示例性的图1-2中以示例性方式所示，注释处理系统1(例如，通过传感器数据存储单元101)被适于和/或配置为在车辆2被驾驶时存储从一组车载周围环境检测传感器23获得的传感器数据4。因此，从周围环境检测传感器23(例如，一个或多个相机231、雷达232和/或激光雷达233)获得的、指示车辆2的周围环境的数据4在车辆2上被连续地和/或间歇地(例如，在可预先确定的时间段期间)收集。
26.传感器数据4可以以任何可行的方式存储，例如，存储在具有任何可行的(一个或多个)大小和/或(一个或多个)尺寸的一个或多个数据缓冲器中，如环形缓冲器。另一方面，该组车载周围环境检测传感器23可以由任何可行数量和/或组合的、适于捕获车辆周围环境的车载传感器来表示(例如，结合上述感知模块所提到的那些)，并且可以例如包括(一个或多个)相机231、(一个或多个)雷达232和/或(一个或多个)激光雷达233的组合。短语“存储[...]传感器数据”可以指“连续地和/或间歇地存储[...]传感器数据”、“在可预先确定的时间段期间存储[...]传感器数据”、“在所述车辆上(例如，在一个或多个数据缓冲器中，如环形数据缓冲器)存储[...]传感器数据”和/或“收集、缓冲和/或记录[...]传感器数据”，而“从一组车载周围环境检测传感器获得的传感器数据”可以指“从一组车载周围环境检测传感器获得的、指示所述车辆的周围环境的传感器数据”、“从一组车载周围环境检测传感器获得的一组传感器数据”、“在一组车载周围环境检测传感器的支持下和/或利用一组车载周围环境检测传感器获得的传感器数据”、“从两个或更多个车载周围环境检测传感器获得的传感器数据”和/或“从两个或更多个不同模态的车载周围环境检测传感器获得的传感器数据”。根据示例，“从一组车载周围环境检测传感器获得的传感器数据”还可以指“从一组车载周围环境检测传感器获得的传感器数据，所获得的传感器数据包括从至少第一车载相机获得的基于相机的传感器数据、以及从至少第一车载雷达获得的基于雷达的传感器数据和/或从至少第一车载激光雷达获得的基于激光雷达的传感器数据”。此外，根据示例，“传感器数据”可以指“感知数据”。另一方面，短语“在所述车辆被驾驶时”可以指“当所述车辆被驾驶时”和/或“在所述车辆的驾驶过程中”。
[0027]
如在示例性的图1-2中以示例性方式所示，注释处理系统1还(例如，通过数据选择单元102)被适于和/或配置为基于选择标准从传感器数据4选择符合注释的数据5。因此，被
认为适合和/或有关于后续注释的数据5被从传感器数据4过滤，例如，通过对传感器数据4运行质量检查41和/或应用整理方法42。
[0028]
这种(例如，已知的)质量检查41可以例如包括自动检查，其被运行以确保收集数据4的质量足够好，例如，没有检测到故障传感器或没有检测到记录问题或类似问题。质量检查41例如可以是传感器相关异常检测算法或故障预测算法，或考虑到关于传感器规格的先验知识对记录数据4的值进行的一些逻辑检查，等等。另一方面，整理方法42可以例如包括(例如，已知的)方法，例如，高效采样(例如，基于帧之间的时间或空间距离来选择帧)、基于查询和/或过滤的方法(例如，基于特定条件挖掘数据，如具有高事故概率或图像中的动物等)、智能整理方法(例如，主动学习，如找到当前模型3对其具有低预测性能的样本)等等。选择标准可以相应地涉及和/或包括用于过滤被认为符合后续注释的数据5的任何可行的可预先确定的规则。符合注释的数据5可以具有任何可行的格式和/或大小，并进一步以任何方式存储和/或保留在例如一个或多个缓冲器(例如，称为符合注释的数据缓冲器)中。短语“基于选择标准来选择”可以指“基于选择标准来缓冲”、“基于选择标准来过滤”、“通过应用选择标准来选择”、“基于可预先确定的选择标准来选择”和/或“从运行质量检查(例如，传感器质量检查和/或整理)来选择”，而“符合注释的数据”可以指“可注释的数据”、“被认为符合后续注释的数据”和/或“整理的数据”。
[0029]
如在示例性的图1-2中以示例性方式所示，注释处理系统1还(例如，通过模型候选生成单元103)被适于和/或配置为通过使用感知学习模型对包括在符合注释的数据5中的事件进行注释来生成学习模型候选51。由此，通过利用车辆2的边缘上的(例如，大容量)感知学习模型对所述事件进行注释，以自动化的方式产生了对事件的基于感知学习模型的注释51(例如，对例如图像中的物体的至少一部分的注释51)。也就是说，意图在车辆2上实时运行的感知模型3通常具有有限精度(例如，针对其权重为int8)和/或数量的参数，因为所述感知模型3意图以有限hw来与ads 21的其他模块一起在车辆2上实时运行。然而，为了生成基于感知模型的注释51，可以使用一个或多个更高精度(例如，float32权重)或更大容量的网络(例如，使用更多参数)和/或通常具有(在实时情况下无法获得的)更高推理时间的递归nn。
[0030]
该事件可以由符合注释的数据5的任何(例如，至少基于相机的)子集表示，例如，动态和/或静态物体、多边形、语义区域等的至少一部分，并且可以例如由另一车辆、其他交通参与者(的至少一部分)表示，例如，(一个或多个)行人和/或(一个或多个)骑车人员、实线或虚线车道标记、停车线、人行横道、人行道、交通灯、箭头和/或杆等。此外，该事件可以例如利用(示例性的多个注释生成子模块6中的)示例性的感知模型注释子模块61、以任何可行(例如，已知的)方式、使用车辆2中的边缘上的至少第一感知学习模型来进行注释。感知学习模型可以例如由大容量或更大容量、和/或高精度或更高精度的ml、dl和/或ai感知模型来表示，例如，视觉感知模型。根据示例，并且如图4和图5页面顶部(“基于大容量ml/dl的感知模型1/2/3”)以示例方式所示，学习模型候选51(即对事件的基于感知学习模型的注释51)可以通过融合和/或结合来自不同的物体检测模型的输入来生成，物体检测模型例如faster rcnn、yolo和/或retinanet等，其例如可以包括在车辆2的边缘上的不同感知学习模型中。此外，对于要注释的每个事件，可以存在缓冲的(例如，在(一个或多个)示例性符合注释的数据缓冲器中)、在事件之前开始和/或在事件之后结束的时间序列。相邻帧中的信
息可用于通过过滤、一致性执行、使用递归模型等来改善目标帧中的注释生成，此外，还可以缓冲不被注释但支持自动化的信号源。因此，为了提高学习模型候选51的质量，可以使用期望帧前后的无关联预测跟踪，如本领域已知的。换句话说，缓冲数据中可用的相邻帧的信息可用于通过过滤和平滑(例如，通过卡尔曼(kalman)滤波器、粒子滤波器、固定滞后(fixed-lag)平滑器等)、通过一致性执行(例如，空间-时间一致性损失，如使用impu/gps信息)、通过使用递归/时间模型(例如，变换器、递归神经网络，如lstm等)来提高目标帧中的注释生成的质量。短语“生成学习模型候选”可以指“产生学习模型候选”，并且根据示例还可以指“例如通过感知模型注释子模块生成学习模型候选”、“例如通过基于ml/dl的感知模型注释子模块生成学习模型候选”、“例如通过大容量感知模型注释子模块生成学习模型候选”和/或“例如通过视觉感知模型注释子模块生成学习模型候选”。此外，“生成学习模型候选”可以指“生成学习模型注释候选”、“生成基于感知模型的注释”和/或“生成基于学习模型的注释”。另一方面，短语“包括在所述符合注释的数据中的事件”可以指“包括在所述符合注释的数据中的子集”和/或“包括在所述符合注释的数据中的事件(例如，物体、多边形和/或语义区域的至少一部分)”，而“使用感知学习模型”可以指“使用至少第一感知学习模型”、“使用感知学习模型的预测”和/或“通过感知学习模型”。根据示例，“使用感知学习模型”还可以指“在一个或多个物体检测模型(例如，faster rcnn、yolo、retinanet等)的支持下使用感知学习模型”和/或“在使用不同物体检测模型的一个或多个其他感知学习模型的支持下使用感知学习模型”。此外，“感知学习模型”可以指“所述车辆的边缘上的感知学习模型”、“ml、dl和/或ai感知学习模型”和/或“大容量或更大容量、和/或高精度或更高精度的ml/dl感知学习模型”，并且根据示例还可以指“大容量视觉基于ml/dl的感知学习模型”。
[0031]
如在示例性的图1-2中以示例性方式所示，注释处理系统1还(例如，通过确证候选生成单元104)被适于和/或配置为通过基于从所获得的传感器数据4中的基于雷达和/或激光雷达的传感器数据得出的对事件的感知预测、和/或基于在数字地图22中标识事件来对事件进行注释，来生成至少第一确证候选52、53。因此，作为对事件的基于感知学习模型的注释51的补充，额外地利用(至少部分地)基于来自一个或多个车载雷达232和/或激光雷达233的传感器数据的感知预测以自动化方式产生了对所述事件的至少一部分的一个或多个基于雷达和/或激光雷达的注释52，和/或额外地通过在至少第一数字地图22中找到所述事件的匹配产生了对事件的至少一部分的一个或多个基于数字地图的注释53。因此，基于至少部分不同的输入数据和/或使用至少部分不同的用于注释的模型和/或方法，在车辆2的边缘生成了(至少部分)同一事件的多个注释候选51、52、53。
[0032]
如图4页面中部(“互补感知系统预测1/2/3”)中以示例方式所示，事件(或其至少一部分)可以例如利用(示例性的多个注释生成子模块6中的)示例性的互补感知系统预测注释子模块62、以任何可行(例如，已知的)方式、基于从缓冲传感器数据4中的至少基于雷达和/或激光雷达的传感器数据得出的感知预测来进行注释。事件的潜在注释候选52可以相应地基于至少从一个或多个车载雷达232和/或激光雷达233得出的数据，以及例如额外地基于来自不同形态的其他传感器的数据来生成。类似地，如图4页面底部(“高清地图1/2”)中以示例方式所示，事件(或其至少一部分)可以例如利用(示例性的多个注释生成子模块6中的)示例性的hd地图注释子模块63、以任何可行(例如，已知的)方式、基于在至少第一数字地图22中标识该事件来进行注释。事件的潜在注释候选53可以相应地基于在至少一个
或多个(例如，车载)数字地图22中标识的数据(例如，道路、车道、标志等)，以及例如额外地基于来自其他传感器的数据来生成。基于数字地图的确证候选53可以例如更适合于由静态(而不是动态)物体表示的事件，此外，(一个或多个)数字地图22可以例如由任何可行(例如，已知的)(一个或多个)数字地图表示，例如，(一个或多个)hd地图、或其(一个或多个)等同物或(一个或多个)后继者。其他潜在的确证源(本文没有进一步详细描述)可以与v2x和数字双胞胎(digital twins)有关，其可以有效用于例如动态物体。根据示例，并且如图5中以示例性方式所示，一个或多个确证候选52、53可以通过融合和/或结合来自不同的传感器23和/或数字地图22的输入而产生。因此，来自多个传感器形态231、232、233的输入可被潜在地融合以生成更高质量的确证候选52，或者从不同传感器形态231、232、233生成的确证候选52可以随后使用不同的传感器融合算法(例如，卡尔曼滤波器、粒子滤波器、贝叶斯(bayesian)滤波和/或神经网络等)来进行融合以提高确证候选52的质量。为了提高(一个或多个)确证候选52、53(例如，潜在的基于雷达和/或激光雷达的(一个或多个)确证候选52)的质量，可以使用期望帧前后的无关联预测跟踪，如本领域已知的。换句话说，缓冲数据中可用的相邻帧的信息可用于通过过滤和平滑(例如，通过卡尔曼滤波器、粒子滤波器、固定滞后平滑器等)、通过一致性执行(例如，空间-时间一致性损失，如使用impu/gps信息)、通过使用递归/时间模型(例如，变换器、递归神经网络，如lstm等)来提高目标帧中的注释生成的质量。短语“生成至少第一确证候选”可以指“产生至少第一确证候选”和/或“生成至少第一潜在确证候选”，并且根据示例还可以指“例如通过互补感知系统预测注释子模块来生成至少第一确证候选”。此外，“生成至少第一确证候选”可以指“生成至少第一确证注释候选”。短语“对事件进行注释”可以指“对事件的至少一部分进行注释”和/或“对假定的同一事件进行注释”，而“基于从所述获得的传感器数据中的基于雷达和/或激光雷达的传感器数据得出的所述事件的感知预测”可以指“基于所述获得的传感器数据中的所述事件的基于雷达和/或激光雷达的传感器数据”。此外，“从基于雷达和/或激光雷达的传感器数据得出”可以指“从至少基于雷达和/或激光雷达的传感器数据得出”，而“所述获得的传感器数据中的基于雷达和/或激光雷达的传感器数据”可以指“所述获得的传感器数据中的符合注释的数据中的基于雷达和/或激光雷达的传感器数据”和/或“所述获得的传感器数据中的基于雷达的传感器数据和/或基于激光雷达的传感器数据”。另一方面，短语“基于在数字地图中标识所述事件”可以指“基于在数字地图中标识所述事件的至少一部分”、“基于至少在数字地图中标识所述事件”和/或“基于在至少第一数字地图中标识所述事件”。根据示例，短语“通过基于[...]对事件进行注释来生成至少第一确证候选”可以指“通过基于[...]对事件进行注释、和/或使用车辆的边缘上的、包括不同于所述感知学习模型的物体检测模型的至少第一互补感知学习模型来生成至少第一确证候选”。
[0033]
如在示例性的图1-2中以示例性方式所示，注释处理系统1还(例如，通过注释确定单元105)被适于和/或配置为在至少第一确证候选52、53中的一个或多个与学习模型候选51相匹配达到满足可预先确定的确证标准的程度时，确定事件的注释7，该注释7基于至少第一确证候选52、53中的一个或多个和学习模型候选51两者。因此，在基于雷达、激光雷达和/或数字地图的注释52、53中的至少第一者和基于感知学习模型的注释51在可预先确定的范围内相符的情况下，它们被组合以便提供对事件的确证和/或融合注释7。因此，对事件的验证和/或融合注释7可以在车辆2的边缘以自动和高效的方式确定。因此，所引入的概念
使车辆的边缘上的数据能够以足够质量进行注释，而不需要(如本领域中公知的)人类的参与和/或交互，例如，交互式图像标记所涉及的人类注释者。
[0034]
可预先确定的确证标准可以由任何可行的条件和/或规则表示，这些条件和/或规则规定了在何种(一个或多个)条件下确证候选52、53被认为与学习模型候选51充分匹配，使得确证候选52、53可以验证学习模型候选51和/或与学习模型候选51融合。确证标准可以相应地例如与学习模型候选51和(一个或多个)确证候选52、53之间所需的重叠程度(例如，注释重叠程度)有关。此外，学习模型候选51和满足确证标准的(一个或多个)确证候选52、53可以在任何可行的程度上分别对所产生的注释7做出贡献和/或提供输入。根据示例，(一个或多个)确证候选52、53用于确证和/或验证学习模型候选51，即(一个或多个)基于雷达、激光雷达和/或数字地图的注释52、53可以(在所述(一个或多个)注释52、53满足确证标准的情况下)通过确证和/或验证由感知学习模型生成的注释51而对所产生的注释7做出贡献。在这种情况下，所产生的注释7可以潜在地由学习模型候选51完全(或在最大程度上)代表。然而，可选地，确定事件的注释7可以包括(和/或注释确定单元101可以被适于和/或配置为)根据可预先确定的融合标准来对至少第一确证候选52、53中的一个或多个和学习模型候选51进行融合，该可预先确定的融合标准规定用于组合所述至少第一确证候选52、53中的一个或多个和所述学习模型候选51的条件。这种融合标准例如可以包括这样的条件和/或规则，这些条件和/或规则规定了学习模型候选51和满足确证标准的(一个或多个)确证候选52、53应分别对所产生的注释7做出贡献和/或提供输入的相应程度。如示例性的图5中所示，注释候选51、52、53可以例如被赋予相应的置信度值8，如本领域中已知的，置信度值8指示与各个注释51、52、53相关联的置信度。也就是说，通常情况下，基于dl/ml的感知模型连同它们的预测一起提供概率或置信度值，显示了像素或边界框属于特定类别的可能性以及网络对分配的置信度；例如，如果它针对两个类别具有高概率，则即使网络将框分配给其中一个类别，其置信度也将比它只针对一个类别有高概率时更低。例如，非概率的ml/dl模型将产生1/0的注释概率/置信度值。因此，可选地，并且如示例性的图1-图2中所示，注释处理系统1还可以(例如，通过可选的置信度分配单元106)被适于和/或配置为(如示例性的图5中所示)基于与学习模型候选51和满足确证标准的确证候选52、53相关联的聚合和/或组合的相应置信度值8、和/或基于与满足确证标准的确证候选52、53中的一个或多个的匹配程度，来为注释7分配置信度值9。因此，重叠的注释候选51、52、53可以被加强，即所产生的注释7可以由多个注释候选51、52、53确认而得到更高的置信度9。可以注意到，例如单个图像中的不同的注释对象或多边形可以有不同的置信度值；并非所述图像的所有部分都必须得到相同的置信度值。此外，根据示例，各个示例性的感知模型注释子模块61、互补感知系统预测注释子模块62和/或hd地图注释子模块63可以被赋予相应的置信度和/或简档(profile)，该相应的置信度和/或简档可以在针对彼此评估各个模块61、62、63的输出时随时间更新。然后，在组合注释候选51、52、53时(例如，在公知的集合投票时)，在将置信度值9分配给所产生的注释7时可以考虑相应的置信度和/或简档。短语“确定[...]所述事件的注释”可以指“计算[...]所述事件的注释”、“确定[...]所述事件的所产生的注释”、“确定[...]所述事件的经确证、确认、加强和/或验证的注释”和/或“确定[...]所述事件的融合注释”，而“当所述至少第一个确证候选中的一个或多个匹配”可以指“在所述至少第一个确证候选中的一个或多个匹配的情况下”。另一方面，短语“与所述学习模型候选相匹配”可以
in-the-loop)设置中额外地由一个或多个车辆乘员进行注释和/或验证，其中与注释和/或其相关数据有关的交互可以通过用户界面24进行。这样的人机回环设置可以例如利用(示例性的多个注释生成子模块6中的)示例性的人机回环注释子模块64来进行。另一方面，用户界面24可以由车辆2上的(例如，与之集成的、和/或例如通过电缆与之连接和/或例如通过蓝牙与之无线连接的)任何可行的界面表示，该界面被适于和/或配置为在注释处理方面与车辆乘员交互。用户界面24可以相应地包括例如至少第一触摸显示屏、扬声器、麦克风、和/或眼动跟踪功能和/或系统等中的一个或多个，并且可以进一步例如潜在地被至少部分地包括在单独的电子设备中，例如，智能手机、平板电脑、笔记本电脑等。此外，可选地，可以在基于雷达、激光雷达和/或数字地图的确证候选中的每一个未能与学习模型候选相匹配达到满足确证标准的程度的情况下，实现基于人类提供输入对事件进行注释。因此，仅在各个(一个或多个)确证候选52、53未满足与学习模型候选51相匹配达到充分程度的确证标准时才实现用于注释的人机回环设置，因此，对所述学习模型候选51的确证替代地可能需要由车辆乘员提供。在允许车辆乘员通过用户界面24参与注释之前，可以潜在地进行人类注释者测试方案，以验证所述车辆乘员提供准确注释的能力。这样的测试方案例如可以被表示为(在车辆乘员被允许通过用户界面24参与注释之前)向车辆乘员提供已知正确的注释，以验证所述车辆乘员至少在可预先确定的程度上正确地进行注释，从而有资格提供足够的注释。短语“基于人类提供输入对事件进行注释”可以指“基于人类提供输入对事件的至少一部分进行注释”，并且根据示例还可以指“基于人类提供输入对事件的生成注释(例如，确证候选中的一个或多个和/或学习模型候选)进行确证和/或验证”。另一方面，短语“所述车辆内的用户界面”可以指“与所述车辆相关联和/或包括在所述车辆内的用户界面”和/或“包括在所述车辆内和/或连接到所述车辆的用户界面”。
[0039]
如图2进一步所示，注释处理系统1包括传感器数据存储单元101、数据选择单元102、模型候选生成单元103、确证候选生成单元104、注释确定单元105、可选的置信度分配单元106和感知模型更新单元107，所有这些单元已在上文更详细地描述。此外，本文中用于在配备ads 21的车辆2的边缘以基于边缘的方式来训练有监督或半监督感知模型3的实施例可以通过一个或多个处理器来实现，例如，处理器108，如表示为至少第一中央处理单元(cpu)、至少第一图形处理单元(gpu)、至少第一张量处理单元(tpu)和/或至少第一现场可编程门阵列(fpga)，连同用于执行本文实施例的功能和动作的计算机程序代码。所述程序代码还可以被提供为计算机程序产品，例如，以携带计算机程序代码的数据载体的形式，以用于在加载到注释处理系统1中时执行本文的实施例。一个这样的载体可以是cd/dvd rom光盘和/或硬盘驱动器的形式，但其他数据载体也是可行的。计算机程序代码还可以被提供为服务器上的纯程序代码并被下载到注释处理系统1。注释处理系统1还可以包括具有一个或多个存储器单元的存储器109。存储器109可选地包括高速随机存取存储器，例如，dram、sram、ddr ram或其他随机存取固态存储器装置，并且还可选地包括非易失性存储器，例如，一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失性固态存储设备。此外，存储器109可以被布置成用于存储例如信息，并进一步存储数据、配置、调度和应用，以在注释处理系统1中执行时执行本文的方法。例如，计算机程序代码可以在嵌入式处理器108的固件中实现、存储在flash存储器109中、和/或例如从场外服务器以无线方式下载。此外，单元101-107、可选的处理器108和/或可选的存储器109可以至少部分地包括在一个或多个节
点110中，例如，车辆2的例如在ads 21中和/或与ads 21相关联的ecu。本领域的技术人员还将理解，上述的所述单元101-107以及本文所述的任何其他单元、接口、系统、控制器、模块、装置、元素、特征等可以指代、包含、包括下列项，和/或在下列项中实现或由下列项实现：模拟电路和数字电路的组合，和/或配置有软件和/或固件(例如，存储在诸如存储器109之类的存储器中)的一个或多个处理器，该软件和/或固件在由诸如处理器108之类的一个或多个处理器执行时执行如本文所述的方法。这些处理器中的一个或多个以及其他数字硬件可以被包括在单个应用特定集成电路(asic)中，或者若干处理器和各种数字硬件可以分布在若干单独的组件中，其被分别封装或者组装成片上系统(soc)。
[0040]
图3是描绘根据本公开实施例的由注释处理系统1执行的示例性方法的流程图。所述方法用于在配备ads 21的车辆2的边缘以基于边缘的方式来训练有监督或半监督感知模型3。该示例性方法(其可被连续重复)包括利用图1-2所讨论的以下动作中的一个或多个。此外，在适当的情况下，这些动作可以以任何合适的顺序进行和/或一个或多个动作可以同时和/或以交替顺序执行。例如，动作1003和1004可以以交替顺序和/或同时执行。
[0041]
动作1001
[0042]
在动作1001中，注释处理系统1在车辆2被驾驶时存储(例如，在传感器数据存储单元101的支持下)从一组车载周围环境检测传感器23获得的传感器数据4。
[0043]
动作1002
[0044]
在动作1002中，注释处理系统1基于选择标准从传感器数据4选择(例如，在数据选择单元102的支持下)符合注释的数据5。
[0045]
动作1003
[0046]
在动作1003中，注释处理系统1通过使用感知学习模型对包括在符合注释的数据5中的事件进行注释来生成(例如，在模型候选生成单元103的支持下)学习模型候选51。
[0047]
可选地，生成学习模型候选51的动作1003可以包括(和/或模型候选生成单元103可以被适于和/或配置为)：所述生成是在车辆2未被驾驶的情况下被实现的。
[0048]
动作1004
[0049]
在动作1004中，注释处理系统1通过以下操作生成(例如，在确证候选生成单元104的支持下)至少第一确证候选52、53：基于从所获得的传感器数据5中的基于雷达和/或激光雷达的传感器数据得出的对该事件的感知预测、和/或基于在数字地图22中标识该事件，来对该事件进行注释。
[0050]
可选地，生成至少第一确证候选52、53的动作1004可以包括(和/或确证候选生成单元104可以被适于和/或配置为)：所述生成是在车辆2未被驾驶的情况下被实现的。
[0051]
进一步可选地，生成至少第一确证候选52、53的动作1004可以包括(和/或确证候选生成单元104可以被适于和/或配置为)：通过基于由人类提供的输入241对事件进行进一步注释，来生成至少第一确证候选52、53，该由人类提供的输入241是在车辆2内的用户界面24支持下提供的。
[0052]
此外，可选地，基于由人类提供的输入241对事件进行进一步注释可以包括(和/或确证候选生成单元104可以被适于和/或配置为)：所述进一步注释是在基于雷达、激光雷达和/或数字地图的确证候选52、53中的每一个未能与学习模型候选51相匹配达到满足确证标准的程度的情况下被实现的。
[0053]
动作1005
[0054]
在动作1005中，注释处理系统1在至少第一确证候选52、53中的一个或多个与学习模型候选51相匹配达到满足可预先确定的确证标准的程度时，确定(例如，在注释确定单元105的支持下)事件的注释7，该注释7基于至少第一确证候选52、53中的一个或多个和学习模型候选51两者。
[0055]
可选地，确定事件的注释7的动作1005可以包括(和/或注释确定单元105可以被适于和/或配置为)：根据可预先确定的融合标准来对至少第一确证候选52、53中的一个或多个和学习模型候选51进行融合，该可预先确定的融合标准规定用于组合至少第一确证候选52、53中的一个或多个和学习模型候选51的条件。
[0056]
动作1006
[0057]
在可选的动作1006中，注释处理系统1可以(如示例性的图5中所示)基于与学习模型候选51和满足确证标准的确证候选52、53相关联的聚合和/或组合的相应置信度值8、和/或基于匹配的程度，为注释7分配(例如，在可选的置信度分配单元106的支持下)置信度值9。
[0058]
动作1007
[0059]
在动作1007中，注释处理系统1基于注释7更新(例如，在感知模型更新单元107的支持下)更新感知模型3。
[0060]
可选地，如果动作1007是在为注释7分配置信度值9的可选动作1006之后，则更新感知模型3的动作1007可以包括(和/或感知模型更新单元107可以被适于和/或配置为)：在所述置信度值满足可预先确定的置信度标准的情况下，基于注释9更新感知模型3。
[0061]
本领域技术人员认识到，本公开决不限于上述优选实施例。相反，在所附权利要求的范围内可以进行许多修改和变化。此外，应注意，附图不一定是按比例绘制的，并且为了清楚起见某些特征的尺寸可能被放大。重点在于说明本文实施例的原理。此外，在权利要求中，词语“包括”不排除其他元素或步骤，而且不定冠词“一”或“一个”不排除多个。

技术特征：
1.一种由注释处理系统(1)执行的方法，用于在配备自动驾驶系统(ads)(21)的车辆(2)的边缘以基于边缘的方式来训练有监督或半监督感知模型(3)，所述方法包括：在所述车辆(2)被驾驶时存储(1001)从一组车载周围环境检测传感器(23)获得的传感器数据(4)；基于选择标准从所述传感器数据(4)选择(1002)符合注释的数据(5)；通过使用感知学习模型对包括在所述符合注释的数据(5)中的事件进行注释来生成(1003)学习模型候选(51)；通过以下操作生成(1004)至少第一确证候选(52，53)：基于从所述获得的传感器数据(4)中的基于雷达和/或激光雷达的传感器数据得出的对所述事件的感知预测、和/或基于在数字地图(22)中标识所述事件，对所述事件进行注释；在所述至少第一确证候选(52，53)中的一个或多个与所述学习模型候选(51)相匹配达到满足可预先确定的确证标准的程度时，确定(1005)所述事件的注释(7)，该注释(7)基于所述至少第一确证候选(52，53)中的一个或多个和所述学习模型候选(51)两者；以及基于所述注释(7)更新(1007)所述感知模型(3)。2.根据权利要求1所述的方法，还包括：基于与所述学习模型候选(51)和满足所述确证标准的确证候选(52，53)相关联的聚合和/或组合的相应置信度值(8)、和/或基于所述匹配的程度，为所述注释(7)分配(1006)置信度值(9)；其中，所述更新(1007)所述感知学习模型(3)包括：在所述置信度值(9)满足可预先确定的置信度标准的情况下，基于所述注释(7)更新所述感知学习模型(3)。3.根据权利要求1或2所述的方法，其中，所述确定(1005)所述事件的注释(7)包括：根据可预先确定的融合标准来对所述至少第一确证候选(52，53)中的一个或多个和所述学习模型候选(51)进行融合，所述可预先确定的融合标准规定用于组合所述至少第一确证候选(52，53)中的一个或多个和所述学习模型候选(51)的条件。4.根据权利要求1-3中任一项所述的方法，其中，所述生成(1003)学习模型候选(51)和/或所述生成(1004)至少第一确证候选(52，53)是在所述车辆(2)未被驾驶的情况下被实现的。5.根据权利要求1-4中任一项所述的方法，其中，所述生成(1004)至少第一确证候选(52，53)包括：通过基于由人类提供的输入(241)对所述事件进行进一步注释，来生成至少第一确证候选(52，53)，所述由人类提供的输入是在所述车辆(2)内的用户界面(24)支持下提供的。6.根据权利要求5所述的方法，其中，基于由人类提供的输入(241)对所述事件进行进一步注释是在基于雷达、激光雷达和/或数字地图的确证候选(52，53)中的每一个未能与所述学习模型候选(51)相匹配达到满足所述确证标准的程度的情况下被实现的。7.一种注释处理系统(1)，用于在配备自动驾驶系统(ads)(21)的车辆(2)的边缘以基于边缘的方式来训练有监督或半监督感知模型(3)，所述注释处理系统(1)包括：传感器数据存储单元(101)，用于在所述车辆(2)被驾驶时存储(1001)从一组车载周围环境检测传感器(23)获得的传感器数据(4)；数据选择单元(102)，用于基于选择标准从所述传感器数据(4)选择(1002)符合注释的
数据(5)；模型候选生成单元(103)，用于通过使用感知学习模型对包括在所述符合注释的数据(5)中的事件进行注释来生成(1003)学习模型候选(51)；确证候选生成单元(104)，用于通过以下操作生成(1004)至少第一确证候选(52，53)：基于从所述获得的传感器数据(4)中的基于雷达和/或激光雷达的传感器数据得出的对所述事件的感知预测、和/或基于在数字地图(22)中标识所述事件，对所述事件进行注释；注释确定单元(105)，用于在所述至少第一确证候选(52，53)中的一个或多个与所述学习模型候选(51)相匹配达到满足可预先确定的确证标准的程度时，确定(1005)所述事件的注释(7)，该注释(7)基于所述至少第一确证候选(52，53)中的一个或多个和所述学习模型候选(51)两者；以及感知模型更新单元(107)，用于基于所述注释(7)更新(1007)所述感知模型(3)。8.根据权利要求7所述的注释处理系统(1)，还包括：置信度分配单元(106)，用于基于与所述学习模型候选(51)和满足所述确证标准的确证候选(52，53)相关联的聚合和/或组合的相应置信度值(8)、和/或基于所述匹配的程度，为所述注释(7)分配(1006)置信度值(9)；其中，所述感知模型更新单元(107)适于在所述置信度值(9)满足可预先确定的置信度标准的情况下，基于所述注释(7)更新所述感知学习模型(3)。9.根据权利要求7或8所述的注释处理系统(1)，其中，所述注释确定单元(105)适于根据可预先确定的融合标准来对所述至少第一确证候选(52，53)中的一个或多个和所述学习模型候选(51)进行融合，所述可预先确定的融合标准规定用于组合所述至少第一确证候选(52，53)中的一个或多个和所述学习模型候选(51)的条件。10.根据权利要求7-9中任一项所述的注释处理系统(1)，其中，所述模型候选生成单元(103)和/或所述确证候选生成单元(104)适于使得：所述生成(1003)学习模型候选(51)和/或所述生成(1004)至少第一确证候选(52，53)是在所述车辆(2)未被驾驶的情况下被实现的。11.根据权利要求7-10中任一项所述的注释处理系统(1)，其中，所述确证候选生成单元(104)适于通过基于由人类提供的输入(241)对所述事件进行进一步注释，来生成至少第一确证候选(52，53)，所述由人类提供的输入是在所述车辆(2)内的用户界面(24)支持下提供的。12.根据权利要求11所述的注释处理系统(1)，其中，所述确证候选生成单元(104)适于在基于雷达、激光雷达和/或数字地图的确证候选(52，53)中的每一个未能与所述学习模型候选(51)相匹配达到满足所述确证标准的程度的情况下，实现基于由人类提供的输入(241)对所述事件进行进一步注释。13.一种车辆(2)，包括根据权利要求7-12中任一项所述的注释处理系统(1)。14.一种包括计算机程序的计算机程序产品，所述计算机程序含有存储在计算机可读介质或载波上的计算机程序代码，所述计算机程序代码被布置为使计算机或处理器执行根据权利要求1-6中任一项所述的方法的步骤。15.一种非易失性计算机可读存储介质，其上存储有根据权利要求14所述的计算机程序产品。

技术总结
本公开涉及在车辆的边缘训练感知模型。本公开涉及一种由注释处理系统执行的方法。注释处理系统执行以下操作：在车辆被驾驶时存储从一组车载周围环境检测传感器获得的传感器数据；基于选择标准从传感器数据选择符合注释的数据；通过使用感知学习模型对包括在符合注释的数据中的事件进行注释来生成学习模型候选；通过以下操作生成至少第一确证候选：基于从所获得的传感器数据中的基于雷达和/或激光雷达的传感器数据得出的对事件的感知预测、和/或基于在数字地图中标识事件，对事件进行注释；在至少第一确证候选中的一个或多个与学习模型候选相匹配达到满足可预先确定的确证标准的程度时，确定事件的注释；以及基于注释更新感知模型。感知模型。感知模型。


技术研发人员：米娜
受保护的技术使用者：哲晰公司
技术研发日：2023.02.01
技术公布日：2023/8/5