用于车辆中的连接的摄像机应用的联邦学习的制作方法

1.本技术领域总体上涉及车辆，并且更具体地涉及使用联邦学习基于捕获图像对车辆的自动化事件检测。


背景技术：

2.现代车辆(vehicle、交通工具)(例如，汽车、摩托车、船或任何其他类型的汽车)可以配备有便于车辆与其他实体之间的不同类型的通信的车辆通信系统。例如，车辆通信系统可以提供车辆到基础设施(v2i)、车辆到车辆(v2v)、车辆到行人(v2p)和/或车辆到电网(v2g)通信。共同地，这些可以被称为车辆到万物(v2x)通信，其使得能够在车辆与任何其他合适的实体之间进行信息通信。各种应用(例如，v2x应用)可以使用v2x通信来发送和/或接收安全消息、维护消息、车辆状态消息等。
3.现代车辆还可以包括一个或多个摄像机，其提供倒车辅助、拍摄车辆驾驶员的图像以确定驾驶员困倦或注意力、在车辆行驶时提供道路图像以用于避免碰撞、提供结构识别，例如道路标志等。例如，车辆可以配备有多个摄像机，并且可以使用来自多个摄像机(称为“环绕视图摄像机”)的图像来创建车辆的“环绕”或“鸟瞰”视图。一些摄像机(称为“远程摄像机”)可用于捕获远程图像(例如，用于碰撞避免的对象检测、结构识别等)。
4.这样的车辆还可以配备有用于执行目标跟踪的传感器，诸如(一个或多个)雷达设备、(一个或多个)激光雷达(lidar)设备等。目标跟踪包括识别目标对象并在目标对象相对于观察目标对象的车辆移动时随时间跟踪目标对象。来自车辆的一个或多个摄像机的图像也可以用于执行目标跟踪。
5.这些通信协议、摄像机和/或传感器可用于监测车辆和车辆周围的环境。
6.在实践中，车辆在表现出区域变化的不同环境中操作，导致数据多样性，这可能使标记复杂化并降低机器学习模型的收敛速率。因此，期望以考虑区域变化的方式改善模型性能。结合附图和前述技术领域和背景技术，从随后的详细说明书和所附权利要求中，其他期望的特征和特性将变得显而易见。


技术实现要素：

7.提供了一种用于使用考虑位置的局部分类模型将对象类型分配给检测到的对象的方法。该方法涉及在车辆处从车辆的传感器获得车辆外部的检测到的对象的传感器数据，在车辆处获得与检测到的对象相关联的位置数据，在车辆处获得与对象类型相关联的局部分类模型，使用局部分类模型基于局部分类模型根据传感器数据和位置数据的输出，将对象类型分配给检测到的对象，以及在车辆处发起响应于将对象类型分配给检测到的对象的动作。
8.提供了一种用于车辆的装置，该装置包括传感器，用于提供车辆外部的检测到的对象的传感器数据；导航系统，用于在传感器数据的同时提供车辆的位置数据；存储器，包括计算机可读指令和与对象类型相关联的局部分类模型；以及用于执行计算机可读指令的
处理设备。所述计算机可读指令控制所述处理设备执行操作，所述操作涉及：使用所述局部分类模型，基于所述局部分类模型根据所述传感器数据和所述位置数据的输出，将所述对象类型分配给所述检测到的对象，以及响应于将所述对象类型分配给所述检测到的对象而发起动作。
9.提供了一种车辆系统，其包括远程服务器和车辆。远程服务器可配置为提供对象类型的分类模型。车辆通过网络耦合到远程服务器以从远程服务器获得分类模型。该车辆包括：传感器，用于为车辆外部的检测到的对象提供传感器数据；导航系统，用于在传感器数据的同时为车辆提供位置数据；存储器，包括计算机可读指令和用于执行计算机可读指令的处理装置。所述计算机可读指令控制所述处理设备执行操作，所述操作包括：使用所述第一分类模型，基于所述分类模型根据所述传感器数据的输出，将所述对象类型分配给所述检测到的对象，以及响应于将所述对象类型分配给所述检测到的对象，使用所述传感器数据和与所述检测到的对象相关联的所述位置数据来确定所述对象类型的局部分类模型。
附图说明
10.在下文中将结合以下附图描述示例性实施例，其中相同的附图标记表示相同的元件，并且其中：
11.图1描绘了根据本文描述的一个或多个实施例的包括传感器和处理系统的车辆；
12.图2描绘了根据本文描述的一个或多个实施例的用于车辆的自动化事件检测的系统的框图；
13.图3描绘了根据本文描述的一个或多个实施例的用于处理车辆的环境数据的方法的流程图；
14.图4描绘了根据本文描述的一个或多个实施例的联邦学习系统的框图；
15.图5描绘了根据本文描述的一个或多个实施例的适于结合联邦学习系统中的一个或多个车辆实现的联邦学习过程的流程图；以及
16.图6描绘了根据本文描述的一个或多个实施例的适于在联邦学习系统中的一个或多个车辆处实现的增强标记过程的流程图。
具体实施方式
17.以下详细的说明书本质上仅仅是示例性的，并不旨在限制应用和用途。此外，不旨在受前述技术领域、背景技术、发明内容或以下详细说明书中呈现的任何明示或暗示的理论的约束。如本文所使用的，术语模块是指专用集成电路(asic)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或群组)和存储器、组合逻辑电路和/或提供所描述的功能的其他合适的组件。
18.本文描述的主题总体上涉及用于车辆的自动化事件检测，例如，用于自动交通事件记录和报告。本文描述的一个或多个示例性实施方式提供了记录车辆外部的事件，例如交通事件(例如，执法人员的交通停止、事故等)，或车辆外部的任何其他事件，其充当触发器然后采取行动，例如控制车辆和/或将事件报告给紧急调度员、另一车辆等。
19.用于车辆的事件检测和报告的常规方法是不足的。例如，事件检测和报告在很大程度上是需要人工检测和触发报告的手动过程。考虑执法人员驶过目标车辆以进行交通停
止的示例。在这种情况下，目标交通工具的乘客将必须手动检测到目标交通工具正在被驶过，然后诸如在移动电话(例如，智能电话)或目标交通工具内的摄像机系统上手动发起交通停止的记录。如果期望向诸如家庭成员、紧急响应机构等报告事件，则这种报告通常诸如通过电话呼叫来手动执行。此外，如果除了目标车辆之外的另一车辆发生事件，则目标车辆的乘客可能不知道事件(例如，乘客无法看到事件)。
20.本文描述的一个或多个实施例通过检测事件、使用一个或多个传感器(例如，摄像机、麦克风等)发起记录以及报告事件来解决现有技术的这些和其他缺点。作为一个示例，根据一个或多个实施例的方法可以包括检测事件(例如，检测紧急车辆、执法车辆等)，发起音频和/或视频的记录，在视频上叠加数据(例如，速度、位置、时间戳等)，将音频和/或视频记录上传到远程处理系统(例如，云计算环境的云计算节点)，以及发出警报(也称为“通知”)。在一些示例中，音频和/或视频记录可用于重建场景或事件。在一些示例中，可以控制事件中涉及的一个或多个车辆(例如，目标车辆、执法车辆等)，诸如通过使车窗滚动、使灯打开、使一个或多个车辆内的警报被发出等。
21.本文描述的一个或多个实施例提供了优于现有技术的优点和改进。例如，所描述的技术解决方案可以提供当事件发生时(例如，当车辆操作员被执法部门拉过时)发生的情况的视频/音频，并且还实时提供事件的证据，包括第三方警报该事件。此外，所描述的技术方案可以通过提供实时视频和/或音频来在交通停止或事故期间向车辆操作员提供实时辅助。本技术的其他优点可以包括来自事件中涉及的各方的行为调整以改善结果。另外的优点包括使用关于检测到的事件的数据来控制车辆，诸如使车辆转向远离接近的紧急车辆。
22.图1描绘了根据本文描述的一个或多个实施例的包括传感器和处理系统110的车辆100。在图1的示例中，车辆100包括处理系统110、摄像机120、121、122、123、摄像机130、131、132、133、雷达传感器140、激光雷达(lidar)传感器141和麦克风142。交通工具100可以是汽车、卡车、厢式货车、公共汽车、摩托车、船、飞机或另一合适的交通工具100。
23.摄像机120-123是环绕视图摄像机，其捕获车辆100外部和附近的图像。由摄像机120-123捕获的图像一起形成车辆100的环绕视图(有时称为“自顶向下视图”或“鸟瞰视图”)。这些图像可用于操作车辆(例如，停车、倒车等)。这些图像还可以用于捕获事件，诸如交通停止、事故等。摄像机130-133是远程摄像机，其捕获车辆外部并且比摄像机120-123更远离车辆100的图像。例如，这些图像可用于对象检测和避开。这些图像还可以用于捕获事件，诸如交通停止、事故等。应当理解，尽管示出了八个摄像机120-123和130-133，但是在各种实施例中可以实现更多或更少的摄像机。
24.捕获的图像可以显示在显示器(未示出)上，以向车辆100的驾驶员/操作员提供车辆100的外部视图。捕获的图像可以显示为实时图像、静止图像或其某种组合。在一些示例中，可以组合图像以形成复合视图，诸如环绕视图。在一些示例中，由摄像机120、123和130、133捕获的图像可以被存储到处理系统110的数据存储111和/或与远程处理系统150相关联的远程数据存储151。
25.雷达传感器140通过发射电磁波并利用传感器测量反射波来测量到目标对象的距离。该信息对于确定目标对象相对于车辆100的距离/位置是有用的。应当理解，雷达传感器140可以表示多个雷达传感器。
26.激光雷达(lidar)(光检测和测距)传感器141通过用脉冲或连续波激光照射目标
并用检测器传感器测量反射脉冲或连续波来测量到目标对象(例如，其他车辆154)的距离。该信息对于确定目标对象相对于车辆100的距离/位置是有用的。应当理解，激光雷达传感器141可以表示多个激光雷达传感器。
27.麦克风142可以记录声波(例如，声音或音频)。该信息对于记录关于车辆100和/或车辆100附近的环境的声音信息是有用的。应当理解，麦克风142可以表示多个麦克风和/或麦克风阵列，其可以设置在车辆中或车辆上，使得麦克风142可以记录车辆内部(例如，乘客舱)和/或车辆外部的声波。
28.从摄像机120-123、130-133、雷达传感器140、激光雷达传感器141和/或麦克风142生成的数据可以用于检测和/或跟踪相对于车辆100的目标对象，以检测事件等。目标对象的示例包括其他车辆(例如，其他车辆154)、紧急车辆、易受伤害的道路使用者(vrus)，诸如行人、自行车、动物、坑洞、道路表面上的油、道路表面上的碎屑、雾、洪水等。
29.处理系统110包括数据/通信引擎112、用于检测和分类的决策引擎114、控制引擎116、数据存储111和机器学习(ml)模型118。数据/通信引擎112诸如从与车辆100相关联的传感器(例如，摄像机120、123、130、133、雷达传感器140、激光雷达传感器141、麦克风142等中的一个或多个)接收/收集数据，和/或从诸如远程处理系统150和/或其他车辆154的其他源接收数据。决策引擎114处理数据以检测和分类事件。决策引擎114可以利用根据本文描述的一个或多个实施例的ml模型118。决策引擎114如何处理数据的示例尤其在图2中示出，并且在本文中进一步描述。控制引擎116控制车辆100，以便规划路线并执行驾驶操纵(例如，改变车道、改变速度等)，启动来自车辆100的传感器的记录，使记录的数据存储在远程处理系统150的数据存储器111和/或数据存储器151中，以及执行其他合适的动作。处理系统110可以包括其他组件、引擎、模块等，诸如处理器(例如，中央处理单元、图形处理单元、微处理器等)、存储器(例如，随机存取存储器、只读存储器等)、数据存储(例如，固态驱动器、硬盘驱动器、大容量存储等)等。
30.处理系统110可以通信地耦合到远程处理系统150，远程处理系统150可以是作为边缘处理环境的一部分的边缘处理节点、作为云处理环境的一部分的云处理节点等。处理系统110还可以通信地耦合到一个或多个其他车辆(例如，其他车辆154)。在一些示例中，处理系统110直接(例如，使用v2v通信)通信地耦合到处理系统150和/或另一车辆154，而在其它示例中，处理系统110间接地(诸如通过网络152)通信地耦合到处理系统150和/或另一车辆154。例如，处理系统110可以包括网络适配器，该网络适配器使得处理系统110能够向其他源发送数据和/或从其他源接收数据，其他源诸如包括远程处理系统150和其他车辆154的其他处理系统、数据存储库等。作为示例，处理系统110可以直接和/或经由网络152向远程处理系统150发送数据和/或从远程处理系统150接收数据。
31.网络152表示不同类型的合适的通信网络中的任何一个或组合，不同类型的合适的通信网络诸如例如电缆网络、公共网络(例如，互联网)、专用网络、无线网络、蜂窝网络或任何其他合适的专用和/或公共网络。此外，网络152可以具有与其相关联的任何合适的通信范围，并且可以包括例如全球网络(例如，互联网)、城域网(man)、广域网(wan)、局域网(lan)、个域网(pan)。另外，网络152可以包括可以承载网络业务的任何类型的介质，包括但不限于同轴电缆、双绞线、光纤、混合光纤同轴(hfc)介质、微波地面收发器、射频通信介质、卫星通信介质或其任何组合。根据本文描述的一个或多个实施例，远程处理系统150、其他
车辆154和处理系统110经由车辆到基础设施(v2i)、车辆到车辆(v2v)、车辆到行人(v2p)和/或车辆到电网(v2g)通信进行通信。
32.现在更详细地描述处理系统110的组件的特征和功能。车辆100的处理系统110辅助车辆的自动事件检测。
33.根据本文描述的一个或多个实施例，处理系统110将传感器输入和驾驶行为与人工智能(ai)和机器学习(ml)(例如，联邦学习)相结合，以确定车辆100何时参与事件(例如，交通停止)并自动采取动作，诸如使用与车辆相关联的传感器来记录数据、连接到第三方、控制车辆(例如，滚动车窗、打开危险灯和/或内部灯等)、将叠加信息添加到记录的数据(例如，添加到记录的视频的速度、gps和时间戳)等等。处理系统110还可以发出通知/警报，诸如在车辆100的显示器上提供向操作员/乘客传达事件已经发生的消息，向紧急联系人和/或紧急调度员通知该事件。
34.根据本文描述的一个或多个实施例，处理系统110可以基于传感器数据(例如，来自摄像机、麦克风等的数据)与外部车辆传感器(例如，摄像机120、123、130、133、麦克风142等中的一个或多个)观察到的驾驶行为的融合来执行特征的自动ai/ml触发。处理系统110可以结合ai/ml(例如，通过增强的联邦学习)触发器以启动记录，诸如应急灯、警报器、速度和车辆苛刻操纵。在一些示例中，处理系统110可以引起局部和/或远程数据捕获/记录以确保数据所有权/安全性。例如，原始数据被局部保存在车辆100中(例如，在数据存储器111中)和车辆100的操作员/乘客的移动设备(未示出)中。此外，联邦的学习数据和3d重建基元可以上传到第三方，诸如远程处理系统150和/或另一车辆154。
35.在一些示例中，处理系统110还可以实现第三方数据收集和/或通知，并且可以提供多车辆观察/处理。例如，处理系统110可向紧急调度服务(例如，远程处理系统150)发送警报以发起紧急操作。在一些示例中，这可以包括将由车辆传感器收集的数据发送到远程处理系统150。处理系统110还可以向另一车辆154发送警报，以使另一车辆(例如，第三方见证人)使用与另一车辆154相关联的一个或多个传感器(未示出)收集数据。在一些示例中，处理系统110可以访问来自另一车辆154(其可以表示一个或多个车辆)的数据，以通过联邦学习(或其他合适的机器学习技术)进行3d场景重建。例如，可以使用从车辆100(以及一个或多个相邻车辆(例如，另一车辆154))收集的用于3d场景建模的视频来实现多视图/摄像机场景重建技术，并且可以通过噪声消除技术来保存或增强与视频相关联的音频。当来自车辆100附近的相邻车辆(例如，另一车辆154)的数据被处理以用于车辆100、边缘处理节点或云计算节点中的3d场景重建时(例如，使用运动立体或来自运动的形状)，车辆100使用机器学习或联邦学习方法发送相关数据/模型以保护数据隐私。也就是说，不被认为不相关的数据(例如，从事件之前收集的数据、从相邻车辆的乘客舱收集的数据等)不被发送用于场景重建以提供数据隐私。
36.根据本文描述的一个或多个实施例，处理系统110可以例如在检测到执法车辆时，诸如通过上摇/下摇车窗、打开危险灯、打开内部灯、在车辆的显示器上提供消息(例如，“紧急车辆在后面”)等来准备车辆100。
37.现在转到图2，根据本文描述的一个或多个实施例提供了用于车辆的自动化事件检测的系统200的框图。在该示例中，系统200包括通过网络152通信地耦合的车辆100、远程处理系统150和另一车辆154。应当理解，另一车辆154可以与如图1所示和如本文所述的车
辆100类似地配置。在一些示例中，可以实现附加的其他车辆。
38.如图1所示，车辆100包括传感器202(例如，摄像机120、123、130、133、雷达传感器140、激光雷达传感器141、麦克风142等中的一个或多个)。在框204处，数据/通信引擎112从传感器202接收数据。这可以包括主动收集数据(例如，使传感器202收集数据)或被动地从传感器202接收数据。
39.决策引擎114处理由数据/通信引擎112在框204处收集的数据。特别地，在框206处，决策引擎114使用在框204处接收/收集的数据来监测传感器202以获得事件的指示。根据本文描述的一个或多个实施例，决策引擎114可以利用人工智能(例如，机器学习)来检测传感器数据(例如，捕获的图像、记录的声波等)内的指示事件的特征。例如，可以检测通常与紧急车辆相关联的特征，诸如闪光灯、警报器、车辆上的标记/符号等。
40.更具体地，本公开的各方面可以利用机器学习功能来完成本文描述的各种操作。更具体地，本文描述的一个或多个实施例可以结合并利用基于规则的决策制定和人工智能(ai)推理来完成本文描述的各种操作。短语“机器学习”广泛地描述了从数据中学习的电子系统的功能。机器学习系统、模块或引擎(例如，决策引擎114)可以包括可训练机器学习算法，其可以例如在外部环境(例如，边缘处理节点、云处理节点等)中被训练以学习当前未知的输入和输出之间的函数关系，并且所得到的模型(例如，ml模型118)可以用于确定事件是否已经发生。在一个或多个实施例中，可以使用具有被训练以执行当前未知功能的能力的人工神经网络(ann)来实现机器学习功能。在机器学习和认知科学中，ann是受动物的生物神经网络(特别是大脑)启发的统计学习模型家族。ann可用于估计或近似取决于大量输入的系统和函数。
41.ann可以体现为互连的处理器元件的所谓的“神经形态”系统，其充当模拟的“神经元”并以电子信号的形式在彼此之间交换“消息”。类似于在生物神经元之间携带消息的突触神经递质连接的所谓“可塑性”，在模拟神经元之间携带电子消息的ann中的连接被提供有对应于给定连接的强度或弱点的数值权重。可以基于经验调整和调节权重，使ann适应输入并能够学习。例如，用于手写识别的ann由可以由输入图像的像素激活的一组输入神经元定义。在通过由网络设计者确定的函数进行加权和变换之后，这些输入神经元的激活然后被传递到其他下游神经元，其通常被称为“隐藏”神经元。重复该过程，直到输出神经元被激活。激活的输出神经元确定哪个字符被读取。类似地，决策引擎114可以利用ml模型118来检测事件。例如，决策引擎114可以使用图像识别技术在由摄像机120捕获的图像中检测紧急车辆，可以使用音频处理技术在由麦克风142捕获的声波中检测紧急车辆的警报等。
42.在判定框208处，确定在框206处是否检测到事件。如果在判定框208处确定事件尚未发生，则决策引擎114继续监测传感器202以发现事件的指示。
43.然而，如果在判定框208处确定事件已经发生，则控制引擎116在框210处发起来自传感器202的数据的记录/存储。这可以包括存储先前捕获的数据和/或使得将来的数据被捕获和存储。数据可以局部存储在诸如数据存储111中，和/或远程存储在诸如远程处理系统150或另一合适的系统或设备的数据存储151中。控制引擎116还可以响应于决策引擎114检测到事件而在框212处采取动作和/或在框214处发出通知。可以在框212处采取的动作的示例包括但不限于：控制车辆100(例如，使车辆100执行驾驶操纵，诸如改变车道、改变速度等；使车辆100打开其一个或多个灯；使车辆100使其一个或多个窗户下摇/上摇等)，使记录
的数据被修改(例如，在记录的视频上叠加gps数据、速度/速率数据、位置数据、时间戳等；组合记录的声波和记录的视频等)，以及其他合适的动作。可以在框214处发出的通知的示例可以包括但不限于：向车辆100的操作员或乘客呈现音频和/或视觉提示(例如，在车辆内的显示器上呈现警告消息、在车辆内播放警告音调等)、警告第三方服务(例如，紧急调度服务、车辆的操作员或乘客的已知联系人等)、向另一车辆154和/或远程处理系统150发送警报。所采取的动作的类型和/或发出的通知的类型可以基于以下中的一个或多个：用户偏好；检测到的事件的类型；基于地理的法律、法规或习俗；等等。
44.图3描绘了根据本文描述的一个或多个实施例的用于车辆的自动化事件检测的方法300的流程图。方法300可以由任何合适的系统或设备(诸如图1和图2的处理系统110或任何其他合适的处理系统和/或处理设备(例如，处理器))来执行。现在参考图1和/或图2的元件描述方法300，但不限于此。
45.在框302处，处理系统110从车辆的传感器(例如，摄像机120、123、130、133、雷达传感器140、激光雷达传感器141、麦克风142等中的一个或多个)接收第一数据。
46.在框304处，处理系统110通过使用机器学习模型处理第一数据来确定车辆外部的事件是否已经发生。例如，如本文所述，决策引擎114处理由传感器收集的数据。特别地，决策引擎114使用在框204处接收/收集的数据来监测传感器202以发现事件的指示。根据本文描述的一个或多个实施例，决策引擎114可以利用人工智能(例如，机器学习)来检测传感器数据(例如，捕获的图像、记录的声波等)内的指示事件的特征。例如，使用在框204处接收/收集的数据，决策引擎114可检测紧急车辆或其他第一响应者车辆(诸如救护车、消防车、执法车辆等)的存在。
47.在框306处，处理系统110响应于确定车辆外部的事件已经发生而发起由传感器记录第二数据。例如，处理系统110响应于基于记录的音频检测到事件而发起视频的记录。
48.在框308处，处理系统110响应于确定车辆外部的事件已经发生而采取动作来控制车辆。采取动作包括处理系统110使另一系统、设备、组件等采取动作。在一些示例中，处理系统110控制车辆100，诸如执行驾驶操纵(例如，改变车道、改变速度等)，发起来自车辆100的传感器的记录，使记录的数据存储在远程处理系统150的数据存储111和/或数据存储151中，以及执行其他合适的动作。
49.还可以包括另外的过程，并且应当理解，在不脱离本公开的范围和精神的情况下，图3中描绘的过程表示说明，并且可以添加其他过程，或者可以移除、修改或重新布置现有过程。
50.图4描绘了示例性联邦学习系统400，其包括通过一个或多个网络(例如，网络152)耦合到任何数量的不同边缘节点404、406的中心节点402。应当理解，尽管图4出于解释的目的描绘了具有两个边缘节点404、406的简化实施例，但是实际上，联邦学习系统400可以包括任何数量的不同边缘节点，并且本文描述的主题不限于任何特定数量的边缘节点。
51.中央节点402通常表示中央服务器、远程服务器或能够通过网络与边缘节点404、406通信的任何其他类型的远程处理系统(例如，远程处理系统150)。中央节点402包括处理系统410，其可以使用任何种类的处理器、控制器、中央处理单元、图形处理单元、微处理器、微控制器和/或其组合来实现，其被适当地配置为确定通用的、全局的或以其他方式与位置无关的一个或多个分类模型414，并且使用联邦学习来更新或以其他方式适配全局分类模
型414，如下面更详细描述的。中央节点402还包括数据存储元件412，其可以被实现为耦合到处理系统410并且被配置为存储或以其他方式维护由处理系统410确定的分类模型414以用于分发到边缘节点404、406的任何种类的存储器(例如，随机存取存储器、只读存储器等)、数据存储(例如，固态驱动器、硬盘驱动器、大容量存储等)、数据库等。
52.类似于中心节点402，在示例性实施例中，边缘节点404、406包括相应的处理系统420、430和数据存储元件422、432，其被适当地配置为从中心节点402接收(多个)全局分类模型414，并且在相应的边缘节点404、406处存储或以其他方式维护(多个)全局分类模型414的局部实例。如下面更详细描述的，边缘节点404、406还存储或以其他方式维护一个或多个局部分类模型424、434，所述一个或多个局部分类模型424、434是在相应的边缘节点404、406处通过使用在相应的边缘节点404处局部可用的相应的数据集426、436训练、适配或以其他方式更新初始全局分类模型414来局部确定的。在第一边缘节点404处可用的局部数据426与在第二边缘节点406处可用的局部数据436不同或以其他方式不同，因此，在第一边缘节点404处训练或以其他方式确定的所得到的局部适应的分类模型424可以与在第二边缘节点406处训练或以其他方式确定的局部适应的分类模型434不同。
53.在一个或多个实施例中，联邦学习系统400使用车辆通信系统来实现，其中边缘节点404、406被实现为车辆100的不同实例，并且局部数据426、436包括图像数据、传感器数据、雷达数据、对象数据和/或从摄像机120-123、130-133、雷达传感器140、激光雷达传感器141、麦克风142和/或位于相应车辆100上或以其他方式与相应车辆100相关联的其他组件生成、感测或以其他方式收集的任何其他种类的数据。另外，在示例性实施例中，用于训练、更新或以其他方式确定(多个)局部适应的分类模型424、434的局部数据426、436包括从全球定位系统(gps)或与相应车辆100相关联的其他导航系统获得的位置数据。在这方面，(多个)分类模型424、434的局部适应版本可以被配置为接收表征相应边缘节点404、406的当前位置的位置数据作为一个或多个输入参数，这进而导致(多个)局部分类模型424、434根据与输入到相应模型424、434的相应传感器数据相关联的输入位置数据生成或以其他方式提供位置相关的输出。
54.仍然参考图4，在示例性实施例中，边缘节点404、406向中心节点402发送或以其他方式提供与相应的(多个)局部分类模型424、434有关的信息，中心节点402进而根据联邦学习原理利用与不同的(多个)局部分类模型424、434有关的信息来训练、更新或以其他方式适配在中心节点402处维护的对应的通用的、与位置无关的分类模型414。例如，边缘节点404、406可以被配置为使用主成分分析(pca)或适合与联邦学习一起使用的另一机器学习技术来确定(多个)局部分类模型424、434，然后向中心节点402发送或以其他方式提供指示相应的局部分类模型424、434和/或与相应的局部分类模型424、434相关联的相应的底层局部数据426、436的一个或多个统计、性能度量或其他参数。此后，根据联邦学习原理，中心节点402聚合或以其他方式组合指示对相应的(多个)局部分类模型424、434的更新的统计、性能度量或其他参数，然后根据接收到的统计、性能度量或其他参数更新(多个)通用的与位置无关的分类模型414，以更好地反映相应的局部分类模型424、434和/或与分布在不同边缘节点404、406上的相应的局部分类模型424、434相关联的相应的底层局部数据426、436。此后，中心节点402可以将反映从不同的局部分类模型导出的联邦学习的(多个)更新的通用的、与位置无关的分类模型414推送、广播或以其他方式发送到边缘节点404、406以供将
来使用。
55.图5描绘了根据本文描述的一个或多个实施例的适于与一个或多个车辆一起实现的联邦学习过程500的示例性实施例。应当理解，联邦学习过程500内的操作顺序不限于如图5所示的顺序执行，而是可以在适用时并根据本公开以一个或多个变化的顺序执行。此外，在图5的上下文中示出和描述的任务中的一个或多个可以从联邦学习过程500的实际实施例中省略，同时仍然实现通常预期的整体功能。出于说明性目的，以下说明书可以参考上面结合图1-2和4提到的元件。在这方面，虽然联邦学习过程500的部分可以由车辆系统的不同元件(诸如图1和图2的处理系统110或任何其他合适的处理系统)执行，但是出于解释的目的，本文可以主要在联邦学习过程500主要由边缘节点404、406与中心节点402协同执行或支持的上下文中描述主题。
56.仍然参考图5，联邦学习过程500通过在502处在边缘节点处识别、接收或以其他方式获得使用对象分类模型被分类、标记或以其他方式分配特定对象类型的局部传感器数据集，并且在504处在边缘节点处识别、接收或以其他方式获得与该标记的局部数据集相关联的位置数据集来初始化或以其他方式开始。例如，在一个或多个实施例中，边缘节点404处的处理系统420(例如，车辆100的处理系统110)从一个或多个车载感测设备120-123、130-133、140、141、142识别或以其他方式获得传感器数据426的带时间戳的样本序列，所述车载感测设备使用最初由中心节点402提供的通用的、与位置无关的紧急车辆分类模型414被检测、分类或以其他方式识别为与紧急车辆相关联。另外，处理系统420从与边缘节点100、404相关联的gps或其他导航系统识别或以其他方式获得与局部传感器数据426同时发生的位置数据。
57.在506处，在获得与使用对应的分类模型被分类为特定对象类型的检测到的对象相关联的被标记的传感器数据集和对应的位置信息之后，联邦学习过程500根据传感器数据和对应的位置数据来确定与该特定对象类型相关联的局部分类模型，以用于将未来的检测到的对象分类或以其他方式标记为该对象类型。例如，在一个实施例中，在使用由中央节点402提供的初始通用紧急车辆分类模型414将车辆100、404附近的检测到的对象分类为紧急车辆之后，车辆100、404上的车载处理系统110、420使用来自车载感测设备120-123、130-133、140、141、142的被标记的传感器数据和同时期位置信息来确定局部紧急车辆分类模型424。在一些实施例中，来自车载感测设备120-123、130-133、140、141、142的被标记的传感器数据和与其相关联的同时期位置信息被用作训练数据集的一部分，以训练、学习或以其他方式开发局部紧急车辆分类模型424，该局部紧急车辆分类模型424用于根据与检测到的对象相关联的传感器数据和与检测到的对象相关联的同时期位置信息将检测到的对象分类为紧急车辆。也就是说，在其他实施例中，来自车载感测设备120-123、130-133、140、141、142的被标记的传感器数据和同期位置信息可以用于调整或以其他方式更新通用紧急车辆分类模型414，以从初始通用紧急车辆分类模型414获得局部紧急车辆分类模型424(例如，通过使用所获得的数据作为训练数据重新训练或更新初始通用紧急车辆分类模型414)。
58.应当注意，在实践中可以重复步骤502、504和506，以迭代地细化和适应车辆100、404、406处的局部分类模型424、434，以提高车辆100、404、406处针对存在标记的传感器数据和同时位置数据的每个检测到的对象的分类的准确性和可靠性。因此，每次检测到特定类型的对象时，可以更新、适应或以其他方式细化与该特定类型的对象相关联的局部分类
模型424、434，以改善后续分类。在这方面，通过定义和适应基于特征但也是位置相关的或以其他方式使用位置信息加权的局部分类模型424、434，联邦学习过程500通过考虑局部数据多样性来解决数据多样性挑战。例如，特定城市、州或地区中的紧急车辆可以具有与另一城市、州或地区中的相同类型的紧急车辆不同的特定颜色、形状或其他特性。因此，通过开发局部分类模型424、434，其中局部分类模型424、434根据所有者车辆100、404、406和/或检测到的对象的当前位置来对与检测到的对象相关联的传感器特征数据进行分类，可以使用局部分类模型424、434以更高的置信度或准确度对表现出位置特定特性特征的检测到的对象进行分类，局部分类模型424、434考虑了与相同类型或类别的对象相关联的特性特征相对于位置或跨不同地理区域的数据多样性或可变性。此外，局部分类模型424、434还可以演进以考虑与特定类型或类别的对象相关联的特性特征随时间的变化(例如，车队升级、不同的颜色方案等)。
59.在一个实施方式中，使用支持向量机(svm)来实现局部分类模型，该支持向量机(svm)使用与检测到的对象相关联的传感器数据的位置和时间相关序列来训练，该检测到的对象具有从使用与该对象类型相关联的全局分类模型导出的已知分类。在这方面，检测到的对象可以与适合用作分类模型的输入对象数据集的检测到的对象的相关联的传感器特征数据和检测到的对象的对应跟踪位置和/或同期自有车辆位置的时间相关序列相关联。传感器特征数据的每个样本可以被输入或以其他方式提供给相应车辆处的全局分类模型414的实例，以将具有与分类相关联的估计置信度水平的检测到的对象分类为与该全局分类模型414相关联的特定对象类型。当输入对象数据集中的传感器特征数据样本的数量或百分比(例如，大于序列的20％)被分配大于阈值(例如，大于80％的概率或置信度)的估计分类置信度时，与该全局分类模型414相关联的对象类型标签被分配给检测到的对象和输入对象数据集的每个传感器特征数据样本，从而在与共同的检测和跟踪对象相关联的整个数据集上外推或以其他方式扩展对象标签。如下面更详细描述的，在其他实施方式中，当自有车辆不能以期望的置信度水平将对象类型标签分类或以其他方式分配给检测到的对象时，自有车辆可以使用与检测到的对象相关联的时间和位置数据来查询其他附近的车辆或其他外部系统或装置，以获得由附近的车辆或另一外部源分配给该相同对象的对象类型标签。然后可以将从另一车辆或外部源接收的众包(crowdsourced)标签分配给与检测到的对象相关联的输入对象数据集的每个传感器特征数据样本。
60.此后，与该检测到的对象相关联的传感器特征数据、位置数据和分类对象类型标签的整个时间相关序列可以用于使用svm或其他模型来训练或以其他方式开发与该特定类型的对象相关联的局部分类模型，该svm或其他模型被配置为根据输入传感器特征数据和相关联的位置数据两者来计算、估计或以其他方式确定该特定对象类型的分类置信度或概率。还可以存储或以其他方式维护定义用于局部模型更新的分类边界的经更新的支持向量，以便随后提供给中心节点，以支持关于该特定对象类型的全局分类模型的联邦学习。除了开发局部分类模型之外，还可以利用传感器特征数据和位置数据的整个时间相关的标记序列来支持众包对象分类并向其他附近车辆提供对象分类的索引，如本文所述。
61.仍然参考图5，所示的联邦学习过程500在508处通过将在506处确定的局部分类模型的索引发送或以其他方式提供给中心节点以用于在510处更新通用的与位置无关的分类模型来继续。例如，车辆100、404、406可以周期性地将指示(多个)局部分类模型424、434的
统计、性能度量或其他参数推送、上传或以其他方式发送到中央服务器402，然后中央服务器402聚合或以其他方式组合不同的(多个)局部分类模型424、434的统计、性能度量、参数或其他索引，以在不访问或以其他方式检索局部数据426的情况下以受不同的局部分类模型424、434影响的方式更新(多个)通用的与位置无关的分类模型414。在中央服务器402处，(多个)局部分类模型424、434基于该分类模型。在这方面，在一些实施例中，车辆100、404、406可以提供表征底层局部数据426、436(例如，传感器数据和同期位置数据)的统计数据或其他度量，(多个)局部分类模型424、434适于在其上允许中央服务器402处的处理系统410以适当的方式更新(多个)全局分类模型414，同时保持关于车辆100、404、406处的局部数据426、436的隐私。
62.例如，第一车辆100、404训练、学习或以其他方式开发局部救护车分类模型424，用于根据来自车载感测设备120-123、130-133、140、141、142的检测到的对象传感器数据和车辆100、404的同期位置信息将检测到的对象分类为救护车，而不同城市、州或地理区域的第二车辆100、406类似地开发特定于第二车辆100、406已经操作的位置的局部救护车分类模型434。此后，第一车辆100、404可以将指示其局部救护车分类模型424和/或特定于第一车辆100、404过去操作的地理区域的底层局部数据426的统计、性能度量或其他参数推送、上传或以其他方式发送到中央服务器402，而第二车辆100、406可以类似地将其局部救护车分类模型434和/或特定于第二车辆100、406过去操作的地理区域的底层局部数据436的标记提供给中央服务器402。此后，中央服务器402处的处理系统410将与第一车辆的地理操作区域相关联的局部救护车分类模型424的标记和与第二车辆的地理操作区域相关联的局部救护车分类模型434聚合或以其他方式组合，然后以受不同局部分类模型424、434的相似性和/或不同局部分类模型424、434与先前全局救护车分类模型414之间的差异影响的方式更新全局位置无关救护车分类模型414。结果，在中央服务器402处确定的经更新的全局救护车分类模型414可以更好地考虑不同地理区域之间的数据多样性和变化。
63.在一个或多个实现中，当使用svm实现分类模型414、424、434时，将定义与对不同局部分类模型424、434的更新相关联的分类边界的支持向量上传或以其他方式提供给中央服务器402。在中央服务器402处，处理系统410将从与(多个)不同局部分类模型424、434相对应的不同车辆边缘节点404、406接收的更新的支持向量和与全局分类模型414相关联的支持向量进行组合，以使用来自车辆边缘节点404、406的更新的支持向量来重新训练、更新或以其他方式适配全局分类模型414。在这方面，通过提供来自在不同的、多样的或变化的地理位置中操作的不同车辆边缘节点404、406的支持向量，所得到的全局分类模型414可以是位置无关的。
64.仍然参考图5，在更新全局分类模型之后，联邦学习过程500通过在边缘节点处从中心节点下载或以其他方式获得(多个)更新的全局分类模型而在512处继续。例如，在一些实施例中，中央服务器402可以自动地向车辆100、404、406推送、广播或以其他方式发送通用的或以其他方式与位置无关的更新的全局分类模型414，车辆100、404、406又用更新的全局分类模型414覆盖通用的、与位置无关的分类模型414的现有副本。在这方面，当全局分类模型414实现比(多个)局部分类模型424、434更高的置信度水平时，车辆100、404、406可以利用全局分类模型414来对检测到的对象进行分类或以其他方式分配对象类型标签。例如，当车辆100、404、406从局部紧急车辆分类模型424、434很好地适应于紧急车辆表现出不同
特性特征的不同地理区域的归属区域行驶时，全局分类模型414可以以比尚未使用特定于该新地理区域的数据训练的局部紧急车辆分类模型424、434更高的置信度水平来检测、识别或以其他方式将紧急车辆对象类型分配给局部传感器数据426、436。因此，由于联邦学习过程500使得中心节点402能够以考虑数据多样性的方式适应通用全局分类模型414，因此当车辆100、404、406在新的或不熟悉的地理区域中操作时，可以改善对象分类。
65.在实践中，联邦学习过程500可以重复以使用联邦学习随时间迭代地更新在中央节点402处确定的通用的、与位置无关的全局分类模型，同时还使局部分类模型适应于相应车辆100、404、406所在的特定地理区域。作为联邦学习过程500的结果，在中心节点402处导出的所得全局分类模型可以更鲁棒并且通过考虑由车辆边缘节点100、404、406观察到的跨不同地理区域展现的数据多样性或可变性来实现更好的性能。同时，相应车辆100、404、406处的局部分类模型适于它们各自的地理操作区域，从而在车辆边缘节点100、404、406处局部地改进性能。
66.图6描绘了根据本文描述的一个或多个实施例的适合于结合图5的联邦学习过程500与一个或多个车辆一起实现的增强标记过程600的示例性实施例。例如，参考图1-5，在示例性实施例中，在车辆处执行增强标记过程600，以增加在联邦学习过程500的步骤502处在车辆处可用的标记传感器数据集的可用性和量，用于在步骤506处开发、训练或以其他方式更新局部分类模型。在这方面，增强标记过程600解决了标记检测到的对象传感器数据样本的问题，否则将存在低置信度或无法将标记或分类分配给那些数据样本，例如，由于检测到的对象的观察视角的变化和/或无法从自有车辆的视角观察或识别检测到的对象的特性特征。除了由如上所述的特性特征的数据多样性和/或位置相关变化提出的挑战之外，车辆处的检测到的对象的分类也可能受到检测到的对象相对于车辆的取向的限制，例如，通过仅能够感知紧急车辆的后视图而不是紧急车辆的多个不同视图(例如，侧视图和/或前视图)。
67.应当理解，增强标记过程600内的操作顺序不限于如图6所示的顺序执行，而是可以根据本公开以适用的一个或多个变化的顺序执行。此外，可以从增强标记过程600的实际实施例中省略在图6的上下文中示出和描述的任务中的一个或多个任务，同时仍然实现通常预期的整体功能。出于说明性目的，以下说明书可以参考上面结合图1-2和4提到的元件。在这方面，虽然增强标记过程600的部分可以由车辆系统的不同元件执行，但是出于解释的目的，在本文中可以主要在增强标记过程600的上下文中描述主题，该增强标记过程600主要由在联邦学习系统400中用作边缘节点404、406的车辆100执行或支持或在车辆100处执行或支持。
68.增强标记过程600通过在602处分析从与车辆相关联的一个或多个感测设备获得的传感器数据来初始化或以其他方式开始，以检测或以其他方式识别与车辆附近的对象的存在相对应的传感器数据样本的集合或序列，然后在604处存储或以其他方式维护与检测到的对象数据集合的位置信息和时间信息相关联的检测到的对象的传感器数据样本的序列。例如，如上所述，与车辆100、404相关联的处理系统110、420可以包括决策引擎114，决策引擎114分析从车辆100、404上的感测设备120-123、130-133、140、141、142生成的局部传感器数据426，以检测和/或跟踪相对于车辆100、404的对象。在识别来自一个或多个车载感测设备120-123、130-133、140、141、142的与车辆100、404附近的检测到的和/或跟踪到的对象
相关联的一组或一系列传感器数据样本之后，处理系统110、420存储或以其他方式维护与时间(或时间戳)相关联的传感器数据样本以及与时间(或时间戳)相关联的位置信息，其中该时间(或时间戳)与相应的传感器数据样本相关联。例如，基于与传感器数据样本相关联的时间戳和与从gps或其他车载车辆导航系统获得的位置数据样本相关联的时间戳，处理系统110、420可以将检测到的对象传感器数据集与检测到对象时车辆100、404的同时或当前位置相关联。在实践中，与检测到的对象传感器数据集相关联地维护的位置数据可以包括车辆100、404的当前或同期位置以及检测到的对象在该相应时间的对应位置，该对应位置使用传感器数据从自有车辆位置估计、确定或以其他方式导出(例如，基于使用激光雷达或雷达在相对于车辆的特定方向确定的距离)。
69.在606处，增强标记过程600分析检测到的对象传感器数据集，以识别或以其他方式确定是否可以使用用于检测该对象类型的分类模型来对检测到的对象的传感器数据集的至少一个样本进行分类、标记或以其他方式分配特定对象类型。例如，处理系统110、420可以顺序地分析传感器数据样本和与相应时间戳相关联的位置信息的组合，以确定检测到的对象的特定视图(或对象传感器数据的时间片)是否可以以期望的置信度水平被分类或标记。在这方面，处理系统110、420可以将与检测到的对象传感器数据集的第一时间戳相关联的传感器数据样本和同时期位置信息输入或以其他方式提供给局部救护车分类模型424，确定检测到的对象的特定视图(或对象传感器数据的时间片)是否可以被分类为具有大于分类阈值的相关联的置信度水平或其他性能度量的救护车。当局部救护车分类模型424不能以期望的置信度水平对检测到的对象进行分类时，处理系统110、420继续将与该时间戳相关联的传感器数据样本输入或以其他方式提供给全局救护车分类模型414和/或车辆100、404处可用的其他全局或局部分类模型414、424。
70.当分类模型414、424不能以大于分类阈值的置信度水平对与特定时间戳相关联的传感器数据样本进行分类或标记时，处理系统110、420可以顺序地分析传感器数据样本和与下一个相应时间戳相关联的位置信息的组合，以确定是否可以以期望的置信度水平对检测到的对象的特定视图(或对象传感器数据的时间片)进行分类或标记，直到检测到的对象传感器数据的整个序列已经被分析。
71.在608处，当分类模型之一能够以期望的置信度水平将对象类型分类、标记或以其他方式分配给传感器数据样本时，增强标记过程600通过用所分配的对象类型标记或以其他方式分配与相同的跟踪和/或检测到的对象相关联的其他传感器数据样本来继续。例如，如果与检测到的对象相关联的传感器数据样本的序列除了侧视图之外还包括对象的后视图和斜视图，并且处理系统110、420仅能够以期望的置信度水平将与侧视图相对应的传感器数据样本分类为特定对象类型(例如，救护车)，则处理系统110、420仅能够将与侧视图相对应的传感器数据样本分类为特定对象类型(例如，救护车)。420可以扩展该分类，以基于传感器数据样本之间的时间和/或空间关系(例如，当位置、空间取向和/或特性特征的差异以及时间戳之间的差异小于指示相同对象的相应对象跟踪阈值时)，将相同的对象类型分配给被识别为属于车辆100、404附近的相同对象的检测到的对象传感器数据集的先前和/或后续数据样本。以这种方式，增强标记过程600可以标记检测到的对象的更多样化或变化的视图，从而增加用于训练局部分类模型的标记数据集的大小(在502)，这进而改善了(在504导出的)局部分类模型的性能和鲁棒性。
72.仍然参考图6，当增强标记过程600不能将对象类型标签分类或以其他方式分配给检测到的对象传感器数据集时，增强标记过程600通过在610处向一个或多个其他车辆广播或以其他方式发送对检测到的对象的分类或标签的请求来继续。在这方面，车辆100、404可以利用v2v通信来通过网络152查询在车辆100、404附近操作的其他车辆，以指示在车辆100、404附近操作的另一车辆是否能够在与检测到的对象传感器数据集的相应传感器数据样本相同的时间、对位于基本相同位置的检测到的对象进行分类或标记。例如，车辆100、404可以通过v2v通信网络152广播请求，该请求包括识别与检测到的对象相关联的时间戳和对应位置的信息。在请求车辆100、404附近操作的第二车辆100、406可以接收请求并分析在第二车辆100、406处存储或以其他方式维护的检测到的对象数据，以确定第二车辆100、406上的处理系统110、430是否能够在基本上相同的时间、对在基本上相同的位置处检测到的对象进行分类或标记。例如，第二车辆100、406可能已经被定位成观察救护车的侧视图，这允许第二车辆100、406将该位置处的检测到的对象分类为救护车，而请求车辆100、404处的传感器数据样本仅捕获后视图、斜视图、局部视图，或者以其他方式不能允许请求车辆100、404处的处理系统110、420以期望的置信度水平将检测到的对象分类为救护车。响应于识别出匹配与请求相关联的位置和时间的分类的检测对象，第二车辆100、406可以发送或以其他方式提供对查询的响应，该响应包括分配给在基本相同的时间和位置检测到的对象的对象类型的索引。
73.响应于在612处接收到指示一个或多个其他车辆能够对检测到的对象进行分类的响应，增强标记过程600通过以与上述608处类似的方式在614处将该众包对象类型标记或以其他方式分配给与相同的跟踪和/或检测到的对象相关联的所有传感器数据样本来继续。在这方面，当相邻车辆100、406能够将检测到的对象分类为具有期望置信度水平的特定对象类型(例如，救护车)时，处理系统110、420可以扩展该分类以将相同的对象类型(以及由相邻车辆100、406分配的相关联的置信度水平)分配给其自己的局部传感器数据样本，该局部传感器数据样本对应于车辆100、404附近的相同检测到的对象。在这方面，当多个不同的车辆响应查询请求时，处理系统110、420可以在将最可能的对象类型分配给检测到的对象之前组合或以其他方式增强响应以获得聚合响应。例如，当多个不同的车辆将相同的对象类型分配给在基本上相同的时间和位置检测到的对象时，处理系统110、420可以将与该分类相关联的置信度水平增加到大于来自任何一个车辆的个体置信度水平的聚合置信度水平。另一方面，当多个不同的车辆将不同的对象类型分配给在基本上相同的时间和位置检测到的对象时，处理系统110、420可以实现一个或多个投票方案以在分类之间进行仲裁，以确定要分配给检测到的对象的最可能的对象类型以及考虑不同车辆之间的差异的对应的调整后的置信度水平。在没有来自其他车辆的响应的情况下，增强标记过程600退出而不对检测到的对象进行分类或标记。
74.参考图6，参考图5，应当理解，增强标记过程600和联邦学习过程500可以同时实现并且彼此协同工作，以便以无监督的方式改进对象分类。例如，增强标记过程600可以增加可以在502处被标记或分类并用于开发局部分类模型424、434的局部数据426、436的量。在联邦学习过程500的506处的车辆100、404、406处的改进的局部分类模型424、434的开发又提高了车辆100、404、406处的处理系统110、420、430在606处对各个数据样本进行分类并在增强标记过程600的608处将标签分配给与相同对象相关联的更大的一组传感器数据样本
的能力，从而增加了502和504处的可用数据并改善了局部分类模型424的细化。在506处的联邦学习过程500的后续迭代期间，执行步骤434。局部分类模型424、434还增加了在基本上相同的位置处或周围基本上同时操作的另一车辆能够在612处对检测到的对象进行分类或标记并且在610处响应于从自有车辆接收到查询请求而提供对应索引的可能性，这通过允许自有车辆在614处将标签分配给否则将未被标记的检测到的对象传感器数据集。在502处改进可用数据，以便以更好地考虑对象的不同的、具有挑战性的或以其他方式难以分类的视图的方式在506处改进局部分类模型的未来开发。此外，联邦学习过程500允许在510处在中心节点402处开发的全局分类模型414也反映受益于增强标记过程600并且在508处被接收的改进的局部模型。在512处改进被提供回车辆边缘节点的全局模型还增加了车辆边缘节点能够结合增强标记过程600使用局部模型来对否则将不能以期望的置信度水平分类的对象进行分类的可能性，这类似地改进了局部模型的开发和全局模型的未来迭代。
75.参考图1-6，借助于联邦学习过程500，联邦学习系统400通过使用局部模型来解决数据多样性挑战，所述局部模型使用与来自车辆的先前位置信息相关联的局部数据进行适配，以提供基于特征的分类或聚类，同时还被加权或依赖于位置，以改善自动化事件检测。与联邦学习过程500一致，增强标记过程600通过使用对象跟踪和定位来关联相关的传感器数据样本以及众包以获得由其他车辆分配的分类或标记，来解决无监督学习中的标记挑战，以应对具有未知检测到的对象的困难或具有挑战性的分类场景。通过改进基础分类模型来提高决策引擎114以更高的置信度检测和分类紧急车辆或其他第一响应者车辆的能力，车辆100的处理系统110可以更快速和/或更准确地检测车辆外部的对应事件(例如，在方法300的304处)，并响应于检测到的事件(例如，方法300的306和/或308)发起适当的动作。
76.虽然在前述详细说明书中已经呈现了至少一个示例性实施例，但是应当理解，存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并不旨在以任何方式限制本公开的范围、适用性或配置。相反，前述详细说明书将为本领域技术人员提供用于实现一个或多个示例性实施例的方便的路线图。应当理解，在不脱离如所附权利要求及其法律等同物中阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

技术特征：
1.一种方法，包括：在车辆处从所述车辆的传感器获得所述车辆外部的检测到的对象的传感器数据；在车辆处获得与检测到的对象相关联的位置数据；在所述车辆处获得与对象类型相关联的局部分类模型；使用所述局部分类模型，基于所述局部分类模型根据所述传感器数据和所述位置数据的输出，将所述对象类型分配给所述检测到的对象；以及在所述车辆处发起响应于将所述对象类型分配给所述检测到的对象的动作。2.根据权利要求1所述的方法，其中发起所述动作包括在所述车辆处使用所述传感器数据和与所述传感器数据相关联的所述位置数据来更新所述局部分类模型。3.根据权利要求2所述的方法，还包括：在更新所述局部分类模型之后，由所述车辆通过网络将所述局部分类模型的标记发送到远程服务器。4.根据权利要求3所述的方法，还包括：在将所述局部分类模型的所述标记发送到所述远程服务器之后，在所述车辆处通过所述网络从所述远程服务器接收与所述对象类型相关联的更新的全局分类模型，其中，所述远程服务器使用所述局部分类模型的所述标记来确定与所述对象类型相关联的更新的全局分类模型。5.根据权利要求1所述的方法，其中发起所述动作包括：在不同于与所述传感器数据相关联的第一时间的第二时间从所述车辆的所述传感器获得第二传感器数据；在所述第二时间获得与所述第二传感器数据相关联的第二位置数据，其中所述第二位置数据不同于所述位置数据；基于所述第二位置数据和所述位置数据之间的第一关系以及所述第二时间和所述第一时间之间的第二关系，将所述第二传感器数据和所述第二位置数据与所述检测到的对象相关联；以及当由所述局部分类模型输出的针对所述传感器数据和所述位置数据的所述组合的置信度值大于分类阈值时，将所述对象类型分配给所述第二传感器数据和所述第二位置数据。6.根据权利要求1所述的方法，还包括：当由所述局部分类模型输出的所述置信度值小于分类阈值时，由所述车辆通过网络发送对与所述检测到的对象相关联的分类的请求，其中，所述请求包括与所述检测到的对象相关联的所述位置数据；以及在所述车辆处通过所述网络从第二车辆接收响应于所述请求的所述对象类型的指示。7.根据权利要求6所述的方法，还包括：将由所述第二车辆针对所述检测到的对象指示的所述对象类型分配给所述传感器数据和所述位置数据，其中，发起所述动作包括：在所述车辆处，使用所述传感器数据和与所述传感器数据相关联的所述位置数据来更新所述局部分类模型。8.根据权利要求6所述的方法，还包括：在所述车辆处，在第二时间从所述车辆的所述传感器获得第二传感器数据，所述第二时间不同于与所述传感器数据相关联的第一时间；在所述车辆处获得与在所述第二时间的所述第二传感器数据相关联的第二位置数据，
其中所述第二位置数据不同于所述位置数据；基于所述第二位置数据和所述位置数据之间的第一关系以及所述第二时间和所述第一时间之间的第二关系，将所述第二传感器数据和所述第二位置数据与所述检测到的对象相关联；以及在将所述第二传感器数据和所述第二位置数据与所述检测到的对象相关联之后，将由所述第二车辆针对所述检测到的对象指示的所述对象类型分配给所述第二传感器数据和所述第二位置数据。9.根据权利要求8所述的方法，其中，发起所述动作包括：在将由所述第二车辆针对所检测到的对象指示的所述对象类型分配给所述第二传感器数据和所述第二位置数据之后，在所述车辆处使用所述第二传感器数据和与所述第二传感器数据相关联的所述第二位置数据来更新所述局部分类模型。10.一种车辆，包括：传感器，所述传感器用于提供所述车辆外部的检测到的对象的传感器数据；导航系统，所述导航系统用于与所述传感器数据同时提供所述车辆的位置数据；存储器，包括计算机可读指令和与对象类型相关联的局部分类模型；以及用于执行所述计算机可读指令的处理设备，所述计算机可读指令控制所述处理设备以执行操作，所述操作包括：使用所述局部分类模型，基于所述局部分类模型根据所述传感器数据和所述位置数据的输出，将所述对象类型分配给所述检测到的对象；以及响应于将所述对象类型分配给所述检测到的对象而发起动作。

技术总结
提供了用于在联邦学习环境中使用局部模型以位置相关的方式对检测到的对象进行分类的车辆和相关系统及方法。一种方法涉及：从车辆的传感器获得车辆外部的被检测对象的传感器数据；获得与被检测对象相关联的位置数据；获得与对象类型相关联的局部分类模型；使用局部分类模型，基于局部分类模型根据传感器数据和位置数据的输出，将对象类型分配给被检测对象；响应于将对象类型分配给检测到的对象，在车辆处启动动作。车辆处启动动作。车辆处启动动作。


技术研发人员：W.张 E.安德森 M.T.盖洛德 R.A.德齐尔达
受保护的技术使用者：通用汽车环球科技运作有限责任公司
技术研发日：2022.10.13
技术公布日：2023/7/12