用于推断车辆乘员的行为的装置及方法与流程

1.各种实施方案涉及用于推断车辆乘员行为的装置及方法，更具体地，涉及用于通过融合经由车辆内部摄像机和车辆内部信息传感器获取的信息，利用粒子滤波稳健地推断乘员的三维行为的装置及方法。


背景技术：

2.自动驾驶车辆是指能够在没有驾驶员的操作的情况下自行行驶的车辆。
3.汽车工程师学会(society of automotive engineers)将自动驾驶技术的发展分为六个阶段。在初始阶段，人监视行驶环境，自动驾驶技术仅执行辅助人驾驶的功能，例如，转向辅助、加速/减速辅助。然而，在最后的阶段，提供无需人为干预的完全自动化，从而自动驾驶系统负责驾驶车辆，同时监测所有的道路状况和环境。
4.在这样的自动驾驶车辆中，自动驾驶系统必然要获取关于车辆内部和外部的信息。此外，为了确保乘员的安全，有必要获取乘员的三维行为。


技术实现要素：

5.本发明的目的是提供一种利用诸如摄像机的非接触式传感器来稳健地推断乘员的三维行为的方法及装置。
6.此外，本发明的目的是提供一种通过融合经由车辆内部摄像机和车辆内部信息传感器获取的信息，利用粒子滤波稳健地推断乘员的三维行为的方法及装置。
7.本文件要克服的技术问题不限于上述技术问题。未提及的其他技术问题可以由本领域的普通技术人员从下面的描述中清楚地理解。
8.一个实施方案是乘员行为推断系统，其推断车辆内乘员的行为。乘员行为推断系统可以包括：摄像机，其配置为获取车辆内乘员的图像；传感器，其配置为获取关于车辆的信息；图像处理装置，其配置为处理从摄像机获取的图像并且获取乘员的关键点信息；车辆安全控制器，其配置为基于经由传感器获取的关于车辆的信息、从图像处理装置获取的关键点信息，利用粒子滤波来推断乘员的行为。
9.另一实施方案是乘员行为推断系统，其推断车辆内至少一个乘员的行为。乘员行为推断系统可以包括：摄像机，其配置为获取车辆内至少一个乘员的图像；传感器，其配置为获取关于车辆的信息；图像处理装置，其配置为处理从摄像机获取的图像，并且获取至少一个乘员的关键点信息以及通过跟踪至少一个乘员提供的目标跟踪信息；车辆安全控制器，其配置为基于经由传感器获取的关于车辆的信息、从图像处理装置获取的关键点信息和目标跟踪信息，利用粒子滤波来推断乘员的行为。
10.又一实施方案是乘员行为推断系统的乘员行为推断方法。乘员行为推断方法可以包括：从经由摄像机获取的图像中获取关键点信息；基于关键点信息检测至少一个乘员，并且获取包括关于检测到的至少一个乘员的信息的目标跟踪信息；基于检测到的至少一个乘员确定现有乘员的检测是否失败，是否存在与检测到的至少一个乘员之中的现有乘员相对
应的乘员以及是否存在新乘员；当存在新乘员作为确定的结果时，创建与相应的新乘员相对应的第一粒子滤波并且初始化第一粒子滤波的粒子；当存在与现有乘员相对应的乘员作为确定的结果时，传播与相应的现有乘员相对应的第二粒子滤波的粒子，更新粒子的权重，推断相应的现有乘员的行为，当特定条件得到满足时对粒子重采样；当与现有乘员相对应的乘员的检测失败作为确定的结果时，去除与相应的现有乘员相对应的第三粒子滤波。
11.根据本发明的各种实施方案，可以通过融合经由车辆内部摄像机和车辆内部信息传感器获取的信息来更加稳健和准确地推断乘员的三维行为，为基于人工智能的乘员行为推断中的意外故障做好准备。
12.根据本发明的各种实施方案，推断的乘员的三维行为可以用于车辆安全控制，以保护在自动驾驶环境中不在常规位置上的乘员。
13.可以从本发明获得的有益效果不限于上述效果。此外，其它未提及的效果可以由本发明所属领域的技术人员从以下描述中清楚地理解。
附图说明
14.图1示出了根据各种实施方案的用于推断车辆内乘员的行为的系统；
15.图2示出了乘员行为推断系统中的信息流；
16.图3示出了控制单元检测乘员的示例；
17.图4示出了根据各种实施方案的确定乘员检测的控制单元的操作；
18.图5示出了根据控制单元的粒子滤波创建指令的粒子滤波单元的粒子滤波生成操作；
19.图6示出了参考关键点的示例；
20.图7示出了粒子滤波单元的粒子滤波更新操作。
具体实施方式
21.用于本发明的实现的特征、优点和方法通过参考下面描述的详细的实施方案以及所附附图将更加明显。然而，本发明不限于将在下面公开的实施方案，并且本发明以不同和各种的形式来实施。实施方案使得本发明完全公开并且提供为使得本领域技术人员充分地理解本发明的保护范围。本发明仅由所附权利要求的范围来限定。在整个发明中相同的附图标记对应于相同的元件。
22.一个组件称为“连接至”或“接合至”另一组件的情况包括一个组件直接连接或接合至另一组件的情况以及又一组件插入其间的情况两种情况。同时，一个组件称为“直接连接至”或“直接接合至”另一组件表示其间未插入又一组件。术语“和/或”包括提及项的每一个及其所有组合的一个或更多个。
23.本说明书中使用的术语提供为仅用于描述本发明的具体实施方案，而不旨在限制。在本说明书中，如果没有特别说明，则单数形式的表述包括其复数形式的表述。在说明书中使用的术语“包括”和/或“包括的”旨在指出说明书中提及的特征、数值、步骤、操作、组件、部件或其任何组合，并且不旨在排除存在或添加至少一个其它特征、数值、步骤、操作、组件、部件或其任何组合。
24.虽然诸如第一和第二等的术语可以用于描述各种组件，但组件不受上述术语的限
制。这些术语仅用于将一个组件和其他组件区分开。
25.因此，将在下面描述的第一组件可以是本发明的精神内的第二组件。除非不同地定义，否则在本文中使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域的普通技术人员通常理解的含义相同的含义。此外，不应理想化地或过度地解释在词典中定义的常用术语，只要这些术语在本技术中没有明确和具体地定义。
26.在实施方案中使用的术语“部件”或“模块”可以指软件组件或硬件组件，例如，现场可编程门阵列(fpga)、专用集成电路(asic)。“部件”或“模块”执行某些功能。然而，“部件”或“模块”不意味着限于软件或硬件。“部件”或“模块”可以配置为放置在可寻址的存储介质中或修复一个或更多个处理器。因此，对于一个示例，“部件”或“模块”可以包括诸如软件组件、面向对象的软件组件、类组件和任务组件的组件，并且可以包括进程、函数、属性、过程、子例程、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表、数组和变量。设置在“部件”或“模块”中的组件和功能可以与较少数量的组件和“部件”或“模块”组合，或者可以进一步划分为附加组件和“部件”或“模块”。
27.在下文中，将参考所附附图详细地描述各种实施方案。
28.图1示出了根据各种实施方案的车辆内的乘员行为推断系统100。图2示出了乘员行为推断系统100中的信息流。
29.参考图1，乘员行为推断系统100可以包括摄像机110、多个车辆传感器120、图像处理装置130和车辆安全控制器140。
30.摄像机110可以通过拍摄车辆内乘员可以就座的座椅的方向的照片来获取包括乘员的图像。
31.多个车辆传感器120可以设置在车辆内的不同位置，以获取车辆内部的信息，具体地，可以包括动态传感器121和座椅信息传感器123。动态传感器121能够检测与车辆的移动有关的信息。座椅信息传感器123能够检测包括乘员的就座状态并且与乘员就座的座椅相关的信息。这里，动态传感器121可以包括加速度传感器和横摆率传感器，座椅信息传感器123可以包括乘员检测系统(occupant detection system，ods)传感器、位置传感器、倾斜度传感器、旋转传感器等，ods传感器检测乘员的就座。
32.图像处理装置130可以是能够处理经由摄像机110获取的图像并提取乘员的关键点信息和额外的目标跟踪信息的装置。图像处理装置130可以包括关键点提取单元131和目标跟踪单元133。
33.在处理了经由摄像机获取的图像之后，关键点提取单元131可以通过诸如卷积神经网络(cnn)的深度学习或计算机视觉技术来提取乘员的关键点。乘员的关键点可以包括乘员的主要受伤点，诸如头部、颈部、肩部等，并且可以针对每个关键点提取图像平面上的二维位置和空间中的三维位置。根据实施方案，可以不提取三维位置。
34.目标跟踪单元133可以利用目标跟踪逻辑来检测乘员，这是因为通过目标跟踪逻辑能够更稳健地确定乘员是否存在，并且将从连续图像中提取的乘员的关键点信息分配给同一乘员。
35.目标跟踪单元133可以通过跟踪在从摄像机110获取的连续图像中检测到的乘员来生成目标跟踪信息，并且可以将生成的目标跟踪信息发送至车辆安全控制器140。目标跟踪单元133还可以确定与通过诸如cnn的深度学习技术或计算机视觉技术检测到的乘员相
对应的目标跟踪信息。目标跟踪信息可以包括：标识(id)号、关键点信息、边界框信息和被跟踪乘员的就座信息。根据实施方案，目标跟踪单元133可以以一定的时间间隔或在每一图像帧中提取并跟踪乘员，并且可以将结果作为目标跟踪信息发送至车辆安全控制器140。这里，当确定出被跟踪乘员与先前的被跟踪乘员相同时，可以使用相同的标识号。当被跟踪乘员是新识别的乘员时，可以分配并提供新的标识号。
36.车辆安全控制器140可以安装于车辆，可以融合从图像处理装置130获取的信息和从多个车辆传感器120获取的信息，并且可以利用粒子滤波来推断乘员的三维行为。
37.粒子滤波是基于仿真的预测技术之一，也称为序贯蒙特卡罗(sequential monte carlo，smc)方法，并且可以是一种适用于非线性或非高斯系统的算法。粒子滤波可以仅基于具有误差的观测值来连续地预测即将到来的信息。粒子滤波可以应用利用针对系统适当提出的概率分布而随机生成的输入，综合结果，然后提取系统的信息。
38.车辆安全控制器140可以针对每个乘员生成彼此独立的单独的粒子滤波，从而识别每个乘员的行为。
39.车辆安全控制器140可以包括控制单元143和粒子滤波单元141。
40.可以在实时更新关于被跟踪目标的信息时设置控制单元143。关于被跟踪目标的信息可以包括：用于从各个现有乘员中识别乘员的标识(id)号、边界框信息、目标未跟踪到的次数、就座信息等。与包括在从图像处理装置130接收到的目标跟踪信息中的每个乘员的标识号相同的标识号可以用作关于被跟踪目标的信息的标识号。
41.控制单元143可以利用诸如ods传感器的座椅信息传感器123来确定乘员的就座信息，或者可以通过确定座椅的边界框与乘员的边界框之间的交并比(intersection over union，iou)值是否等于或大于预定阈值来确定乘员的就座信息。或者，这两种方法可以组合使用。这里，座椅的边界框可以根据座椅信息进行改变。
42.根据实施方案，当座椅信息传感器123提供了乘员就座的信息时，控制单元143可以确定出相应的乘员就座。
43.根据另一实施方案，当座椅的边界框与乘员的边界框之间的iou值等于或大于预定阈值时，控制单元143可以确定出乘员就座。
44.控制单元143可以通过以上两条信息的组合来确定乘员是否就座。这将在下面详细描述。
45.根据实施方案，座椅信息传感器123可以提供“成人”、“矮小的人(儿童)”、“空(未就座)”和“不确定”作为就座信息。
46.根据由座椅信息传感器123提供的就座信息，控制单元143可以将乘员识别为就座的条件和乘员识别为解除就座的条件(将乘员识别为离位(out of position，oop)的条件)设置为不同。
47.根据实施方案，在由座椅信息传感器123识别出的就座信息指示出作为“成人”或“儿童”的乘员就座的情况下，当围绕座椅的边界框与乘员的边界框之间的iou值大于预定阈值时，控制单元143可以将乘员识别为就座。如果车辆正在行驶，则控制单元143可以确定出成人始终就座在驾驶员座椅上，而与由座椅信息传感器123识别出的乘员信息无关。
48.在控制单元143将乘员识别为就座的情况下，当座椅信息传感器123提供指示“空的(没有人就座)”信息，并且当围绕座椅的边界框与乘员的边界框之间的iou值小于或等于
预定阈值的情况发生了多于预定次数时，控制单元143可以解除识别出乘员就座。
49.在控制单元143将乘员识别为未就座的情况下，当座椅信息传感器123提供了指示没有人就座的信息时，无论iou值如何，控制单元143都可以将乘员连续地识别为未就座。
50.根据实施方案，在由座椅信息传感器123识别出的乘员信息为“不确定”的情况下，控制单元143可以在围绕座椅的边界框与乘员的边界框之间的iou值大于预定阈值时，将乘员识别为就座。这里，当乘员信息为“不确定”时的阈值可以大于用于确定乘员是否就座时所使用的阈值。此外，在由座椅信息传感器123识别出的乘员信息为“不确定”并且控制单元143将乘员识别为就座的情况下，围绕座椅的边界框与乘员的边界框之间的iou值大于预定阈值的情况未满足大于预定次数，控制单元143可以解除识别出乘员就座。
51.基于关于被跟踪目标的信息和从图像处理装置130接收到的目标跟踪信息，控制单元143确定现有乘员的检测是否失败或者是否检测到新乘员。基于确定的结果，控制单元143可以进行控制以创建针对新乘员的粒子滤波或者去除针对未能检测到的现有乘员的粒子滤波。
52.基于从目标跟踪单元133获取的目标跟踪信息、从关键点提取单元131获取的关键点的三维位置信息和/或二维位置信息以及关于被跟踪目标的信息，控制单元143可以确定现有乘员的检测是否失败或者是否检测到新乘员。
53.图3示出了控制单元143检测乘员的示例。
54.参考图3，控制单元143可以获取关于每个被跟踪乘员的边界框信息310。可以基于由针对每个被跟踪乘员创建的粒子滤波所确定的每个乘员的行为信息来获取每个被跟踪乘员的边界框信息。根据实施方案，关于每个乘员的边界框信息可以由粒子滤波单元141生成并且发送至控制单元143。根据另一实施方案，控制单元143可以从粒子滤波单元141获取推断的关于每个乘员的关键点位置信息，并且可以基于该信息直接生成关于每个乘员的边界框信息。在图3的示例中，控制单元143可以分别获取关于具有标识号1、2和3的现有乘员的边界框信息。
55.控制单元143可以基于由图像处理装置130获取的信息来获取关于当前检测到的乘员的边界框信息320。根据实施方案，图像处理装置130可以生成关于检测到的乘员的边界框信息并将其提供给控制单元143。然而，根据另一实施方案，控制单元143还可以基于从图像处理装置130接收到的目标跟踪信息以及关键点信息来生成关于检测到的乘员的边界框信息。
56.控制单元143可以执行匹配使得被跟踪乘员的边界框与当前检测到的乘员的边界框之间的交并比(intersection over union，iou)的总和最大化。控制单元143可以基于匹配结果330来确定现有乘员的检测是否失败或者是否检测到新乘员。
57.图4示出了根据各种实施方案的确定乘员检测的控制单元143的操作。
58.参考图4，在步骤s110，控制单元143可以获取关于被跟踪乘员的第一边界框信息。在步骤s120，控制单元143可以获取关于检测到的乘员的第二边界框信息。在步骤s130，控制单元143可以执行匹配使得第一边界框与第二边界框之间的iou的总和最大化。
59.在步骤s140，控制单元143针对各个标识号确定iou是否大于预定阈值以及是否存在现有乘员，从而确定是否将与每个标识号相对应的乘员检测为现有乘员，现有乘员的检测是否失败或者乘员是否被检测为新乘员。
60.参考图3的示例，基于匹配结果330，标识号1和2的乘员各自具有大于预定阈值的iou，从而控制单元143可以确定出将该乘员检测为现有乘员。由于具有标识号3的乘员的iou小于预定阈值，并且该标识号用于被跟踪乘员，因此控制单元143可以确定现有乘员的检测失败。由于具有标识号4的乘员具有小于预定阈值的iou，并且该标识号用于新检测到的乘员，因此控制单元143可以确定出将该乘员检测为新乘员。
61.图3和图4仅示出实施方案。控制单元143可以基于另一方法(例如，将被跟踪乘员的标识号与包括在从目标跟踪单元133获取的目标跟踪信息中的检测到的乘员的标识号进行比较的方法)，确定是否将乘员检测为现有成员、现有乘员的检测是否失败或者是否将乘员检测为新乘员。
62.当现有乘员的检测失败时，控制单元143可以去除与该乘员相对应的粒子滤波。根据实施方案，当现有乘员的检测失败时，控制单元143可以立即去除粒子滤波。然而，根据另一实施方案，当控制单元143将乘员未跟踪到的次数增加1并且乘员未跟踪到的次数大于预定值时，控制单元143可以去除相应的粒子滤波。当需要去除粒子滤波时，控制单元143可以指示粒子滤波单元141去除粒子滤波。
63.当确定出检测到新乘员时，控制单元143可以指示粒子滤波单元141创建粒子滤波以推断新乘员的行为。
64.当确定出检测到现有乘员时，控制单元143可以指示粒子滤波单元141更新与相应乘员相对应的粒子滤波，以推断现有乘员的行为。
65.粒子滤波单元141获取车辆内部传感器信息，包括就座信息、加速度、角速度、座椅位置、座椅倾斜角度、座椅旋转角度、关键点的二维位置信息和/或三维位置信息。基于这些信息，粒子滤波单元141可以推断乘员的行为。
66.粒子滤波单元141可以包括针对每个检测到的乘员的单独的粒子滤波，以推断每个检测到的乘员的行为。
67.图5示出了根据控制单元143的粒子滤波创建指令的粒子滤波单元141的粒子滤波生成操作。
68.当检测到新乘员时，控制单元143可以请求粒子滤波单元141创建与该乘员相对应的粒子滤波。
69.响应于针对新乘员的粒子滤波创建请求，在步骤s210，粒子滤波单元141可以创建与新乘员相对应的新的粒子滤波，并且在步骤s220，可以初始化粒子滤波的粒子。根据实施方案，如果检测到的新乘员处于就座状态，则粒子滤波单元141可以基于利用座椅信息传感器获取的座椅信息来初始化粒子。如果检测到的新乘员处于离位(oop)状态，则粒子滤波单元141可以利用关键点的三维位置信息来初始化粒子。这里，oop状态可以表示就座解除状态，即，未就座状态。
70.当检测到乘员处于就座状态时，粒子滤波单元141可以通过根据经建模的就座信息不同设置的处于就座状态的乘员的参数来初始化粒子。这里，参数可以是基于座椅信息的预定值，并且可以通过关于使用乘员姿势的座椅信息的推断的学习、关于根据座椅倾斜角度的就座乘员的姿势的学习等来获取和调整参数。根据另一实施方案，在乘员处于就座状态的情况下，粒子滤波单元141可以根据座椅信息和关键点的三维初始测量值以一定比例混合处于就座状态的乘员的参数来初始化粒子。
71.当检测到处于oop状态的乘员时(即，当在从座椅信息传感器123获取到“空的”信息的情况下通过关键点分析检测乘员时)，由于不能使用座椅信息，粒子滤波单元141可以通过乘员模型参数(其是通过关键点的三维初始测量值而计算的)来初始化粒子。
72.根据实施方案，可以将创建粒子滤波时初始化的粒子数设置为固定值。
73.这里，每个粒子可以包括乘员身体模型的权重和参数。乘员身体模型可以根据最小参数来计算感兴趣的关键点的三维位置，并且可以包括动态模型。粒子的当前状态可以由动态模型进行检查。根据实施方案，乘员身体模型的参数可以包括诸如颈部和骨盆的参考关键点的三维位置、关键点之间的距离(与乘员的体型有关，并且可以表示手臂和/或腿的长度)以及每个关节的角度或连接关键点的线条之间的角度。根据实施方案，乘员身体模型的参数可以分为男性身体模型参数、女性身体模型参数或幼儿身体模型参数。
74.图6示出了参考关键点的示例。
75.参考图6，根据实施方案，可以将人体的各个关节设置为参考关键点。
76.在对针对新乘员的粒子滤波的粒子进行初始化之后，粒子滤波单元141可以立即更新粒子滤波并且推断乘员的行为。
77.当粒子滤波单元141从控制单元143接收到针对现有乘员的粒子滤波的更新指令时，粒子滤波单元141可以更新粒子滤波并且推断乘员的行为。
78.也就是说，当粒子滤波单元141从控制单元143接收到针对新乘员的粒子生成指令时，粒子滤波单元141可以针对相应的新乘员生成粒子滤波，对相应粒子滤波的粒子进行初始化，然后从控制单元143接收针对现有乘员的粒子滤波的更新指令。之后，粒子滤波单元141可以更新相应的粒子滤波。
79.在更新粒子滤波之后，粒子滤波单元141可以推断相应乘员的行为。
80.图7示出了粒子滤波单元141的粒子滤波更新操作。
81.图7所示的粒子滤波更新操作可以在所有生成的粒子滤波上独立地执行。
82.参考图7，在步骤s230，粒子滤波单元141可以利用动态传感器测量值和乘员的动态模型来预测状态传播粒子。
83.这里，动态传感器121可以是惯性测量单元(imu)传感器，测量值可以包括3轴加速度和3轴角加速度。乘员的动态模型可以定义为以下函数。也就是说，动态模型f可以是乘员的状态x、imu传感器的测量值和微小时间(minute time)“dt”的函数。
84.x_预测＝f(x，imu传感器，dt)等式(1)
85.根据实施方案，动态模型f可以建模为质量-弹簧-阻尼器(mass-spring-damper)系统。
86.根据另一实施方案，动态模型可以通过经验或直观法来建模。例如，当imu传感器的x轴值增大时，动态模型可以建模为向前倾斜，当横摆率增大时，动态模型可以建模为在离心力方向上倾斜。另一方面，由于更大的加速度可以使得动态模型更准确和更有效，因此，在预测乘员的突然行为和帮助粒子很好地遵循行为方面，动态模型可以发挥作用。因此，只有当imu传感器的测量值超过一定阈值时，才能应用动态模型。
87.根据实施方案，在步骤s230，粒子滤波单元141可以通过将无线电噪声(radio noise)额外添加至等式(1)中预测的x_预测值来传播粒子。
88.在步骤s240，粒子滤波单元141可以更新粒子权重。粒子权重可以以多种方式进行
更新。例如，可以利用先验概率信息、关键点的二维位置信息、关键点的三维位置信息或从座椅信息传感器123获取的座椅信息更新粒子权重信息。或者，粒子权重信息可以以至少上述更新方法的至少一部分的组合进行更新。
89.利用先验概率信息更新粒子权重信息的方法可以包括将在身体方面不可能的姿态的粒子或不在车辆内部的粒子去除。此外，可以利用能够预先获取的信息更新粒子权重，例如，利用统计的人体数值更新权重。也就是说，可以去除不符合条件的粒子(权重更新为0)，或者可以利用预先获取的信息来降低权重。
90.例如，可以通过粒子的关节角参数来确定两个肩部是否在颈部周围以较大的角度弯曲或颈部异常弯曲，从而可以去除粒子或者可以降低权重。粒子滤波单元141可以根据粒子的乘员身体参数来计算关键点的三维位置，并且可以根据计算的关键点的三维位置来计算乘员的关节角度。此外，如果根据计算的关节角度将乘员的姿势识别为不可能的姿势，则粒子滤波单元可以去除粒子或者可以降低权重。
91.此外，实际上，当根据粒子参数计算的关键点的三维坐标不在车辆内部时，也可以去除粒子。粒子滤波单元141预先具有与车辆内部相对应的位置信息或关于摄像机的视场(fov)的信息。当与粒子相对应的关键点的三维坐标在相应范围以外时，粒子滤波单元可以降低粒子权重或可以去除粒子。
92.此外，通过反映关于统计的人体数值之中的体型的数据来设置关于关键点之间的距离的信息的条件，当根据粒子参数计算的关键点的三维坐标不满足设置的条件时，可以去除粒子或降低权重。或者，实际上，当根据粒子参数计算的关键点的三维坐标之间的距离指示了主要部分之间的异常距离或异常的身体比例时，也可以去除粒子或者可以降低权重。
93.利用关键点的二维位置信息更新粒子权重信息的方法是：通过首先将根据粒子参数计算的关键点的三维坐标投影到图像平面上来计算粒子的似然概率，并且基于计算的概率值更新粒子权重信息。这里，根据实施方案，关键点的二维位置信息可以建模为概率分布，例如，多元正态分布等。
94.利用关键点的三维位置信息更新粒子权重信息的方法是：通过根据粒子参数计算的关键点的三维坐标来计算粒子的似然概率，并且基于计算的概率值更新粒子权重信息。这里，根据实施方案，关键点的三维位置信息可以建模为概率分布，例如，多元正态分布等。
95.根据利用座椅信息传感器更新粒子权重信息的方法，当检测到处于就座状态的乘员时，将根据座椅信息计算的关键点坐标与根据粒子计算的三维坐标进行比较，然后可以以与距离成反比的方式更新权重。例如，当所述两个坐标的位置相似时，可以通过增大权重更新粒子权重，当所述两个坐标相距较远时，可以通过降低权重更新粒子权重。这里，根据座椅信息计算的关键点的坐标可以是根据预先建模的座椅信息、从处于就座状态的乘员的参数中获取的关键点的坐标。例如，预测的就座乘员的每个关节参数的坐标可以基于座椅的位置信息、倾斜信息和旋转信息中的至少一个进行推断。预测的坐标和根据粒子计算的三维坐标越接近，分配的权重就越高。当三维坐标在基于预测的坐标设置的特定范围以外时，可以将权重更新为0。
96.在步骤s250，粒子滤波单元141可以基于当前被跟踪的每个粒子滤波的粒子的权重来计算乘员行为推断值。根据实施方案，粒子滤波单元141可以将每个关键点的位置推断
为反映权重的平均值或者推断为与具有最大权重的粒子相对应的值。根据实施方案，由于与每个关键点相对应的粒子能够指示乘员的关节位置，因此可以根据推断的粒子的位置来推断每个乘员的关节的位置，并且可以由此推断乘员的行为。
97.在步骤260，当特定条件得到满足时，粒子滤波单元141可以执行粒子重采样。这里，特定条件可以包括有效粒子的数量小于预定阈值的情况。或者，特定条件也可以对应于车辆系统中特定数量或更多的粒子处于不在车辆内部的情况。或者，特定条件还可以包括尽管检测到处于就座状态的乘员，但仍存在指示就座状态的少量粒子的情况。
98.根据实施方案，无论特定条件是否得到满足，粒子滤波单元141都可以执行每个循环的重采样。
99.如上所述，车辆安全控制器140可以基于来自图像处理装置130的目标跟踪信息来指定多个乘员，可以创建与多个乘员中的每一个相对应的粒子滤波，可以从图像处理装置130获取分别与乘员相对应的关键点的二维位置信息和/或三维位置信息，可以从附接至车辆的多个车辆传感器120获取加速度、角速度、座椅位置、座椅倾斜角度和座椅旋转角度信息，可以初始化与每个乘员相对应的粒子滤波的粒子，可以传播粒子，可以更新粒子权重，最后可以推断乘员行为测量值。
100.车辆安全控制器140可以基于乘员关键点的三维位置或由粒子滤波单元141推断的乘员行为来获取乘员的关节角度，并且可以基于获取的关节角度根据自动驾驶环境来识别乘员的各种姿势。例如，车辆安全控制器140可以将乘员识别为处于乘员躺下并且座椅向后倾斜或向前倾斜的姿势。车辆安全控制器140可以基于推断的乘员行为或从中获取的乘员姿势用于安全控制(例如，控制安全气囊展开时间等)。
101.此外，车辆安全控制器140可以基于由粒子滤波单元141推断的值来识别乘员的关键点之中的主要受伤部分的三维位置是否包括在车辆内部的特定区域中。例如，车辆安全控制器140可以识别乘员的头部是否靠近方向盘或挡风玻璃。此外，车辆安全控制器140可以识别主要受伤部分的三维位置是否包括在车辆内部的特定区域中，并且可以将其用于安全控制。例如，当识别出头部靠近挡风玻璃时，车辆安全控制器140可以将侧面安全气囊的展开时间控制为更早。
102.此外，车辆安全控制器140可以根据推断的每个乘员的关键点的三维位置来识别乘员之间的相对位置，从而预测和/或防止在发生事故时乘员之间的碰撞。例如，车辆安全控制器140可以用于基于推断的乘员之间的相对位置来确定中心安全气囊的展开时间。
103.上述行为之后的控制操作可以由车辆安全控制器140的控制单元143执行。根据另一实施方案，控制操作可以由与控制单元143分开设置的安全控制单元(未示出)来执行。

技术特征：
1.一种乘员行为推断系统，其推断车辆内乘员的行为，所述乘员行为推断系统包括：摄像机，其配置为获取车辆内乘员的图像；传感器，其配置为获取关于车辆的信息；图像处理装置，其配置为处理从摄像机获取的图像并且获取乘员的关键点信息；以及车辆安全控制器，其配置为基于经由传感器获取的关于车辆的信息和从图像处理装置获取的关键点信息，利用粒子滤波来推断乘员的行为。2.一种乘员行为推断系统，其推断车辆内至少一个乘员的行为，所述乘员行为推断系统包括：摄像机，其配置为获取车辆内至少一个乘员的图像；传感器，其配置为获取关于车辆的信息；图像处理装置，其配置为处理从摄像机获取的图像，并且获取至少一个乘员的关键点信息以及通过跟踪至少一个乘员提供的目标跟踪信息；以及车辆安全控制器，其配置为基于经由传感器获取的关于车辆的信息、从图像处理装置获取的关键点信息和目标跟踪信息，利用粒子滤波来推断至少一个乘员中的每一个的行为，所述关键点信息和目标跟踪信息包括关于至少一个乘员的信息。3.根据权利要求2所述的乘员行为推断系统，其中，所述传感器包括座椅信息传感器和动态传感器的至少一种，所述座椅信息传感器提供乘员就座信息、座椅位置、座椅倾斜角度和座椅旋转角度，所述动态传感器提供关于车辆的加速度和角加速度的信息。4.根据权利要求3所述的乘员行为推断系统，其中，由图像处理装置获取的关键点信息包括：指示图像平面上的关键点的二维位置的关键点的二维位置信息。5.根据权利要求4所述的乘员行为推断系统，其中，由图像处理装置获取的关键点信息进一步包括：指示图像平面上的关键点的三维位置的关键点的三维位置信息。6.根据权利要求5所述的乘员行为推断系统，其中，所述图像处理装置利用预先进行学习的人工智能系统或利用计算机视觉技术来获取关键点信息。7.根据权利要求5所述的乘员行为推断系统，其中，所述车辆安全控制器包括控制单元和粒子滤波单元，所述控制单元：利用粒子滤波来生成关于被跟踪目标的信息，所述关于被跟踪目标的信息包括关于被跟踪的现有乘员的信息，基于关于被跟踪目标的信息和从图像处理装置获取的目标跟踪信息，确定现有乘员的检测是否失败以及是否检测到新乘员，当检测到新乘员作为确定的结果时，指示粒子滤波单元创建与相应的新乘员相对应的粒子滤波，当现有乘员的检测失败作为确定的结果时，指示粒子滤波单元去除与相应的现有乘员相对应的粒子滤波；所述粒子滤波单元基于控制单元的指令来创建、更新或去除粒子滤波。8.根据权利要求7所述的乘员行为推断系统，其中，所述粒子滤波单元基于控制单元的指令来创建粒子滤波，然后更新相应的粒子滤波，
所述粒子滤波的更新包括：传播粒子滤波的粒子，更新粒子的权重，基于所述权重计算行为推断值，当特定条件得到满足时对粒子滤波的粒子重采样。9.根据权利要求7所述的乘员行为推断系统，其中，所述控制单元：执行匹配使得被跟踪的现有乘员的边界框与检测到的至少一个乘员的边界框之间的交并比的总和最大化，基于确定针对每个乘员的交并比值是否大于预定阈值作为匹配结果，确定现有乘员的检测是否失败以及是否检测到新乘员。10.根据权利要求7所述的乘员行为推断系统，其中，所述控制单元确定新乘员是否处于就座状态，所述粒子滤波单元：针对新乘员创建粒子滤波，然后当新乘员处于就座状态时，基于从座椅信息传感器获取的座椅信息来初始化针对新乘员的粒子滤波的粒子，当新乘员未处于就座状态时，即处于离位状态时，利用新乘员的三维位置信息来初始化粒子滤波的粒子。11.根据权利要求10所述的乘员行为推断系统，其中，所述控制单元：基于从座椅信息传感器获取的乘员就座信息，确定新乘员是否处于就座状态，或者基于从座椅信息传感器获取的座椅信息来获取座椅的边界框，当座椅的边界框与新乘员的边界框之间的交并比大于或等于第一预定阈值时，将新乘员确定为处于就座状态。12.根据权利要求8所述的乘员行为推断系统，其中，所述粒子滤波单元基于从动态传感器获取的关于车辆的加速度和角加速度的信息以及乘员的动态模型，传播针对每个乘员的粒子滤波的粒子。13.根据权利要求12所述的乘员行为推断系统，其中，仅当从动态传感器获取的车辆的加速度或角加速度大于第二预定阈值时，所述粒子滤波单元额外地利用乘员的动态模型来传播针对每个乘员的粒子滤波的粒子。14.根据权利要求8所述的乘员行为推断系统，其中，所述粒子滤波单元基于先验概率信息、现有乘员的关键点的二维位置信息、关键点的三维位置信息以及从座椅信息传感器获取的座椅信息的至少一种更新粒子滤波的粒子的权重。15.根据权利要求14所述的乘员行为推断系统，其中，基于先验概率信息更新粒子的权重包括：将指示与在身体方面不可能的姿势相对应的关键点的粒子的权重更新为0，或者将位置不在车辆内部的粒子的权重更新为0，或者降低粒子的权重或者将粒子的权重更新为0，所述粒子对应于三维坐标在由对应于车辆内部的范围信息或根据摄像机的视场的拍摄范围信息所指示的范围以外的关键点，或者通过反映关于统计的人体的体型的数据来预先设置关于关键点之间的距离的信息的条件，当与粒子相对应的关键点的三维坐标不满足设置的条件时，降低相应粒子的权重或者将相应粒子的权重更新为0。
16.根据权利要求14所述的乘员行为推断系统，其中，基于关键点的二维位置信息或关键点的三维位置信息更新粒子的权重包括：基于与粒子相对应的关键点的二维位置信息或关键点的三维位置信息来计算粒子的似然概率，并且基于计算的似然概率更新粒子权重信息。17.根据权利要求14所述的乘员行为推断系统，其中，基于座椅信息更新粒子的权重包括：将从座椅信息获取的已就座的乘员的关键点的坐标与根据粒子计算的关键点的坐标进行比较，然后以与两个关键点的坐标之间的距离成反比的方式更新权重。18.根据权利要求8所述的乘员行为推断系统，其中，所述车辆安全控制器：将现有乘员的关键点的位置推断为反映与粒子相对应的关键点的位置的权重的平均值，或者将现有乘员的关键点的位置推断为与具有最大权重的粒子相对应的关键点的位置。19.根据权利要求8所述的乘员行为推断系统，其中，所述车辆安全控制器：当粒子滤波的有效粒子的数量小于第三预定阈值时，执行粒子重采样，或者当大于或等于第四预定阈值的数量的粒子位于不在车辆内部的位置时，执行粒子重采样。20.根据权利要求7所述的乘员行为推断系统，其中，当现有乘员的检测失败作为确定的结果时，所述控制单元记录现有乘员的检测失败的次数，当检测失败的次数大于第五预定阈值时，控制单元去除与相应的现有乘员相对应的粒子滤波。21.一种乘员行为推断系统的乘员行为推断方法，所述乘员行为推断系统推断车辆内至少一个乘员的每一个的行为，所述乘员行为推断方法包括：从经由摄像机获取的图像中获取关键点信息；基于关键点信息来检测至少一个乘员，并且获取包括关于检测到的至少一个乘员的信息的目标跟踪信息；基于经由传感器获取的关于车辆的信息、关键点信息和目标跟踪信息，利用粒子滤波来推断至少一个乘员中的每一个的行为。22.根据权利要求21所述的乘员行为推断方法，其中，推断行为包括：利用粒子滤波生成关于被跟踪目标的信息，所述关于被跟踪目标的信息包括关于被跟踪的现有乘员的信息，基于关于被跟踪目标的信息和目标跟踪信息，确定现有乘员的检测是否失败以及是否检测到新乘员，当检测到新乘员作为确定的结果时，创建与相应的新乘员相对应的粒子滤波；当现有乘员的检测失败作为确定的结果时，去除与相应的现有乘员相对应的粒子滤波；当检测到现有乘员作为确定的结果时，更新与相应的现有乘员相对应的粒子滤波。23.根据权利要求22所述的乘员行为推断方法，其中，更新与现有乘员相对应的粒子滤波包括：
传播与现有乘员相对应的粒子滤波的粒子；更新与现有乘员相对应的粒子滤波的粒子的权重；基于所述权重来计算现有乘员的行为推断值；当特定条件得到满足时，对与现有乘员相对应的粒子滤波的粒子重采样。24.根据权利要求22所述的乘员行为推断方法，其中，确定现有乘员的检测是否失败以及是否检测到新乘员包括：执行匹配使得被跟踪的现有乘员的边界框与检测到的至少一个乘员的边界框之间的交并比的总和最大化；基于确定针对每个乘员的交并比值是否大于预定阈值作为匹配结果，确定现有乘员的检测是否失败以及是否检测到新乘员。25.根据权利要求22所述的乘员行为推断方法，其中，创建与新乘员相对应的粒子滤波进一步包括：初始化创建的与新乘员相对应的粒子滤波的粒子，初始化创建的与新乘员相对应的粒子滤波的粒子包括：确定新乘员是否处于就座状态；当新乘员处于就座状态时，基于从座椅信息传感器获取的座椅信息来初始化与新乘员相对应的粒子滤波的粒子；当新乘员未处于就座状态，即处于离位状态时，利用新乘员的三维位置信息来初始化与新乘员相对应的粒子滤波的粒子。26.根据权利要求25所述的乘员行为推断方法，其中，确定新乘员是否处于就座状态包括：基于从座椅信息传感器获取的乘员就座信息，确定新乘员是否处于就座状态，或者基于从座椅信息传感器获取的座椅信息来获取座椅的边界框，当座椅的边界框与新乘员的边界框之间的交并比大于或等于第一预定阈值时，将新乘员确定为处于就座状态。27.根据权利要求23所述的乘员行为推断方法，其中，传播粒子滤波的粒子包括：基于从动态传感器获取的关于车辆的加速度和角加速度的信息以及乘员的动态模型，传播粒子滤波的粒子。28.根据权利要求27所述的乘员行为推断方法，其中，传播粒子滤波的粒子包括：仅当从动态传感器获取的车辆的加速度或角加速度大于第二预定阈值时，额外地利用乘员的动态模型来传播粒子滤波的粒子。29.根据权利要求23所述的乘员行为推断方法，其中，更新粒子的权重包括以下方式的至少一种：基于先验概率信息更新粒子的权重；基于关键点的二维位置信息更新粒子的权重；基于关键点的三维位置信息更新粒子的权重；基于从座椅信息传感器获取的座椅信息更新粒子的权重。30.根据权利要求29所述的乘员行为推断方法，其中，基于先验概率信息更新粒子的权重包括以下方式的至少一种：将指示与在身体方面不可能的姿势相对应的关键点的粒子的权重更新为0；
将位置不在车辆内部的粒子的权重更新为0；降低粒子的权重或者将粒子的权重更新为0，所述粒子对应于三维坐标在由对应于车辆内部的范围信息或根据摄像机的视场的拍摄范围信息所指示的范围以外的关键点；通过反映关于统计的人体的体型的数据来预先设置关于关键点之间的距离的信息的条件，当与粒子相对应的关键点的三维坐标不满足设置的条件时，降低相应粒子的权重或者将相应粒子的权重更新为0。31.根据权利要求29所述的乘员行为推断方法，其中，基于关键点的二维位置信息或关键点的三维位置信息更新粒子的权重包括：基于与粒子相对应的关键点的二维位置信息或关键点的三维位置信息来计算粒子的似然概率；基于计算的似然概率更新粒子权重信息。32.根据权利要求29所述的乘员行为推断方法，其中，基于座椅信息更新粒子的权重包括：将从座椅信息获取的已就座的乘员的关键点的坐标与根据粒子计算的关键点的坐标进行比较；以与两个关键点的坐标之间的距离成反比的方式更新权重。33.根据权利要求23所述的乘员行为推断方法，其中，计算现有乘员的行为推断值包括：将现有乘员的关键点的位置推断为反映与粒子相对应的关键点的位置的粒子权重的平均值，或者将现有乘员的关键点的位置推断为与具有最大权重的粒子相对应的关键点的位置。34.根据权利要求23所述的乘员行为推断方法，其中，当特定条件得到满足时，对与现有乘员相对应的粒子滤波的粒子重采样包括：当与现有乘员相对应的粒子滤波的有效粒子的数量小于第三预定阈值时，执行粒子重采样，或者当大于或等于第四预定阈值的数量的粒子位于不在车辆内部的位置时，执行粒子重采样。35.根据权利要求22所述的乘员行为推断方法，其中，去除与相应的现有乘员相对应的粒子滤波包括：记录现有乘员的检测失败的次数；当检测失败的次数大于第五预定阈值时，去除与现有乘员相对应粒子滤波。

技术总结
本发明涉及用于推断车辆乘员的行为的装置及方法。提供了用于通过融合经由车辆内部摄像机和经由车辆内部信息传感器获取的信息，利用粒子滤波稳健地推断乘员的三维行为的装置及方法。乘员行为推断系统包括：摄像机，其配置为获取车辆内至少一个乘员的图像；传感器，其配置为获取关于车辆的信息；图像处理装置，其配置为处理从摄像机获取的图像并且获取至少一个乘员的关键点信息以及通过跟踪至少一个乘员提供的目标跟踪信息；车辆安全控制器，其配置为基于经由传感器获取的关于车辆的信息、从图像处理装置获取的关键点信息和目标跟踪信息，利用粒子滤波来推断乘员的行为。利用粒子滤波来推断乘员的行为。利用粒子滤波来推断乘员的行为。


技术研发人员：朴俊相
受保护的技术使用者：起亚株式会社
技术研发日：2023.03.15
技术公布日：2023/9/20