车辆用安全辅助系统的制作方法

1.本发明涉及车辆用安全辅助系统。


背景技术：

2.为了确保车辆的安全行驶，搭载有掌握车外的状况的传感器和相机等的车辆已被公知(例如参照日本专利公开公报特开2014-85331号)。上述公报所记载的车辆能够使用超声波传感器、雷达和影像相机识别路肩的空间，安全地移动到路肩并停车。
3.在先技术文献
4.专利文献1：日本专利公开公报特开2014-85331号
5.另一方面，还报告有因将幼儿或宠物放置在车内而乘员全员下车引起的幼儿或宠物的死亡事故。此外，在车辆行驶中，乘员、特别是驾驶员的健康状态的恶化等有时也会导致事故的发生。也要求针对这些事故的车辆用安全辅助系统。


技术实现要素：

6.本发明是鉴于上述问题而完成的，其目的在于提供一种能够掌握乘员的状态的车辆用安全辅助系统。
7.本发明的一个方式的车辆用安全辅助系统对搭乘车辆的1个或多个乘员的安全进行辅助，具备：监视部，能够监视所述车辆内的乘员；识别部，根据来自所述监视部的监视信息识别所述乘员的状态；以及控制部，根据来自所述识别部的识别信息，进行所述车辆的动作的控制或者向所述乘员的通知，所述监视部具有监视相机。
8.本发明的车辆用安全辅助系统能够掌握乘员的状态。
附图说明
9.图1是表示本发明的一个实施方式的车辆用安全辅助系统的结构的示意图。
10.图2是表示搭载有图1的车辆用安全辅助系统的车辆的示意图。
11.图3是表示图1的监视部的结构的示意图。
12.图4是表示图1的识别部的结构的示意图。
13.图5是表示图1的车辆用安全辅助系统的控制方法的流程图。
具体实施方式
14.(本发明的实施方式的说明)
15.首先，列举本发明的实施方式进行说明。
16.本发明的一个方式的车辆用安全辅助系统，对搭乘车辆的1个或多个乘员的安全进行辅助，具备：监视部，能够监视所述车辆内的乘员；识别部，根据来自所述监视部的监视信息识别所述乘员的状态；以及控制部，基于来自所述识别部的识别信息，进行所述车辆的动作的控制或者向所述乘员的通知，所述监视部具有监视相机。
17.在该车辆用安全辅助系统中，通过监视相机监视车辆内的乘员，通过识别部识别该乘员的行动，通过控制部进行车辆的动作的控制或者向乘员的通知，由此能够确保车辆的安全行驶。
18.优选为，所述监视部具有携带物确定单元，所述携带物确定单元确定能够带入所述车辆内的携带物，所述监视信息包含所述携带物确定单元确定出的携带物信息，所述识别信息包含：携带物检测信息，确定在所述车辆内是否存在所述携带物；以及下车信息，确定所述乘员全员是否已从所述车辆下车，在根据所述下车信息确定了所述乘员全员已从所述车辆下车、根据所述携带物检测信息确定了在所述车辆内存在所述携带物的情况下，所述控制部向所述乘员通知在所述车辆内存在所述携带物。在被带入车辆、由携带物确定部确定出的携带物在乘员全员下车后仍旧存在于车辆的情况下，能够将上述携带物确定为车内的遗忘物，因此，上述控制部通过向上述乘员通知在上述车辆内存在上述携带物，能够抑制遗忘物。
19.优选为，所述监视部具有监视雷达。通过除了监视相机之外还使用监视雷达，例如也能够确定被毛毯等覆盖的对象物等，因此能够提高监视精度。
20.优选为，所述携带物确定单元使用由所述监视雷达检测到的周期性振动。在对象物为生物的情况下，其心跳和呼吸被监视雷达检测为周期性振动。因此，通过使用由监视雷达检测到的周期性振动，能够确定对象是生物还是非生物。进而，在所述周期、即心跳和呼吸数处在一定范围内的情况下，能够推测该对象为幼儿。因此，通过在携带物确定中使用由监视雷达检测到的周期性振动，能够高精度地检测幼儿的遗忘。
21.优选为，所述识别部具有：数值化单元，根据所述监视信息，通过评价函数以数值表示所述乘员的状态；最佳化单元，根据与所述数值之间的大小关系将用于确定所述乘员的状态的阈值最佳化；以及识别信息确定单元，根据所述数值和所述阈值确定所述乘员的状态，来作为所述识别信息。通过如此将用于确定乘员的状态的阈值最佳化，能够提高所述乘员的状态的确定精度。另外，在阈值的最佳化中，除了调整阈值本身的数值的方法之外，还包括将评价函数加上偏置值而相对地调整阈值的方法。
22.优选为，所述监视部具有：数据库，登记有预先拍摄的乘员的参考图像；以及乘员确定单元，通过将由所述监视相机拍摄的乘员的拍摄图像与所述参考图像进行比较检索来确定所述乘员，所述乘员确定单元构成为能够计算所述拍摄图像与所述参考图像的一致度，在所述识别部的最佳化单元中使用所述一致度。可以认为所述一致度表示乘员的个体识别的恰当性，换句话说表示拍摄影像的可靠性。通过最佳化单元使用该一致度将阈值最佳化，由此能够进一步提高所述乘员的状态的确定精度。
23.优选为，所述监视部具有测定所述车辆的周围的亮度的光度计，在所述识别部的最佳化单元中使用所述亮度。考虑到监视相机在亮度较低时识别力降低，监视雷达在亮度较低的情况下识别力相对提高。即，通过所述识别部的最佳化单元根据亮度来调整来自监视相机或监视雷达的信息的优先度，能够进一步提高所述乘员的状态的确定精度。
24.优选为，所述监视部具有取得所述乘员的生物信息的生命体征传感器，所述监视信息包含从所述生命体征传感器得到的生物信息。通过这样在监视信息中包含生物信息，能够抑制因所述乘员的健康状态的恶化而引起的车辆的事故。
25.优选为，所述监视部具有：优先度超声波传感器，能够检测从车外接近所述车辆的
人物；以及优先度车外相机或车外雷达，用于识别所述人物，优先度所述监视信息包含从所述超声波传感器以及所述车外相机或车外雷达得到的车外信息，优先度所述识别信息包含根据所述车外信息确定所述人物是否为可疑人的可疑人确定信息，优先度所述控制部使用所述可疑人确定信息。通过这样使用可疑人确定信息，能够实现车辆或者车辆内的物品的损害预防。
26.(本发明的具体实施方式)
27.以下，适当参照附图说明本发明的一个实施方式的车辆用安全辅助系统。
28.图1所示的车辆用安全辅助系统1是对搭乘图2所示的车辆x的1个或多个乘员的安全进行辅助的车辆用安全辅助系统。该车辆用安全辅助系统1具备：能够监视车辆x内的乘员的监视部10；根据来自监视部10的监视信息10a识别上述乘员的状态的识别部20；以及基于来自识别部20的识别信息20a进行车辆x的动作控制或者向上述乘员的通知的控制部30。
29.(监视部)
30.如图3所示，监视部10具有光度计101、监视相机102、监视雷达103、超声波传感器104、车外相机105、车外雷达106、生命体征传感器(vital sensor)107、麦克风108、数据库109、乘员确定单元110和携带物确定单元111。
31.(光度计)
32.光度计101测定车辆x的周围的亮度112。光度计101也可以测定车辆x的外部的亮度，但是优选测定车辆x的内部的亮度。由于该车辆用安全辅助系统1主要监视车辆x内的乘员，所以在使用车辆x内的亮度的情况下，能够提高监视精度。另外，测定出的亮度112被发送到识别部20。
33.(监视相机和监视雷达)
34.监视相机102和监视雷达103监视车辆x内的乘员并且用于后述的乘员的确定和携带物的确定。监视相机102通过图像确定对象物，监视雷达103通过反射波确定对象物。监视相机102容易捕捉对象物的形态和动作，但另一方面，在无法视觉辨认对象物的情况下无法进行监视。因此，通过除了监视相机102之外还使用监视雷达103，例如也可以确定被毛毯等覆盖的对象物等，因此能够提高监视精度。
35.该监视相机102和监视雷达103可以监视车辆x的整个居住空间，但如图2所示，优选针对每个乘员的座位设置1组监视相机102和监视雷达103。通过针对每个乘员设置1组监视相机102和监视雷达103，能够提高监视精度。
36.在针对每个乘员设置监视相机102和监视雷达103的情况下，如图2所示，优选将监视相机102的监视区域102a设为以乘员的脸部所在的空间为中心的区域。通过监视相机102，能够观察乘员的脸色、脸部的角度、视线的角度、眨眼次数、有无打哈欠等。另一方面，从提高后述的遗忘物的检测精度的观点出发，优选将监视雷达103的监视区域103a设为还包括座位的周围的宽广范围。
37.监视信息10a包含由监视相机102和监视雷达103得到的车内信息113。通过这样在监视信息10a中包含车内信息113，能够掌握乘员的状态。
38.(超声波传感器、车外相机和车外雷达)
39.超声波传感器104、车外相机105和车外雷达106监视接近车辆x的人物。具体而言，超声波传感器104能够检测从车外接近车辆x的人物。此外，车外相机105和车外雷达106用
于识别上述人物。另外，从提高识别精度的观点出发，优选使用车外相机105和车外雷达106的双方，但即使是任一方，也可以进行识别。因此，可以省略车外相机105和车外雷达106的任一方。
40.由于超声波传感器104、车外相机105和车外雷达106监视接近车辆x的人物，因此例如如图2所示，能够分别配置在车辆x的两侧面。
41.由于超声波传感器104容易捕捉距离比较远的物体，所以超声波传感器104的监视区域104a被取得比较宽，例如设定为捕捉处于5m以上20m以下的距离、优选为10m以上20m以下的距离的人物。此外，由于监视相机102根据该图像捕捉人物，所以其监视区域105a被设定为能够比较清晰地捕捉人物的近距离、例如5m以下。车外雷达106主要覆盖其中间的距离，其监视区域106a被设定为例如5m以上10m以下的距离。
42.监视信息10a包含从超声波传感器104、车外相机105和车外雷达106得到的车外信息114。通过这样在监视信息10a中包含车外信息114，能够确定上述人物是否为可疑人。
43.(生命体征传感器)
44.生命体征传感器107取得乘员的生物信息115。具体而言，生命体征传感器107能够捕捉上述乘员的脉搏数、心跳数、心跳间隔、血压、血糖值、呼吸数等。可以使用其中的脉搏数和呼吸数。
45.作为生命体征传感器107，优选非接触式的传感器，从精度的观点出发，特别优选使用其中的多普勒传感器。在使用非接触式的生命体征传感器107的情况下，生命体征传感器107能够配置在与监视相机102等相同的场所。在该情况下，从向车辆x的安装容易性的观点出发，优选将生命体征传感器107与监视相机102和监视雷达103单元化。
46.此外，也能够使用接触式的传感器作为生命体征传感器107。作为这样的接触式的生命体征传感器107，公知为垫式传感器，例如能够安装在车辆x的座位的表面。
47.监视信息10a包含从生命体征传感器107得到的生物信息115。通过这样在监视信息10a中包含生物信息115，能够抑制因乘员的健康状态的恶化而引起的车辆x的事故。
48.(麦克风)
49.麦克风108取得车辆x内乘员发出的语言作为声音信息116。
50.麦克风108能够配置在与监视相机102等相同的场所。在该情况下，从向车辆x的安装容易性的观点出发，优选将麦克风108与监视相机102和监视雷达103单元化。
51.监视信息10a包含从麦克风108得到的声音信息116。通过这样在监视信息10a中包含声音信息116，能够抑制因乘员的健康状态的恶化而引起的车辆x的事故。
52.(数据库)
53.在数据库109中登记有预先拍摄的乘员的参考图像。此外，在数据库109中登记有能够带入车辆x内的携带物的参考图像。
54.数据库109例如由公知的存储装置构成，其数据(参考图像)由后述的乘员确定单元110和携带物确定单元111参照。
55.(乘员确定单元)
56.乘员确定单元110通过将由监视相机102拍摄的乘员的拍摄图像与数据库109中登记的乘员的参考图像进行比较检索来确定上述乘员。即，通过该乘员确定单元110，能够得到确定谁坐在哪个座位的乘员信息117。
57.乘员确定单元110例如通过微控制器实现。或者，也可以通过专用的匹配电路实现。
58.作为比较检索的方法，能够使用准备规定的评价函数并根据该评价函数的大小进行判定的方法，也可以使用通过机器学习而完成学习的推定模型、即所谓的ai(人工知能)。另外，在使用了这样的推定模型的推定中，能够使用与ai相关的公知的推定技术。
59.监视信息10a包含从乘员确定单元110得到的乘员信息117。乘员的平时的状态存在个体差异。通过这样在监视信息10a中包含乘员信息117，能够掌握考虑了个体差异的乘员的健康状态，能够提高监视精度。
60.此外，乘员确定单元110构成为能够计算上述拍摄图像与上述参考图像的一致度118。在比较检索中使用评价函数的情况下，例如在上述拍摄图像与上述参考图像完全一致的情况下，评价函数值为0，只要是组入评价函数以使得评价函数值随着有差分而变大的情况，就能够将该评价函数值本身作为一致度118使用。另外，计算出的一致度118被发送到识别部20。
61.(携带物确定单元)
62.携带物确定单元111确定能够带入车辆x内的携带物。
63.携带物确定单元111例如通过微控制器实现。该微控制器能够与实现乘员确定单元110的微控制器兼用。或者，也可以与乘员确定单元110同样地通过专用的匹配电路实现。
64.作为上述携带物，可举出幼儿、宠物、包、便携式电话等。这些成为通过后述的识别部20检测在乘员全员下车后携带物仍存在于车辆x内、即遗忘物的对象。
65.作为确定上述携带物的方法，例如能够采用使用数据库109中登记的携带物的参考图像的方法。
66.在该情况下，也可以在乘员的乘车阶段通过监视相机102(或车外相机105)的图像分析等预先检测携带物被带入车内这一情况。具体而言，能够与乘员确定单元110同样地通过使用评价函数的方法或使用ai的方法来实现。通过这样预先检测被带入携带物这一情况，能够提高遗忘物的检测精度。此外，可以如后述那样并用监视雷达103(或者车外雷达106)，有时能够检测仅通过图像难以识别的不能从外部直接视觉辨认的携带物。
67.或者，也可以通过车外相机105或监视相机102的图像分析或ai来确定乘员搭乘车辆x之前的随身物品，将该确定出的物品作为携带物。在该情况下，不需要数据库109。代替数据库109，例如提取携带物的特征(例如如果是包，则为红色、四边形等的特征)的元数据、即有效检索用的标签信息的生成是有效的。进而，也可以生成与搭乘信息(搭乘车辆x的场所、时间等)关联的元数据。
68.另一方面，也可以在乘员的下车阶段从数据库109读出能够带入车辆x内的携带物。在该情况下，针对数据库109中登记的携带物，全面地搜索在乘员全员下车后在车辆x内是否还存在携带物。通过这样全面地探索，能够提高遗忘物的检测精度。
69.此外，上述携带物也可以针对搭乘车辆x的每个乘员、即由乘员确定单元110确定的每个乘员而改变。
70.监视信息10a包含从携带物确定单元111得到的携带物信息119。通过这样在监视信息10a中包含携带物信息119，能够检测遗忘物。
71.携带物确定单元111可以使用由监视雷达103检测的周期性振动。在对象物为生物
的情况下，通过监视雷达103检测其心跳和呼吸来作为周期性振动。因此，通过使用由监视雷达103检测的周期性振动，能够确定对象是生物还是非生物。进而，在该周期、即心跳和呼吸数处在一定范围内的情况下，能够推断该对象为幼儿。因此，通过在携带物确定中使用由监视雷达103检测的周期性振动，能够高精度地检测幼儿的遗忘。
72.在检测幼儿的遗忘的情况下，可以预先在乘员乘车的期间检测有无幼儿乘车。能够通过车辆x开始行驶来掌握乘员的乘车完成，具体而言，携带物确定单元111也可以在车辆x开始行驶之后使用由监视雷达103检测的周期性振动。此外，从确定精度的观点出发，优选在幼儿的确定中使用生命体征传感器107的信息。通过这样在车辆x开始行驶之后通过上述周期性振动等预先确定携带物，能够进一步高精度地检测幼儿的遗忘。
73.(识别部)
74.如图4所示，识别部20具有：数值化单元201，从监视信息10a通过评价函数以数值表示乘员的状态；最佳化单元202，根据与上述数值之间的大小关系将用于确定上述乘员的状态的阈值最佳化；以及识别信息确定单元203，根据上述数值和上述阈值确定上述乘员的状态，来作为识别信息20a。
75.通过这样将用于确定乘员的状态的阈值最佳化，能够提高上述乘员的状态的确定精度。以下，对由该车辆用安全辅助系统1的识别部20识别的识别信息20a进行具体说明。
76.(遗忘物的检测)
77.该车辆用安全辅助系统1能够将通过携带物确定单元111确定为能够带入车辆x内的携带物检测为遗忘物。即，识别信息20a包含确定在车辆x内是否存在上述携带物的携带物检测信息204、以及确定上述乘员全员是否从车辆x下车的下车信息205。这是因为，在根据下车信息205确定了上述乘员全员从车辆x下车、根据携带物检测信息204确定了在车辆x内存在上述携带物的情况下，能够将该携带物确定为遗忘物。
78.携带物检测信息204能够使用监视信息10a中的车内信息113、即监视相机102和监视雷达103的信息进行提取。
79.提取携带物检测信息204的提取方法例如包括坐标轴附加工序、阈值决定工序、合成工序和判定工序。上述提取方法能够通过软件进行，但从处理速度的观点出发，优选通过硬件进行。
80.在上述坐标轴附加工序中，分别制作附加了xy坐标的相机数据和雷达数据。通过附加xy坐标，使上述相机数据和上述雷达数据的叠加变得容易。
81.该处理由数值化单元201进行。也可以在附加xy坐标之前，对监视相机102和监视雷达103的信息执行噪声除去等的预处理。
82.在上述阈值决定工序中，决定在后述的合成工序中使用的自适应偏置值和/或在后述的判定工序中使用的评价函数的阈值。该处理由最佳化单元202执行。
83.自适应偏置值是合成多种信号时的加权值。在该携带物确定单元111中，合成相机数据r和雷达数据c，即通过数据融合得到评价函数v。此时，例如有加权变量a1和a2，如下述式1那样计算评价函数v。在该情况下，f(r)是通过相机数据r得到的评价函数(标量)，g(c)是通过雷达数据c得到的评价函数(标量)，a1和a2表示自适应偏置值。这样，监视信息10a包含多个信息(监视相机102和监视雷达103的信息)，通过设置融合了这些信息的评价函数，能够提高乘员的状态的识别精度。
84.v＝a1
×
f(r)+a2
×
g(c)
……185.在自适应偏置值的决定中优选使用监视部10的亮度112。考虑到监视相机102在亮度112低时识别力降低，监视雷达103在亮度112低的情况下识别力相对提高。即，根据亮度112调整来自监视相机102或监视雷达103的信息的优先度，例如决定上述加权变量a1和a2使得在亮度112低时a2变大，由此能够进一步提高上述乘员是否遗忘物品的确定精度。
86.在该自适应偏置值的决定中优选使用监视部10的一致度118。可以认为一致度118表示乘员的个体识别的恰当性，换句话说表示拍摄影像的可靠性。例如在一致度118较低的情况下，能够判断为监视相机102的识别力降低。例如通过使上述加权变量a1和a2最佳化以使得在该一致度118较低时a2变大，能够进一步提高上述乘员是否遗忘物品的确定精度。另外，对于加权变量a1和a2，还可以并用亮度112和一致度118。以下，对于其他要素也相同。
87.此外，识别对象图像也可以根据特征选择加权变量。例如，在将车内信息113中包含的监视相机102的图像调整为适合最佳化单元202的输入形式、例如分辨率时，能够判断输入图像是彩色图像还是二值图像(红外图像等)。因此，可以预先准备彩色图像用的加权变量和二值图像用的加权变量，根据判断结果进行切换。由此，能够根据输入图像选择适当的加权变量。除此之外，还可以根据亮度、彩度或者它们的组合来选择加权变量，此时可以准备3个以上的加权变量。
88.此外，也可以根据作为遗忘物而成为检测对象的携带物的种类来改变加权变量的值。例如，如果是检测包的情况，则可以进行加权，以提高与可由监视相机102观测的包的颜色一致的颜色的信息的权重。进而，也可以使用成为检测对象的携带物的形状、大小。另外，在这些例示中，未必能够仅通过上述式1的加权变量a1和a2进行最佳化，例如，为了对颜色的信息进行加权，除了上述式1之外，还有新的加权变量a1r、a1g、a1b，通过使用将rgb的颜色信息分离的下述式2来实现。
89.f(r)＝a1r×fr
(r)+a1g×fg
(r)+a1b×
fb(r)
……290.在该车辆用安全辅助系统1中，携带物确定单元111使用由监视雷达103检测到的周期性振动，由此能够检测幼儿的遗忘。以下，对检测幼儿的方法进行说明。
91.该车辆用安全辅助系统1具有监视相机102，在通过监视相机102能够图像识别对象的幼儿的情况下，容易将幼儿检测为遗忘物。另一方面，例如，在幼儿裹在毛毯中睡觉的情况下等，有时通过监视相机102无法检测到。
92.在该车辆用安全辅助系统1中，在这样情况下使用监视雷达103。在监视雷达103观测到上述那样的裹在毛毯中睡觉的幼儿的情况下，检测到周期性振动。该周期性振动基于幼儿的心跳和呼吸。因此，该周期性振动使心跳和呼吸与幼儿重叠。进而，已知幼儿的心跳数和呼吸数处在一定的范围内。这些与一般的成人和宠物不同。
93.根据以上所述，在通过监视雷达103检测到周期性振动的情况下，计算该振动的周期，在该振动由与上述的心跳数和呼吸数对应的两个周期构成的情况下，能够推定为存在幼儿。这样，能够检测幼儿的遗忘。
94.在该幼儿的遗忘检测中，也能够使用将相机数据r和雷达数据c合成而得的上述式1的评价函数v。作为自适应偏置值的a1和a2，例如优选在通过监视相机102能够检测到的情况下，设为a2＝0，使用监视相机102的评价函数，在通过监视相机102检测不到的情况下，进行控制以使a2的值增加。通过监视相机102是否能够检测到基于监视相机102的结果，但是
也可以根据环境信息判断。在该情况下，在环境信息中包含亮度112和监视相机102的死角。此外，在上述环境信息中也可以包含从生命体征传感器107得到的生物信息115。
95.另外，例如也可以通过生命体征传感器107捕捉幼儿的心跳数和呼吸数中的任一方。
96.在上述合成工序中，通过上述相机数据和上述雷达数据的叠加来进行图像数据的识别，计算用于确定在车辆x内是否存在上述携带物的评价函数的值。该处理通过数值化单元201进行。
97.具体而言，按照以下的步骤。将以时间序列取得的上述相机数据和上述雷达数据按规定时间间隔汇总并进行叠加处理，由此得到图像数据。在如此进行叠加处理时，例如能够区分有运动的物体(生物)和无运动的物体(非生物)。
98.接下来，对进行了该叠加处理的图像数据进行压缩处理并且提取时间序列相关。通过取得该时间系列相关，例如能够检测携带物移动到监视相机102的死角等，因此能够在接下来的匹配处理中容易使加权变量最佳化。
99.然后，根据该时间系列相关进行用于判定在图像数据中是否包含上述携带物的匹配处理。在该匹配处理中，作为评价函数的值，计算匹配的评价值。
100.在该匹配处理中，例如能够使用ai。具体而言，使用适应所提供的环境条件(例如亮度112等)时刻变化的可变模板，构建通过机器学习完成学习的推定模型，将上述时间序列相关作为输入进行与上述携带物的匹配。该推定模型可以存储在例如监视部10的数据库109等的车辆x内，也可以采用存储在车辆x外的例如云服务器中，通过无线通信等访问的方式。另外，作为上述ai，能够使用yolo(you only look once)那样的深层学习网络。
101.在该匹配处理中，优选并用通过例如微处理器的一个命令对多个数据进行处理的处理方式亦即低层次处理、和使用程序控制的高层次处理。此时，在低层次处理中，优选利用haar-like、hog特征提取处理并使用局部的浓淡分布和浓度梯度对低帧频的数据进行匹配处理，优选使用按局部的边缘方向区分的边缘强度的特征量对高帧频的数据进行匹配处理。此外，在高层次处理中，优选使用将多个特征量综合的adaboost方法进行匹配处理。
102.在上述判定工序中，根据在上述合成工序中计算出的评价函数的值与在上述阈值决定工序中决定出的阈值之间的大小关系来判定是否包括上述携带物。例如，在上述评价函数的值大于上述阈值的情况下，判定为包括该携带物。另外，也可以依赖于评价函数，在上述评价函数的值小于上述阈值的情况下，判定为包括该携带物。
103.在未判定为包括上述携带物的情况下，优选变更可变模板来进行上述匹配处理，以使得匹配的评价值成为规定值以上。此外，优选在经过规定时间之后再次进行匹配处理，在加上到紧前为止的匹配结果时的上述评价值为规定值以下的情况下，也同样地变更可变模板，进行上述匹配处理。例如，在上述幼儿的检测中，在利用仅使用了a2＝0的监视相机102的评价函数的模板检测不到幼儿的情况下，使a2的值增加而变更为并用监视相机102的评价函数和监视雷达103的评价函数的模板，由此能够提高幼儿的检测能力。
104.能够使用监视信息10a中的乘员信息117和车内信息113提取下车信息205。
105.具体而言，通过乘员信息117确定谁坐在哪个座位。因此，根据车内信息113，相应的乘员不在相应的座位，因此能够推定该乘员已下车。此外，更优选根据车外信息114确认该乘员已离开到车外。然后，在推定为所搭乘的乘员全部下车的情况下，能够提取乘员全员
已下车的情况。
106.(健康状态的检测)
107.该车辆用安全辅助系统1能够根据车内信息113、生物信息115和声音信息116来识别乘员的健康状态。即，识别信息20a包含表示各乘员的健康状态的健康信息206。
108.具体而言，该车辆用安全辅助系统1作为乘员的健康状态，除了识别健康异常之外，还能够识别打瞌睡、漫不经心和左顾右盼。另外，这些状态在乘员是驾驶员的情况下，有可能导致事故，因此广义上包含在健康状态中。
109.对于该车辆用安全辅助系统1的健康状态的识别方法，除了使用下述式3所示的3个评价函数这点以外，能够与遗忘物的检测中的提取携带物检测信息204的提取方法同样地进行。
[0110][0111]
此处，dx、dy、dz是根据车内信息113和声音信息116求出的评价函数值，vx、vy、vz是根据生物信息115求出的评价函数值，a1～a3和b1～b3是加权变量。
[0112]
基于车内信息113和声音信息116的打瞌睡(dx)、漫不经心(dy)、左顾右盼(dz)例如能够根据基于车内信息113的乘员的视线、举动的分析、基于声音信息116的乘员的会话的有无及其内容来判定，并用0(不符合)和1(符合)这两个值或它们之间的数值(例如0.1刻度的11个等级)表现。另外，在该判断中也可以利用ai。
[0113]
生物信息115包含呼吸数和心跳数。已知根据呼吸数和心跳数，人处于表1所示的状态。基于该见解，打瞌睡(vx)、漫不经心(vy)、左顾右盼(vz)在表1的括号内给出数值(从左到右依次为vx、vy、vz)。
[0114]
(表1)
[0115][0116]
在表1中，对于n(标准心跳数)，在已知乘员固有的值的情况下，只要使用该数值即可，在未知的情况下例如可以采用标准的n＝65。此外，在乘员的年龄未知的情况下，作为代表值设为40岁即可。关于呼吸数，表1基于平均的18制作，但在已知乘员固有的值的情况下，也能够以该数值进行判定。乘员固有的数值例如预先登记在监视部10的数据库109中，只要参照该数据库109即可。
[0117]
另外，在生物信息115不属于表1的分类的任一个的情况下，由于认为是异常事态，
因此不论上述式3的结果如何，都判断为健康异常。在该情况下，例如vx＝vy＝vz＝1。
[0118]
上述加权变量a1～a3和b1～b3以及上述式3的评价函数fx、fy、fz各自的阈值c1、c2、c3由最佳化单元202决定。
[0119]
例如，在以作为标准而使a1～a3、b1～b3和c1～c3全部为0.3的情况进行说明时，在根据来自生物信息115的信息判断为健康异常的情况下，设为a1～a3＝0、b1～b3＝1，能够可靠地判定为健康异常。此外，在基于车内信息113和声音信息116无法判定打瞌睡(dx)、漫不经心(dy)、左顾右盼(dz)的情况下也同样。此外，a1～a3、b1～b3和c1～c3的值可以针对每个乘员进行调整。
[0120]
通过这样设置将多个监视信息10a融合的评价函数，能够提高乘员的状态的识别精度。此外，由于采用与健康状态的检测相同的构成，所以能够实现处理机构的通用化，实现该车辆用安全辅助系统1的省电化和低成本化。
[0121]
(可疑人的确定)
[0122]
该车辆用安全辅助系统1能够根据车外信息114识别从车外接近车辆x的人物是否为可疑人。即，识别信息20a包含用于根据车外信息114确定上述人物是否为可疑人的可疑人确定信息207。
[0123]
接近车辆x的人物是否为可疑人的识别能够如以下那样进行。首先，通过超声波传感器104检测向车辆x的接近物体。如果该接近物体与车辆x的距离为规定值、例如10m以下，则通过车外相机105和车外雷达106确定可疑人。可疑人的确定能够与乘员确定单元110同样地进行。
[0124]
(控制部)
[0125]
控制部30例如由微控制器实现。此外，控制部30具有与车辆x的接口部、以及与便携式电话、云服务器等车外的其他设备进行通信的通信部。另外，与其他设备的通信能够使用公知的通信单元。作为这样的通信单元，例如能够举出不需要主机就能够进行通信的can接口。
[0126]
上述接口部例如构成为能够与车内显示器、喇叭、灯、门锁机构等的全部或一部分进行接口。由此，例如在基于可疑人确定信息207检测到可疑人的接近的情况下，能够进行使车辆x的汽车喇叭(喇叭)鸣响或者使灯闪烁的控制。
[0127]
上述通信部构成为能够通过无线网络与用户的便携式电话、云服务器进行通信。由此，例如能够在检测到遗忘物时向用户的便携式电话发送该内容的消息。
[0128]
控制部30基于识别信息20a动作。以下，对与由上述的识别部20识别的识别信息20a亦即遗忘物的检测、健康状态的检测和可疑人的确定对应的控制部30的动作进行说明。另外，下述的控制部30的动作为一例，也可以采用其他动作。
[0129]
(遗忘物的检测)
[0130]
在根据下车信息205确定了上述乘员全员已从车辆x下车，根据携带物检测信息204确定了在车辆x内存在上述携带物的情况下，能够判断为该携带物是遗忘物。在该情况下，控制部30向上述乘员通知在车辆x内存在上述携带物。通过控制部30向上述乘员通知在车辆x内存在上述携带物，能够抑制遗忘物。
[0131]
(健康状态的检测)
[0132]
在根据健康信息206确认了乘员中的驾驶员打瞌睡、漫不经心或左顾右盼的情况
下，控制部30例如通过车内显示器、喇叭等以消息、声音的形式对驾驶员发出警告。由此，能够唤起驾驶员的注意，抑制事故的发生。
[0133]
(可疑人的确定)
[0134]
在可疑人的确定中，控制部30使用可疑人确定信息207。在根据可疑人确定信息207确定了接近车辆x的人为可疑人的情况下，可以通过上述通信部通知车辆x的所有者并利用喇叭的鸣响、灯的点亮来震慑可疑人。通过如此使用可疑人确定信息207，能够实现车辆x或者车辆x内的物品的损害预防。
[0135]
反之，在接近车辆x的人物不是可疑人的情况下，可以进行车门的开锁、欢迎消息的显示，也可以具有如下功能：在该乘员为驾驶员的情况下，进行适合该驾驶员的座位的位置、高度、后视镜角度等的调整。
[0136]
此外，控制部30也可以具有适应环境条件进行控制的环境应用处理部。上述环境应用处理部例如基于环境条件进行监视相机102和监视雷达103等的动作模式的控制、数字信号的波形成形等。
[0137]
上述动作模式的设定控制例如进行基于周围的明亮度(亮度112)的曝光的变更。在能够利用车速、降雨时的雨滴的下落速度的情况下，也可以进行与此成比例的快门速度的高速化。此外，在能够观测温度的情况下，也可以进行基于周围温度的监视相机102的色温的设定。这些根据在车辆x内能够利用的数据适当控制。另外，由于车速和周围温度是通常搭载在车辆x上的信息，所以能够沿用该信息。此外，例如通过由车外相机105拍摄的图像的分析，能够得知雨滴的下落速度。
[0138]
此外，在上述波形成形中，可举出包含图像的边缘强调、白平衡、动态范围扩展、压缩伸长、s/n改善和用于各设备的相互协作的接口设定的前置处理等。
[0139]
(车辆用安全辅助系统的控制方法)
[0140]
如图5所示，该车辆用安全辅助系统1的控制方法具备车外监视工序s1、车内监视工序s2和遗忘物检测工序s3。
[0141]
(车外监视工序)
[0142]
在车外监视工序s1中，监视从车外接近车辆x的可疑人。
[0143]
在车辆x停止、发动机停止后设定为车外模式，由此开始该车外监视工序s1。向该车外模式的转移可以由搭乘车辆x的乘员例如驾驶员设定，也可以将发动机停止作为触发自动设定。
[0144]
当设定为车外监视模式时，超声波传感器104接通，检测向车辆x的接近物体。在超声波传感器104检测到接近物体的情况下，如上述那样通过识别部20识别人物是否为可疑人，将可疑人确定信息207包含在识别信息20a中。
[0145]
在根据可疑人确定信息207确定了接近车辆x的人为可疑人的情况下，控制部30例如通过上述通信部通知车辆x的所有者并且通过喇叭的鸣响、车灯的点亮来震慑可疑人。反之，在接近车辆x的人物不是可疑人的情况下，控制部30在上述人物(乘员)与车辆x的距离为规定值、例如1m以内的情况下，判断为上述乘员到达车辆x，可以进行车门的开锁、欢迎消息的显示，在该乘员为驾驶员的情况下，进行适合该驾驶员的座位的位置、高度、后视镜角度的调整等。
[0146]
进而，如果基于监视相机102等的信息判断乘员全员的乘车完成时，结束车外监视
工序s1，向车内监视模式(车内监视工序s2)转移。
[0147]
(车内监视工序)
[0148]
在车内监视工序s2中，监视乘员、特别是驾驶员的状态。
[0149]
在该车内监视工序s2中，将监视相机102、监视雷达103、生命体征传感器107、麦克风108接通，监视乘员的状态。具体而言，如上所述，使用监视相机102和监视雷达103监视车辆x内的乘员、特别是驾驶员的举动，并且基于从监视相机102和监视雷达103得到的乘员的姿势和脸色的变化、生命体征传感器107和麦克风108的信息等，检测乘员的健康状态的变化。此时，为了进行异常检测，可以事先将个人的心跳数、脸色等的平常时的属性存储在例如数据库109中。
[0150]
在检测到异常时，进行使用了控制部30的通信部的向既定场所的通知、声音和影像的分发、车辆设备的控制信息的发送。
[0151]
在该工序中，一并进行乘员下车的确认，在确认了全体乘客已下车的情况下，向遗忘物检测工序s3转移。
[0152]
(遗忘物检测工序)
[0153]
在遗忘物检测工序s3中，检测在车辆x内是否存在特定的携带物。
[0154]
作为上述携带物，例如是登记在数据库109中的幼儿、宠物、包、便携式电话等。如上所述，通过识别部20进行遗忘物的检测，在判断为存在遗忘物时，经由控制部30的通信部通知既定的终端。如果检测不到遗忘物，则在规定时间、例如10分钟后结束遗忘物检测工序s3，转移到车外监视工序s1。另外，在将发动机停止作为触发自动转移到车外监视工序s1的情况下等，有时不等待遗忘物检测工序s3的结束就启动车外监视工序s1，两个工序同时进行。在该情况下，结束遗忘物检测工序s3，继续车外监视工序s1。
[0155]
(优点)
[0156]
在该车辆用安全辅助系统1中，能够通过监视相机102监视车辆x内的乘员，通过识别部20识别乘员的行动，通过控制部30进行车辆x的动作的控制或向乘员的通知，由此能够确保车辆x的安全行驶。
[0157]
(其他实施方式)
[0158]
上述实施方式并不限定本发明的构成。因此，上述实施方式可以基于本说明书的记载和技术常识省略、置换或追加上述实施方式各部分的构成要素，应当解释为这些全部属于本发明的范围。
[0159]
在上述实施方式中，说明了监视部具有光度计、监视相机、监视雷达、超声波传感器、车外相机、车外雷达、生命体征传感器、麦克风、携带物确定单元、乘员确定单元和数据库的情况，但也可以不具有除了监视相机之外的传感器和单元等的一部分或全部。在不使用从这些得到的监视信息的车辆用安全辅助系统中能够适当省略。
[0160]
此外，监视部也可以具有其他监视单元。作为这样的监视单元，例如可举出检测便携式电话的电波的电波检测器、取得便携式电话的位置信息的gps装置等。通过监视部具有电波检测器和/或gps装置，能够容易地确定便携式电话存在于车内，因此，在可带入车辆内的携带物包括便携式电话的情况下，能够更可靠地检测为遗忘物。在该情况下，可以在识别部的最佳化单元中使用上述电波检测器的电波强度和/或上述gps装置的gps信息。
[0161]
在上述实施方式中，说明了包含乘员确定单元确定的乘员信息作为监视信息的情
况，但是乘员信息不是必须的构成要素，可以省略。即，仅使用乘员确定单元计算出的一致度的构成是本发明的意图。
[0162]
产业上的利用可能性
[0163]
如以上说明的那样，本发明的车辆用安全辅助系统能够掌握乘员的状态。因此，通过使用该车辆用安全辅助系统，能够从车辆的行驶中到下车为止连续地安全且确保监护驾驶员和乘员。
[0164]
附图标记说明：
[0165]
1：车辆用安全辅助系统；10：监视部；10a：监视信息；20：识别部；20a：识别信息；30：控制部；101：光度计；102：监视相机；102a：监视区域；103：监视雷达；103a：监视区域；104：超声波传感器；104a：监视区域；105：车外相机；105a：监视区域；106：车外雷达；106a：监视区域；107：生命体征传感器；108：麦克风；109：数据库；110：乘员确定单元；111：携带物确定单元；112：亮度；113：车内信息；114：车外信息；115：生物信息；116：声音信息；117：乘员信息；118：一致度；119：携带物信息；201：数值化单元；202：最佳化单元；203：识别信息确定单元；204：携带物检测信息；205：下车信息；206：健康信息；207：可疑人确定信息；x：车辆。

技术特征：
1.一种车辆用安全辅助系统，对搭乘车辆的1个或多个乘员的安全进行辅助，其特征在于，具备：监视部，能够监视所述车辆内的乘员；识别部，根据来自所述监视部的监视信息识别所述乘员的状态；以及控制部，基于来自所述识别部的识别信息，进行所述车辆的动作的控制或者向所述乘员的通知，所述监视部具有监视相机。2.根据权利要求1所述的车辆用安全辅助系统，其特征在于，所述监视部具有携带物确定单元，所述携带物确定单元确定能够带入所述车辆内的携带物，所述监视信息包含所述携带物确定单元确定出的携带物信息，所述识别信息包含：携带物检测信息，确定在所述车辆内是否存在所述携带物；以及下车信息，确定所述乘员全员是否已从所述车辆下车，在根据所述下车信息确定了所述乘员全员已从所述车辆下车、根据所述携带物检测信息确定了在所述车辆内存在所述携带物的情况下，所述控制部向所述乘员通知在所述车辆内存在所述携带物。3.根据权利要求2所述的车辆用安全辅助系统，其特征在于，所述监视部具有监视雷达。4.根据权利要求3所述的车辆用安全辅助系统，其特征在于，所述携带物确定单元使用由所述监视雷达检测到的周期性振动。5.根据权利要求1至4中任一项所述的车辆用安全辅助系统，其特征在于，所述识别部具有：数值化单元，根据所述监视信息，通过评价函数以数值表示所述乘员的状态；最佳化单元，根据与所述数值之间的大小关系将用于确定所述乘员的状态的阈值最佳化；以及识别信息确定单元，根据所述数值和所述阈值确定所述乘员的状态，来作为所述识别信息。6.根据权利要求5所述的车辆用安全辅助系统，其特征在于，所述监视部具有：数据库，登记有预先拍摄的乘员的参考图像；以及乘员确定单元，通过将由所述监视相机拍摄的乘员的拍摄图像与所述参考图像进行比较检索来确定所述乘员，所述乘员确定单元构成为能够计算所述拍摄图像与所述参考图像的一致度，在所述识别部的最佳化单元中使用所述一致度。7.根据权利要求5所述的车辆用安全辅助系统，其特征在于，所述监视部具有测定所述车辆的周围的亮度的光度计，在所述识别部的最佳化单元中使用所述亮度。8.根据权利要求1至7中任一项所述的车辆用安全辅助系统，其特征在于，
所述监视部具有取得所述乘员的生物信息的生命体征传感器，所述监视信息包含从所述生命体征传感器得到的生物信息。9.根据权利要求1至8中任一项所述的车辆用安全辅助系统，其特征在于，所述监视部具有：超声波传感器，能够检测从车外接近所述车辆的人物；以及车外相机或车外雷达，用于识别所述人物，所述监视信息包含从所述超声波传感器以及所述车外相机或车外雷达得到的车外信息，所述识别信息包含根据所述车外信息确定所述人物是否为可疑人的可疑人确定信息，所述控制部使用所述可疑人确定信息。

技术总结
本发明提供车辆用安全辅助系统，能够掌握乘员的状态。本发明的车辆用安全辅助系统对搭乘车辆的1个或多个乘员的安全进行辅助，具备：监视部，能够监视所述车辆内的乘员；识别部，根据来自所述监视部的监视信息识别所述乘员的状态；以及控制部，基于来自所述识别部的识别信息，进行所述车辆的动作的控制或者向所述乘员的通知，所述监视部具有监视相机。所述监视部具有监视相机。所述监视部具有监视相机。


技术研发人员：有本和民 山内直树 梶原景久 速水淳
受保护的技术使用者：株式会社村上开明堂
技术研发日：2021.07.27
技术公布日：2023/6/26