警告装置和警告方法与流程

1.本发明涉及例如使用远红外线相机对车辆的行进方向等上存在的行人等进行检测并向车辆的驾驶员发出警告的警告装置和警告方法。


背景技术：

2.近年来，为了确认车辆的行进方向的安全，使用远红外线相机对由可见光相机难以检测的状况下的检测对象物进行检测。在专利文献1中公开了使用这样的远红外线相机的对象物检测技术的例子。
3.专利文献1所记载的识别处理装置包括：影像获取部，获取远红外线相机拍摄自身车辆的周围而得到的第一拍摄数据；其他车辆检测部，检测在自身车辆的周围停车的其他车辆；热检测部，根据第一拍摄数据的与其他车辆对应的区域的热分布来检测基于其他车辆的动作的散热；以及人物检测部，当检测到散热时，对于其他车辆附近优先执行人物识别来检测人物。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2020-027380号公报


技术实现要素：

7.然而，远红外线相机将行人等散发的热的分布作为影像进行检测，因此，车辆的驾驶员有时无法通过对车辆外的目视来确认远红外线相机检测到的行人等。在这样的状况下，尽管通过红外线相机检测到行人等，但车辆的驾驶员无法通过对车辆外的目视确认行人的位置，因此目视显示图像的时间、次数增加，有时会对基于目视的行进方向的安全确认造成妨碍。
8.因此，本实施方式的一个方式是一种警告装置，其具有：第一影像获取部，获取远红外线相机拍摄到的第一影像，所述远红外线相机对车辆的行进方向进行拍摄；第二影像获取部，获取可见光相机拍摄到的第二影像，所述可见光相机对与所述远红外线相机一致的方向进行拍摄；检测部，从所述第一影像获取部获取的第一影像中检测对所述车辆的驾驶员而言成为警告对象的目标；范围确定部，当所述检测部检测出成为警告对象的目标时，确定第一目标范围，并且确定第二影像中与第一目标范围对应的第二目标范围，所述第一目标范围是表示在所述第一影像中检测出的目标的范围；以及显示控制部，使所述车辆的驾驶员能够目视的显示部显示描绘了所述第二目标范围的第二影像。
9.另外，本实施方式的另一方式是一种警告装置执行的警告方法，其具有：第一影像获取步骤，获取远红外线相机拍摄到的第一影像，所述远红外线相机对车辆的行进方向进行拍摄；第二影像获取步骤，获取可见光相机拍摄到的第二影像，所述可见光相机对与所述远红外线相机一致的方向进行拍摄；检测步骤，从获取的第一影像中检测对所述车辆的驾驶员而言成为警告对象的目标；范围确定步骤，当检测出成为警告对象的目标时，确定第一
目标范围，并且确定第二影像中与第一目标范围对应的第二目标范围，所述第一目标范围是表示在所述第一影像中检测出的目标的范围；以及显示步骤，使所述车辆的驾驶员能够目视的显示部显示描绘了所述第二目标范围的第二影像。
10.根据本实施方式，能够使车辆的驾驶员适当地掌握从远红外线相机的影像中检测出的行人等。
附图说明
11.图1是第一实施方式涉及的警告装置的框图。
12.图2是说明第一实施方式涉及的警告装置中的可见光相机的拍摄范围与远红外线相机的拍摄范围的差异的图。
13.图3是说明第一实施方式涉及的警告装置中的警告显示的图。
14.图4是说明第一实施方式涉及的警告装置的动作的图。
15.图5是说明第一实施方式涉及的警告装置的动作的另一方式的图。
16.图6是第二实施方式涉及的警告装置的框图。
17.图7是说明第二实施方式涉及的警告装置的动作的图。
具体实施方式
18.以下，参照附图对本发明的实施方式进行说明。为使得说明清楚，以下的记载以及附图适当地进行了省略以及简化。在各附图中，对相同的要素标注相同的附图标记，并根据需要省略重复说明。
19.另外，以下说明的功能块的各结构由硬件或软件、或者这两者构成，既可以由一个硬件或软件构成，也可以由多个硬件或软件构成。也可以通过具有cpu、存储器等的运算部(例如，计算机)来实现各功能(各处理)。例如，也可以在存储装置中保存用于进行实施方式中的制作方法的程序，通过由cpu执行保存在存储装置中的程序来实现各功能。
20.这些程序能够使用各种类型的非暂时性计算机可读介质(non-transitory computer readable medium)来保存，并提供给计算机。非暂时性计算机可读介质包括各种类型的有实体的记录介质(tangible storage medium)。非暂时性计算机可读介质的例子包括磁记录介质(例如硬盘驱动器)、cd-rom(read only memory：只读存储器)、cd-r、cd-r/w、半导体存储器(例如掩模rom、prom(programmable rom：可编程rom)、eprom(erasable prom：可擦除prom)、闪存rom、ram(random access memory：随机存取存储器)。另外，程序也可以通过各种类型的暂时性计算机可读介质(transitory computer readable medium)提供给计算机。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。暂时性计算机可读介质能够经由电线以及光纤等有线通信路径、或者无线通信路径将程序提供给计算机。
21.(第一实施方式)
22.第一实施方式涉及的警告装置1在从远红外线相机拍摄到的影像中检测出行人等的情况下，通过在显示画面显示远红外线相机拍摄到的影像和表示检测出的行人等的框线等，来对车辆的驾驶员进行警告。
23.图1示出第一实施方式涉及的警告装置1的框图。如图1所示，第一实施方式涉及的警告装置1具有警报控制装置10、远红外线相机11、可见光相机12、识别词典存储部13、以及
显示部14。警报控制装置10例如通过微控制器单元(mcu)、cpu等能够执行程序的运算装置来实现。此外，微控制器单元可以包括多个运算部，并且可以通过多个运算部并行地执行程序中的各种处理。关于在警报控制装置10内实现的处理模块的详细内容，将在后面叙述。
24.远红外线相机11是对车辆的前方、即车辆的主要的行进方向进行拍摄的相机，接受从处于拍摄范围内的物体发出的远红外线，输出具有与存在于拍摄范围内的物体的温度相应的浓淡的图像、即所谓的热图像。可见光相机12是对与远红外线相机11一致的方向进行拍摄的相机，输出通过可见光对拍摄范围进行拍摄而得到的影像。远红外线相机11与可见光相机12的拍摄方向的一致是指无论哪一个相机都拍摄车辆的前方。另外，多数情况下，远红外线相机11的拍摄视场角比可见光相机12的拍摄视场角窄，因此在这样的情况下，在可见光相机12的拍摄视场角的范围内包含远红外线相机11的拍摄视场角的范围。
25.识别词典存储部13存储识别词典，所述识别词典是使在后述的检测部23中检测的检测对象的目标形状等特征进行机器学习而得到的。识别词典存储部13例如由闪存等非易失性存储装置构成。显示部14向车辆的驾驶员显示由远红外线相机11和可见光相机12中的至少一者拍摄的影像。显示部14例如可以是设置于车辆的仪表板的显示器等。
26.警报控制装置10具有第一影像获取部21、第二影像获取部22、检测部23、范围确定部24、以及显示控制部25。警报控制装置10内的处理模块是通过程序实现的处理模块、或者作为专用硬件而安装的处理模块。另外，第一影像获取部21、第二影像获取部22、检测部23、范围确定部24、显示控制部25构成为能够进行警报控制装置10内的处理、或者通过总线相互进行信息的协作。
27.第一影像获取部21获取拍摄车辆的行进方向的远红外线相机11拍摄到的第一影像。第二影像获取部22获取可见光相机12拍摄到的第二影像。检测部23从第一影像获取部获取的第一影像中检测对车辆的驾驶员而言成为警告对象的目标。对车辆的驾驶员而言成为警告对象的目标例如是行人等人物、人乘坐的自行车、动物等根据其与周边温度的温度分布的差异而检测的物体。另外，对于车辆的驾驶员而言成为警告对象的目标也可以将上述的物体中的、存在于车辆的行进方向即前方且存在于在车辆的行驶中需要注意的位置处的物体作为对象。
28.在检测部23检测出成为警告对象的目标的情况下，范围确定部24确定第一目标范围，并且确定与第一目标范围对应的第二影像中的第二目标范围，所述第一目标范围是表示第一影像中的检测出的目标的范围。范围确定部24确定的第一目标范围是包围在第一影像中检测出的目标的范围，例如用矩形的框线等表示。矩形的框线是包围检测出的目标的外形整体的框线，除了显示画面上的目标的存在之外，还能够表示显示画面上的位置以及大小。例如在检测出的目标是人物的情况下，第一目标范围用包围检测出的人物的纵横比为2：1的矩形框线来表示。范围确定部24确定的第二目标范围是相对于在第一影像中确定的第一目标范围在第二影像中表示相同位置的范围，例如，用与表示第一目标范围的框线相同形状的框线等表示。第一目标范围和第二目标范围不限于上述方式，能够实施各种方式。
29.显示控制部25使车辆的驾驶员能够目视的显示部14显示描绘了表示第二目标范围的框线等的第二影像。另外，在显示控制部25中，当显示第二影像时，优选在降低了彩度或对比度的第二影像中描绘第二目标范围并显示于显示部14。通过这样使第二影像的彩度
或对比度降低，表示第二目标范围的框线等相对于第二影像的显示更显眼，因此车辆的驾驶员能够适当地确认第二目标的位置。
30.在此，对远红外线相机11与可见光相机12的拍摄范围的差异进行说明。因此，图2示出说明第一实施方式涉及的警告装置1中的可见光相机的拍摄范围与远红外线相机的拍摄范围的差异的图。如图2所示，在第一实施方式涉及的警告装置1中，远红外线相机11和可见光相机12的拍摄范围是车辆的行进方向，对一致的方向进行拍摄。另外，在警告装置1中，远红外线相机11所拍摄的远红外线相机拍摄范围ir的范围比可见光相机12所拍摄的可见光相机拍摄范围op的范围窄。在图2所示的例子中，设定为可见光相机拍摄范围op的中心与远红外线相机拍摄范围ir的中心一致。可见光相机拍摄范围op可以是可见光相机12的拍摄视场角，远红外线相机拍摄范围ir可以是远红外线相机11的拍摄视场角。可见光相机拍摄范围op的坐标在与远红外线相机拍摄范围ir一致的范围内与远红外线相机拍摄范围ir的坐标建立对应。因此，能够基于在第一影像中确定的第一目标范围来确定第二影像中的第二目标范围。
31.接着，对第一实施方式涉及的警告装置1的动作进行说明。因此，在图3中示出对第一实施方式涉及的警告装置1中的警告显示进行说明的图。如图3所示，第一实施方式涉及的警告装置1在远红外线相机拍摄范围ir中检测出检测对象的目标obj时，确定第一目标范围obj_r1，在可见光相机拍摄范围op中确定与第一目标范围obj_r1对应的位置的第二目标范围obj_r2。然后，通过在作为可见光相机拍摄范围op的影像的第二影像中进行明示第二目标范围obj_r2的显示，向车辆的驾驶员警告存在目标obj。
32.使用流程图对上述动作进行说明。图4示出说明第一实施方式涉及的警告装置1的动作的图。如图4所示，第一实施方式涉及的警告装置1当开始动作时，由远红外线相机11和可见光相机12开始拍摄(步骤s1)。步骤s1的动作的开始在搭载有警告装置1的车辆的发动机等的动力接通的情况下等开始。另外，在例如夜间或隧道中等车辆周围的亮度低时，由远红外线相机11进行目标检测，此时，通过亮度降低到表示夜间或隧道中的程度，而开始检测。在步骤s1开始后或在开始的同时，警告装置1通过检测部23从远红外线相机11和第一影像获取部21获取的第一影像中开始检测远红外线相机拍摄范围ir中的目标obj(步骤s2)。另外，警告装置1通过显示控制部25开始将可见光相机12和第二影像获取部22获取的第二影像(例如，可见光相机拍摄范围op的影像)显示于显示部14(步骤s3)。显示于显示部14的第二影像也可以从可见光相机拍摄范围op显示与远红外线相机拍摄范围ir一致的部位。
33.然后，在检测部23在远红外线相机拍摄范围ir中检测出存在目标obj的情况下(步骤s4的“是”)，通过范围确定部24确定与第一目标范围obj_r1对应的第二目标范围obj_r2的位置(步骤s5)。然后，警告装置1通过显示控制部25将表示第二目标范围obj_r2的第二影像显示于显示部14(步骤s6)。表示该第二目标范围obj_r2的第二影像持续到满足警告结束条件为止，所述警告结束条件是目标obj从远红外线相机拍摄范围ir不复存在等需要警告的状态消除的条件(步骤s7)。然后，在满足警告结束条件后，显示控制部25将不包含第二目标范围obj_r2的第二影像显示于显示部14(步骤s8)。
34.然后，第一实施方式涉及的警告装置1反复进行步骤s4-s8的处理，直到发动机停止等动作成为结束状态为止。此外，第一实施方式涉及的警告装置1在步骤s4中在远红外线相机拍摄范围ir内未检测到目标obj的情况下，不执行步骤s5-s8而继续目标obj的检测处
理，直到在远红外线相机拍摄范围ir内检测到目标obj为止(步骤s4的“否”、步骤s9的“否”)。
35.此外，第一实施方式涉及的警告装置1的动作也可以考虑其他方式。因此，图5示出对第一实施方式涉及的警告装置1的动作的其他方式进行说明的图。如图5所示，第一实施方式涉及的警告装置1的动作的其他方式是，在图4所示的流程图中，将显示第二影像的步骤s3、s8变更为显示第一影像的步骤s10、s11。即，在第一实施方式涉及的警告装置1的动作的其他方式中，在未检测出目标obj的状态下，将第一影像显示于显示部14。这样，在第一实施方式涉及的警告装置1中，在未检测出目标obj的期间，能够根据规格来选择在显示部14是显示第一影像还是显示第二影像。
36.根据上述说明，在第一实施方式涉及的警告装置1中，在远红外线相机拍摄范围ir中检测出警告对象的目标obj的情况下，通过在第二影像上重叠显示表示目标obj的存在位置的第二目标范围obj_r2，将应该通知给驾驶员的警告以易于理解的方式提示给驾驶员。即使在无法通过目视车辆外来确认警告对象的目标的情况下，由于在与车辆外的景色相同的第二影像中描绘有第二目标范围obj_r2，因此车辆的驾驶员也能够适当地掌握警告对象的目标位置。另外，通过使驾驶员适当地掌握警告对象的目标位置，能够减少目视显示图像的时间、次数，使驾驶员的注意力能更专注于行进方向的目视。
37.(第二实施方式)
38.在第二实施方式中，对作为第一实施方式涉及的警告装置1的其他方式的警告装置2进行说明。此外，在第二实施方式的说明中，对与在第一实施方式中说明的结构用途相同的结构要素标注与第一实施方式相同的附图标记并省略说明。
39.图6表示第二实施方式涉及的警告装置2的框图。如图6所示，第二实施方式涉及的警告装置2在第一实施方式涉及的警告装置1中追加车厢内拍摄相机15，将警报控制装置10置换为警报控制装置30。警报控制装置30是在警报控制装置10中追加了第三影像获取部26以及视线检测部27的装置。
40.车厢内拍摄相机15对车厢内的驾驶员进行拍摄。特别是，车厢内拍摄相机15设置为拍摄驾驶员以使驾驶员知晓朝向显示部14的视线。第三影像获取部26获取车厢内拍摄相机15拍摄到的影像并传递至视线检测部27。视线检测部27检测车辆驾驶员的视线朝向。并且，当检测部23检测出成为警告对象的目标时，显示控制部25使显示部显示描绘了第一目标范围的第一影像，当车辆的驾驶员观看了显示部14规定时间以上时或者回看了显示部时，使显示部显示描绘了第二目标范围的第二影像。规定时间例如是3秒等。另外，回看的情况是指，车辆的驾驶员在观看了显示有描绘了第一目标范围的第一影像的显示部14后观看车辆的前方之后，例如在3秒以内再次观看显示有描绘了第一目标范围的第一影像的显示部14的情况等。
41.车辆的驾驶员在观看显示有描绘了第一目标范围的第一影像的显示部14规定时间以上的情况是指，在显示于显示部14的第一影像中，尽管显示有表示成为警告对象的目标的第一目标范围，但无法通过目视车辆外确认成为警告对象的目标的情况。另外，在车辆的驾驶员回看了显示有描绘了第一目标范围的第一影像的显示部14的情况下也是同样的。
42.在此，图7示出说明第二实施方式涉及的警告装置2的动作的图。图7是对仅在驾驶员回看了显示部14时将描绘了第二目标范围的第二影像显示的情况下的警告装置2的动作
进行说明的图。
43.如图7所示，第二实施方式涉及的警告装置2的动作是在图5所示的第一实施方式涉及的警告装置1的动作中追加了步骤s21的动作而得到的。步骤s21在步骤s4中检测部23检测出目标obj之后进行。在警告装置2中，在未检测出目标obj的状态下，在显示部14映出由远红外线相机11拍摄到的第一影像，即使不显示第二目标范围obj_r2，如果驾驶员能够识别目标obj，则也不播放包含第二目标范围obj_r2的第二影像(进行步骤s5-s7的处理)而继续第一影像的显示(步骤s21)。
44.根据上述说明，在第二实施方式涉及的警告装置2中，在判断为处于驾驶员需要基于第二影像确认目标obj的状态的情况下，能够显示描绘有第二目标范围的第二影像。
45.此外，本发明不限于上述实施方式，能够在不脱离主旨的范围内适当变更。
46.本技术要求2021年3月19日提出的日本技术特愿2021-45681的优先权，并将其全部内容并入其中。
47.符号说明：
48.1、2 警告装置
49.10、30 警报控制装置
50.11 远红外线相机
51.12 可见光相机
52.13 识别词典存储部
53.14 显示部
54.15 车厢内拍摄相机
55.21 第一影像获取部
56.22 第二影像获取部
57.23 检测部
58.24 范围确定部
59.25 显示控制部
60.26 第三影像获取部
61.27 视线检测部
62.op 可见光相机拍摄范围
63.ir 远红外线相机拍摄范围
64.obj 目标
65.obj_r1 第一目标范围
66.obj_r2 第二目标范围。

技术特征：
1.一种警告装置，具有：第一影像获取部，获取远红外线相机拍摄到的第一影像，所述远红外线相机对车辆的行进方向进行拍摄；第二影像获取部，获取可见光相机拍摄到的第二影像，所述可见光相机对与所述远红外线相机一致的方向进行拍摄；检测部，从所述第一影像获取部获取的第一影像中检测对所述车辆的驾驶员而言成为警告对象的目标；范围确定部，当所述检测部检测出成为警告对象的目标时，确定第一目标范围，并且确定第二影像中与第一目标范围对应的第二目标范围，所述第一目标范围是表示在所述第一影像中检测出的目标的范围；以及显示控制部，使所述车辆的驾驶员能够目视的显示部显示描绘了所述第二目标范围的第二影像。2.如权利要求1所述的警告装置，其中，所述显示控制部在进行基于检测出的目标的警告的期间使所述显示部显示描绘了所述第二目标范围的第二影像。3.如权利要求1所述的警告装置，还具有视线检测部，该视线检测部检测所述车辆的驾驶员的视线朝向，所述显示控制部在所述检测部检测出成为警告对象的目标时，使所述显示部显示描绘了所述第一目标范围的所述第一影像，在所述车辆的驾驶员观看了所述显示部规定时间以上时或者回看了所述显示部时，使所述显示部显示描绘了所述第二目标范围的第二影像。4.如权利要求1至3中的任一项所述的警告装置，其中，所述显示控制部将所述第二目标范围描绘在降低了彩度或对比度的第二影像中并显示于所述显示部。5.一种警告方法，由警告装置执行：第一影像获取步骤，获取远红外线相机拍摄到的第一影像，所述远红外线相机对车辆的行进方向进行拍摄；第二影像获取步骤，获取可见光相机拍摄到的第二影像，所述可见光相机对与所述远红外线相机一致的方向进行拍摄；检测步骤，从获取的第一影像中检测对所述车辆的驾驶员而言成为警告对象的目标；范围确定步骤，当检测出成为警告对象的目标时，确定第一目标范围，并且确定第二影像中与第一目标范围对应的第二目标范围，所述第一目标范围是表示在所述第一影像中检测出的目标的范围；以及显示步骤，使所述车辆的驾驶员能够目视的显示部显示描绘了所述第二目标范围的第二影像。

技术总结
以往，存在难以使车辆的驾驶员适当地掌握检测到的行人等的问题。警告装置(1)具有：第一影像获取部(21)，获取对车辆的行进方向进行拍摄的远红外线相机(11)拍摄到的第一影像；第二影像获取部(22)，获取对与远红外线相机(11)一致的方向进行拍摄的可见光相机(12)拍摄到的第二影像；检测部(23)，从第一影像获取部获取的第一影像中检测成为警告对象的目标；范围确定部(24)，当检测部(23)检测到成为警告对象的目标时，确定第一影像中的第一目标范围，并且确定第二目标范围，第二目标范围是与第一目标范围对应的在第二影像中表示检测到的目标的范围；以及显示控制部(25)，使车辆的驾驶员能够目视的显示部(14)显示描绘了第二目标范围的第二影像。的第二影像。的第二影像。


技术研发人员：酒井康利 林启太 谷山纮史
受保护的技术使用者：JVC建伍株式会社
技术研发日：2021.12.01
技术公布日：2023/9/16