车辆中在可见和红外视图之间进行选择的多相机成像系统的制作方法

车辆中在可见和红外视图之间进行选择的多相机成像系统
1.相关申请的交叉引用
2.不适用。
3.关于联邦政府赞助的研究的声明
4.不适用。
技术领域
5.本发明总体上涉及使用内部显示面板来示出指向车辆外部的相机图像的驾驶员辅助系统，并且更具体地，涉及在重叠的可见光相机视图和红外相机视图之间进行自动选择以改进驾驶员对周围环境的可见度。


背景技术：

6.为了增强驾驶员在许多不同类型的情况和环境中驾驶时监测机动车辆的周围环境的能力，可以在驾驶员视野中的乘客舱中提供显示面板(例如，触摸屏显示器)以从安装在车辆上用于捕获指向外的图像的相机再现实时视频馈送。特别地，例如，相机可以包括因其对诸如行人和动物等对象的敏感性而可增强夜视的红外(ir)相机(例如，包括远红外相机)。当存在环境日光时，显示面板可以默认示出可见光图像。安装在车辆上的环境光传感器或太阳热负荷传感器可以生成量化环境光水平的检测信号，所述检测信号可以与亮度阈值进行比较以区分黑暗状况和非黑暗状况。可以提供手动开关或其他用户控件以使驾驶员能够在重叠的可见视图和ir视图之间进行手动选择。
7.即使存在环境日光，也存在ir相机视图可以提供对周围环境的重要视觉元素的改进的可见度的情况。例如，当来自太阳的眩光损害驾驶员对车辆前方道路的正常视野时，ir视图可能是有用的，这是因为入射的太阳辐射在红外波长下相对较小。其他视觉损害来源可能包括挡风玻璃上的冷凝物、沙尘、雾、烟、雨或雪。典型的视觉增强系统依赖于对ir视图的驾驶员手动激活，以便每当环境光的存在以其他方式导致对可见相机视图的选择时获得改进的可见度。依赖于手动选择需要驾驶员理解相机选择系统如何工作并且了解可能需要切换到ir视图而不是可见光视图的所有条件。用于在适当条件期间选择ir视图的自动化系统可以提供减少的分心、减少的认知负荷和增加的驾驶员警觉性。然而，仅使用相机图像来检测适当条件通常可能是无效的，并且用于识别适当条件的其他已知方法可能导致昂贵的部件，诸如专用传感器和高容量计算装置。


技术实现要素：

8.本发明提供了对相机馈送的自动选择，使得不需要为驾驶情况手动选择正确的相机。人工智能、机器学习和/或计算机建模可以用于基于车辆中已经通常可用的车载传感器数据、用户输入和车外(即，远程获得的)信息来确定正确的相机视图(例如，即使在白天条件期间仍要激活ir视图时)以改进对周围对象的可见度。特别地，用于选择的基础包括监测驾驶员在驾驶时的反应。此外，自动选择操作考虑了基于用户反馈(例如，驾驶行为、面部表
情或口头表达的变化)的用户偏好。
9.在本发明的一个方面，一种车辆包括：可见光相机，所述可见光相机被安装用于观察所述车辆所行驶在的道路以及捕获可见光图像；以及红外相机，所述红外相机被安装用于观察所述道路以及捕获与所述可见光图像重叠的红外图像。显示屏对所述车辆的驾驶员可见并且被配置为实时选择性地显示所述可见光图像或所述红外图像，其中当所述车辆周围的可见光亮度大于亮度阈值时，通常选择所述可见光图像。损害监测器被配置为监测指示当直接观察所述道路时对驾驶员可见度的限制的触发条件，其中所述触发条件包括驾驶员反应。控制电路被配置为(a)根据指示损害事件的发生的多个预定分类对所监测到的触发条件进行分类，以及(b)在所述损害事件发生时，选择所述红外图像来显示在所述显示屏上。
附图说明
10.图1是配备有用于在显示屏上选择性地显示红外图像的相机和传感器的客运车辆的示意图。
11.图2是乘客舱内部的显示屏的示意图。
12.图3是示出根据优选实施例的过程的主要元素的流程图。
13.图4是示出根据优选实施例的车辆中部件的框图。
14.图5是示出本发明的一种优选方法的流程图。
具体实施方式
15.参考图1，车辆10具有驾驶员座椅11，驾驶员(未示出)可以从所述驾驶员座椅在视觉上检查显示面板12(例如，仪表板上的视频监视器或后视镜单元、抬头显示器或集成到另一个总成中的显示屏)，所述显示面板示出来自一个或多个相机的图像，所述一个或多个相机被布置成提供用于观察车辆10所行驶在的道路的在车辆外部的视野。驾驶员通过挡风玻璃14看到前方的道路。用户控件13与显示面板12相关联，以便接收在多个不同的相机视图中的手动选择(例如，在可见光图像与红外图像之间进行选择)。
16.可见光相机16安装在后视镜单元15上以捕获可见光图像。红外相机17被安装用于观察道路以及捕获与可见光图像重叠的红外图像。相机17可以安装在车辆10的外部部分上，这是因为用于挡风玻璃14的大多数典型类型的玻璃可能会使红外辐射衰减。替代地，如果挡风玻璃14的至少一部分被配置为传输红外辐射，则红外相机17可以安装在视镜单元15上或车内的其他地方。用于显示给驾驶员的可见图像和/或红外图像可以替代地从车辆10上的其他位置捕获，诸如从安装在侧视镜单元19上的可见光相机18捕获。例如，可见光相机20和红外相机21可以安装在车辆10的前格栅部分上或前照灯单元内。
17.对其中道路和车辆周围环境的可见度可能由于特定环境状况的状态而受损的状况的检测，可以利用来自环境传感器的信息。环境传感器可以包括任何类型的数据收集，诸如直接测量(例如，用于检测挡风玻璃14的起雾的环境光传感器(als)22和/或冷凝物传感器23)或从气象服务获得针对其他种类的损害的车外信息(例如，指示空气中的沙尘或降水)。为了为驾驶员监测对驾驶员直接观察道路的可见度的损害(即，限制)的指示，在驾驶员附近提供(例如，并入后视镜单元15中)指向内的相机24和内部传声器25。
18.图2示出了用于向驾驶员呈现可见光和/或红外光(例如，远红外)实时视频图像的显示面板12的视频显示部分26。手动选择器27设置在显示面板12上或附近，并且可由驾驶员操作以手动选择红外图像或可见光图像以由视频显示部分26再现。在一些实施例中，自动默认操作选择用于显示的图像，使得1)每当车辆周围的可见光亮度(例如，如使用图1中所示的als 22确定的)大于预定亮度阈值时，通常选择可见光图像，以及2)每当可见光亮度小于预定亮度阈值时，通常选择红外图像。亮度阈值具有适于区分光线充足的情况(例如，白天、夜间城市驾驶或其他非黑暗状况)和光线不足的情况(例如，夜间农村驾驶或其他黑暗状况)的值。
19.图3中示出了在红外图像将提供优于可见光图像的改进的可见度时的非黑暗照明条件下自动选择红外图像以进行观察的逻辑的优选实施例的三个主要方面。在检测框60中，检测可能影响驾驶员可见度的各种因素。检测直接或间接地识别潜在的触发条件，所述潜在的触发条件可以用于指示可以使用红外视图改进的种类的影响驾驶员可见度的限制。这可能涉及识别活动的车辆特征，诸如车窗除霜功能(指示车窗起雾)或挡风玻璃雨刮器(指示降水)。替代地或另外地，这可能涉及使用车载和车外传感器，所述车载和车外传感器可以用于识别由其他损害或限制引起的其他低可见度状况。这些包括可以揭示驾驶员在可见光下观看期望的周围环境的能力受损的驾驶员行为。
20.在分类框61中，检测到的触发条件根据其当前状态是否识别出损害事件的发生进行分类，所述损害事件应引起针对车辆的特定驾驶员改变至红外视图。所述分类可以利用涉及人工智能和/或机器学习的已知技术，所述技术可以用于建立基线分类机制以及根据用户倾向或偏好的反馈可选地修改针对每个特定驾驶员的分类机制，以便细化对损害事件的检测。可以通过驾驶员在各种条件(例如，环境条件和车辆特征的状态)下在可见光视图与红外视图之间的手动选择的模式来指示驾驶员的倾向或偏好。
21.在激活框62中，每当上述分类识别出具有与使用红外的改进视图相关联的损害事件相匹配的分类的驾驶员反应或其他触发条件时，则选择来自红外相机的红外图像进行显示。因此，红外视图的激活可以考虑影响可见度的实际状况以及用户的偏好。
22.图4示出了根据本发明的优选实施例的设备。主控制电路30被配置为执行根据本发明的各个方面的程序。控制电路30(在本文中也称为控制器30)可以包括车辆内的电子模块(诸如车身控制模块(bcm))中的可编程计算装置(例如，微控制器)，或者可以跨在车辆内通信的两个或更多个模块分布。控制器30耦合到显示面板31，以便供应已经由耦合到控制器30的可见光相机32和远红外(fir)相机33捕获的选定的可见光图像或红外图像。用户输入件34(其可以包括控制元件或开关)向控制器30提供手动选择信号，使得驾驶员可以手动控制显示哪种类型的图像。替代地或另外地，可以基于经由内部传声器35接收的口头命令来生成用户的选择。
23.环境光传感器(als)36使用光电检测器来测量车辆外部的亮度水平，从而使得每当亮度高于阈值时能够默认地选择可见光相机，以及每当亮度低于阈值时能够选择红外相机。
24.可以使用几种模态来监测可以自动触发改变至选定的相机视图(例如，取决于状况的当前状态或值)的状况(统称为损害监测)。内部传声器35和内部相机44监测与驾驶员反应(例如，响应于驾驶员在可见光下看东西的能力受损而执行的行为)相关的触发条件。
也可以适当地利用外部传声器和/或外部相机。多个车载环境传感器40监测其他潜在的触发条件，如下所述。全球定位系统(gps)接收器37或其他地理定位系统向控制器30提供车辆的当前位置，以便选择表征潜在的触发条件(诸如降水(雨或雪)和沙尘)的车外信息。使用车辆位置，可以经由例如无线通信模块41和云网络42在控制器30和远程数据服务器43之间交换车外消息。无线通信模块41可以包括例如蜂窝数据调制解调器或v2v或v2x收发器。
25.控制器30包括或耦合到分类数据库45，并且被配置为执行任务，所述任务包括：1)根据指示损害事件的发生的多个预定分类对监测到的触发条件进行分类，以及2)当发起对红外视图的手动选择时基于环境参数的值生成额外的分类或更新后的分类以供在检测未来的损害事件时使用。触发条件中的一些以及导致检测到损害事件的触发条件的分类包括以下示例。
26.基于使用包括用于捕获驾驶员的图像的内部相机44的损害监测器，触发条件可以包括驾驶员反应姿态。姿态可以是面部表情、特殊习惯、身体移动或手势，其中特定姿态被分类为与可以通过切换到红外视图来解决的对驾驶员可见度的损害/限制的存在相关联。例如，经分类的面部表情可以包括眯眼或皱眉，并且手势可以包括例如在试图阻挡太阳眩光时将手抬到前额附近。因此，控制器30可以使用面部识别、ai模式匹配和/或分析模型(使用机器学习预定义和/或修改的)来检测指示需要切换到红外视图的驾驶员反应。
27.基于使用包括用于捕获乘客舱中的声音的内部传声器35的损害监测器，触发条件可以包括以驾驶员话语形式的驾驶员反应。话语可以包括口语关键词、短语、表达或甚至声调或声音特点(例如，显示情绪紧张的上升音调)。话语的分类可以包括预定的经分类短语，诸如“难以看到”、“太亮”、“看不到”或“打开车窗除霜”，以及经分类关键词，诸如“有雾”、“下雨”、“阴暗”、“眩光”等。
28.基于使用包括环境传感器40的损害传感器，触发条件还可以包括由环境传感器检测到的环境参数。例如，环境参数可以是挡风玻璃起雾、大气雾、大气沙尘或大气降水(例如，雨、雪、雨夹雪)。因此，传感器40可以包括窗户起雾传感器，诸如冷凝物传感器或集成的露点和玻璃温度传感器。由环境传感器40进行的损害监测可以替代地包括各种车辆附件(诸如自动车窗除霜器)的手动或自动设置。
29.外部相机32/33也可以用作损害监测器。例如，它们可以具有提供图像以检测降水、结冰的道路或其他与天气相关的触发条件的能力。相机图像可以指示由于环境光的距离或各方面而在可见光下可能难以看到的障碍物。
30.图5示出了本发明的方法，其中在步骤50中连续地捕获可见图像和红外图像。在步骤51中，默认选择用于选择可见图像或红外图像来显示给驾驶员。所述方法在步骤52中监测触发条件，其中对触发条件的损害监测支持自动选择红外视图来进行显示，并且其中触发条件包括驾驶员反应。
31.在步骤53中，使用预定分类对监测到的状况进行分类，所述预定分类识别与驾驶员在可见光下的可见度受损相关的触发条件的实例，其中可以通过在显示面板上呈现红外视图来增强可见度。在步骤54中，检查分类以确定是否已经检测到损害事件。如果是，则在步骤55中将显示面板屏幕自动切换到红外视图。在步骤56中，执行检查以确定条件是否已经改变或者驾驶员是否已经进入手动选择以返回到可见光视图。如果否，则重复步骤56。如果是，则返回到步骤51，其中再次进行默认选择，并且然后继续监测触发条件。每当在步骤
56中检测到手动选择时，就可以更新分类数据库中的分类以考虑用户的反馈，使得当未来发生一组相同的状况时，则可以自动检测到损害事件(或没有这种情况)。
32.如果在步骤54中未检测到损害事件，则在步骤57中执行检查以确定驾驶员是否手动切换到红外视图。如果否，则返回到步骤52以持续监测触发条件。如果在步骤57中检测到手动改变至红外视图，则可以在步骤58中相应地更新分类数据库中针对特定驾驶员的预定分类。因此，采用用户的手动选择作为反馈，以便修改分类数据库以在将来如果再发生相同的环境状况时自动实例化类似的转换。在步骤58中更新分类之后，在步骤59中执行检查以确定驾驶员是否发起返回至可见光视图的手动选择。一旦做出这种手动选择(或关闭车辆)，所述方法就返回到步骤51以使用默认选择重新开始，并且然后重新开始对触发条件的持续监测。
33.在本发明的一个方面，根据预定关键词、短语或表达对所述话语进行分类。
34.在本发明的一个方面，所述车辆包括环境传感器，并且其中所述触发条件还包括由所述环境传感器检测到的环境参数。
35.在本发明的一个方面，根据挡风玻璃起雾、大气雾、大气沙尘或大气降水对所述环境参数进行分类。
36.在本发明的一个方面，所述方法包括以下步骤：当基于所述驾驶员反应检测到所述损害事件的所述发生时，使用机器学习基于所述环境参数的值来生成额外的分类，以供在检测未来的损害事件时使用。
37.在本发明的一个方面，所述车辆包括环境传感器和手动选择器，其中所述触发条件还包括由所述环境传感器检测的环境参数，其中所述手动选择器可由所述驾驶员操作以手动选择所述红外图像或所述可见光图像的显示，并且其中所述方法还包括以下步骤：当所述驾驶员手动选择所述红外图像的所述显示时，使用机器学习基于所述环境参数的值来生成额外的分类，以供在检测未来的损害事件时使用。

技术特征：
1.一种车辆，其包括：可见光相机，所述可见光相机被安装用于观察所述车辆所行驶在的道路以及捕获可见光图像；红外相机，所述红外相机被安装用于观察所述道路以及捕获与所述可见光图像重叠的红外图像；显示屏，所述显示屏对所述车辆的驾驶员可见并且被配置为实时选择性地显示所述可见光图像或所述红外图像，其中当所述车辆周围的可见光亮度大于亮度阈值时，通常选择所述可见光图像；损害监测器，所述损害监测器被配置为监测指示当直接观察所述道路时对驾驶员可见度的限制的触发条件，其中所述触发条件包括驾驶员反应；以及控制电路，所述控制电路被配置为(a)根据指示损害事件的发生的多个预定分类对所监测到的触发条件进行分类，以及(b)在所述损害事件发生时，选择所述红外图像来显示在所述显示屏上。2.如权利要求1所述的车辆，其中所述损害监测器包括捕获所述驾驶员的图像的内部相机，并且其中所述触发条件包括根据对所述驾驶员可见度的限制进行分类的驾驶员反应姿态。3.如权利要求2所述的车辆，其中所述驾驶员反应姿态包括面部表情或特殊习惯。4.如权利要求3所述的车辆，其中所述面部表情包括眯眼或皱眉。5.如权利要求1所述的车辆，其中所述损害监测器包括检测来自所述驾驶员的声音的传声器，并且其中所述触发条件包括根据对所述驾驶员可见度的限制进行分类的话语。6.如权利要求5所述的车辆，其中所述话语由所述控制电路根据预定关键词、短语或表达进行分类。7.如权利要求1所述的车辆，其还包括环境传感器，其中所述触发条件还包括由所述环境传感器检测的环境参数。8.如权利要求7所述的车辆，其中所述环境参数指示挡风玻璃起雾、大气雾、大气沙尘或大气降水。9.如权利要求7所述的车辆，其中当所述控制电路基于所述驾驶员反应检测到所述损害事件的所述发生时，所述控制电路使用机器学习基于所述环境参数的值来生成额外的分类，以供所述控制电路在检测未来的损害事件时使用。10.如权利要求1所述的车辆，其还包括：环境传感器，其中所述触发条件还包括由所述环境传感器检测的环境参数；以及手动选择器，所述手动选择器耦合到所述控制电路，所述手动选择器能够由所述驾驶员操作以超驰所述控制电路并且手动选择所述红外图像或所述可见光图像的显示；其中当所述驾驶员手动选择所述红外图像的所述显示时，所述控制电路使用机器学习基于所述环境参数的值来生成额外的分类，以供所述控制电路在检测未来的损害事件时使用。11.一种向车辆中的驾驶员显示驾驶员辅助图像的方法，其包括以下步骤：使用被安装用于观察所述车辆所行驶在的道路的可见光相机来捕获可见光图像；使用被安装用于观察所述道路的红外相机来捕获与所述可见光图像重叠的红外图像；
当所述车辆周围的可见光亮度大于亮度阈值时，在显示屏上通常显示所述可见光图像；监测指示当直接观察所述道路时对驾驶员可见度的限制的触发条件，其中所述触发条件包括驾驶员反应；根据指示损害事件的发生的多个预定分类对所监测到的触发条件进行分类；以及在所述损害事件发生时，选择所述红外图像来显示在所述显示屏上。12.如权利要求11所述的方法，其中监测触发条件的所述步骤包括使用内部相机捕获所述驾驶员的图像，并且其中所述预定分类包括根据对所述驾驶员可见度的限制进行分类的驾驶员反应姿态。13.如权利要求12所述的方法，其中所述驾驶员反应姿态包括面部表情或特殊习惯。14.如权利要求13所述的方法，其中所述面部表情包括眯眼或皱眉。15.如权利要求11所述的方法，其中监测触发条件的所述步骤包括检测来自所述驾驶员的声音，并且其中所述预定分类包括根据对所述驾驶员可见度的限制进行分类的话语。

技术总结
本公开提供“车辆中在可见和红外视图之间进行选择的多相机成像系统”。为了向车辆中的驾驶员显示驾驶辅助图像，使用被安装用于观察所述车辆所行驶在的道路的可见光相机来捕获可见光图像，并且使用被安装用于观察所述道路的红外相机来捕获与所述可见光图像重叠的红外图像。当所述车辆周围的可见光亮度大于亮度阈值时，在显示屏上通常显示所述可见光图像。监测指示当直接观察所述道路时对驾驶员可见度的限制的触发条件。所述触发条件包括驾驶员反应。所监测到的触发条件根据指示损害事件的发生的多个预定分类进行分类。在所述损害事件发生时，选择所述红外图像来显示在所述显示屏上。上。上。


技术研发人员：尼提亚
受保护的技术使用者：福特全球技术公司
技术研发日：2023.01.28
技术公布日：2023/8/14