用于CMS的驾驶环境监测系统、方法、装置以及计算机设备与流程

用于cms的驾驶环境监测系统、方法、装置以及计算机设备
技术领域
1.本公开涉及电子技术领域，具体而言，涉及用于cms的驾驶环境监测系统、方法、装置以及计算机设备。


背景技术：

2.众所周知，后视镜对于行车安全非常重要。然而，传统的后视镜具有一些缺点。例如，环境可能会对它们产生巨大影响：当光线昏暗，后视镜上覆盖着薄雾，或者后面汽车的光线太强时，驾驶员将很难看清汽车后面的情况，这增加了驾驶的风险。
3.基于此，可以采用cms以取代传统后视镜，cms为camera monitor system缩写，直译为“摄像头监控系统”，汽车应用上一般指电子外后视镜系统，通常用外部摄像头替代传统后视镜，以基于该外部摄像头采集路况的视频帧数据，并对该路况数据进行处理，最后将处理后得到的视频帧展示在车内的显示器中，为驾驶员提供视野。
4.然而，在相关的cms方案中，在外部光线较暗时，例如，在夜晚驾车的情况下，电子后视镜采集到的视频帧数据成像效果往往较差，无法为驾驶员提供良好的视野，从而导致驾驶安全性无法得到保证。


技术实现要素：

5.本公开实施例至少提供用于cms的驾驶环境监测系统、方法、装置以及计算机设备。
6.第一方面，本公开实施例提供了一种用于cms的驾驶环境监测系统，包括：环境感知模块、rgb-ir传感器以及处理器，其中，所述rgb-ir传感器、环境感知模块以及处理器均安装在目标车辆上，且所述处理器与所述目标车辆的显示屏幕通信连接；
7.所述环境感知模块，基于所述驾驶环境的光照度，确定环境感知信号的信号类型，其中，所述信号类型包括：近红外感知信号和/或可见光感知信号；
8.rgb-ir传感器，采集与所述信号类型相匹配的至少一种环境感知信号；
9.所述处理器，基于至少一种所述环境感知信号进行转换处理，分别得到每种环境感知信号对应的环境视频帧，并确定各个环境视频帧在所述显示屏幕中的展示位置。
10.一种可选的实施方式中，所述rgb-ir传感器，包括：近红外装置以及摄像装置；
11.所述近红外装置，在所述信号类型包括近红外感知信号的情况下，发射近红外线，并感知所述驾驶环境反射的近红外线，得到近红外感知信号；
12.所述摄像装置，在所述信号类型包括可见光感知信号的情况下，基于所述驾驶环境进行图像采集，得到可见光感知信号。
13.一种可选的实施方式中，所述环境感知信号包括：近红外感知信号以及可见光感知信号，所述处理器，在所述环境感知信息中确定目标感知信号，并确定所述目标感知信号对应的目标环境视频帧的第一帧率；基于所述第一帧率，确定采集指令，其中，所述采集指令用于指示所述rgb-ir传感器对所述目标感知信号的采集频率。
14.一种可选的实施方式中，所述显示屏幕中包括：第一展示位置，所述处理器，将所述第一展示位置展示的环境视频帧确定为所述目标环境视频帧，并将所述第一展示位置对应的视频帧的采集频率确定为所述目标环境视频帧的第一帧率。
15.一种可选的实施方式中，所述显示屏幕中还包括：第二展示位置，所述处理器，在接收到位置切换指令后，确定所述第二展示位置对应的第二帧率，并将所述第二帧率确定为所述目标环境视频帧对应的采集频率。
16.一种可选的实施方式中，所述环境感知模块，确定所述驾驶环境的光照度，并在所述光照度高于光照度阈值时，确定所述信号类型为可见光感知信号。
17.一种可选的实施方式中，所述环境感知模块，监测所述光照度的数值波动，并在所述波动数值不高于所述光照度阈值时，确定所述数值波动的持续时间；在所述持续时间未超出时间阈值时，不对所述信号类型进行更新操作。
18.第二方面，本公开实施例还提供一种用于cms的驾驶环境监测方法，包括：
19.基于所述驾驶环境的光照度，确定环境感知信号的信号类型，其中，所述信号类型包括：近红外感知信号和/或可见光感知信号；
20.采集与所述信号类型相匹配的至少一种环境感知信号；
21.基于至少一种所述环境感知信号进行转换处理，分别得到每种环境感知信号对应的环境视频帧，并确定各个环境视频帧在目标车辆的显示屏幕中的展示位置。
22.第三方面，本公开实施例还提供一种用于cms的驾驶环境监测装置，包括：
23.确定单元，用于基于所述驾驶环境的光照度，确定环境感知信号的信号类型，其中，所述信号类型包括：近红外感知信号和/或可见光感知信号；
24.采集单元，用于采集与所述信号类型相匹配的至少一种环境感知信号；
25.转换单元，用于基于至少一种所述环境感知信号进行转换处理，分别得到每种环境感知信号对应的环境视频帧，并确定各个环境视频帧在目标车辆的显示屏幕中的展示位置。
26.第四方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第二方面的实施方式中的步骤。
27.第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第二方面的实施方式中的步骤。
28.在本公开实施例中，提供了用于cms的驾驶环境监测系统、方法、装置以及计算机设备。这里，用于cms的驾驶环境监测系统中包括：环境感知模块、rgb-ir传感器以及处理器，其中，所述rgb-ir传感器、环境感知模块以及处理器均安装在目标车辆上，且所述处理器与所述目标车辆的显示屏幕通信连接。这里，rgb-ir传感器中同时具有可见光摄像装置和近红外装置，从而能够同时捕捉到rgb图像(彩色图像)和ir图像(红外图像)的装置，也就是同时拥有白天和夜间的可视能力。具体实施时，环境感知模块首先可以基于目标车辆的驾驶环境的光照度，确定环境感知信号的信号类型，其中，信号类型包括：近红外感知信号和/或可见光感知信号。然后，rgb-ir传感器可以采集与该信号类型相匹配的至少一种环境
感知信号，并将该环境感知信息传输给处理器，以使该处理器基于至少一种环境感知信号进行转换处理，分别得到每种环境感知信号对应的环境视频帧，并确定各个环境视频帧在目标车辆的显示屏幕中的展示位置，从而无需在cms结构中安装远红外装置，大大降低了cms方案的成本，以提高了该cms方案的性价比。
29.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
30.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
31.图1示出了本公开实施例所提供的一种用于cms的驾驶环境监测系统的架构图；
32.图2示出了本公开实施例所提供的分屏播放的播放模式示意图；
33.图3示出了本公开实施例所提供的对目标车辆进行驾驶环境监测的示意图；
34.图4示出了本公开实施例所提供的一种用于cms的驾驶环境监测方法的流程图；
35.图5示出了本公开实施例所提供的一种用于cms的驾驶环境监测装置的示意图；
36.图6示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
37.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
38.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
39.本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
40.经研究发现，众所周知，后视镜对于行车安全非常重要。然而，传统的后视镜具有一些缺点。例如，环境可能会对它们产生巨大影响：当光线昏暗，后视镜上覆盖着薄雾，或者后面汽车的光线太强时，驾驶员将很难看清汽车后面的情况，这增加了驾驶的风险。
41.基于此，可以采用cms以取代传统后视镜，cms为camera monitor system缩写，直译为“摄像头监控系统”，汽车应用上一般指电子外后视镜系统，通常用外部摄像头替代传
统后视镜，以基于该外部摄像头采集路况的视频帧数据，并对该路况数据进行处理，最后将处理后得到的视频帧展示在车内的显示器中，为驾驶员提供视野。
42.然而，在相关的cms方案中，在外部光线较暗时，例如，在夜晚驾车的情况下，电子后视镜采集到的视频帧数据最终的成像效果往往较差，无法为驾驶员提供良好的视野，从而导致驾驶安全性无法得到保证。
43.因此，在相关的cms方案中，在外部光线较暗时，可以采用rgb+f-ir(可见光加远红外技术)的方式来实现夜晚的可视性，具体的，可以在cms结构中安装远红外装置，并通过该远红外装置来感知路况，从而实现车后一定距离的夜视效果。
44.然而，在cms结构中安装远红外装置的方式会导致cms的结构更加复杂，需要占据的后视镜的空间更大。同时，安装远红外装置的成本较高，降低了cms方案的性价比。
45.基于上述研究，本公开提供了用于cms的驾驶环境监测系统、方法、装置以及计算机设备。在本公开实施例中，用于cms的驾驶环境监测系统中包括：环境感知模块、rgb-ir传感器以及处理器，其中，所述rgb-ir传感器、环境感知模块以及处理器均安装在目标车辆上，且所述处理器与所述目标车辆的显示屏幕通信连接。这里，rgb-ir传感器中同时具有可见光摄像装置和近红外装置，从而能够同时捕捉到rgb图像(彩色图像)和ir图像(红外图像)的装置，也就是同时拥有白天和夜间的可视能力。具体实施时，环境感知模块首先可以基于目标车辆的驾驶环境的光照度，确定环境感知信号的信号类型，其中，信号类型包括：近红外感知信号和/或可见光感知信号。然后，rgb-ir传感器可以采集与该信号类型相匹配的至少一种环境感知信号，并将该环境感知信息传输给处理器，以使该处理器基于至少一种环境感知信号进行转换处理，分别得到每种环境感知信号对应的环境视频帧，并确定各个环境视频帧在目标车辆的显示屏幕中的展示位置，从而无需在cms结构中安装远红外装置。举例来说，获取远红外感知信号的远红外装置的成本大约为千元级别，而获取近红外感知信号的近红外装置的成本则可以低至个位数，因此，本公开大大降低了cms方案的成本，以提高了该cms方案的性价比。
46.同时，考虑到在夜晚驾驶时，需要重点关注的为目标车辆转弯或者并线的情况，因此，可以将近红外led与cms分开安装，以灵活的控制该近红外led监控的区域，并精简cms的结构，从而不增加后视镜的体积，并避免近红外led在工作工程中散热而影响cms的工作。
47.为便于对本实施例进行理解，首先对本公开实施例所公开的一种用于cms的驾驶环境监测系统进行详细介绍，本公开实施例所提供的系统包括：环境感知模块、rgb-ir传感器以及处理器，其中，所述rgb-ir传感器、环境感知模块以及处理器均安装在目标车辆上，且所述处理器与所述目标车辆的显示屏幕通信连接。
48.参见图1所示，为本公开实施例提供的一种用于cms的驾驶环境监测系统的架构图，所述系统包括：环境感知模块10、rgb-ir传感器20以及处理器30，其中，所述rgb-ir传感器10、环境感知模块20以及处理器30均安装在目标车辆上，且所述处理器30与所述目标车辆的显示屏幕通信连接，其中：
49.环境感知模块10：基于所述驾驶环境的光照度，确定环境感知信号的信号类型，其中，所述信号类型包括：近红外感知信号和/或可见光感知信号。
50.在本公开实施例中，环境感知模块中可以包括光线传感器(light sensor)，该光线传感器可以用于感知环境光照度的数值变化，并根据该光照度确定环境感知信号的信号
类型。
51.具体实施时，在基于光照度确定出驾驶环境的能见度较低时，可以认为驾驶环境为夜晚或者光线较暗。此时，确定出的信号类型可以仅为近红外感知信号，或者，该信号类型还可以同时包括近红外感知信号以及可见光感知信号。
52.另外的，在基于光照度确定出能见度较高时，可以认为驾驶环境为白天，此时，确定出的信号类型可以为可见光感知信号。
53.应理解的是，在安装上述环境感知模块时，可以将该环境感知模块安装在目标车辆中任意便于感知环境光线变化的位置，例如，车辆b柱，从而远离车尾，减少车尾的示宽灯或者后车大灯对光线传感器的影响。另外，在环境感知模块可以屏蔽或者减少示宽灯或者后车大灯对光线传感器的影响的情况下，也可以将该环境感知模块安装在车尾。本公开对环境感知模块的安装位置不作具体限定，以实际使用过程中用户的使用需求为主。
54.rgb-ir传感器20，采集与所述信号类型相匹配的至少一种环境感知信号。
55.在本公开实施例中，rgb-ir传感器中可以包括近红外装置和摄像装置。在信号类型包括可见光感知信号时，可以开启摄像装置，并进行图像采集；在信号类型包括近红外感知信号时，可以开启近红外装置，并采集驾驶环境反射的近红外，得到近红外感知信号。
56.应理解的是，可以在目标车辆的车尾预先安装近红外led，并通过该近红外led发射近红外线，以通过近红外装置采集驾驶环境反射的近红外。或者，可以在信号类型包括近红外感知信号时，控制打开该近红外led，从而节省近红外led的耗能。这里，在安装上述近红外led时，可以将该近红外led安装在车尾，此时，该近红外线仅需发射10-15米，然后再反射13-18米，相较于将近红外led安装于cms结构中来说，可以将近红外线的发射距离减少5-10米，降低对近红外led的功率或者流明数要求。
57.另外的，在信号类型同时包括可见光感知信号以及红外感知信号时，可以分别按照可见光感知信号以及红外感知信号的采集频率，控制摄像装置以及近红外装置采集各自对应的环境感知信号。具体采集方式如下所述，此处不再赘述。
58.处理器30，基于至少一种所述环境感知信号进行转换处理，分别得到每种环境感知信号对应的环境视频帧，并确定各个环境视频帧在所述显示屏幕中的展示位置。
59.在本公开实施例中，可以对获取到的至少一种环境感知信号进行转换处理，将环境感知信号转换成对应的环境视频帧，并在车内的显示屏幕中展示该环境视频帧。
60.具体实施时，驾驶员可以选择该显示屏幕的播放模式，该播放模式分为全屏播放以及分屏播放。环境感知信号的信号类型为一种时，环境视频帧的种类也为一种，此时，可以采用全屏播放的播放模式。
61.另外的，在环境感知信号同时包括近红外感知信号以及可见光感知信号时，可以分别确定出近红外感知信号第一视频帧以及可见光感知信号的第二视频帧。然后，可以采用如图2所示的分屏播放的播放模式，即在显示屏幕中确定出主展示位置以及副展示位置，并分别确定出主展示位置以及副展示位置所展示的环境视频帧，从而实现同时播放第一视频帧以及第二视频帧，以给驾驶员提供更好的视野图像。
62.通过上述描述可知，在本公开实施例中，用于cms的驾驶环境监测系统中包括：环境感知模块、rgb-ir传感器以及处理器，其中，所述rgb-ir传感器、环境感知模块以及处理器均安装在目标车辆上，且所述处理器与所述目标车辆的显示屏幕通信连接。这里，rgb-ir
传感器中同时具有可见光摄像装置和近红外装置，从而能够同时捕捉到rgb图像(彩色图像)和ir图像(红外图像)的装置，也就是同时拥有白天和夜间的可视能力。具体实施时，环境感知模块首先可以基于目标车辆的驾驶环境的光照度，确定环境感知信号的信号类型，其中，信号类型包括：近红外感知信号和/或可见光感知信号。然后，rgb-ir传感器可以采集与该信号类型相匹配的至少一种环境感知信号，并将该环境感知信息传输给处理器，以使该处理器基于至少一种环境感知信号进行转换处理，分别得到每种环境感知信号对应的环境视频帧，并确定各个环境视频帧在目标车辆的显示屏幕中的展示位置，从而无需在cms结构中安装远红外装置，大大降低了cms方案的成本，以提高了该cms方案的性价比。
63.在一个可选的实施方式中，上述rgb-ir传感器20，包括：近红外装置21以及摄像装置22；
64.所述近红外装置21，在所述信号类型包括近红外感知信号的情况下，发射近红外线，并感知所述驾驶环境反射的近红外线，得到近红外感知信号。
65.所述摄像装置22，在所述信号类型包括可见光感知信号的情况下，基于所述驾驶环境进行图像采集，得到可见光感知信号。
66.在本公开实施例中，如图3所示为对目标车辆进行驾驶环境监测的示意图。由图3可知，近红外装置可以安装在车尾，该近红外装置中包括近红外led，该近红外led可以发射近红外线，考虑到近红外线的发射范围越广，光强衰减越多，对近红外led的功率要求越高。因此，出于对视野覆盖率与节能之间平衡性的考量，可以将近红外led的发光角度设置为120
°‑
150
°
，并对发光角度覆盖的驾驶环境内反射的近红外线进行感知，得到近红外感知信号。
67.另外的，摄像装置可以安装于后视镜位置，考虑到驾驶员在驾驶时所面临的主要问题时转弯或者并线时无法直接观察到车侧以及车后的路况，因此，该摄像装置的观测角度可以设置为60
°
，从而对车侧以及车后的视野盲区位置进行图像采集，得到可见光感知信号。
68.在本公开实施例中，可以通过近红外装置采集驾驶环境中的近红外感知信号，并通过摄像装置采集驾驶环境中的可见光感知信号，以给驾驶员展示rgb视频帧以及红外视频帧，更好的适应不同关照度的驾驶环境，例如，白天和黑夜，提高了cms方案的适应范围，进而提高了驾驶过程中的安全性。
69.在一个可选的实施方式中，上述环境感知信号包括：近红外感知信号以及可见光感知信号，所述处理器30，在所述环境感知信息中确定目标感知信号，并确定所述目标感知信号对应的目标环境视频帧的第一帧率；基于所述第一帧率，确定采集指令，其中，所述采集指令用于指示所述rgb-ir传感器对所述目标感知信号的采集频率。
70.在本公开实施例中，在驾驶环境的光照度较差时，例如，夜晚环境或者隧道环境，此时，单独一种环境感知信号的视频帧的成像效果可能差强人意。因此，可以同时采集两种环境感知信号，并在显示屏幕上同时展示两种视频帧。
71.具体实施时，首先可以确定目标感知信号，该目标感知信号可以为近红外感知信号或者可见光感知信号，这里以近红外感知信号为例。在确定出目标感知信号后，可以将该目标感知信号对应的第一视频帧确定为目标环境视频帧，并确定该目标环境视频帧的视频采集频率，即上述第一帧率，具体确定该第一帧率的方式如下所述，此处不再赘述。例如，在
采集视频帧时的总帧率为120hz时，该第一帧率可以为80hz。
72.应理解的是，rgb-ir传感器在采集近红外感知信号的间隙，可以采集可见光感知信号，因此，用于指示该可见光感知信号的视频采集频率的第二帧率可以为上述总帧率与第一帧率的差值，即40hz。
73.在确定出第一帧率以及第二帧率后，可以基于该第一帧率以及第二帧率确定采集指令，并基于该采集指令控制rgb-ir传感器对上述的两种环境感知信号的采集频率。另外的，在检测到主展示位置或者副展示位置中展示的环境视频帧发生变化的情况下，可以重新确定采集指令。
74.在本公开实施例中，在环境感知信号包括近红外感知信号以及可见光感知信号时，可以按照不同的采集频率采集这两种信号，以使得主展示位置中播放的环境视频帧更为流畅，从而在实现同时展示两种环境视频帧的基础上，更好的适应驾驶员针对不同展示位置中展示的环境视频帧的观看需求。
75.在一个可选的实施方式中，上述显示屏幕中包括：第一展示位置，所述处理器30，将所述第一展示位置展示的环境视频帧确定为所述目标环境视频帧，并将所述第一展示位置对应的视频帧的采集频率确定为所述目标环境视频帧的第一帧率。
76.在本公开实施例中，第一展示位置即上述主展示位置。这里，可以预先为该第一展示位置设置视频帧的采集帧率。
77.具体实施时，可以直接将预先为第一展示位置设置的视频帧的采集频率确定为第一帧率，还可以基于该视频展示帧率进行适应性调整。例如，在采集视频帧时的总帧率为120hz时，为第一展示位置设置的视频帧的采集频率为60hz时，考虑到驾驶员对于该第一展示位置中展示视频帧的流畅性要求更高，可以适应性提高采集频率，得到第一帧率，如80hz。
78.在本公开实施例中，主展示位置中展示环境视频帧对应的采集频率可以与副展示位置相同或者不同，从而在实现同时展示两种环境视频帧的基础上，更好的适应驾驶员针对不同展示位置中展示的环境视频帧的观看需求。
79.在一个可选的实施方式中，上述显示屏幕中还包括：第二展示位置，所述处理器30，在接收到位置切换指令后，确定所述第二展示位置对应的第二帧率，并将所述第二帧率确定为所述目标环境视频帧对应的采集频率。
80.在本公开实施例中，第二展示位置即上述副展示位置。考虑到目标车辆在行驶的过程中，驾驶环境的光照度可能是不断变化的，因此，可以基于光照度更换主展示位置中展示的环境视频帧的类型。例如，在基于光照度确定出驾驶环境较暗时，主展示位置中展示的环境视频帧可以为上述近红外感知信号对应的第一视频帧。另外，在基于光照度确定出驾驶环境较为明亮时，主展示位置中展示的环境视频帧可以为上述可见光感知信号对应的第二视频帧。
81.基于此，目标车辆在行驶的过程中，可能会发生主展示位置与副展示位置中展示的环境视频帧发生交换的情况下。此时，可以确定位置切换指令，该位置切换指令用于指示交换主展示位置与副展示位置中展示的环境视频帧。
82.举例来说，在上述目标环境视频帧为上述第一视频帧时，在接收到位置切换指令后，可以在副展示位置中按照第二帧率展示该第一视频帧。同时，可以在主展示位置中按照
第一帧率采集该第二视频帧。
83.在本公开实施例中，考虑到目标车辆在行驶的过程中，驾驶环境的光照度可能是不断变化的，因此，可以基于光照度更换主展示位置中展示的环境视频帧的类型，而无需驾驶员手动切换主展示位置中展示的环境视频帧的类型，从而提高驾驶员的操作体验。
84.在一个可选的实施方式中，上述环境感知模块10，确定所述驾驶环境的光照度，并在所述光照度高于光照度阈值时，确定所述信号类型为可见光感知信号。
85.在本公开实施例中，考虑到上述近红外装置中的近红外led的耗能较高，若是保持近红外led在常开状态，可能会导致能源的浪费。因此，可以在驾驶环境的能见度较低时，再开启该近红外led。
86.基于此，可以将近红外led与驾驶环境的光照度进行关联，以光照度控制该近红外led的开启或者关闭，从而无需使得近红外led与cms之间进行通信，减少目标车辆上的线路条数。
87.具体实施时，可以预先设置光照度阈值，例如1001ux，在驾驶环境的光照度高于光照度阈值时，可以确定信号类型为可见光感知信号。在确定出的信号类型不包括近红外感知信号的情况下，可以控制近红外led保持不开启状态。反之，在驾驶环境的光照度低于光照度阈值时，可以确定信号类型为可见光感知信号以及近红外感知信号，此时，可以在采集光感知信号的同时，控制该近红外led保持开启状态，以采集近红外感知信号。
88.在本公开实施例中，考虑到上述近红外装置中的近红外led的耗能较高，若是保持近红外led在常开状态，可能会导致能源的浪费。因此，可以在驾驶环境的能见度较低时，再开启该近红外led，从而节省能源消耗。
89.在一个可选的实施方式中，上述环境感知模块10，监测所述光照度的数值波动，并在所光照度不高于所述光照度阈值时，确定所述光照度的数值波动的持续时间；在所述持续时间未超出时间阈值时，不对所述信号类型进行更新操作。
90.在本公开实施例中，由上可知，在驾驶环境的光照度高于光照度阈值时，可以确定信号类型为可见光感知信号。另外的，在驾驶环境的光照度低于光照度阈值时，可以确定信号类型为近红外感知信号。
91.然而，考虑到行驶路线的复杂性，目标车辆在行驶过程中可能出现光照条件优异情况，即光照度的数值在短时间内发生较大变化。此时，可能会导致确定出的信号类型随之产生变化。
92.举例来说，当驾驶员在白天驾驶目标车辆短时间内密集经过隧道时，环境感知模块检测到的光照度可能会多次低于光照度阈值，从而导致信号类型频繁发生变化，以至于显示屏幕上播放的环境视频帧在第一视频帧与第二视频帧之间频繁切换，影响驾驶员的操作体验。
93.基于此，在检测到光照度由高于光照度阈值突然转变为低于述光照度阈值时，可以确定该光照度的数值波动的持续时间，即该光照度低于光照度阈值的持续时间。然后，可以在持续时间未超出时间阈值时，不对信号类型进行更新操作。
94.在本公开实施例中，在目标车辆的行驶过程中，在检测到光照度由高于光照度阈值突然转变为低于述光照度阈值时，可以确定该光照度的数值波动的持续时间，即该光照度低于光照度阈值的持续时间。然后，可以在持续时间未超出时间阈值时，不对信号类型进
行更新操作，从而避免显示屏幕上播放的环境视频帧在第一视频帧与第二视频帧之间频繁切换，影响驾驶员的操作体验。
95.综上，在本公开实施例中，用于cms的驾驶环境监测系统中包括：环境感知模块、rgb-ir传感器以及处理器，其中，所述rgb-ir传感器、环境感知模块以及处理器均安装在目标车辆上，且所述处理器与所述目标车辆的显示屏幕通信连接。这里，rgb-ir传感器中同时具有可见光摄像装置和近红外装置，从而能够同时捕捉到rgb图像(彩色图像)和ir图像(红外图像)的装置，也就是同时拥有白天和夜间的可视能力。具体实施时，环境感知模块首先可以基于目标车辆的驾驶环境的光照度，确定环境感知信号的信号类型，其中，信号类型包括：近红外感知信号和/或可见光感知信号。然后，rgb-ir传感器可以采集与该信号类型相匹配的至少一种环境感知信号，并将该环境感知信息传输给处理器，以使该处理器基于至少一种环境感知信号进行转换处理，分别得到每种环境感知信号对应的环境视频帧，并确定各个环境视频帧在目标车辆的显示屏幕中的展示位置，从而无需在cms结构中安装远红外装置，大大降低了cms方案的成本，以提高了该cms方案的性价比。
96.基于同一发明构思，本公开实施例中还提供了一种用于cms的驾驶环境监测方法，本公开实施例所提供的用于cms的驾驶环境监测方法的执行主体一般为具有一定计算能力的计算机设备。在一些可能的实现方式中，该用于cms的驾驶环境监测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
97.参见图4所示，为本公开实施例提供的一种用于cms的驾驶环境监测方法的流程图，所述方法包括步骤s401～s405，其中：
98.s401：基于所述驾驶环境的光照度，确定环境感知信号的信号类型，其中，所述信号类型包括：近红外感知信号和/或可见光感知信号。
99.在本公开实施例中，环境感知模块中可以包括光线传感器(light sensor)，该光线传感器可以用于感知环境光照度的数值变化，并根据该光照度确定环境感知信号的信号类型。
100.具体实施时，在基于光照度确定出驾驶环境的能见度较低时，可以认为驾驶环境为夜晚或者光线较暗。此时，确定出的信号类型可以仅为近红外感知信号，或者，该信号类型还可以同时包括近红外感知信号以及可见光感知信号。
101.另外的，在基于光照度确定出能见度较高时，可以认为驾驶环境为白天，此时，确定出的信号类型可以为可见光感知信号。
102.应理解的是，在安装上述环境感知模块时，可以将该环境感知模块安装在目标车辆中任意便于感知环境光线变化的位置，例如，车辆b柱，从而远离车尾，减少车尾的示宽灯或者后车大灯对光线传感器的影响。另外，在环境感知模块可以屏蔽或者减少示宽灯或者后车大灯对光线传感器的影响的情况下，也可以将该环境感知模块安装在车尾。本公开对环境感知模块的安装位置不作具体限定，以实际使用过程中用户的使用需求为主。
103.s403：采集与所述信号类型相匹配的至少一种环境感知信号。
104.在本公开实施例中，rgb-ir传感器中可以包括近红外装置和摄像装置。在信号类型包括可见光感知信号时，可以开启摄像装置，并进行图像采集；在信号类型包括近红外感知信号时，可以开启近红外装置，并采集驾驶环境反射的近红外，得到近红外感知信号。
105.应理解的是，可以在目标车辆的车尾预先安装近红外led，并通过该近红外led发
射近红外线，以通过近红外装置采集驾驶环境反射的近红外。或者，可以在信号类型包括近红外感知信号时，控制打开该近红外led，从而节省近红外led的耗能。这里，在安装上述近红外led时，可以将该近红外led安装在车尾，此时，该近红外线仅需发射10-15米，然后再反射13-18米，相较于将近红外led安装于cms结构中来说，可以将近红外线的发射距离减少5-10米，降低对近红外led的功率或者流明数要求。
106.另外的，在信号类型同时包括可见光感知信号以及红外感知信号时，可以分别按照可见光感知信号以及红外感知信号的采集频率，控制摄像装置以及近红外装置采集各自对应的环境感知信号。具体采集方式如下所述，此处不再赘述。
107.s405：基于至少一种所述环境感知信号进行转换处理，分别得到每种环境感知信号对应的环境视频帧，并确定各个环境视频帧在所述显示屏幕中的展示位置。
108.在本公开实施例中，可以对获取到的至少一种环境感知信号进行转换处理，将环境感知信号转换成对应的环境视频帧，并在车内的显示屏幕中展示该环境视频帧。
109.具体实施时，驾驶员可以选择该显示屏幕的播放模式，该播放模式分为全屏播放以及分屏播放。环境感知信号的信号类型为一种时，环境视频帧的种类也为一种，此时，可以采用全屏播放的播放模式。
110.另外的，在环境感知信号同时包括近红外感知信号以及可见光感知信号时，可以分别确定出近红外感知信号第一视频帧以及可见光感知信号的第二视频帧。然后，可以采用如图2所示的分屏播放的播放模式，即在显示屏幕中确定出主展示位置以及副展示位置，并分别确定出展示位置以及副展示位置所展示的环境视频帧，从而实现同时播放第一视频帧以及第二视频帧，以给驾驶员提供更好的视野图像。
111.通过上述描述可知，在本公开实施例中，首先可以基于目标车辆的驾驶环境的光照度，确定环境感知信号的信号类型，其中，信号类型包括：近红外感知信号和/或可见光感知信号。可以采集与该信号类型相匹配的至少一种环境感知信号，并基于至少一种环境感知信号进行转换处理，分别得到每种环境感知信号对应的环境视频帧，并确定各个环境视频帧在目标车辆的显示屏幕中的展示位置，从而无需在cms结构中安装远红外装置，大大降低了cms方案的成本，以提高了该cms方案的性价比。
112.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
113.基于同一发明构思，本公开实施例中还提供了与用于cms的驾驶环境监测方法对应的用于cms的驾驶环境监测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述用于cms的驾驶环境监测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
114.参照图5所示，为本公开实施例提供的一种用于cms的驾驶环境监测装置的示意图，所述装置包括：确定单元51、采集单元52、转换单元53；其中，
115.确定单元51，用于基于所述驾驶环境的光照度，确定环境感知信号的信号类型，其中，所述信号类型包括：近红外感知信号和/或可见光感知信号；
116.采集单元52，用于采集与所述信号类型相匹配的至少一种环境感知信号；
117.转换单元53，用于基于至少一种所述环境感知信号进行转换处理，分别得到每种
环境感知信号对应的环境视频帧，并确定各个环境视频帧在目标车辆的显示屏幕中的展示位置。
118.在本公开实施例中，首先可以基于目标车辆的驾驶环境的光照度，确定环境感知信号的信号类型，其中，信号类型包括：近红外感知信号和/或可见光感知信号。可以采集与该信号类型相匹配的至少一种环境感知信号，并基于至少一种环境感知信号进行转换处理，分别得到每种环境感知信号对应的环境视频帧，并确定各个环境视频帧在目标车辆的显示屏幕中的展示位置，从而无需在cms结构中安装远红外装置，大大降低了cms方案的成本，以提高了该cms方案的性价比。
119.一种可能的实施方式中，采集单元52，还用于：
120.在所述信号类型包括近红外感知信号的情况下，发射近红外线，并感知所述驾驶环境反射的近红外线，得到近红外感知信号；
121.在所述信号类型包括可见光感知信号的情况下，基于所述驾驶环境进行图像采集，得到可见光感知信号。
122.一种可能的实施方式中，所述环境感知信号包括：近红外感知信号以及可见光感知信号，转换单元53，还用于：
123.在所述环境感知信息中确定目标感知信号，并确定所述目标感知信号对应的目标环境视频帧的第一帧率；基于所述第一帧率，确定采集指令，其中，所述采集指令用于指示所述rgb-ir传感器对所述目标感知信号的采集频率。
124.一种可能的实施方式中，所述显示屏幕中包括：第一展示位置，转换单元53，还用于：
125.将所述第一展示位置展示的环境视频帧确定为所述目标环境视频帧，并将所述第一展示位置对应的视频帧的采集频率确定为所述目标环境视频帧的第一帧率。
126.一种可能的实施方式中，所述显示屏幕中还包括：第二展示位置，转换单元53，还用于：
127.在接收到位置切换指令后，确定所述第二展示位置对应的第二帧率，并将所述第二帧率确定为所述目标环境视频帧对应的采集频率。
128.一种可能的实施方式中，确定单元51，还用于：确定所述驾驶环境的光照度，并在所述光照度高于光照度阈值时，确定所述信号类型为可见光感知信号。
129.一种可能的实施方式中，确定单元51，还用于：
130.监测所述光照度的数值波动，并在所述波动数值不高于所述光照度阈值时，确定所述数值波动的持续时间；
131.在所述持续时间未超出时间阈值时，不对所述信号类型进行更新操作。
132.关于装置中的各单元的处理流程、以及各单元之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
133.对应于图4中的用于cms的驾驶环境监测方法，本公开实施例还提供了一种计算机设备600，如图6所示，为本公开实施例提供的计算机设备600结构示意图，包括：
134.处理器61、存储器62、和总线63；存储器62用于存储执行指令，包括内存621和外部存储器622；这里的内存621也称内存储器，用于暂时存放处理器61中的运算数据，以及与硬盘等外部存储器622交换的数据，处理器61通过内存621与外部存储器622进行数据交换，当
所述计算机设备600运行时，所述处理器61与所述存储器62之间通过总线63通信，使得所述处理器61执行以下指令：
135.基于所述驾驶环境的光照度，确定环境感知信号的信号类型，其中，所述信号类型包括：近红外感知信号和/或可见光感知信号；
136.采集与所述信号类型相匹配的至少一种环境感知信号；
137.基于至少一种所述环境感知信号进行转换处理，分别得到每种环境感知信号对应的环境视频帧，并确定各个环境视频帧在目标车辆的显示屏幕中的展示位置。
138.本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的用于cms的驾驶环境监测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
139.本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的用于cms的驾驶环境监测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
140.其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
141.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
142.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
143.另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
144.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
145.最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

技术特征：
1.一种用于cms的驾驶环境监测系统，其特征在于，包括：环境感知模块、rgb-ir传感器以及处理器，其中，所述rgb-ir传感器、环境感知模块以及处理器均安装在目标车辆上，且所述处理器与所述目标车辆的显示屏幕通信连接；所述环境感知模块，基于所述驾驶环境的光照度，确定环境感知信号的信号类型，其中，所述信号类型包括：近红外感知信号和/或可见光感知信号；rgb-ir传感器，采集与所述信号类型相匹配的至少一种环境感知信号；所述处理器，基于至少一种所述环境感知信号进行转换处理，分别得到每种环境感知信号对应的环境视频帧，并确定各个环境视频帧在所述显示屏幕中的展示位置。2.根据权利要求1所述的系统，其特征在于，所述rgb-ir传感器，包括：近红外装置以及摄像装置；所述近红外装置，在所述信号类型包括近红外感知信号的情况下，发射近红外线，并感知所述驾驶环境反射的近红外线，得到近红外感知信号；所述摄像装置，在所述信号类型包括可见光感知信号的情况下，基于所述驾驶环境进行图像采集，得到可见光感知信号。3.根据权利要求1所述的系统，其特征在于，所述环境感知信号包括：近红外感知信号以及可见光感知信号，所述处理器，在所述环境感知信息中确定目标感知信号，并确定所述目标感知信号对应的目标环境视频帧的第一帧率；基于所述第一帧率，确定采集指令，其中，所述采集指令用于指示所述rgb-ir传感器对所述目标感知信号的采集频率。4.根据权利要求3所述的系统，其特征在于，所述显示屏幕中包括：第一展示位置，所述处理器，将所述第一展示位置展示的环境视频帧确定为所述目标环境视频帧，并将所述第一展示位置对应的视频帧的采集频率确定为所述目标环境视频帧的第一帧率。5.根据权利要求4所述的系统，其特征在于，所述显示屏幕中还包括：第二展示位置，所述处理器，在接收到位置切换指令后，确定所述第二展示位置对应的第二帧率，并将所述第二帧率确定为所述目标环境视频帧对应的采集频率。6.根据权利要求1所述的系统，其特征在于，所述环境感知模块，确定所述驾驶环境的光照度，并在所述光照度高于光照度阈值时，确定所述信号类型为可见光感知信号。7.根据权利要求6所述的系统，其特征在于，所述环境感知模块，监测所述光照度的数值波动，并在所述波动数值不高于所述光照度阈值时，确定所述数值波动的持续时间；在所述持续时间未超出时间阈值时，不对所述信号类型进行更新操作。8.一种用于cms的驾驶环境监测方法，其特征在于，包括：基于所述驾驶环境的光照度，确定环境感知信号的信号类型，其中，所述信号类型包括：近红外感知信号和/或可见光感知信号；采集与所述信号类型相匹配的至少一种环境感知信号；基于至少一种所述环境感知信号进行转换处理，分别得到每种环境感知信号对应的环境视频帧，并确定各个环境视频帧在目标车辆的显示屏幕中的展示位置。9.一种用于cms的驾驶环境监测装置，其特征在于，包括：确定单元，用于基于所述驾驶环境的光照度，确定环境感知信号的信号类型，其中，所述信号类型包括：近红外感知信号和/或可见光感知信号；采集单元，用于采集与所述信号类型相匹配的至少一种环境感知信号；
转换单元，用于基于至少一种所述环境感知信号进行转换处理，分别得到每种环境感知信号对应的环境视频帧，并确定各个环境视频帧在目标车辆的显示屏幕中的展示位置。10.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求8任意一项所述的用于cms的驾驶环境监测方法的步骤。

技术总结
本公开提供了用于CMS的驾驶环境监测系统、方法、装置以及计算机设备，其中，用于CMS的驾驶环境监测系统，包括：环境感知模块、RGB-IR传感器以及处理器，其中，所述RGB-IR传感器、环境感知模块以及处理器均安装在目标车辆上，且所述处理器与所述目标车辆的显示屏幕通信连接；所述环境感知模块，基于所述驾驶环境的光照度，确定环境感知信号的信号类型，其中，所述信号类型包括：近红外感知信号和/或可见光感知信号；RGB-IR传感器，采集与所述信号类型相匹配的至少一种环境感知信号；所述处理器，基于至少一种所述环境感知信号进行转换处理，分别得到每种环境感知信号对应的环境视频帧，并确定各个环境视频帧在所述显示屏幕中的展示位置。位置。位置。


技术研发人员：石均 陆逊 徐庆
受保护的技术使用者：北京瞰瞰智域科技有限公司
技术研发日：2023.04.20
技术公布日：2023/7/4