环境参数自学习系统、识别方法与智能辅助驾驶方法与流程

1.本发明涉及智能驾驶技术领域，具体涉及一种环境参数自学习系统、识别方法与智能辅助驾驶方法。


背景技术：

2.目前车辆对光雨量的识别主要依赖于光雨量传感器，且在车辆大灯开关与雨刮档位的控制上都是基于光雨量大小的固定阈值进行设计，后期无法优化。
3.基于摄像头进行光雨量的识别目前行业尚处于研究阶段，未广泛应用于汽车上。参考图1所示，现有技术中摄像头对场景的识别主要依赖于对人工后期标注的图像场景库(图像库)进行深度学习，但是在图像光雨量判定上，人工无法准确的对图像所呈现出的光雨量大小进行定义，这就导致了摄像头在光雨量识别上的精确度严重不足，脱离实际用车场景，主要原因如下：1)个体收集的场景有限，场景覆盖不全；2)人工后期主观进行光雨量图像信息标注，标注信息容易参差不齐。


技术实现要素：

4.本发明提供一种环境参数自学习系统，解决现有技术依赖离线图像进行训练需要依赖人工标记的技术问题，能够更加精准的匹配用车场景与驾驶习惯，为实现个性化的辅助控制策略打下基础。
5.本发明是通过以下技术方案实现的：一种环境参数自学习系统，包括图像采集单元、车辆状态采集单元、标记单元与场景库；
6.所述图像采集单元用于实时采集车体外表面图像；
7.所述车辆状态采集单元用于实时采集由驾驶行为对当前环境做出的反应所引起的车辆状态；
8.所述标记单元用于为车体外表面图像同步标记相应的车辆状态；
9.所述场景库用于根据环境参数与车辆状态的映射规则为车体外表面图像匹配相应的环境参数。
10.进一步的，还包括图像处理单元与有效性判断单元；所述图像处理单元用于根据车体外表面图像初步判断环境参数；所述有效性判断单元用于根据驾驶行为对环境参数的反应是否符合逻辑来判断判断所标记的车体外表面图像是否有效，将有效车窗图像存储至场景库并拦截无效车体外表面图像。
11.进一步的，所述标记单元根据触发规则进行标记，当车辆状态满足所述触发规则时，对车窗图像进行标记。
12.进一步的，所述车体外表面图像为车窗图像或车顶图像。
13.进一步的，用于根据车体外表面图像识别光照等级；车辆状态包括车速与大灯开关状态；触发规则为车速大于等于设定值且大灯开关状态发生变化；有效性判断单元根据驾驶行为引起的大灯开关状态是否符合逻辑来判断车体外表面图像是否有效。
14.进一步的，用于根据车体外表面图像识别雨量等级；车辆状态包括车速与雨刮档位；触发规则为车速大于等于设定值且雨刮档位发生变化；有效性判断单元根据驾驶行为引起的雨刮档位是否符合逻辑来判断车体外表面图像是否有效。
15.本发明还提供一种基于图像的环境参数识别方法，采集当前车体外表面图像并发送给如权利要求1所述的基于图像的环境参数自学习系统中的场景库，搜索场景库中是否存在当前车体外表面图像的相似图像，相似度满足阈值的图像为相似图像，若是，则输出与相似图像相匹配的环境参数作为当前环境参数。
16.进一步的，用于识别光雨量等级；车辆状态包括车速、大灯开关状态与雨刮档位。
17.本发明还提供一种智能辅助驾驶方法，采集当前车体外表面图像并发送给本发明的基于图像的环境参数自学习系统中的场景库，搜索场景库中是否存在当前车体外表面图像的相似图像，相似度满足阈值的图像为相似图像，若是，则根据相似图像上所标记的车辆状态自动控制车辆切换至相应状态。
18.进一步的，若不存在当前车体外表面图像的相似图像，则通知驾驶员，并为当前车体外表面图像标记由驾驶行为对当前环境做出的反应所引起的车辆状态，标记完成后存储至场景库中。
19.与现有技术相比，本发明的有益效果包括：
20.1、现有技术采用大量离线图像来训练人工神经网络，参考图1所示，每张图像需要人工标记来制成训练样本，不仅样本采集成本高，训练效率低，而且人工标记主观性较强，不能准确的根据图像对环境参数进行量化。然而，本发明的自学习系统开拓出了全新的训练路径，既无需预先采集大量的离线图像，又无需人工标记：本发明通过将图像与特定的车辆状态关联起来，再根据环境参数与车辆状态的映射规则就能自动根据图像识别环境参数。
21.2、目前的智能辅助驾驶是根据环境参数的量值以及相应的阈值来进行相应的辅助控制，由于量值判断的不准确就会造成辅助控制策略不恰当。然而，本发明的智能辅助驾驶方法并不依赖对环境参数量值的准确识别，而是基于图像的相似性来输出相应的控制策略，更具体的来说是根据相似图像上所标记的车辆状态来输出控制策略。
22.3、本发明采用由驾驶行为对当前环境做出的反应所引起的车辆状态，如下雨打开雨刮，雨量等级越大雨刮档位越高，针对同样的环境不同的驾驶员可以有不同的驾驶行为，本发明实现了单车个性化训练，通过车辆状态的标识有效学习不同驾驶员的驾驶习惯，实现辅助驾驶策略的个性化，这是现有技术无法实现的。
23.4、系统实车后台无感进行光雨量识别的自学习，不影响驾驶员正常用车，随着驾驶员不断的使用，系统将自动更新。
附图说明
24.图1为现有技术进行光雨量识别的流程图；
25.图2为光照等级的自学习流程图；
26.图3为雨量等级的自学习流程图。
具体实施方式
27.一种环境参数自学习系统，包括图像采集单元、车辆状态采集单元、标记单元与场景库；所述图像采集单元用于实时采集车体外表面图像；所述车辆状态采集单元用于实时采集由驾驶行为对当前环境做出的反应所引起的车辆状态；所述标记单元用于为车体外表面图像同步标记相应的车辆状态；所述场景库用于根据环境参数与车辆状态的映射规则为车体外表面图像匹配相应的环境参数。
28.为了排除错误样本，还包括图像处理单元与有效性判断单元；所述图像处理单元用于根据车体外表面图像初步判断环境参数；所述有效性判断单元用于根据驾驶行为对环境参数的反应是否符合逻辑来判断判断所标记的车体外表面图像是否有效，将有效车窗图像存储至场景库并拦截无效车体外表面图像。
29.为了降低数据存储压力，所述标记单元根据触发规则进行标记，当车辆状态满足所述触发规则时，对车窗图像进行标记。
30.车体外表面图像为车窗图像、车身图像或车顶图像，如前挡风玻璃图像、后车门图像等，在相应位置安装摄像头即可。
31.基于本发明的环境参数自学习系统，提供一种环境参数识别方法，采集当前车体外表面图像并发送给场景库，搜索场景库中是否存在当前车体外表面图像的相似图像，相似度满足阈值的图像为相似图像，若是，则输出与相似图像相匹配的环境参数作为当前环境参数。
32.本发明可以用于对光量、雨量或光雨量进行识别，以及根据对光量、雨量或光雨量实现智能辅助驾驶，下面分别提供相应的实时例并结合附图对本发明作进一步详细描述。
33.实施例1
34.本实施例的环境参数自学习系统用于根据车体外表面图像识别光照等级。
35.本实施例的自学习流程参考图2所示：
36.s1：摄像头采集车体外表面图像。
37.s2：车辆状态采集单元实时采集由驾驶行为对当前环境做出的反应所引起的车辆状态，车辆状态包括车速与大灯开关状态。
38.s3：标记单元根据触发规则进行标记，当车辆状态满足所述触发规则时，对车窗图像进行标记。触发规则为车速大于等于设定值且大灯开关状态发生变化。
39.s4：图像处理单元根据车体外表面图像初步判断环境参数；具体的，根据图像的亮度来判断光照强度，如亮度低于设定阈值，则认为是光照强度低于一定数值。
40.s5：有效性判断单元根据驾驶行为对环境参数的反应是否符合逻辑来判断所标记的车体外表面图像是否有效，将有效车窗图像存储至场景库并拦截无效车体外表面图像。
41.具体的，有效性判断单元根据驾驶行为引起的大灯开关状态是否符合逻辑来判断车体外表面图像是否有效。例如当车速100kph，大灯开关为关闭，初步判断的光照强度低于10lx(国标要求小于1000lx才自动大灯才打开)，此时可能摄像头被遮挡导致识别到的图像光照强度很低，故舍弃该图像。
42.s6：场景库根据环境参数与车辆状态的映射规则为车体外表面图像匹配相应的环境参数。
43.例如，大灯为开状态对应光照强度为低强度，大灯为关状态对应光照强度为高，还
可以设置低强度为低于1000lx，高强度为1000lx以上，以便输出量化的光照强度。
44.环境参数自学习系统学习到一定程度，就可以用于实现智能辅助驾驶方法，采集当前车体外表面图像并发送给场景库，搜索场景库中是否存在当前车体外表面图像的相似图像，相似度满足阈值的图像为相似图像，若是，则根据相似图像上所标记的车辆状态自动控制车辆切换至相应状态。
45.例如，相似度大于0.7，相似图像的车辆状态标记为大灯开启，则自动控制大灯开启。
46.若不存相似度大于0.7的相似图像，则通知驾驶员，由驾驶员控制大灯的状态，并为当前车体外表面图像标记由驾驶行为对当前环境做出的反应所引起的车辆状态，标记完成后存储至场景库中。这样就能不断扩大场景库，完成系统更新。
47.实施例2
48.本实施例的环境参数自学习系统用于根据车体外表面图像识别雨量等级。
49.本实施例的自学习流程参考图3所示：
50.s1：摄像头采集车体外表面图像。
51.s2：车辆状态采集单元实时采集由驾驶行为对当前环境做出的反应所引起的车辆状态，车辆状态包括车速与雨刮档位，off档、间歇档、1档、2档等等。
52.s3：标记单元根据触发规则进行标记，当车辆状态满足所述触发规则时，对车窗图像进行标记。触发规则为车速大于等于设定值且雨刮档位发生变化。
53.s4：图像处理单元根据车体外表面图像初步判断环境参数；具体的，根据图像中雨滴数量来判断雨量等级，如雨滴数量低于设定阈值，则认为雨量等级低于一定数值。
54.s5：有效性判断单元根据驾驶行为对环境参数的反应是否符合逻辑来判断所标记的车体外表面图像是否有效，将有效车窗图像存储至场景库并拦截无效车体外表面图像。
55.具体的，有效性判断单元根据驾驶行为引起的雨刮档位是否符合逻辑来判断车体外表面图像是否有效。如高速状态，雨刮开关为关闭时，挡风玻璃(摄像头安装处)有水滴，会认为此时大雨，但经过判断整车状态(高速且雨刮关闭)可认为此时摄像头误检，此时会舍弃该图像。
56.s6：场景库根据环境参数与车辆状态的映射规则为车体外表面图像匹配相应的环境参数。
57.例如，雨刮档位off档对应无雨，间隙档对应小雨，1档对应中雨，2档对应大雨。
58.环境参数自学习系统学习到一定程度，就可以用于实现智能辅助驾驶方法，采集当前车体外表面图像并发送给场景库，搜索场景库中是否存在当前车体外表面图像的相似图像，相似度满足阈值的图像为相似图像，若是，则根据相似图像上所标记的车辆状态自动控制车辆切换至相应状态。
59.例如，相似度大于0.7，相似图像的车辆状态标记为中雨开启，则自动控制雨刮档位切换到1档。
60.若不存相似度大于0.7的相似图像，则通知驾驶员，由驾驶员控制雨刮档位的状态，并为当前车体外表面图像标记由驾驶行为对当前环境做出的反应所引起的车辆状态，标记完成后存储至场景库中。这样就能不断扩大场景库，完成系统更新。
61.实施例3
62.本实施例的环境参数自学习系统用于根据车体外表面图像识别光雨量等级。
63.本实施例可以理解为实施例1与实施例2的融合：车辆状态包括车速、大灯开关状态与雨刮档位。可以有以下两者融合方式：
64.1)车体外表面图像上可以同时标记车速、大灯开关状态与雨刮档位，然后图像相似度综合控制车辆的大灯或雨刮。
65.2)复制车体外表面图像，在一张车体外表面图像上标记车速与大灯开关状态，在另一张车体外表面图像上标记车速与雨刮挡位，这样就能分别独立控制大灯与雨刮。
66.上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施例所描述的技术方案，因此前面描述的只是优选的，而并不具有限制性的意义。

技术特征：
1.一种环境参数自学习系统，其特征在于，包括图像采集单元、车辆状态采集单元、标记单元与场景库；所述图像采集单元用于实时采集车体外表面图像；所述车辆状态采集单元用于实时采集由驾驶行为对当前环境做出的反应所引起的车辆状态；所述标记单元用于为车体外表面图像同步标记相应的车辆状态；所述场景库用于根据环境参数与车辆状态的映射规则为车体外表面图像匹配相应的环境参数。2.根据权利要求1所述的环境参数自学习系统，其特征在于，还包括图像处理单元与有效性判断单元；所述图像处理单元用于根据车体外表面图像初步判断环境参数；所述有效性判断单元用于根据驾驶行为对环境参数的反应是否符合逻辑来判断判断所标记的车体外表面图像是否有效，将有效车窗图像存储至场景库并拦截无效车体外表面图像。3.根据权利要求1所述的环境参数自学习系统，其特征在于，所述标记单元根据触发规则进行标记，当车辆状态满足所述触发规则时，对车窗图像进行标记。4.根据权利要求1所述的环境参数自学习系统，其特征在于，所述车体外表面图像为车窗图像、车身图像或车顶图像。5.根据权利要求1所述的环境参数自学习系统，其特征在于，用于根据车体外表面图像识别光照等级；车辆状态包括车速与大灯开关状态；触发规则为车速大于等于设定值且大灯开关状态发生变化；有效性判断单元根据驾驶行为引起的大灯开关状态是否符合逻辑来判断车体外表面图像是否有效。6.根据权利要求1或5所述的环境参数自学习系统，其特征在于，用于根据车体外表面图像识别雨量等级；车辆状态包括车速与雨刮档位；触发规则为车速大于等于设定值且雨刮档位发生变化；有效性判断单元根据驾驶行为引起的雨刮档位是否符合逻辑来判断车体外表面图像是否有效。7.一种环境参数识别方法，其特征在于：采集当前车体外表面图像并发送给如权利要求1所述的基于图像的环境参数自学习系统中的场景库，搜索场景库中是否存在当前车体外表面图像的相似图像，相似度满足阈值的图像为相似图像，若是，则输出与相似图像相匹配的环境参数作为当前环境参数。8.根据权利要求7所述的环境参数识别方法，其特征在于：用于识别光雨量等级；车辆状态包括车速、大灯开关状态与雨刮档位。9.一种智能辅助驾驶方法，其特征在于，采集当前车体外表面图像并发送给如权利要求1所述的基于图像的环境参数自学习系统中的场景库，搜索场景库中是否存在当前车体外表面图像的相似图像，相似度满足阈值的图像为相似图像，若是，则根据相似图像上所标记的车辆状态自动控制车辆切换至相应状态。10.根据权利要求9所述的智能辅助驾驶方法，其特征在于，若不存在当前车体外表面图像的相似图像，则通知驾驶员，并为当前车体外表面图像标记由驾驶行为对当前环境做出的反应所引起的车辆状态，标记完成后存储至场景库中。

技术总结
本发明涉及智能驾驶技术领域，为解决现有技术依赖离线图像进行训练需要依赖人工标记的技术问题，提供一种环境参数自学习系统、识别方法与智能辅助驾驶方法，包括图像采集单元、车辆状态采集单元、标记单元与场景库；图像采集单元用于实时采集车体外表面图像；车辆状态采集单元用于实时采集由驾驶行为对当前环境做出的反应所引起的车辆状态；标记单元用于为车体外表面图像同步标记相应的车辆状态；场景库用于根据环境参数与车辆状态的映射规则为车体外表面图像匹配相应的环境参数。本发明的自学习系统开拓出了全新的训练路径，既无需预先采集大量的离线图像，又无需人工标记，能够更加精准的匹配用车场景与驾驶习惯，实现个性化的辅助驾驶。性化的辅助驾驶。性化的辅助驾驶。


技术研发人员：王世勇 宾怀成 梁永彬 罗覃月 陈雨欣
受保护的技术使用者：上汽通用五菱汽车股份有限公司
技术研发日：2023.03.29
技术公布日：2023/7/20