基于车载视觉与BCM控制的交通灯预警系统及方法与流程

基于车载视觉与bcm控制的交通灯预警系统及方法
技术领域
1.本发明属于目标检测技术领域，尤其涉及一种基于车载视觉与bcm控制的交通灯预警系统及方法。


背景技术：

2.智能驾驶和无人驾驶已经逐步成为当今汽车发展的主要研究方向。对于交通灯的识别一直是智能驾驶研究中至关重要的一环，交通灯预警可以极大程度地解决司机疲劳驾驶并避免其分散精力，并且为色盲和色弱驾驶者提供的辅助决策。
3.当前的交通灯识别方案主要包含基于周边车辆状态感知、基于gps导航、基于车路通信及基于车载视觉。基于极度学习和bcm控制通过融合车载视觉方案及车身电子模块能够为用户提供成本更低、更加稳定、同时效果更佳的体验。


技术实现要素：

4.本发明的目的在于提供一种基于车载视觉与bcm控制的交通灯预警系统及方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，包括：
6.影像采集模块，所述影像采集模块用于采集交通灯影像数据和导向标志影像数据；
7.车载视觉模块，所述车载视觉模块包括交通灯识别数据集、导向标志数据集、交通灯目标检测网络模块、导向标志检测网络模块和判断模块；
8.其中，将所述交通灯影像数据和交通灯识别数据集通过所述交通灯目标检测网络模块进行特征提取及交通灯检测，并生成交通灯检测数据信息；将所述导向标志影像数据和导向标志数据集通过导向标志检测网络模块进行导向标志检测，并生成导向标志检测信息；通过判断模块比对交通灯检测数据信息和导向标志检测信息是否一致，如果不一致则向bcm发送异常预警信息；
9.bcm，所述bcm接收所述异常预警信息，生成预警指令；
10.预警系统，所述预警系统接收所述预警指令，进行预警。
11.进一步地，制作所述交通灯识别数据集，所述交通灯识别数据集是将传统数据集、网络图片和交通灯影像数据相结合作为模型的训练集；制作所述导向标志数据集，所述导向标志数据集是将网络图片作为模型的训练集。
12.进一步地，所述bcm接收所述异常预警信息后，生成异常影像预警数据和异常语音预警数据。
13.进一步地，所述预警系统包括：
14.hud，根据所述预警指令，所述bcm将所述异常影像预警数据发送至hud，在hud的显示屏幕上显示交通灯与导向标志不一致的预警影像；
15.语音模块，根据所述预警指令，所述bcm将所述异常语音预警数据发送至语音模块，语音模块播放交通灯与导向标志不一致的预警提示音。
16.进一步地，所述交通灯目标检测网络模块为yolov5模型。
17.进一步地，所述yolov5模型为单阶段目标检测网络模型，采用focus+csp结构，采用fpn+pan进行特征提取用以融合不同尺度上图像特征，采用三个输出头以保证精准的回归和分类。
18.进一步地，所述导向标志检测网络模块为轻量化检测网络的ssd模型。
19.进一步地，所述ssd模型以vgg作为骨干网络，去掉了网络最后的全连接层，并替换为3
×
3卷积层和1
×
1卷积层。
20.进一步地，所述交通灯数据集和所述导向标志数据集均按3比1划分为训练集和测试集，并使用labelimg对图像进行标注，所述交通灯数据集和所述导向标志数据集中的图片均为高清图像。
21.另一方面，提供了一种基于车载视觉与bcm控制的交通灯预警方法，应用上述任一项所述的一种基于车载视觉与bcm控制的交通灯预警系统，包括：
22.采集交通灯影像数据和导向标志影像数据；
23.制作所述交通灯识别数据集和导向标志数据集；
24.将所述交通灯影像数据和交通灯识别数据集通过所述交通灯目标检测网络模块进行特征提取及交通灯检测，并生成交通灯检测数据信息；
25.将所述导向标志影像数据和导向标志数据集通过导向标志检测网络模块进行导向标志检测，并生成导向标志检测信息；
26.比对交通灯检测数据信息和导向标志检测信息是否一致，如果不一致则向bcm发送异常预警信息；
27.bcm接收所述异常预警信息，生成预警指令；
28.将所述预警指令发送至预警系统，所述预警系统接收所述预警指令后进行预警。
29.与现有技术相比，本发明的有益效果是：本发明在驾驶过程中不需要进行实时连接互联网，无需后期的消费和维护，减少使用成本，同时解决由于gps位置和信息的误差所导致的误检问题；给予用户更佳的驾驶体验，采用bcm控制的方式可以给予驾驶人员更实时和多元化的提示，给予用户实时的、准确的提醒，为用户提供精准的决策辅助，提升智能驾驶的使用体验。
附图说明
30.图1为本发明实施例中一种基于车载视觉与bcm控制的交通灯预警系统连接框图；
31.图2为本发明实施例中一种基于车载视觉与bcm控制的交通灯预警方法流程图；
32.图3为本发明实施例中yolov5模型和ssd模型检测流程示意图；
33.图4为本发明实施例中yolov5模型结构示意图；
34.图5为本发明实施例中ssd模型结构示意图；
35.图6为本发明实施例中交通灯数据集具体信息表。
具体实施方式
36.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
38.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
39.请参阅说明书附图，本发明提供一种技术方案：如图1和3所示，一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，包括：
40.影像采集模块，所述影像采集模块用于采集交通灯影像数据和导向标志影像数据；
41.具体地，所述影像采集模块为车载摄像头。
42.车载视觉模块，所述车载视觉模块包括交通灯识别数据集、导向标志数据集、交通灯目标检测网络模块、导向标志检测网络模块和判断模块；
43.其中，将所述交通灯影像数据和交通灯识别数据集通过所述交通灯目标检测网络模块进行特征提取及交通灯检测，并生成交通灯检测数据信息；将所述导向标志影像数据和导向标志数据集通过导向标志检测网络模块进行导向标志检测，并生成导向标志检测信息；通过判断模块比对交通灯检测数据信息和导向标志检测信息是否一致，如果不一致则向bcm发送异常预警信息；
44.bcm，所述bcm接收所述异常预警信息，生成预警指令；
45.预警系统，所述预警系统接收所述预警指令，进行预警。
46.上述实施例中，车载视觉模块是基于深度学习网络实现的，为达到更好的检测精度，该方案中采用传统数据集和车载摄像头采集的数据集相结合，该数据集中涵盖不同视角、场景和不同天气下的交通灯图片；交通灯识别部分使用目标检测领域的经典单阶段模型yolov5进行特征提取、回归和分类；类别包含绿灯、红灯、黄灯、绿灯左行、绿灯右行、红灯左行和红灯右行；导向标志识别部分使用更加轻量，检测速度更快的ssd模型进行识别，类别包含左转、右转及直行；车载视觉模块的两部分检测流程基本一致。
47.可选地，制作所述交通灯识别数据集，所述交通灯识别数据集是将传统数据集、网络图片和交通灯影像数据相结合作为模型的训练集；制作所述导向标志数据集，所述导向标志数据集是将网络图片作为模型的训练集。
48.上述实施例中，交通灯数据集是将传统数据集、网络图片和车载摄像头拍摄的数
据相结合作为模型的训练集，数据集中需涵盖不同角度、背景、环境下的图片，交通灯数据集将尽可能覆盖不同天气不同场景下的交通灯照片，其中天气包含晴天、阴天、夜晚，场景包含干扰物较多的场景和干扰物较少的场景，交通灯包含横向悬空交通灯和竖向交通灯等，以保证模型能够在不同场合下达到较好的检测效果；导向标志数据集由于类别较少所以只需网络图片数据即可，其中，交通灯数据集具体信息如图6的表格所示。
49.可选地，所述bcm接收所述异常预警信息后，生成异常影像预警数据和异常语音预警数据。
50.可选地，所述预警系统包括：
51.hud，根据所述预警指令，所述bcm将所述异常影像预警数据发送至hud，在hud的显示屏幕上显示交通灯与导向标志不一致的预警影像；
52.语音模块，根据所述预警指令，所述bcm将所述异常语音预警数据发送至语音模块，语音模块播放交通灯与导向标志不一致的预警提示音。
53.上述实施例中，举例说明，导向标志检测网络模块进行导向标志检测，交通灯目标检测网络模块进行特征提取及交通灯检测，将所在车道的导向标志检测结果与当前交通灯检测结果进行匹配，当匹配结果不满足继续行驶条件时，hud会通过指示灯闪烁的方式提醒驾驶员，指示灯闪烁同时进行语音提醒。例如：当导向标志检测网络模块进行导向标志检测，检测到导向标志类别为车辆所在车道为左转车道，交通灯目标检测网络模块进行特征提取及交通灯检测，检测到交通灯类别为左转红灯，通过判断模块比对交通灯检测数据信息和导向标志检测信息不一致，则此时指示灯闪烁，语音提示驾驶员禁止左转。
54.可选地，所述交通灯目标检测网络模块为yolov5模型。
55.具体地，所述yolov5模型为单阶段目标检测网络模型，采用focus+csp结构，采用fpn+pan进行特征提取用以融合不同尺度上图像特征，采用三个输出头以保证精准的回归和分类。
56.上述实施例中，交通灯目标检测网络模块采用当下比较稳定且成本较低的yolov5进行特征提取及交通灯检测；交通灯目标检测网络为yolov5模型，该模型作为单阶段目标检测网络的经典之作，在较低的成本下实现了较好的检测效果；yolov5在骨干网络中采用具有良好检测效果的focus+csp结构，并采用fpn+pan进行特征提取以融合不同尺度上图像特征，最后采用三个输出头以保证更精准地回归和分类，yolov5模型结构图如图4所示。
57.可选地，如图5所示，所述导向标志检测网络模块为轻量化检测网络的ssd模型。
58.具体地，所述ssd模型以vgg作为骨干网络，去掉了网络最后的全连接层，并替换为3
×
3卷积层和1
×
1卷积层。
59.上述实施例中，导向标志检测网络模块使用轻量化检测网络ssd进行导向标志检测；导向标志目标检测网络为ssd模型，该模型以vgg作为骨干网络，去掉了网络最后的全连接层，并替换为3
×
3卷积层和1
×
1卷积层；ssd算法在保证单阶段检测算法的实时性同时，通过综合多尺度特征层，对提出的特征进一步优化，模型作为轻量级的检测架构用于导向标志检测具备很大优势。
60.可选地，所述交通灯数据集和所述导向标志数据集均按3比1划分为训练集和测试集，并使用labelimg对图像进行标注，所述交通灯数据集和所述导向标志数据集中的图片均为高清图像。
61.另一方面，如图2所示，提供了一种基于车载视觉与bcm控制的交通灯预警方法，应用上述任一项所述的一种基于车载视觉与bcm控制的交通灯预警系统，包括以下步骤：
62.s102、采集交通灯影像数据和导向标志影像数据；
63.s104、制作所述交通灯识别数据集和导向标志数据集；
64.s106、将所述交通灯影像数据和交通灯识别数据集通过所述交通灯目标检测网络模块进行特征提取及交通灯检测，并生成交通灯检测数据信息；
65.s108、将所述导向标志影像数据和导向标志数据集通过导向标志检测网络模块进行导向标志检测，并生成导向标志检测信息；
66.s110、比对交通灯检测数据信息和导向标志检测信息是否一致，如果不一致则向bcm发送异常预警信息；
67.s112、bcm接收所述异常预警信息，生成预警指令；
68.s114、将所述预警指令发送至预警系统，所述预警系统接收所述预警指令后进行预警。
69.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，包括：影像采集模块，所述影像采集模块用于采集交通灯影像数据和导向标志影像数据；车载视觉模块，所述车载视觉模块包括交通灯识别数据集、导向标志数据集、交通灯目标检测网络模块、导向标志检测网络模块和判断模块；其中，将所述交通灯影像数据和交通灯识别数据集通过所述交通灯目标检测网络模块进行特征提取及交通灯检测，并生成交通灯检测数据信息；将所述导向标志影像数据和导向标志数据集通过导向标志检测网络模块进行导向标志检测，并生成导向标志检测信息；通过判断模块比对交通灯检测数据信息和导向标志检测信息是否一致，如果不一致则向bcm发送异常预警信息；bcm，所述bcm接收所述异常预警信息，生成预警指令；预警系统，所述预警系统接收所述预警指令，进行预警。2.根据权利要求1所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，制作所述交通灯识别数据集，所述交通灯识别数据集是将传统数据集、网络图片和交通灯影像数据相结合作为模型的训练集；制作所述导向标志数据集，所述导向标志数据集是将网络图片作为模型的训练集。3.根据权利要求1所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，所述bcm接收所述异常预警信息后，生成异常影像预警数据和异常语音预警数据。4.根据权利要求3所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，所述预警系统包括：hud，根据所述预警指令，所述bcm将所述异常影像预警数据发送至hud，在hud的显示屏幕上显示交通灯与导向标志不一致的预警影像；语音模块，根据所述预警指令，所述bcm将所述异常语音预警数据发送至语音模块，语音模块播放交通灯与导向标志不一致的预警提示音。5.根据权利要求1所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，所述交通灯目标检测网络模块为yolov5模型。6.根据权利要求5所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，所述yolov5模型为单阶段目标检测网络模型，采用focus+csp结构，采用fpn+pan进行特征提取用以融合不同尺度上图像特征，采用三个输出头以保证精准的回归和分类。7.根据权利要求1所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，所述导向标志检测网络模块为轻量化检测网络的ssd模型。8.根据权利要求7所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，所述ssd模型以vgg作为骨干网络，去掉了网络最后的全连接层，并替换为3
×
3卷积层和1
×
1卷积层。9.根据权利要求1所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，所述交通灯数据集和所述导向标志数据集均按3比1划分为训练集和测试集，并使用labelimg对图像进行标注，所述交通灯数据集和所述导向标志数据集中的图片均为高清图像。10.一种基于车载视觉与bcm控制的交通灯预警方法，应用权利要求1至9任一项所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，包括：
采集交通灯影像数据和导向标志影像数据；制作所述交通灯识别数据集和导向标志数据集；将所述交通灯影像数据和交通灯识别数据集通过所述交通灯目标检测网络模块进行特征提取及交通灯检测，并生成交通灯检测数据信息；将所述导向标志影像数据和导向标志数据集通过导向标志检测网络模块进行导向标志检测，并生成导向标志检测信息；比对交通灯检测数据信息和导向标志检测信息是否一致，如果不一致则向bcm发送异常预警信息；bcm接收所述异常预警信息，生成预警指令；将所述预警指令发送至预警系统，所述预警系统接收所述预警指令后进行预警。

技术总结
本发明公开了一种基于车载视觉与BCM控制的交通灯预警系统及方法，其中，预警系统包括影像采集模块、车载视觉模块、BCM和预警系统；车载视觉模块进行特征提取、交通灯检测和导向标志检测，通过判断模块比对交通灯检测数据信息和导向标志检测信息是否一致，BCM生成预警指令，预警系统接收预警指令进行预警；本发明在驾驶过程中不需要进行实时连接互联网，无需后期的消费和维护，减少使用成本，同时解决由于GPS位置和信息的误差所导致的误检问题；给予用户更佳的驾驶体验，采用BCM控制的方式可以给予驾驶人员更实时和多元化的提示，给予用户实时的、准确的提醒，为用户提供精准的决策辅助，提升智能驾驶的使用体验。提升智能驾驶的使用体验。提升智能驾驶的使用体验。


技术研发人员：韩昊 赵文渤 王子军 魏佳勇 李志刚 孙福鑫 梁海洋 唐达 潘文涛 刘鑫瞳
受保护的技术使用者：一汽奔腾轿车有限公司
技术研发日：2023.02.28
技术公布日：2023/6/7