一种智能行人预警系统及方法

1.本发明属于车辆智能化技术领域，尤其涉及一种智能行人预警系统及方法。


背景技术：

2.随着汽车工业的发展和信息化技术的普及，越来越多的人认为传统汽车一定会朝着智能汽车发展，成为智能化技术应用的载体。许多技术的应用可以在事故发生是起到改变车辆姿态等形式做到将伤害降到最低，保护自己与其他道路使用者。然而，在这些事故中很大一部分原因在于驾驶员在事前未能做到仔细观察周围环境并提高警惕。同时，外界环境如强光、肉眼视觉限制等也是引发危险的重要因素。通过技术的应用可以提前辅助驾驶员预见并采取对策。
3.发明专利cn107886043a公布了一种视觉感知的汽车前视车辆和行人防碰撞预警系统及方法，对汽车前视摄像头获取的视频进行逐帧读取，并运用训练级联分类器，实现对视频帧中的车辆、行人进行识别，并同时结合直线检测。确认前车、行人位置后，将图像坐标转换为车体坐标，从而得到本车与前车、本车与前面行人的相对距离及相对角度，计算出安全时距，再运用卡尔曼滤波器预测车辆、行人位置，如果小于安全时距，则发出警报。该发明给出了行车坐标与图像坐标的转换，但采用基于视觉感知，面对与人眼观察相同的问题，面对行车方向正对阳光或受到对象车辆远光干扰时，会对行人与车辆的识别造成干扰，同时在夜晚弱光条件下同样会降低系统精确性。在报警阶段，当车辆与目标间距小于安全间距才会发出警报。考虑到报警时间与驾驶员反应时间，可能影响驾驶体验。
4.发明专利cn115100251a公布了一种基于热像仪和激光雷达的车前行人检测方法及终端，包括：分别获取部署在车辆外侧顶端的热像仪的图像坐标系和激光雷达的点云坐标系，并将激光雷达的点云坐标系转换到热像仪的图像坐标系中，使得同一视野内的点云图像与热像图逐像素配准；该发明信息获取设备产生数据量大，在使用中不同设备像素转换可能产生误差，同时在行人识别时为多通道输入增大计算量使用yolov4算法可能对实时性有一定要求。


技术实现要素：

5.本发明实施例的目的在于提供一种智能行人预警系统，旨在解决背景技术中确定的现有技术存在的技术问题。
6.本发明实施例是这样实现的，一种智能行人预警系统，所述系统包括：
7.信息获取模块，用于经过车载摄像头获取红外图像后，采用直方图均衡算法增强图像对比度，凸显图像特征。
8.特征提取模块，用于根据网络公开的红外图像数据库对卷积神经网络算法进行训练，主要提取车辆与行人特征，同时通过深度可分离卷积将原本yolov5x网络结构中大量的普通卷积模块进行轻量化处理；
9.输出控制模块，用于根据车速不同计算当前合适的安全距离，获得特征提取模块
输出的行人位置坐标经过坐标变换与安全距离相比对选择是否控制模块输出。
10.作为本发明更进一步的方案，所述信息获取模块中所述的采用直方图均衡算法增强图像对比度的操作，具体包括：
11.根据摄像头模组分辨率不同，将输入图像进行分块，并对4:3和16:9将图像分为三行四列的区块，且中区块为正方形；
12.对于1:1类型，按照3x3分割图像，并将同一行的区块按照从下到上分为近景区块、中景区块和远景区块。
13.作为本发明更进一步的方案，所述输出控制模块对于何时发出警报设置有判断逻辑，具体包括：
14.通过获取当前车速判断当前行车状态和驾驶员意图，根据车速不同区间分为低速、中速和高速，由于车辆在不同车速下驾驶员对于道路情况关注的侧重点不同，引入注意力权重系数向量来模拟正常人的驾驶习惯；
15.其中，引入注意力权重系数为：驾驶员1s内对近景、中景、远景模块对应实际路面的注意时间，根据车辆状态计算系统预见距离公式如下：
[0016][0017]
式中，x为预见距离，单位为m；c为控制因子，随车速变化；a向量为注意力权重向量；u向量为速度锚定向量；b为驾驶员反应时间，单位为秒/s；v为当前车速，单位为m/s；
[0018]
其中，p
l
为不同车速下对近景路面的权重系数；pm为不同车速下对中景路面的权重系数；ph为不同车速下对远景路面的权重系数；
[0019]
且在同一车速下，p
l
、pm、ph三者之和为1，根据车速区间与区间内车速不同，采集数据进行多项式拟合得到三者计算公式如下：
[0020][0021]
由于车速越快发生事故时越可能造成更大的损失，因此在系统工作时需要及时根据车速调整预警距离，控制因子c随车速函数关系为：
[0022]
c＝0.1v+1
[0023]
系数b为驾驶员反应时间，为模拟真实开车时当车速快时需要驾驶员集中精力，车速慢时则会适当放松，正常情况下驾驶员反应时间在0.3s-0.5s之间，因此给出b的函数关系为：
[0024][0025]
根据特征提取模块输出的bounding box的坐标值，经过系统标定和坐标变换后可以得到和车辆之间的距离为x。当x《x时，系统将会语音提醒驾驶员前方有行人。
[0026]
本发明实施例的另一目的在于提供一种智能行人预警方法，所述方法包括：
[0027]
训练特征提取模块算法，根据网络公开的红外图像数据库对卷积神经网络算法进行训练，提取车辆与行人特征，训练完成后输入车载ecu；
[0028]
通过信息获取模块中的红外发光板和摄像头模组获取红外灰度图像，经过图像分块处理后，通过直方图均衡方法增强图像对比度；
[0029]
将信息获取模块处理过的图像输入到步骤一特征提取模块中进行识别，完成对行人特征低提取并将bounding box的中心点位置坐标输出，通过坐标变换将其变换到车体坐标系上识别出车辆与行人之间的距离。
[0030]
作为本发明更进一步的方案，主干网络中backbone层主要包含focus结构、csp结构、cbl模块和spp结构，其中focus结构作用是将输入图片做切片处理分解为多个slice后再通过concat合并连接输入到下一结构参与卷积；
[0031]
csp结构包含普通卷积模块、cbl模块、concat模块和残差模块，其作用是将原输入分成两个分支，分别进行卷积操作使得通道数减半；
[0032]
cbl模块包含卷积模块，bn模块和激活函数，作为网络结构中最基本的卷积模块使用；
[0033]
neck层采用fpn+pan的结构，通过池化和上采样实现该结构，其中主要包含csp结构和cbl模块；
[0034]
yolo v5x算法网络结构的backbone层和neck层中大量的普通卷积模块cbl，通过深度可分离卷积模块进行替换可以减少参数量从而减少计算量。对于单通道图像，标准卷积核尺寸为axa共有b个，标准卷积参数量为：axaxb；
[0035]
深度可分离卷积由深度卷积和逐点卷积构成，深度卷积卷积核尺寸为axa，逐点卷积核尺寸为1x1共有b个则参数量为：axa+b；
[0036]
通过数据库检测集的测试，保证召回率和精度满足要求后可以作为特征提取模块算法。采用yolov5x结构保证精确度同时经过轻量化处理显著提高实时性。
[0037]
作为本发明更进一步的方案，所述通过直方图均衡方法增强图像对比度，根据摄像头模组分辨率不同，将输入图像进行分块，对4:3和16:9将图像分为三行四列的区块，其中区块为正方形；对于1:1类型，按照3x3分割图像，并将同一行的区块按照从下到上分为近景区块、中景区块和远景区块；
[0038]
对图像整体使用直方图均衡算法，增强图像对比度，统计画面中灰度值，根据灰度值的不同得到其对应的频数和频率，按照灰度值由小到大将对应的频率相加从而得到累计分布函数，直方图均衡化的公式如下：
[0039][0040]
其中，round(x)函数结果为：
[0041]
当x为整数时，保持不变；当x为浮点数时，取距离x最近的整数；当x为浮点数且距离两个整数一样近时，取偶数；
[0042]
式中，cdf(x)为频率累计分布函数所对应的频数；cdf(min)为灰度值最小值对应的频数；cdf(max)为所有像素点总和；l为图像的灰度级数，位深为8，l＝2^8＝256。
[0043]
本发明实施例的有益效果是：
[0044]
本发明将卷积神经网络的目标检测算法和增强对比度的红外图像相结合，通过深
度可分离卷积降低系统计算量保证系统工作的实时性，通过模拟人眼注意力的的形式保证系统在工作时，既不会预警太早浪费驾驶员注意力，也不会预警太晚导致驾驶员来不及操作。保证了系统的检测精度和实时性和行车时的安全性。
附图说明
[0045]
图1为本发明实施例提供的智能行人预警系统的运行流程图；
[0046]
图2为本发明实施例提供的输出控制模块的流程图；
[0047]
图3为本发明实施例提供的注意力权重系数图。
具体实施方式
[0048]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0049]
可以理解，本技术所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本技术的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
[0050]
本发明提供一种智能行人预警系统，如图1至图3所示，智能行人预警系统的使用流程包括以下步骤：
[0051]
步骤一：训练特征提取模块算法，根据网络公开的红外图像数据库如：flir数据库和kaist行人数据库对卷积神经网络算法进行训练，主要提取车辆与行人特征，训练完成后输入车载ecu。
[0052]
主干网络中backbone层主要包含focus结构、csp结构、cbl模块和spp结构，其中focus结构作用是将输入图片做切片处理分解为多个slice后再通过concat合并连接输入到下一结构参与卷积；spp结构作用是通过不同尺寸的最大池化方式获取不同特征并将这些获得的特征融合，通过增加通道数的方式将不同特征保留下来；csp结构包含普通卷积模块、cbl模块、concat模块和残差模块，其作用是将原输入分成两个分支，分别进行卷积操作使得通道数减半，经过concat合并连接后维度和输入保持一致但获得了更多可以让模型识别到的特征。cbl模块包含卷积模块，bn模块和激活函数，作为网络结构中最基本的卷积模块使用。
[0053]
neck层采用fpn+pan的结构，通过池化和上采样实现该结构，其中主要包含csp结构和cbl模块。此处csp模块相对于backbone层的没有残差模块，不需要再进行深度的卷积。
[0054]
yolo v5x算法网络结构的backbone层和neck层中大量的普通卷积模块cbl，通过深度可分离卷积模块进行替换可以减少参数量从而减少计算量。对于单通道图像，标准卷积核尺寸为axa共有b个，标准卷积参数量为：axaxb；
[0055]
深度可分离卷积由深度卷积和逐点卷积构成，深度卷积卷积核尺寸为axa，逐点卷积核尺寸为1x1共有b个则参数量为：axa+b；
[0056]
通过数据库检测集的测试，保证召回率和精度满足要求后可以作为特征提取模块算法。采用yolov5x结构保证精确度同时经过轻量化处理显著提高实时性。
[0057]
步骤二：通过信息获取模块中的红外发光板和摄像头模组获取红外灰度图像，经过图像分块处理后，通过直方图均衡方法增强图像对比度。根据摄像头模组分辨率不同，首先将输入图像进行分块，对4:3或16:9将图像分为三行四列的区块，确保其中区块为正方形；对于1:1类型，按照3x3分割图像。并将同一行的区块按照从下到上命名为近景区块、中景区块和远景区块。
[0058]
对图像整体使用直方图均衡算法，增强图像对比度，统计画面中灰度值，因为像素点是离散的，可以将灰度值视为离散化随机变量。根据灰度值的不同得到其对应的频数和频率，按照灰度值由小到大将对应的频率相加从而得到累计分布函数。直方图均衡化的公式如下：
[0059][0060]
其中，round(x)函数结果为：
[0061]
(1)当x为整数时，保持不变；
[0062]
(2)当x为浮点数时，取距离x最近的整数；
[0063]
(3)当x为浮点数且距离两个整数一样近时，取偶数。
[0064]
式中，cdf(x)为频率累计分布函数所对应的频数；cdf(min)为灰度值最小值对应的频数；cdf(max)为所有像素点总和；l为图像的灰度级数，位深为8，故l＝2^8＝256。
[0065]
经过对比度强化和yolov5x算法的mosaic数据增强后可以减少红外灰度图像特征信息丢失的问题，保证算法可以准确提取到图片中行人或车辆特征完成识别。
[0066]
步骤三：将步骤二中信息获取模块处理过的图像输入到步骤一特征提取模块中进行识别，完成对行人特征低提取并将bounding box的中心点位置坐标输出，通过坐标变换将其变换到车体坐标系上识别出车辆与行人之间的距离。
[0067]
步骤四：为保证驾驶员在行车时，系统既能及时提醒驾驶员注意路边行人，又不会过早的干扰驾驶员行车。输出控制模块对于何时发出警报有一套判断逻辑，如下：
[0068]
为模拟驾驶员开车时对于路面信息的感知情况结合车速动态输出检测结果提醒驾驶员注意非机动车和行人。通过获取当前车速v判断当前行车状态和驾驶员意图。根据车速不同区间分为低速、中速和高速，由于车辆在不同车速下驾驶员对于道路情况关注的侧重点不同，引入注意力权重系数向量来模拟正常人的驾驶习惯，从而达到精确识别预警距离，提高系统可靠性，保证行车安全性。低速区间选择为v≤10m/s，中速区间为10m/s≤v≤15m/s，高速区间为v≥15m/s。
[0069]
引入注意力权重系数为：驾驶员1s内对近景、中景、远景模块对应实际路面的注意时间。根据车辆状态计算系统预见距离公式如下：
[0070][0071]
式中，x为预见距离，单位为m；c为控制因子，随车速变化；a向量为注意力权重向量；u向量为速度锚定向量；b为驾驶员反应时间，单位为秒/s；v为当前车速，单位为m/s。
[0072]
其中，
[0073]
p
l
为不同车速下对近景路面的权重系数；pm为不同车速下对中景路面的权重系数；ph为不同车速下对远景路面的权重系数；
[0074]
在同一车速下，三者之和为1，根据车速区间与区间内车速不同，采集数据进行多
项式拟合得到三者计算公式如下：
[0075][0076]
由于车速越快发生事故时越可能造成更大的损失，因此在系统工作时需要及时根据车速调整预警距离，控制因子c随车速函数关系为：
[0077]
c＝0.1v+1
[0078]
系数b为驾驶员反应时间，为模拟真实开车时当车速快时需要驾驶员集中精力，车速慢时则会适当放松，正常情况下驾驶员反应时间在0.3s-0.5s之间，因此给出b的函数关系为：
[0079][0080]
特征提取模块会输出行人位置信息，经过系统标定和坐标变换后可以得到行人与车辆之间的距离为y。在预警距离x的计算过程中考虑到了驾驶员的反应时间和当前车速，可以保证在系统发出预警时，驾驶员既不会过度紧张也不会来不及操作，因此，当y《x时，将会语音提醒驾驶员前方有行人。
[0081]
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0082]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0083]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存
在矛盾，都应当认为是本说明书记载的范围。
[0084]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
[0085]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种智能行人预警系统，其特征在于，所述系统包括：信息获取模块，用于经过车载摄像头获取红外图像后，采用直方图均衡算法增强图像对比度，凸显图像特征；特征提取模块，用于根据网络公开的红外图像数据库对卷积神经网络算法进行训练，主要提取车辆与行人特征，同时通过深度可分离卷积将原本yolov5x网络结构中大量的普通卷积模块进行轻量化处理；输出控制模块，用于根据车速不同计算当前合适的安全距离，获得特征提取模块输出的行人位置坐标经过坐标变换与安全距离相比对选择是否控制模块输出。2.根据权利要求1所述的智能行人预警系统，其特征在于，所述信息获取模块中所述的采用直方图均衡算法增强图像对比度的操作，具体包括：根据摄像头模组分辨率不同，将输入图像进行分块，并对4:3和16:9将图像分为三行四列的区块，且中区块为正方形；对于1:1类型，按照3x3分割图像，并将同一行的区块按照从下到上分为近景区块、中景区块和远景区块。3.根据权利要求1所述的智能行人预警系统，其特征在于，所述输出控制模块对于何时发出警报设置有判断逻辑，具体包括：通过获取当前车速判断当前行车状态和驾驶员意图，根据车速不同区间分为低速、中速和高速，由于车辆在不同车速下驾驶员对于道路情况关注的侧重点不同，引入注意力权重系数向量来模拟正常人的驾驶习惯；其中，引入注意力权重系数为：驾驶员1s内对近景、中景、远景模块对应实际路面的注意时间，根据车辆状态计算系统预见距离公式如下：式中，x为预见距离，单位为m；c为控制因子，随车速变化；a向量为注意力权重向量；u向量为速度锚定向量；b为驾驶员反应时间，单位为秒/s；v为当前车速，单位为m/s；其中，p
l
为不同车速下对近景路面的权重系数；p
m
为不同车速下对中景路面的权重系数；p
h
为不同车速下对远景路面的权重系数；且在同一车速下，p
l
、p
m
、p
h
三者之和为1，根据车速区间与区间内车速不同，采集数据进行多项式拟合得到三者计算公式如下：由于车速越快发生事故时越可能造成更大的损失，因此在系统工作时需要及时根据车速调整预警距离，控制因子c随车速函数关系为：c＝0.1v+1系数b为驾驶员反应时间，为模拟真实开车时当车速快时需要驾驶员集中精力，车速慢时则会适当放松，正常情况下驾驶员反应时间在0.3s-0.5s之间，因此给出b的函数关系为：
根据特征提取模块输出的bounding box的坐标值，经过系统标定和坐标变换后可以得到和车辆之间的距离为x，当x<x时，系统将会语音提醒驾驶员前方有行人。4.一种智能行人预警方法，其特征在于，所述方法包括：训练特征提取模块算法，根据网络公开的红外图像数据库对卷积神经网络算法进行训练，提取车辆与行人特征，训练完成后输入车载ecu；通过信息获取模块中的红外发光板和摄像头模组获取红外灰度图像，经过图像分块处理后，通过直方图均衡方法增强图像对比度；将信息获取模块处理过的图像输入到步骤一特征提取模块中进行识别，完成对行人特征低提取并将bounding box的中心点位置坐标输出，通过坐标变换将其变换到车体坐标系上识别出车辆与行人之间的距离。5.根据权利要求4所述的智能行人预警方法，其特征在于，主干网络中backbone层主要包含focus结构、csp结构、cbl模块和spp结构，其中focus结构作用是将输入图片做切片处理分解为多个slice后再通过concat合并连接输入到下一结构参与卷积；csp结构包含普通卷积模块、cbl模块、concat模块和残差模块，其作用是将原输入分成两个分支，分别进行卷积操作使得通道数减半；cbl模块包含卷积模块，bn模块和激活函数，作为网络结构中最基本的卷积模块使用；neck层采用fpn+pan的结构，通过池化和上采样实现该结构，其中主要包含csp结构和cbl模块。6.根据权利要求4所述的智能行人预警方法，其特征在于，所述通过直方图均衡方法增强图像对比度，根据摄像头模组分辨率不同，将输入图像进行分块，对4:3和16:9将图像分为三行四列的区块，其中区块为正方形；对于1:1类型，按照3x3分割图像，并将同一行的区块按照从下到上分为近景区块、中景区块和远景区块；对图像整体使用直方图均衡算法，增强图像对比度，统计画面中灰度值，根据灰度值的不同得到其对应的频数和频率，按照灰度值由小到大将对应的频率相加从而得到累计分布函数，直方图均衡化的公式如下：其中，round(x)函数结果为：当x为整数时，保持不变；当x为浮点数时，取距离x最近的整数；当x为浮点数且距离两个整数一样近时，取偶数；式中，cdf(x)为频率累计分布函数所对应的频数；cdf(min)为灰度值最小值对应的频数；cdf(max)为所有像素点总和；l为图像的灰度级数，位深为8，l＝2^8＝256。

技术总结
本发明适用于车辆智能化技术领域，提供了一种智能行人预警系统及方法，所述智能行人预警系统包括：信息获取模块、特征提取模块和输出控制模块。本发明将卷积神经网络的目标检测算法和增强对比度的红外图像相结合，通过深度可分离卷积降低系统计算量保证系统工作的实时性，通过模拟人眼注意力的的形式保证系统在工作时，既不会预警太早浪费驾驶员注意力，也不会预警太晚导致驾驶员来不及操作。保证了系统的检测精度和实时性和行车时的安全性。统的检测精度和实时性和行车时的安全性。统的检测精度和实时性和行车时的安全性。


技术研发人员：卢萍萍 陈炜康 代超 景疆辉 宋益萌 张育宁
受保护的技术使用者：吉林大学
技术研发日：2023.04.06
技术公布日：2023/7/6