一种针对道路行人的智能动态信号灯装置及控制方法

1.本发明属于交通相关人工智能技术中的智慧交通领域，尤其涉及一种针对道路行人的智能动态信号灯装置及控制方法。


背景技术：

2.现如今，人工智能技术发展迅速，人们不再局限于通过规则制定方案，更多的希望根据现实中不同的情况赋予不同的策略，感知与识别的应用，是人工智能技术落地的具体体现之一。
3.机器视觉是现在非常热门的研究领域，人脸识别、数字识别、自动驾驶中的感知系统，已经基本成熟，拥有一套可靠的解决方案，其中最核心的就是机器学习的引用，通过利用数据集多次的训练及纠正，让机器能够自己产生分辨的逻辑，即权重文件，通过这一权重，机器能够对一些未知的事物进行辨析，这是深度强化学习的基本逻辑，yolov5是一个非常成熟的机器视觉算法，随着计算机硬件的发展，对于数据的计算速度越来越快，应用场景愈发广泛，
4.在很多城市道路中的人行横道路口，规则要求驾驶员“礼让行人”，即如遇到有行人准备通过人行横道，车辆需要停止以等待行人通过，这在人员较为密集的时间段是低效的，例如早晚高峰时段，行人较为连续，若驾驶员一直遵守行人优先的原则，会导致汽车通行效率下降，且即使在非密集时段，只要有一位行人预通过则立刻停车，也会造成一定的追尾风险。


技术实现要素：

5.本发明针对动态变化的行人流量，设计了一个智能动态交通信号灯装置，其可以通过摄像头识别正在等候通过人行横道的人数，从而显示不同的等待时常，若等候通过的行人较少，则等待时间设置稍长，若等候行人较多，则等待时间较短，同时向行人的道路车辆显示倒计时，以确保双方把握停留和通过的时间。
6.为了达到上述目的，本发明采取的技术方案如下：
7.本发明首先提供了一种针对道路行人的智能动态信号灯装置，包括信号灯本体、设置在信号灯本体上方的摄像头和太阳能供电板以及设置在信号灯本体内部的主控单元；所述信号灯本体的一个侧面设置有红灯显示框、绿灯显示框以及倒计时数字显示框；所述摄像头用于实时拍摄道路行人以及车辆，并将拍摄结果输送给主控单元；所述主控单元为设置有处理器的控制板，主控单元中搭建有训练好的指定等候区行人数量识别的实时检测模型，主控单元处理拍摄结果并输出控制信号给信号灯本体；信号灯本体接收控制信号并根据控制信号控制红灯显示框和绿灯显示框的闪烁以及控制倒计时数字显示框显示的时间；所述太阳能供电板为整个智能信号灯装置进行供电。
8.作为本发明的优选方案，所述摄像头与信号灯本体之间设置有摄像头调节装置；摄像头调节装置实现摄像头三相角度的调整；所述太阳能供电板与信号灯本体之间设置有
太阳能板调节机构；太阳能板调节机构实现太阳能供电板三相角度的调整；所述摄像头调节装置和太阳能板调节机构均为三相机械臂。
9.本发明还提供了一种上述智能信号灯装置的控制方法，包括以下步骤：
10.1)太阳能供电板吸收太阳能为智能信号灯装置供电；
11.2)摄像头通电后开启，摄像头对道路行人以及车辆进行拍摄，并将拍摄的照片输送给主控单元；
12.3)主控单元接受摄像头输送的照片，主控单元通过搭建在主控单元中的实时检测模型对照片中行人数量进行识别；主控单元根据识别的行人数量，计算此刻需要的信号灯显示颜色及时长，输出控制信号；
13.4)信号灯本体接收控制信号，并根据控制信号调节信号灯本体的显示状态。
14.作为本发明的优选方案，步骤3)中搭建在主控单元中的实时检测模型，具体搭建方式为：利用labellmg可视化图像标定工具对kitti图片数据库进行标定并整理为数据集；标定对象只选择其中的行人，标定的信息由索引标签、标定对象的中心坐标、标定对象的宽和高构成；基于yolov5的算法搭建模型；设置目标训练步长，使用数据集对模型进行训练，当模型训练的步长达到目标训练步长时后，则代表训练完成，得到训练好的模型；将训练好的模型嵌入到主控单元的控制板中，完成实时检测模型的搭建。
15.作为本发明的优选方案，步骤3具体为：
16.3.1)利用实时检测模型对照片中行人数量进行识别；
17.3.2)根据步骤3.1)识别的行人等待数量进行计算：
18.当没有行人等待时，保持显示红灯；
19.当检测到有行人正在等待之后，则进入红灯倒计时阶段，若道路没有车辆通过，则红灯倒计时5秒；若道路上有车辆通过，则遵循等候人数越多，倒计时长越短，具体设置如下：
[0020][0021]
n:正在等待的行人数量
[0022]
t1:红灯倒计时时长
[0023]
t2:红灯结束后，绿灯时长；
[0024]
3.3)将计算的结果转换为控制信号输出给信号灯本体。
[0025]
作为本发明的优选方案，步骤4中倒计时的过程中，红灯显示框和绿灯显示框均以一个不断缩减的扇形显示。与现有技术相比，本发明具有以下有益效果：
[0026]
1)本发明通过搭建对指定等候区行人数量识别的实时检测模型，实现精准的行人数量检测；
[0027]
2)本发明利用一个根据人数而变化的红灯倒计时策略，让信号灯显示随着人数变化，从而提高路口效率。
[0028]
3)本发明通过摄像头识别正在等候通过人行横道的人数，从而显示不同的等待时常，若等候通过的行人较少，则等待时间设置稍长，若等候行人较多，则等待时间较短，同时
向行人的道路车辆显示倒计时，以确保双方把握停留和通过的时间。
附图说明
[0029]
图1为本装置的整体结构示意图。
[0030]
图2为本发明的红灯倒计时逻辑。
[0031]
图3为本发明中没有行人等候时信号灯显示。
[0032]
图4为本发明中没有车辆时，行人红灯倒计时显示。
[0033]
图5为本发明中有车辆通过时，行人数量小于3时信号灯显示。
[0034]
图6为本发明中有车辆通过时，行人数量在4-6之间时信号灯显示。
[0035]
图7为本发明中有车辆通过时，行人数量在7-10之间时信号灯显示。
[0036]
图8为本发明中有车辆通过时，行人数量大于10时信号灯显示。
[0037]
图9为本发明设计的装置总成。
[0038]
图10为本装置的摄像头布置。
[0039]
图11为本装置的太阳能板布置。
[0040]
图12为本发明一个实施例的行人数量检测输出。
[0041]
其中，1-太阳能供电板，2-摄像头，3-红灯显示框，4绿灯显示框，5-倒计时数字显示框，6-太阳能板调节机构，7-摄像头调节装置，8-信号灯本体。
具体实施方式
[0042]
下面结合具体实施方式对本发明做进一步阐述和说明。所述实施例仅是本公开内容的示范且不圈定限制范围。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
[0043]
如图9和图1所示，为本发明公开的一种针对道路人行横道的智能动态信号灯装置，包括信号灯本体8、设置在信号灯本体上方的摄像头2和太阳能供电板1以及设置在信号灯本体内部的主控单元；所述摄像头2用于实时拍摄道路行人以及车辆，并将拍摄结果输送给主控单元；主控单元由树莓派4b-8g控制板为主体，包含一颗cortex-a72处理器，主控单元中有训练好的指定等候区行人数量识别程序，主控单元用于处理拍摄结果并输出控制信号给信号灯本体；所述信号灯本体包括红灯显示框3、绿灯显示框4以及倒计时数字显示框5；信号灯本体用于接收控制信号并根据控制信号改变信号灯颜色以及时间；所述太阳能供电板为整个智能信号灯装置进行供电。
[0044]
如图12所示，以一个在高峰时段的路口为例，此时过往车辆连绵不断，某一时刻，出现了超过十位行人等待通行。
[0045]
如图2所示，本发明还提供了一种针对道路人行横道的智能动态信号灯装置的控制方法：
[0046]
步骤1：太阳能供电板吸收太阳能为智能信号灯装置供电；
[0047]
步骤2：摄像头开启，对道路行人以及车辆进行拍摄，并将拍摄结果输送给主控单元；
[0048]
步骤3：主控单元接受摄像头输送的拍摄结果，主控单元通过训练好的指定等候区行人数量识别程序，对照片中行人数量进行识别，并根据识别的行人数量，对照设置好的逻
辑，计算此刻需要的信号灯显示效果，输出控制信号；
[0049]
步骤4：信号灯本体接收控制信号，并根据控制信号调节信号灯本体的显示状态。
[0050]
建立对指定等候区行人数量识别的实时检测模型；在视觉识别算法设计过程中，对训练文件进行相应的修改：
[0051]
a1：图片标定，利用labellmg可视化图像标定工具对kitti图片数据.库进行标定，标定对象只选择其中的行人；标定的信息由索引标签、标定对象的中心坐标、标定对象的宽和高构成；
[0052]
a2：数据准备，将数据集中的照片和完成的标注信息分别放置在数据集下的两个文件夹中；
[0053]
a3：添加配置文件，在yolov5的data文件夹中新建pedestrian.yaml文件，用来为算法指定数据集的路径，使得程序能够进入步骤二中的两个文件夹提取数据；
[0054]
a4：使用yolov5官方提供的模型作为预训练模型，去训练自我模型权重文件，本专利中使用的是yolov5s.pt模型文件。
[0055]
a5：模型训练，训练过程中调整cpu所使用的线程数workers设置为8，现存占用大小batch-size设置为32。设置训练步长为300步，当奖励值收敛后，则代表训练完成，训练结束后，得出新的模型文件pedestrian.pt。
[0056]
a6：将前一步得到的pedestrian.pt文件格式转换成pedestrian.onnx文件，从而可以嵌入到主控单元的控制板中。
[0057]
在实际应用过程中，程序设计摄像头保持3秒一次检测指定区域的行人等候数量，此时道路一直有车辆通过，行人侧默认为红灯；当道路没有车辆时，如图4所示，行人红灯进入倒计时显示。
[0058]
在本发明的一个具体实施例中利用基于yolov5设计训练的算法，搭建对指定等候区行人数量识别的实时检测模型对行人进行识别和计数，此时，识别到行人数量为16，因此进入红灯倒计时阶段。指定预训练的权重文件，即将其设置为yolov5自带的权重文件之一。指定训练目标文件pedestrians.yaml。指定训练的worker与batch-size，这里分别设置为8与32，这取决于电脑的性能(cpu与gpu)。指定训练使用的设备，这里设置为device 0，即电脑搭载的gpu rtx3070，8g显存，使用cuda加速计算。指定初步训练的迭代步数epoch，设置为300步。从而得到了识别过程中需要的权重文件。
[0059]
利用搭建好的实时检测模型实时输出等候区的行人等待数量，设置为3秒检测一次，如图3所示，在没有行人等待时，保持显示红灯；一旦检测到有行人出现，则进入红灯倒计时状态；
[0060]
如图5、图6、图7以及图8所示，当检测到有行人正在等待之后，则进入红灯倒计时阶段，若道路没有车辆通过，则红灯倒计时5秒；若道路上有车辆通过，则遵循等候人数越多，倒计时长越短，具体设置如下：
[0061][0062]
n:正在等待的行人数量
[0063]
t1:红灯倒计时时长
[0064]
t2:红灯结束后，绿灯时长
[0065]
进入设计红灯倒计时阶段后，程序根据人数选择倒计时等待时长，例如图12所示，本次实例中，有16位行人正在等待，按照装置设计的逻辑，红灯等待时长为20秒，信号灯自动显示红灯倒计时20秒，并且红灯显示过程中扇形不断减小，以让行人了解等待的进程。红灯倒计时结束后，显示30秒绿灯信号。
[0066]
如图10和图11所示，本装置的安装过程中，摄像头3布置在信号灯本体8的上方，利用摄像头调节装置连接7；摄像头调节装置为三相机械臂，可以调整位置和角度，方便其观察一定范围内的行人数量，能源供给系统由一个太阳能板和电源构成，通过太阳能板调节机构6进行角度调节，使太阳能板能最大限度的吸收光照，从而为信号灯供能。当摄像头拍摄到图片后，通过主控系统控制板上的摄像头接口将图片信息传输至树莓派4b处理器，利用训练好的模型权重，控制板计算出当前图片区域中的人数，将人数输出给信号灯控制程序，按照设定好的逻辑，控制信号灯的显示效果。
[0067]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

技术特征：
1.一种针对道路行人的智能动态信号灯装置，其特征在于，包括信号灯本体、设置在信号灯本体上方的摄像头和太阳能供电板以及设置在信号灯本体内部的主控单元；所述信号灯本体的一个侧面设置有红灯显示框、绿灯显示框以及倒计时数字显示框；所述摄像头用于实时拍摄道路行人以及车辆，并将拍摄结果输送给主控单元；所述主控单元为设置有处理器的控制板，主控单元中搭建有训练好的指定等候区行人数量识别的实时检测模型，主控单元处理拍摄结果并输出控制信号给信号灯本体；信号灯本体接收控制信号并根据控制信号控制红灯显示框和绿灯显示框的闪烁以及控制倒计时数字显示框显示的时间；所述太阳能供电板为整个智能信号灯装置进行供电。2.根据权利要求1所述的智能动态信号灯装置，其特征在于，所述摄像头与信号灯本体之间设置有摄像头调节装置；摄像头调节装置实现摄像头三相角度的调整；所述太阳能供电板与信号灯本体之间设置有太阳能板调节机构；太阳能板调节机构实现太阳能供电板三相角度的调整；所述摄像头调节装置和太阳能板调节机构均为三相机械臂。3.一种如权利要求1所述智能信号灯装置的控制方法，其特征在于，包括以下步骤：1)太阳能供电板吸收太阳能为智能信号灯装置供电；2)摄像头通电后开启，摄像头对道路行人以及车辆进行拍摄，并将拍摄的照片输送给主控单元；3)主控单元接受摄像头输送的照片，主控单元通过搭建在主控单元中的实时检测模型对照片中行人数量进行识别；主控单元根据识别的行人数量，计算此刻需要的信号灯显示颜色及时长，输出控制信号；4)信号灯本体接收控制信号，并根据控制信号调节信号灯本体的显示状态。4.根据权利要求3所述智能信号灯装置的控制方法，其特征在于，步骤3)中搭建在主控单元中的实时检测模型，具体搭建方式为：利用labellmg可视化图像标定工具对kitti图片数据库进行标定并整理为数据集；标定对象只选择其中的行人，标定的信息由索引标签、标定对象的中心坐标、标定对象的宽和高构成；基于yolov5的算法搭建模型；设置目标训练步长，使用数据集对模型进行训练，当模型训练的步长达到目标训练步长时后，则代表训练完成，得到训练好的模型；将训练好的模型嵌入到主控单元的控制板中，完成实时检测模型的搭建。5.根据权利要求3所述智能信号灯装置的控制方法，其特征在于，步骤3)具体为：3.1)利用实时检测模型对照片中行人数量进行识别；3.2)根据步骤3.1)识别的行人等待数量进行计算：当没有行人等待时，保持显示红灯；当检测到有行人正在等待之后，则进入红灯倒计时阶段，若道路没有车辆通过，则红灯倒计时5秒；若道路上有车辆通过，则遵循等候人数越多，倒计时长越短，具体设置如下：n:正在等待的行人数量
t1:红灯倒计时时长t2:红灯结束后，绿灯时长；3.3)将计算的结果转换为控制信号输出给信号灯本体。6.根据权利要求3所述智能信号灯装置的控制方法，其特征在于，步骤4中倒计时的过程中，红灯显示框和绿灯显示框均以一个不断缩减的扇形显示。

技术总结
本发明设计了一种针对道路行人的智能动态信号灯装置及控制方法，本发明方法利用YoloV5算法搭建了对等候区行人数量识别的实时检测系统；本发明方法利用Kitte数据集针对行人类别做了特殊的训练，得到了针对行人的权重文件，以提高行人检测的精准度；本发明方法设计的程序可以实时输出检测范围内的行人数量；本发明方法利用等待人数越多，则红灯等待时长越短这一基本策略，设计信号灯动态显示逻辑。本发明所产出的信号灯，能够在一定程度上适应城区道路中动态变化的人流量，提高行人与车辆的通行效率，增加安全性，能够很好地适应目前城市内早晚高峰时段的道路交通环境。目前城市内早晚高峰时段的道路交通环境。目前城市内早晚高峰时段的道路交通环境。


技术研发人员：俞小莉 王峥明 黄瑞 陈诺 陈云布 杨爱喜 陈俊玄 沈佳源 郅文彬 齐建斌
受保护的技术使用者：浙江大学
技术研发日：2023.05.24
技术公布日：2023/8/14