基于野生动物侵入预警系统的实时数据处理方法与流程

1.本发明涉及野生动物检测技术领域，特别涉及一种基于野生动物侵入预警系统的实时数据处理方法。


背景技术：

2.在我国野生动物较多的地区，存在野生动物侵入特殊封闭道路并发生危险事故的情况。对于野生动物来讲，其图片数据集不止受到拍摄角度的影响，还会受到其姿态不同程度遮挡的影响。现有网络公开的检测数据集要应用到某一具体场景还需要对数据集进行进一步优化，特殊封闭道路现场的障碍物数据集比较稀缺，而训练集样本的好坏往往与最后训练得到的深度学习网络的检测效果密切相关，因此需要在训练前尽量构建出符合的特殊封闭道路现场目标检测数据集供给后期神经网络进行学习。常用的图像检测方式包括背景差分法及hot+svm算法等，在微小的环境变化下，也能快速检测出视频中的异物，但当由于光线和天气等原因导致背景变化巨大时，其检测效果会显著下降。常见的视频检测方式主要采用将算法部署到后端服务器中统一处理现场采集的视频数据，但对于当前项目的特殊封闭道路现场，由于带宽受限、现场摄像头数量很多，以及长距离的大量数据传输可能会导致视频信息在传输过程中存在丢失和检测延时的现象。而且单个服务器设备处理多路视频数据导致检测速率进一步降低，以及对服务器的配置要求会非常高，从而难以实现对入侵异物的实时检测。对于特殊封闭道路侵入检测来说，不仅仅要简单地实现对比较直观的野生动物检测，现场的条件会比较复杂，需要考虑光照、天气、季节等条件的影响，此外野生动物的大小、形状可能会有很大的不同。所以需要构建出一个目标检测网络适合各种环境下的多种障碍物的识别并能保证较高的准确率。
3.现有技术一，cn201580020150.1利用动作感应的侵入侦测技术，一种侵入侦测系统包括至少两个侦测器。每个侦测器被组配成产生侦测输出。至少一个信息模块被组配成产生元数据而该元数据有关于该至少两个侦测器的效能。分析模块被组配成产生组合警报信号。该组合警报信号是来自该至少两个侦测器的多个侦测输出与该元数据的函数。该元数据可包含有关减少一个或多个该侦测器的侦测效能的不利状况的信息。该至少两个侦测器较佳地包含至少一个视频动作侦测器及被动红外线侦测器。虽然实现了侦测输出仅可当该个别侦测器侦测到侵入事件时产生，但是不适合特殊封闭道路侵入检测，缺少目标检测数据集导致检测的误报率较高。
4.现有技术二，cn113256983b一种基于毫米波雷达的道路防侵入预警方法和系统，包括：获取毫米波雷达采集的道路车辆数据；根据设定值，判断长度方向上的点目标数据为近距离值或远距离值；若为近距离值，则近距离点计数；若为远距离值，则远距离点计数；当近/远距离点计数满足近/远距离点计数判定条件时，近/远距离数据包计数；当近/远距离数据包满足近/远距离数据包计数判定条件时，触发近/远距离报警。虽然可以精准的判断出是否有车辆侵入设置车道和旁向车道过车时是否会发生误报，该方法简单，方便，处理速度快，可以很好的应用在单片机上，有效解决了漏报误报的问题，但是单片机作为嵌入式的
处理器长时间的工作很容易得到工作不稳定，影响整体系统的检测的有效性。
5.现有技术三，cn110136377b一种轨道防侵入预警系统，包括绝缘杆、第一固定杆、第二固定杆和固定卡扣，第一固定杆和第二固定杆的一端通过螺纹分别连接在绝缘杆两端，第一固定杆和第二固定杆另一端通过固定卡扣固定在钢轨上，绝缘杆内设有容纳腔体，容纳腔体内设有第一雷达监测单元和第一通信单元；第一雷达监测单元用于对钢轨上及钢轨周侧进行监测，在监测到异物时，第一雷达监测单元向第一通信单元发送相应的识别信号；第一通信单元用于将所述识别信号向监测设备发送。虽然可及时发现出现的物体并进行识别区分后，辅助监测人员进行精确的判断，从而解决了恶劣天气情况下单纯依靠视频监控识别物体导致的判断不准确的问题，但是之恶能做到识别，不能做到物体位置信息的发送，导致不能准确的预拌动物的移动方向，不利于作出准确的侵入预警。
6.目前现有技术一、现有技术二及现有技术三存在缺少专门针对封闭道路现场的专用数据集，障碍物的存在导致误检率较高，无法实现对野生动物的精准的检测及精确发现野生动物的位置信息；嵌入式平台处理器在现场长时间稳定运行稳定性较差，因此，本发明提供基于野生动物侵入预警系统的实时数据处理方法，完成了侵入特殊封闭道路数据集的建立，增加特殊封闭道路现场图片数据与小目标数据，使网络学习的数据更加贴近真实场景；训练出可以适用于特殊封闭道路现场能识别多种障碍物的目标检测网络yolov4，保证其能对现场障碍物实现精准检测；完成视频及热成像一体化云台设备的热源检测方法，尽量使其能自动适用于在各种环境下将与环境温度相差较大的热源进行提取，并联动可见光相机进行检测；搭建好嵌入式平台处理器的目标检测网络的运行环境保证嵌入式设备能够在现场长时间稳定运行。


技术实现要素：

7.为了解决上述技术问题，本发明提供了一种基于野生动物侵入预警系统的实时数据处理方法，包括以下步骤：
8.构建封闭道路现场包含障碍物及野生动物状态的目标检测数据集；
9.封闭道路现场布设视频及热成像一体化云台设备，得到热成像图片数据，并通过热成像图片数据实现对野生动物的位置定位，然后调用云台摄像机调焦对野生动物进行精准抓拍清晰摄像机图片并进行预处理；
10.预处理后的热成像图片数据和摄像机图片输送至嵌入式平台处理器，对热成像图片数据进行处理分析，判断是否有野生动物，对摄像机图片在搭载的目标检测网络yolov4进行特征提取、特征融合及输出，得到野生动物的种类。
11.可选的，目标检测数据集的构建方法包括：
12.通过视频及热成像一体化云台设备在封闭道路现场进行实地采集障碍物及野生动物状态；
13.在互联网上筛选出与封闭道路现场相同野生动物热成像图片和摄像机图片拍摄角度的野生动物热成像图片和摄像机图片，对封闭道路现场进行模拟。
14.可选的，在安置障碍物的废弃封闭道路现场进行模拟采集障碍物及野生动物状态；
15.互联网筛选野生动物热成像图片和摄像机图片通过图片处理方式将现场图片与
障碍物图片进行组合。
16.可选的，热成像图片和摄像机图片包括：
17.嵌入式平台处理器控制视频及热成像一体化云台设备工作，视频及热成像一体化云台设备在预设巡航模式下寻找热源，发现热源后采集到热成像图片，并控制摄像头对热源位置进行调焦，精准抓拍清晰摄像机图片，得到摄像机图像；
18.视频及热成像一体化云台设备接收到热成像图片和摄像机图片，与目标检测数据集进行比对筛选出障碍物，通过前后帧热成像图像对比找到移动的物体；
19.对移动的物体图像进行灰度化处理，计算物体图像与周边环境图像的灰度值，选取出超出灰度值阈值的物体图像，物体图像即为野生动物的图像；
20.野生动物的热成像图像依此进行滤波及二值化处理，提取得到包含野生动物大小及位置的热成像图像。
21.可选的，对移动的物体图像进行灰度化处理的过程，包括：
22.视频及热成像一体化云台设备将包含移动的物体的热成像图像的颜色分类得到多种颜色值，将颜色值扩展转换为数据，用不同的数据表示不同的颜色范围；
23.并根据数据计算出灰度值，选取出超出灰度值阈值的灰度值，得到数据集合；
24.将数据集合中的灰度值数据进行灰度转换得到包含移动的物体的灰度图，即野生动物。
25.可选的，目标检测网络yolov4，包括：
26.特征提取层，负责利用卷积神经网络去对输入的摄像机图片特征进行多层提取，采用cspdarknet53网络结构；
27.特征融合层，负责利用空间金字塔池化结构spp和多尺度特征注意力金字塔结构pan实现对特征提取层的提取特征进行融合；
28.输出层，负责将特征融合层融合后的特征进行变尺度，用于对最后物体检测种类及物体检测框的位置信息进行输出，并且输出三个尺度的特征，分别用于去检测小物体、中型物体与大型物体。
29.可选的，其中空间金字塔池化结构spp用于对局部特征和全局特征进行融合；多尺度特征注意力金字塔结构pan用于浅层特征与深层特征的融合。
30.可选的，目标检测网络yolov4的训练方法包括：
31.从待训练的目标检测数据集的中收集原目标检测数据集一个子集，利用样本数据进行训练，直到收敛，设置阈值得出稀疏连接表，利用稀疏连接表对原目标检测数据集进行计算；
32.获取待进行深度学习的目标检测网络yolov4的拓扑排序信息，拓扑排序信息负责特征提取层、特征融合层和输出层以及之间的数据传输关系；
33.根据特征提取层的提取特征和目标检测网络yolov4的输入目标检测数据，确定特征提取层的输出数据的第一数据量，并根据第一数据量确定特征提取层超参数；
34.根据特征融合层的计算特征和特征提取层的输出数据，确定根据特征融合层的输出数据的第二数据量；并根据第二数据量、计算特征和特征提取层超参数，确定特征融合层的融合模式和超参数；
35.根据特征融合层的融合模式，以及特征提取层和特征融合层的超参数，更改目标
检测网络yolov4的初始超参数，得到优化后超参数的目标检测网络yolov4。
36.可选的，优化后超参数的目标检测网络yolov4部署到嵌入式平台处理器的过程为：
37.通过在线转换工具将目标检测网络yolov4的深度学习模型转换成嵌入式平台处理器所支持的模型格式；
38.当目标检测网络yolov4的热成像图像通过接口传输到嵌入式平台处理器的计算模块后，进行解码以及预处理就能输入到嵌入式平台处理器的模型中进行推理；
39.将嵌入式平台处理器的模型结构和权重通过格式化输出成十六进制的数据，保存在.h文件中，通过编译直接嵌入到嵌入式平台处理器的程序中。
40.本发明提供的一种野生动物侵入预警系统，包括：视频及热成像一体化云台设备、嵌入式平台处理器、目标检测网络yolov4；
41.嵌入式平台处理器上嵌入目标检测网络yolov4，嵌入式平台处理器通过无线设备与视频及热成像一体化云台设备连接；嵌入式平台处理器与服务器连接；
42.视频及热成像一体化云台设备包括可见光相机和热成像仪，云台上安装有摄像头；
43.无线设备包括发射天线和接收天线，发射天线安装在视频及热成像一体化云台设备上，接收天线安装在嵌入式平台处理器。
44.本发明的首先构建封闭道路现场包含障碍物及野生动物状态的目标检测数据集；其次封闭道路现场布设视频及热成像一体化云台设备，得到热成像图像并进行预处理；最后预处理后的热成像图像输送至嵌入式平台处理器，搭载的目标检测网络yolov4进行特征提取、特征融合及输出，得到野生动物的种类；本实施例构建的目标检测数据集解决了目前缺少专门针对封闭道路现场的专用数据集，弥补了此项空白，封闭道路现场包含铁路及公路等，通过在现有公开的数据集(voc和coco等)的基础上筛选得到适合封闭道路现场的障碍去的种类，在此基础上增加封闭道路现场的图片作为负本降低误检率，使得与真实的封闭道路现场贴合，构建出一个符合封闭道路现场的目标检测数据集；封闭道路现场布设视频及热成像一体化云台设备，实现了对野生动物的精准的检测，能够更加精确的发生野生动物的位置信息；目标检测网络yolov4采用网络剪枝的方案实现对一些缩放因子趋于0的bn层进行裁剪，保证目标检测网络yolov4在使用较少资源的前提下保证检测的精度，并能够保证嵌入式平台处理器的稳定运行；
45.本发明完成了侵入特殊封闭道路数据集的建立，增加特殊封闭道路现场图片数据与小目标数据，使网络学习的数据更加贴近真实场景；训练出可以适用于特殊封闭道路现场能识别多种障碍物的目标检测网络yolov4，保证其能对现场障碍物实现精准检测；完成视频及热成像一体化云台设备的热源检测方法，尽量使其能自动适用于在各种环境下将与环境温度相差较大的热源进行提取，并联动一体化云台的可见光相机进行调焦后精准抓拍的摄像机图片的检测；搭建好嵌入式平台处理器的目标检测网络的运行环境保证嵌入式设备能够在现场长时间稳定运行。
46.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
47.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
48.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
49.图1为本发明实施例1中基于野生动物侵入预警系统的实时数据处理方法流程图；
50.图2为本发明实施例2中目标检测数据集的构建方法流程图；
51.图3为本发明实施例3中视频及热成像一体化云台设备拍摄的原图；
52.图4为本发明实施例3中原始灰度图；
53.图5为本发明实施例3中滤波图；
54.图6为本发明实施例3中二值化图；
55.图7为本发明实施例4中对移动的物体图像进行灰度化处理的过程图；
56.图8为本发明实施例5中目标检测网络yolov4的框图；
57.图9为本发明实施例6中目标检测网络yolov4的训练方法流程图；
58.图10为本发明实施例7中目标检测网络yolov4部署到嵌入式平台处理器流程图。
具体实施方式
59.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
60.在本技术实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术实施例。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
61.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。在本技术的描述中，需要理解的是，术语“第一”、“第二”、等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
62.实施例1
63.如图1所示，本发明实施例提供了一种基于野生动物侵入预警系统的实时数据处理方法，包括以下步骤：
64.s100：构建封闭道路现场包含障碍物及野生动物状态的目标检测数据集；
65.s200：封闭道路现场布设视频及热成像一体化云台设备，得到热成像图片数据，并通过热成像图片数据实现对野生动物的位置定位，然后调用云台摄像机调焦对野生动物进行精准抓拍清晰摄像机图片并进行预处理；
66.s300：预处理后的热成像图片数据和摄像机图片输送至嵌入式平台处理器，对热成像图片数据进行处理分析，判断是否有野生动物，对摄像机图片在搭载的目标检测网络yolov4进行特征提取、特征融合及输出，得到野生动物的种类。
67.上述技术方案的工作原理和有益效果为：上述方案首先构建封闭道路现场包含障碍物及野生动物状态的目标检测数据集；其次封闭道路现场布设视频及热成像一体化云台设备，得到热成像图片数据，并通过热成像图片数据实现对野生动物的位置定位，然后调用云台摄像机调焦对野生动物进行精准抓拍清晰摄像机图片并进行预处理；最后预处理后的热成像图片数据和摄像机图片输送至嵌入式平台处理器，对热成像图片数据进行处理分析，判断是否有野生动物，对摄像机图片在搭载的目标检测网络yolov4进行特征提取、特征融合及输出，得到野生动物的种类；本实施例根据热成像图片，一体化云台设备可以定位到野生动物的位置，然后一体化云台设备调取摄像机调焦，至能够看清野生动物，然后精准拍照，形成摄像头图片，然后摄像头图片再通过yolov4深度学习算法再进行识别一次；
68.构建的目标检测数据集解决了目前缺少专门针对封闭道路现场的专用数据集，弥补了此项空白，封闭道路现场包含铁路及公路等，通过在现有公开的数据集(voc和coco等)的基础上筛选得到适合封闭道路现场的障碍去的种类，在此基础上增加封闭道路现场的图片作为负本降低误检率，使得与真实的封闭道路现场贴合，构建出一个符合封闭道路现场的目标检测数据集；封闭道路现场布设视频及热成像一体化云台设备，实现了对野生动物的精准的检测，能够更加精确的发生野生动物的位置信息；目标检测网络yolov4采用网络剪枝的方案实现对一些缩放因子趋于0的bn层进行裁剪，保证目标检测网络yolov4在使用较少资源的前提下保证检测的精度，并能够保证嵌入式平台处理器的稳定运行；
69.本实施例本发明完成了侵入特殊封闭道路数据集的建立，增加特殊封闭道路现场图片数据与小目标数据，使网络学习的数据更加贴近真实场景；训练出可以适用于特殊封闭道路现场能识别多种障碍物的目标检测网络yolov4，保证其能对现场障碍物实现精准检测；完成视频及热成像一体化云台设备的热源检测方法，尽量使其能自动适用于在各种环境下将与环境温度相差较大的热源进行提取，并联动一体化云台的可见光相机进行调焦后精准抓拍的摄像机图片的检测；搭建好嵌入式平台处理器的目标检测网络的运行环境保证嵌入式设备能够在现场长时间稳定运行。
70.实施例2
71.在实施例1的基础上，本发明实施例提供的目标检测数据集的构建方法包括：
72.通过视频及热成像一体化云台设备在封闭道路现场进行实地采集障碍物及野生动物状态；在安置障碍物的废弃封闭道路现场进行模拟采集障碍物及野生动物状态；
73.在互联网上筛选出与封闭道路现场相同野生动物热成像图片和摄像机图片拍摄角度的野生动物热成像图片和摄像机图片，对封闭道路现场进行模拟；互联网筛选野生动物热成像图片和摄像机图片通过ps等图片处理方式将现场图片与障碍物图片进行组合。
74.上述技术方案的工作原理和有益效果为：上述方案目标检测数据集的构建方法包含现场采集、模拟采集及互联网筛选的方式，实现了目标检测数据集的丰富补充，提高了现场检测的准确率；另外对于常见野生动物的数据集在各种开源数据集中找到，本实施例主要三种手段来收集数据，扩充目标检测数据集，通过对大量的数据的学习，使本发明能够适用于各种状态下的野生动物的准确检测；构建出符合的特殊封闭道路现场目标检测数据集供给后期神经网络进行学习，目标检测数据集使得深度学习网络的检测效果俱佳，构建出更符合现场角度拍摄出的野生动物状态的数据集。
75.实施例3
76.如图2所示，在实施例1的基础上，本发明实施例提供的热成像图片和摄像机图片包括：
77.s201：嵌入式平台处理器控制视频及热成像一体化云台设备工作，视频及热成像一体化云台设备在预设巡航模式下寻找热源，发现热源后采集到热成像图片，并控制摄像头对热源位置进行调焦，精准抓拍清晰摄像机图片，得到摄像机图像；
78.s202：视频及热成像一体化云台设备接收到热成像图片和摄像机图片，与目标检测数据集进行比对筛选出障碍物，通过前后帧热成像图像对比找到移动的物体；
79.s203：对移动的物体图像进行灰度化处理，计算物体图像与周边环境图像的灰度值，选取出超出灰度值阈值的物体图像，物体图像即为野生动物的图像；
80.s204：野生动物的热成像图像依此进行滤波及二值化处理，提取得到包含野生动物大小及位置的热成像图像。
81.上述技术方案的工作原理和有益效果为：上述方案首先嵌入式平台处理器控制视频及热成像一体化云台设备工作，视频及热成像一体化云台设备在预设巡航模式下寻找热源，发现热源后控制摄像头对热源位置进行拍照，得到热成像图像；其次视频及热成像一体化云台设备接收到热成像图片和摄像机图片，与目标检测数据集进行比对筛选出障碍物，通过前后帧热成像图像对比找到移动的物体；然后对移动的物体图像进行灰度化处理，计算物体图像与周边环境图像的灰度值，选取出超出灰度值阈值的物体图像，物体图像即为野生动物的图像；最后野生动物的热成像图像依此进行滤波及二值化处理，提取得到包含野生动物大小及位置的热成像图像(如图3-图6所示)；本实施例通过可见光相机按照模式设定进行巡航，实现了自动化的寻找热源，省去了人工操作的繁琐，提升了侵入预警的智能化水平；将热成像图像与目标检测数据集对照，将障碍去筛除，找到移动的物体，便于降低误报率，减少障碍物的干扰；通过灰度值的处理将野生动物与周边环境区分开来，能够准确的区分出移动的野生动物，再次进行滤波及二值化处理，热成像图像的背景进行去除，得到了野生动物的大小，通过可见光相机的巡航也能得到野生动物存在的位置。
82.实施例4
83.如图7所示，在实施例3的基础上，本发明实施例提供的对移动的物体图像进行灰度化处理的过程，包括：
84.s2031：视频及热成像一体化云台设备将包含移动的物体的热成像图像的颜色分类得到多种颜色值，将颜色值扩展转换为数据，用不同的数据表示不同的颜色范围；
85.s2032：并根据数据计算出灰度值，选取出超出灰度值阈值的灰度值，得到数据集合；
86.s2033：将数据集合中的灰度值数据进行灰度转换得到包含移动的物体的灰度图，即野生动物。
87.上述技术方案的工作原理和有益效果为：上述方案首先视频及热成像一体化云台设备将包含移动的物体的热成像图像的颜色分类得到多种颜色值，将颜色值扩展转换为数据，用不同的数据表示不同的颜色范围；其次并根据数据计算出灰度值，选取出超出灰度值阈值的灰度值，得到数据集合；最后将数据集合中的灰度值数据进行灰度转换得到包含移动的物体的灰度图，即野生动物；本实施例通过将热成像图像计算灰度值，并于预设的阈值对比，将移动的物体与周边环境进行区分，超过阈值即为与周边环境差别较大的灰度值，此
灰度值为移动的物体的灰度值，提高了移动的物体的识别精度，降低了周边环境的影响。
88.实施例5
89.如图8所示，在实施例1的基础上，本发明实施例提供的目标检测网络yolov4，包括：
90.特征提取层，负责利用卷积神经网络去对输入的摄像机图片特征进行多层提取，主要采用cspdarknet53网络结构；
91.特征融合层，负责利用空间金字塔池化结构spp和多尺度特征注意力金字塔结构pan实现对特征提取层的提取特征进行融合，其中空间金字塔池化结构spp用于对局部特征和全局特征进行融合；多尺度特征注意力金字塔结构pan用于浅层特征与深层特征的融合；
92.输出层，负责将特征融合层融合后的特征进行变尺度，用于对最后物体检测种类及物体检测框的位置信息进行输出，并且输出三个尺度的特征，分别用于去检测小物体、中型物体与大型物体。
93.上述技术方案的工作原理和有益效果为：上述方案首先特征提取层负责利用卷积神经网络去对输入的摄像机图片特征进行多层提取，主要采用cspdarknet53网络结构；特征融合层负责利用空间金字塔池化结构spp和多尺度特征注意力金字塔结构pan实现对特征提取层的提取特征进行融合，其中空间金字塔池化结构spp用于对局部特征和全局特征进行融合；多尺度特征注意力金字塔结构pan用于浅层特征与深层特征的融合；输出层负责将特征融合层融合后的特征进行变尺度，用于对最后物体检测种类及物体检测框的位置信息进行输出，并且输出三个尺度的特征，分别用于去检测小物体、中型物体与大型物体；特征提取层实现对热成像图像所有的特征信息进行提取，特征融合层实现了局部特征和全局特征融合，浅层特征与深层特征的融合；输出层输出三个尺度的特征，分别用于去检测小物体、中型物体与大型物体；采用由特征提取层、特征融合层和输出层组成的目标检测网络yolov4对热成像图像的实时性处理更高，检测效率更高。
94.实施例6
95.如图9所示，在实施例1的基础上，本发明实施例提供的目标检测网络yolov4的训练方法包括：
96.s301：从待训练的目标检测数据集的中收集原目标检测数据集一个子集，利用样本数据进行训练，直到收敛，设置阈值得出稀疏连接表，利用稀疏连接表对原目标检测数据集进行计算；
97.s302：获取待进行深度学习的目标检测网络yolov4的拓扑排序信息，拓扑排序信息负责特征提取层、特征融合层和输出层以及之间的数据传输关系；
98.s303：根据特征提取层的提取特征和目标检测网络yolov4的输入目标检测数据，确定特征提取层的输出数据的第一数据量，并根据第一数据量确定特征提取层超参数；
99.s304：根据特征融合层的计算特征和特征提取层的输出数据，确定根据特征融合层的输出数据的第二数据量；并根据第二数据量、计算特征和特征提取层超参数，确定特征融合层的融合模式和超参数；
100.s305：根据特征融合层的融合模式，以及特征提取层和特征融合层的超参数，更改目标检测网络yolov4的初始超参数，得到优化后超参数的目标检测网络yolov4。
101.上述技术方案的工作原理和有益效果为：上述方案首先从待训练的目标检测数据
集的中收集原目标检测数据集一个子集，利用样本数据进行训练，直到收敛，设置阈值得出稀疏连接表，利用稀疏连接表对原目标检测数据集进行计算；其次获取待进行深度学习的目标检测网络yolov4的拓扑排序信息，拓扑排序信息负责特征提取层、特征融合层和输出层以及之间的数据传输关系；再次根据特征提取层的提取特征和目标检测网络yolov4的输入目标检测数据，确定特征提取层的输出数据的第一数据量，并根据第一数据量确定特征提取层超参数；然后根据特征融合层的计算特征和特征提取层的输出数据，确定根据特征融合层的输出数据的第二数据量；并根据第二数据量、计算特征和特征提取层超参数，确定特征融合层的融合模式和超参数；最后根据特征融合层的融合模式，以及特征提取层和特征融合层的超参数，更改目标检测网络yolov4的初始超参数，得到优化后超参数的目标检测网络yolov4；本实施例的超参数包含锚点anchor大小，学习率、重叠率iou阈值和迭代次数等；在建立好完整并且全面的目标检测数据集后便可交给目标检测的深度学习网络进行学习，在学习过程中不断优化锚点anchor大小，学习率、重叠率iou阈值和迭代次数等超参数，并且尝试去修改目标检测网络yolov4的结构，寻找到适合当前封闭道路现场下最好的超参数，能够在当前封闭道路现场下得到最好的检测效果；对于训练好的标检测网络yolov4一方面需要利用现场场景下的数据进行验证，防止对于现场的物体产生误检，另一方面利用现场有野生动物的数据或类似数据区进行验证避免漏检；采用深度学习网络算法，可以自己学习图像中感兴趣物体的有用特征，并给出识别结果，具有较强的表达能力，对环境变化和噪声的抗干扰能力也更强。
102.实施例7
103.如图10所示，在实施例6的基础上，本发明实施例提供的优化后超参数的目标检测网络yolov4部署到嵌入式平台处理器的过程为：
104.s3051：通过在线转换工具将目标检测网络yolov4的深度学习模型转换成嵌入式平台处理器所支持的模型格式；
105.s3052：当目标检测网络yolov4的热成像图像通过接口传输到嵌入式平台处理器的计算模块后，进行解码以及预处理就能输入到嵌入式平台处理器的模型中进行推理；
106.s3053：将嵌入式平台处理器的模型结构和权重通过格式化输出成十六进制的数据，保存在.h文件中，通过编译直接嵌入到嵌入式平台处理器的程序中。
107.上述技术方案的工作原理和有益效果为：上述方案首先通过在线转换工具将目标检测网络yolov4的深度学习模型转换成嵌入式平台处理器所支持的模型格式；其次当目标检测网络yolov4的热成像图像通过接口传输到嵌入式平台处理器的计算模块后，进行解码以及预处理就能输入到嵌入式平台处理器的模型中进行推理；最后将嵌入式平台处理器的模型结构和权重通过格式化输出成十六进制的数据，保存在.h文件中，通过编译直接嵌入到嵌入式平台处理器的程序中；本发明实施例对于训练的目标检测神经网络需要添加负样本去降低其误检率，可以将经常出现的环境和物体作为负样本进行训练，针对具体的使用现场去完善目标检测数据集，由于特殊封闭道路现场需要较高的准确率和较低的误检率，一方面可以通过去完善特殊封边道路现场数据集去提高检测效果，另一方面可以通过去不断优化网络参数使得训练用的超参数更加适合特殊封闭道路现场环境；为了减轻网络和服务器的负担，得益于嵌入式平台处理器的平台具有低功耗，低成本的优点，通过将训练好的深度学习模型部署到现场的嵌入式平台处理器的平台上，从而使视频及热成像一体化云台
设备的视频数据能够在现场得到第一时间的监测分析，并且不需要持续的高码率视频流远程传入远端室内服务器，因此可以大大节约带宽资源并且加快系统监测分析的响应速度；本实施例的深度学习是一个可以去不断优化的算法，发生漏检和误检的场景即为当前算法所缺失的方面，而这些数据又可以成为下一步优化算法的宝贵资源，因此对于现场检测数据的保存与后期网络的维护也是需要考虑的一个重要方面；可以在训练目标检测网络yolov4的结构确定的基础上去搭建一个操作方便的算法维护平台，定期去对更多新场景下的异物检测数据进行迁移学习也有着重要意义。
108.实施例8
109.在实施例1-实施例9的基础上，本发明实施例提供的野生动物侵入预警系统包括：视频及热成像一体化云台设备、嵌入式平台处理器、目标检测网络yolov4；
110.嵌入式平台处理器上嵌入目标检测网络yolov4，嵌入式平台处理器通过无线设备与视频及热成像一体化云台设备连接；嵌入式平台处理器与服务器连接；
111.视频及热成像一体化云台设备包括可见光相机和热成像仪，云台上安装有摄像头。
112.上述技术方案的工作原理和有益效果为：上述方案视频及热成像一体化云台设备得到热成像图像并进行预处理；预处理后的热成像图像输送至嵌入式平台处理器，搭载的目标检测网络yolov4进行特征提取、特征融合及输出，得到野生动物的种类；通过可见光相机能够实现对特殊封闭道路侵限障碍物的检测，以热成像仪实现对特殊封闭道路沿线生物类障碍物进行定位，可见光相机进行追踪，实现对野生动物的检测；并且在原有数据集的基础上增加现场环境的图片对检测网络进行优化，可以有效避免在真实使用过程中发生误检的情况；服务器实现对视频及热成像一体化云台设备采集的视频的检测，提高数据检测及传输的效率，从而实现对侵入野生动物的实时检测。
113.实施例9
114.在实施例8的基础上，本发明实施例提供的无线设备包括发射天线和接收天线，发射天线安装在视频及热成像一体化云台设备上，接收天线安装在嵌入式平台处理器上，发射天线、接收天线及无线通信信道散射体分布在一个椭圆形的区域内，椭圆形的参数：
[0115][0116][0117]
其中，c表示光速，∈表示无线通信信道的最大延时，d表示发射天线和接收天线的距离；e表示椭圆的长轴，f表示椭圆的短轴；
[0118]
无线通信信道散射体放置位置的半径和角度分别为：
[0119][0120][0121]
其中，f(r)表示无线通信信道散射体放置位置的半径r的函数，r表示无线通信信
道散射体均匀放置的圆的半径，f(θ)表示无线通信信道散射体放置位置的角度θ的函数。
[0122]
上述技术方案的工作原理和有益效果为：上述方案无线设备包括发射天线和接收天线，发射天线安装在视频及热成像一体化云台设备上，接收天线安装在嵌入式平台处理器上，发射天线、接收天线及无线通信信道散射体分布在一个椭圆形的区域内，通过计算得到了无线通信信道散射体分布的半径和角度，保证了视频及热成像一体化云台设备与嵌入式平台处理器的通信畅通，保证了视频及热成像一体化云台设备的信息数据的传输精度，由于封闭道路环境复杂，影响通信质量的因素较多，为了实现无线通信信道散射体的均匀分布在椭圆内，先将无线通信信道散射体均匀放在一个半径为r的圆内，再根据椭圆的长轴和短轴缩放，通过合理的布设无线通信信道散射体，较好的解决了此问题。
[0123]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种基于野生动物侵入预警系统的实时数据处理方法，其特征在于，包括以下步骤：构建封闭道路现场包含障碍物及野生动物状态的目标检测数据集；封闭道路现场布设视频及热成像一体化云台设备，得到热成像图片数据，并通过热成像图片数据实现对野生动物的位置定位，然后调用云台摄像机调焦对野生动物进行精准抓拍清晰摄像机图片并进行预处理；预处理后的热成像图片数据和摄像机图片输送至嵌入式平台处理器，对热成像图片数据进行处理分析，判断是否有野生动物，对摄像机图片在搭载的目标检测网络yolov4进行特征提取、特征融合及输出，得到野生动物的种类。2.如权利要求1所述的基于野生动物侵入预警系统的实时数据处理方法，其特征在于，目标检测数据集的构建方法包括：通过视频及热成像一体化云台设备在封闭道路现场进行实地采集障碍物及野生动物状态；在互联网上筛选出与封闭道路现场相同拍摄角度的野生动物热成像图片和摄像机图片，对封闭道路现场进行模拟。3.如权利要求2所述的基于野生动物侵入预警系统的实时数据处理方法，其特征在于，在安置障碍物的废弃封闭道路现场进行模拟采集障碍物及野生动物状态；互联网筛选野生动物热成像图片和摄像机图片通过图片处理方式将现场图片与障碍物图片进行组合。4.如权利要求1所述的基于野生动物侵入预警系统的实时数据处理方法，其特征在于，热成像图片和摄像机图片的处理过程包括：嵌入式平台处理器控制视频及热成像一体化云台设备工作，视频及热成像一体化云台设备在预设巡航模式下寻找热源，发现热源后采集到热成像图片，并控制摄像头对热源位置进行调焦，精准抓拍清晰摄像机图片，得到摄像机图像；视频及热成像一体化云台设备接收到热成像图片和摄像机图片和摄像机图片，与目标检测数据集进行比对筛选出障碍物，通过前后帧热成像图像对比找到移动的物体；对移动的物体图像进行灰度化处理，计算物体图像与周边环境图像的灰度值，选取出超出灰度值阈值的物体图像，物体图像即为野生动物的图像；野生动物的热成像图像依此进行滤波及二值化处理，提取得到包含野生动物大小及位置的热成像图像。5.如权利要求4所述的基于野生动物侵入预警系统的实时数据处理方法，其特征在于，对移动的物体图像进行灰度化处理的过程，包括：视频及热成像一体化云台设备将包含移动的物体的热成像图像的颜色分类得到多种颜色值，将颜色值扩展转换为数据，用不同的数据表示不同的颜色范围；并根据数据计算出灰度值，选取出超出灰度值阈值的灰度值，得到数据集合；将数据集合中的灰度值数据进行灰度转换得到包含移动的物体的灰度图，即野生动物。6.如权利要求1所述的基于野生动物侵入预警系统的实时数据处理方法，其特征在于，目标检测网络yolov4，包括：特征提取层，负责利用卷积神经网络去对输入的摄像机图片特征进行多层提取，采用
cspdarknet53网络结构；特征融合层，负责利用空间金字塔池化结构spp和多尺度特征注意力金字塔结构pan实现对特征提取层的提取特征进行融合；输出层，负责将特征融合层融合后的特征进行变尺度，用于对最后物体检测种类及物体检测框的位置信息进行输出，并且输出三个尺度的特征，分别用于去检测小物体、中型物体与大型物体。7.如权利要求6所述的基于野生动物侵入预警系统的实时数据处理方法，其特征在于，其中空间金字塔池化结构spp用于对局部特征和全局特征进行融合；多尺度特征注意力金字塔结构pan用于浅层特征与深层特征的融合。8.如权利要求1所述的基于野生动物侵入预警系统的实时数据处理方法，其特征在于，目标检测网络yolov4的训练方法包括：从待训练的目标检测数据集的中收集原目标检测数据集一个子集，利用样本数据进行训练，直到收敛，设置阈值得出稀疏连接表，利用稀疏连接表对原目标检测数据集进行计算；获取待进行深度学习的目标检测网络yolov4的拓扑排序信息，拓扑排序信息负责特征提取层、特征融合层和输出层以及之间的数据传输关系；根据特征提取层的提取特征和目标检测网络yolov4的输入目标检测数据，确定特征提取层的输出数据的第一数据量，并根据第一数据量确定特征提取层超参数；根据特征融合层的计算特征和特征提取层的输出数据，确定根据特征融合层的输出数据的第二数据量；并根据第二数据量、计算特征和特征提取层超参数，确定特征融合层的融合模式和超参数；根据特征融合层的融合模式，以及特征提取层和特征融合层的超参数，更改目标检测网络yolov4的初始超参数，得到优化后超参数的目标检测网络yolov4。9.如权利要求8所述的基于野生动物侵入预警系统的实时数据处理方法，其特征在于，优化后超参数的目标检测网络yolov4部署到嵌入式平台处理器的过程为：通过在线转换工具将目标检测网络yolov4的深度学习模型转换成嵌入式平台处理器所支持的模型格式；当目标检测网络yolov4的热成像图像通过接口传输到嵌入式平台处理器的计算模块后，进行解码以及预处理就能输入到嵌入式平台处理器的模型中进行推理；将嵌入式平台处理器的模型结构和权重通过格式化输出成十六进制的数据，保存在.h文件中，通过编译直接嵌入到嵌入式平台处理器的程序中。10.一种野生动物侵入预警系统，其特征在于，包括：视频及热成像一体化云台设备、嵌入式平台处理器、目标检测网络yolov4；嵌入式平台处理器上嵌入目标检测网络yolov4，嵌入式平台处理器通过无线设备与视频及热成像一体化云台设备连接；嵌入式平台处理器与服务器连接；视频及热成像一体化云台设备包括可见光相机和热成像仪，云台上安装有摄像头；无线设备包括发射天线和接收天线，发射天线安装在视频及热成像一体化云台设备上，接收天线安装在嵌入式平台处理器。

技术总结
本发明提供了一种基于野生动物侵入预警系统的实时数据处理方法，方法包括：构建封闭道路现场包含障碍物及野生动物状态的目标检测数据集；封闭道路现场布设视频及热成像一体化云台设备，得到热成像图片，并通过热成像图片数据实现对野生动物的位置定位，然后调用云台摄像机调焦对野生动物进行精准抓拍清晰摄像机图片并进行预处理；预处理后的热成像图片数据和摄像机图片输送至嵌入式平台处理器，对热成像图片数据进行处理分析，判断是否有野生动物，对摄像机图片在搭载的目标检测网络YOLOV4进行特征提取、特征融合及输出，得到野生动物的种类。本发明保证对现场障碍物实现精准检测；搭建运行环境保证嵌入式设备在现场长时间稳定运行。时间稳定运行。时间稳定运行。


技术研发人员：杨历润 李庆 姜韬 陈湘才 郭修杰 陆晓 冯春柏 张志永 张家新 陈定兵 孙凯
受保护的技术使用者：昆明卓润科技有限公司
技术研发日：2023.02.22
技术公布日：2023/6/4