一种行车障碍物检测装置

一种行车障碍物检测装置
1.本技术要求于2022年1月17日提交中国专利局、申请号为202220115564.x、发明名称为“一种行车障碍物检测装置”的中国专利申请的优先权，其全部内容通过引用结合在本技术中。
技术领域
2.本技术涉及图像检测技术领域，更具体地说，涉及一种行车障碍物检测装置。


背景技术：

3.目前采用多个摄像机分别监控各个位置，会由于监控区域的不一致，导致整体监控视野中的动态目标具有不连续性，极易造成检测目标的丢失。另外传统的监控技术采用多个摄像头和显示器分割技术，占用了大量的监控资源，造成巨大的经济、人员成本的浪费。如何提高行车障碍物检测的准确性，并且降低检测成本，成为本领域技术人员亟待解决的技术问题之一。


技术实现要素：

4.有鉴于此，本技术实施例提供一种行车障碍物检测装置，以提高行车障碍物检测的准确性，并且降低检测成本。
5.为了实现上述目的，本技术实施例提供如下技术方案：
6.一种行车障碍物检测装置，包括：
7.用于获取实时路况视频流的视频采集模块，用于对所述实时路况视频流数据进行融合处理得到融合图像的图像融合模块，和，用于对所述融合图像进行检测识别得到目标障碍物的目标检测识别模块；
8.其中，所述视频采集模块与所述图像融合模块连接，所述图像融合模块与所述目标检测识别模块连接。
9.优选的，上述行车障碍物检测装置中，所述视频采集模块包括多个摄像头和格式转换单元；所述多个摄像头与所述格式转换单元连接；
10.所述多个摄像头，用于获取实时路况数据；
11.所述格式转换单元，用于对所述实时路况数据进行格式转换得到实时路况视频流，并将所述实时路况视频流发送给所述图像融合模块。
12.优选的，上述行车障碍物检测装置中，所述视频采集模块包括多个摄像头，格式转换单元和缓存单元；所述多个摄像头与所述格式转换单元连接，所述格式转换单元与所述缓存单元连接；
13.所述多个摄像头，用于获取实时路况数据；
14.所述格式转换单元，用于对所述实时路况数据进行格式转换得到实时路况视频流，并将所述实时路况视频流发送给所述缓存单元；
15.所述缓存单元，用于存储所述实时路况视频流，并将所述实时路况视频流发送给
所述图像融合模块。
16.优选的，上述行车障碍物检测装置中，所述图像融合模块包括图像预处理单元，图像配准单元以及融合拼接单元；所述图像预处理单元与所述图像配准单元连接，所述图像配准单元与所述融合拼接单元连接；
17.所述图像预处理单元，用于消除所述实时路况视频流中的噪声得到待配准数据；
18.所述图像配准单元，用于提取所述待配准数据中多幅图像的特征，并对所述特征进行匹配得到图像匹配数据，将所述图像匹配数据的图像坐标系转换到参考图像的坐标系下，以得到待融合图像，所述多幅图像为同一时刻下的不同图像；
19.所述融合拼接单元，用于对所述待融合图像进行图像合并得到所述融合图像。
20.优选的，上述行车障碍物检测装置中，所述融合拼接单元，还用于消除所述融合图像中的拼接缝。
21.优选的，上述行车障碍物检测装置中，所述目标检测识别模块包括mobilenet-ssd网络模型，所述mobilenet-ssd网络模型包括mobilenet和ssd分类器；
22.所述mobilenet，用于提取所述融合图像的深度特征；
23.所述ssd分类器，用于根据所述深度特征对所述融合图像进行识别检测，得到所述目标障碍物。
24.优选的，上述行车障碍物检测装置中，所述视频采集模块与所述图像融合模块之间采用用户数据包协议udp传输方式进行数据传输。
25.基于上述技术方案，本技术实施例提供的行车障碍物检测装置中，用于获取实时路况视频流的视频采集模块，与用于对实时路况视频流进行融合处理得到融合图像的图像融合模块连接，并且该图像融合模块与用于对融合图像进行检测识别得到目标障碍物的目标检测识别模块连接。在进行行车障碍物检测时，由于图像融合模块可以先对视频采集模块获取的实时路况视频流进行融合处理得到融合图像，再将融合图像发送至目标检测识别模块进行识别，因此，可以确保监控视野中的动态目标具有连续性，进而使得检测出的目标障碍物更加准确，提高了行车障碍物检测的准确性。并且无需利用多个显示器分别对多个摄像头获取的视频数据同时进行展示，减小了监控资源的占用，降低了行车障碍物检测的成本。
附图说明
26.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
27.图1为本技术实施例公开的一种行车障碍物检测装置的结构示意图；
28.图2为本技术实施例公开的行车障碍物检测装置中的一种视频采集模块的结构示意图；
29.图3为本技术实施例公开的行车障碍物检测装置中的一种图像融合模块的结构示意图；
30.图4为本技术实施例公开的行车障碍物检测装置中的一种目标检测识别模块的结
构示意图；
31.图5为本技术实施例公开的用户数据包协议udp的一种数据发送流程图；
32.图6为本技术实施例公开的用户数据包协议udp的一种数据接收流程图；
33.图7为本技术实施例公开的行车障碍物检测装置中的一种mobilenet-ssd网络模型的检测流程图；
34.图8为本技术实施例公开的行车障碍物检测装置的一种检测结果。
具体实施方式
35.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
36.请参阅图1，其示出了本技术实施例提供的行车障碍物检测装置的结构示意图，该装置可以包括用于获取实时路况视频流的视频采集模块101、用于对所述实时路况视频流进行融合处理得到融合图像的图像融合模块102以及用于对所述融合图像进行检测识别得到目标障碍物的目标检测识别模块103；
37.其中，视频采集模块101与图像融合模块102连接，图像融合模块102与目标检测识别模块103连接。
38.参见本技术上述实施例公开的技术方案，在进行行车障碍物检测时，由于图像融合模块102可以先对视频采集模块101获取的实时路况视频流进行融合处理得到融合图像，再将融合图像发送至目标检测识别模块103进行识别，因此，可以确保监控视野中的动态目标具有连续性，进而使得检测出的目标障碍物更加准确，提高了行车障碍物检测的准确性。并且无需利用多个显示器分别对多个摄像头获取的视频数据同时进行展示，减小了监控资源的占用，降低了行车障碍物检测的成本。
39.在本技术另外的实施例中，还公开了一种行车障碍物检测装置的具体的结构方式，参见图2，所述视频采集模块101包括多个摄像头201、格式转换单元202；
40.所述多个摄像头201，用于获取实时路况数据；
41.所述格式转换单元202，用于对所述实时路况数据进行格式转换得到实时路况视频流，并将所述实时路况视频流发送给所述图像融合模块102。
42.优选的，所述多个摄像头201可以为4个摄像头。
43.需要特别说明的是，本技术实施例可以基于xilinx公司提供的zynq-7000系列芯片进行开发，利用多个摄像头进行多路高清实时路况采集，得到实时路况数据。在zynq ps端使用vdma实现多缓冲机制，axi vdma是xilinx提供的软核ip，用于将axi stream格式的数据流转换为memory map格式或map格式的数据转换为axi stream数据流，也即实时路况视频流，从而实现与ddr3进行通信。
44.在本技术另外一个实施例公开的技术方案中，所述视频采集模块包括多个摄像头201，格式转换单元202和缓存单元；所述多个摄像头201与所述格式转换单元202连接，所述格式转换单元202与所述缓存单元连接；
45.所述多个摄像头201，用于获取实时路况数据；
46.所述格式转换单元202，用于对所述实时路况数据进行格式转换得到实时路况视频流，并将所述实时路况视频流发送给所述缓存单元；
47.所述缓存单元，用于存储所述实时路况视频流，并将所述实时路况视频流发送给所述图像融合模块102。
48.需要特别说明的是，vdma主要由控制和状态寄存器、数据搬运模块、行缓冲四个部分构成。数据进出ddr要经过行缓冲进行缓存，然后由数据搬运模块写入或者读出数据。数据搬运模块具体如何工作，由相关寄存器负责控制。因此，视频采集模块101可以包括缓存单元，用于对实时路况视频流数据进行存储。
49.在本技术另外一个实施例公开的技术方案中，所述视频采集模块101与所述图像融合模块102之间可以采用用户数据包协议(udp，user datagram protocol)进行数据传输。
50.需要特别说明的是，在本技术实施例中，视频采集模块101与图像融合模块102之间可以采用lwip udp进行数据发送，udp通信无需建立连接，每一个应用程序端绑定ip和端口之后便可以实现读写操作，根据udp的特点而言，它注重的是数据传输的效率而不是可靠性，因此在很多对于实时性要求较高而可靠性要求不是那么高的场景下，如视频、语音传输，多采用udp传输方式。
51.如图5所示，在lwip udp的传输方式中，发送端需要绑定好自己的ip和端口，将获取到的每一帧画面转换为可传输的数据发送到接收端，然后接收端再将数据转换为图片，放到窗口显示，即可实现视频的传输。如图6所示，当发送端向接收端发送数据时便会触发接收端的readyread()信号，上位机接收发送端传来的一帧图片的数据包后，将qbytearray转为.mat格式，并经过后续的视频拼接、目标检测、格式转换形成qimage显示，并通过定时器形成视频流。
52.在本技术另外的实施例中，还公开了一种行车障碍物检测装置的具体的结构方式，参见图3，所述图像融合模块102包括图像预处理单元301，图像配准单元302以及融合拼接单元303；所述图像预处理单元与所述图像配准单元连接，所述图像配准单元与所述融合拼接单元连接；
53.所述图像预处理单元301，用于消除所述实时路况视频流中的噪声得到待配准数据。
54.需要特别说明的是，图像预处理单元301可以通过对实时路况视频流中的噪声进行消除得到待配准数据。由于摄像头拍摄角度或者摄像头距离之间的差异，所以实时路况视频流数据中图像间的参数往往也是不一致的。为了保证配准的精度，一般都是利用平滑滤波等方法对原始图像进行处理，消除光照不一致以及噪声等问题，经图像预处理后能够在一定程度上提高图像配准的精确度。
55.所述图像配准单元302，用于提取所述待配准数据中多幅图像的特征，并对所述特征进行匹配得到图像匹配数据，将所述图像匹配数据的图像坐标系转换到参考图像的坐标系下，以得到待融合图像，所述多幅图像为同一时刻下的不同图像。
56.需要特别说的是，图像配准单元302可以先对待配准数据中的多幅图像进行特征提取，并对该特征进行匹配得到图像匹配数据，最后将图像匹配数据的图像坐标系转换到参考图像的坐标系下得到待融合图像，其中多幅图像为同一时刻下的不同图像。图像匹配
是计算机视觉和虚拟现实领域中一个重要的研究方向，在不同的条件下存在不同的匹配方法。本技术实施例主要采用的方法是基于特征的图像配准方法，基于这种方法首先对待配准数据中的多幅图像进行特征检测，然后再将检测出来的特征进行匹配得到图像匹配数据，这样就建立了多幅图像之间的数学关系，从而使图像间重叠的部分对准。最后再将图像匹配数据的图像坐标系转换到参考图像的坐标系下得到待融合图像。
57.所述融合拼接单元303，用于对所述待融合图像进行图像合并得到所述融合图像。
58.需要特别说明的是，图像合并就是将多张原始图像转换到同一坐标空间，将图像合成一幅大的全景图。在经过图像配准得到待融合图像，并且经过图像配准计算得到图像间的变换模型后，可以根据该变换模型对待融合图像进行图像合并得到融合图像，从而可以确保监控视野中的动态目标具有连续性，进而使得检测出的目标障碍物更加准确，提高了行车障碍物检测的准确性。并且无需利用多个显示器分别对多个摄像头获取的视频数据同时进行展示，减小了监控资源的占用，降低了行车障碍物检测的成本。
59.在本技术另外一个实施例公开的技术方案中，所述融合拼接单元303，还用于消除所述融合图像中的拼接缝。
60.需要特别说明的是，由于图像配准会存在一些无法避免的误差，所求得的最终结果不可能让两幅图像上每一点的配准都十分精准，因此会导致合并后的图像存在遗留变形，或者出现由于图像间亮度差异所产生的拼接缝的现象。消除拼接缝就是去除拼接图像中由于各种原因而产生的拼接缝，使多幅图像真正的融合为一幅图像。
61.在本技术另外的实施例中，还公开了一种行车障碍物检测装置的具体的结构方式，参见图4，所述目标检测识别模块包括mobilenet-ssd网络模型401，所述mobilenet-ssd网络模型401包括mobilenet402和ssd分类器403；
62.所述mobilenet，用于提取所述融合图像的深度特征；
63.所述ssd分类器，用于根据所述深度特征对所述融合图像进行识别检测，得到所述目标障碍物。
64.需要特别说明的是，针对行车过程中的障碍物识别问题，在目标检测识别领域，基于卷积神经网络的目标检测目标以绝对的优势超过了传统的目标检测算法，但由于网络结构复杂、计算量过大，导致其很难在移动端、轻量级、功耗低的嵌入式平台实现实时应用。在深度学习中，特征提取需要由特有的特征提取神经网络来完成，如vgg、mobilenet，resnet等，这些特征提取网络往往被称为backbone。通常来讲在backbone后面接全连接层(fc)来执行分类任务，但fc对目标的位置识别乏力。
65.而如图7所示，在本技术实施例中，ssd是一种one-stage的目标检测框架或者算法，而mobilenet是这种算法所使用的具体的网络结构，用来提取特征。将mobilenet作为ssd算法的基础网络，用于提取深度特征，再结合ssd算法中的目标边框建议策略和边框回归算法，重新构建一个端到端的物体识别检测网络。和fc不同的是，ssd在多个尺度的特征图上分别执行目标检测工作，这样可以使得各个尺度的目标都能被兼顾，小尺度特征图预测大目标，大尺度特征图预测相对较小的目标。此外，mobilenet-ssd共29层，前17层为特征提取网络，剩下12层为ssd提供不同尺度变换的特征图。
66.mobilenet-ssd的网络模型，可以实现目标检测功能，并且适用于移动设备设计的通用计算机视觉神经网络，如车辆车牌检测、行人检测等功能。mobilenet-ssd的网络模型
具有速度快，模型小，效率高等优点，从而使得本技术实施例中提供的行车障碍物检测装置可以对不同类型车辆、行人、路障等目标进行快速识别检测。
67.本技术实施例的行车障碍物检测装置通过对采集的图片数据进行sift特征点检测、特征匹配，并通过最小二乘法和仿射变换计算变换矩阵，最后通过投影变换、图像融合、目标检测算法得到拼接后完整的视频图像，通过mobilenet-ssd模型的目标检测识别算法进行检测，结果如图8所示，可以较为准确地确定出行车过程中出现的障碍物。
68.为了描述的方便，描述以上系统时以功能分为各种模块分别描述。当然，在实施本技术时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
69.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
70.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
71.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
72.还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
73.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种行车障碍物检测装置，其特征在于，包括：用于获取实时路况视频流的视频采集模块，用于对所述实时路况视频流数据进行融合处理得到融合图像的图像融合模块，和，用于对所述融合图像进行检测识别得到目标障碍物的目标检测识别模块；其中，所述视频采集模块与所述图像融合模块连接，所述图像融合模块与所述目标检测识别模块连接。2.根据权利要求1所述的装置，其特征在于，所述视频采集模块包括多个摄像头和格式转换单元；所述多个摄像头与所述格式转换单元连接；所述多个摄像头，用于获取实时路况数据；所述格式转换单元，用于对所述实时路况数据进行格式转换得到实时路况视频流，并将所述实时路况视频流发送给所述图像融合模块。3.根据权利要求1所述的装置，其特征在于，所述视频采集模块包括多个摄像头，格式转换单元和缓存单元；所述多个摄像头与所述格式转换单元连接，所述格式转换单元与所述缓存单元连接；所述多个摄像头，用于获取实时路况数据；所述格式转换单元，用于对所述实时路况数据进行格式转换得到实时路况视频流，并将所述实时路况视频流发送给所述缓存单元；所述缓存单元，用于存储所述实时路况视频流，并将所述实时路况视频流发送给所述图像融合模块。4.根据权利要求1所述的装置，其特征在于，所述图像融合模块包括图像预处理单元，图像配准单元以及融合拼接单元；所述图像预处理单元与所述图像配准单元连接，所述图像配准单元与所述融合拼接单元连接；所述图像预处理单元，用于消除所述实时路况视频流中的噪声得到待配准数据；所述图像配准单元，用于提取所述待配准数据中多幅图像的特征，并对所述特征进行匹配得到图像匹配数据，将所述图像匹配数据的图像坐标系转换到参考图像的坐标系下，以得到待融合图像，所述多幅图像为同一时刻下的不同图像；所述融合拼接单元，用于对所述待融合图像进行图像合并得到所述融合图像。5.根据权利要求4所述的装置，其特征在于，所述融合拼接单元，还用于消除所述融合图像中的拼接缝。6.根据权利要求1所述的装置，其特征在于，所述目标检测识别模块包括mobilenet-ssd网络模型，所述mobilenet-ssd网络模型包括mobilenet和ssd分类器；所述mobilenet，用于提取所述融合图像的深度特征；所述ssd分类器，用于根据所述深度特征对所述融合图像进行识别检测，得到所述目标障碍物。7.根据权利要求1-6任一项所述的装置，其特征在于，所述视频采集模块与所述图像融合模块之间采用用户数据包协议udp进行数据传输。

技术总结
本申请提供一种行车障碍物检测装置，包括：用于获取实时路况视频流的视频采集模块，用于对实时路况视频流数行融合处理得到融合图像的图像融合模块，用于对融合图像进行检测识别得到目标障碍物的目标检测识别模块；其中，视频采集模块与图像融合模块连接，图像融合模块与目标检测识别模块连接。在进行行车障碍物检测时，由于可以先对视频采集模块获取的实时路况视频流进行融合处理得到融合图像，再将融合图像进行识别，因此，可以确保监控视野中的动态目标具有连续性，进而使得检测出的目标障碍物更加准确，提高了行车障碍物检测的准确性。并且无需利用多个显示器分别对多个摄像头获取的视频数据同时进行展示，降低了行车障碍物检测的成本。碍物检测的成本。碍物检测的成本。


技术研发人员：付彤辉
受保护的技术使用者：中国人民解放军战略支援部队信息工程大学
技术研发日：2022.05.06
技术公布日：2023/7/26