车载双目测距避障系统

1.本发明涉及视觉检测的技术领域，尤其是涉及车载双目测距避障系统。


背景技术：

2.车辆追尾事故是一种最为常见的交通事故，它在给道路带来拥堵出行带来不便的同时还可能会造成大量的财产损失和人员伤亡，为此车辆测距避障预警系统自然而然的成为了智能辅助驾驶领域中的研究热点，也是智能汽车中不可或缺的功能。
3.即便如此，目前车辆避障预警系统仍存在以下问题：1、大多数车辆避障预警系统都是基于视觉的避障预警系统，需先对前方车辆进行精准的识别，然后再根据前方车辆的动态信息加以判断，从而完成避障预警操作。但这就意味着，该系统中车辆检测的精度与快速性将直接影响避障预警的有效性，由于多样的驾驶环境再加上白天、黑夜不同光照等外界因素，使得车辆检测难度加大，不能精准的获取图像中的车辆信息，增加了避障预警的难度。2、虽然一些优秀的机器视觉算法可以达到很高的准确率，但是过于复杂的算法设计使得避障预警系统很难满足实时性。为了满足实时性的要求，需要采用图像处理器(graphicsprocessingunit，gpu)的计算资源来进行计算处理，由于单车计算资源和存储资源有限，无法满足过高的计算需求和存储需求。若在汽车中搭载高性能、高存储的设备价格过于昂贵，无法在所有车辆上大量应用。
4.针对以上问题，本发明旨在提高一种高实时性、低成本、可靠的车载测距避障预警系统。将运动目标检测算法与双目视觉技术相结合在zynq7020上实现该系统，不仅利用运动目标检测算法对目标实时检测，同时利用双目视觉技术对检测到的目标物体进行准确测距以及根据目标信息进行避障预警判断，通过zynq平台，既有fpga并行处理、硬件可扩展的优势，也具有arm开发成熟、接口丰富、控制方便等特点。该系统具有体积小、成本低、功耗小、速度快等优势。


技术实现要素：

5.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本发明的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
6.因此，本发明目的是提供车载双目测距避障系统，能够在zynq平台上实现运动目标检测算法与双目测距技术，对障碍目标进行检测以及目标的距离信息的计算，计算出与目标的相对速度从而做出相应的避障预警操作，提高目标检测和测距的实时性和准确率。
7.为解决上述技术问题，本发明提供车载双目测距避障系统，采用如下的技术方案：包括双目相机，还包括
8.帧差调取模块，利用改进型帧差法调用双目相机进行目标的检测与识别，得到实际场景中目标位置信息，
9.矫正模块，利用双目相机参数对双目相机获取的左、右图像进行矫正，并通过sgm
立体匹配算法得到校正后左、右目标区域图像的视差图，
10.计算模块，利用双目测距公式得到目标与双目相机的距离；最后在输出图像上显示检测到的图像中目标的距离，
11.决策模块，根据目标的距离以及相对速度做出相应决策判断；
12.所述车载双目测距避障系统系统是基于zynq平台实现。
13.可选的，所述改进型帧差法的运动目标检测为采用三帧差分法来进行运动目标检测；并采用canny边缘检测算法来提高运动目标轮廓的完整性。
14.可选的，所述利用改进型帧差法调用双目相机进行目标的检测与识别，得到实际场景中目标位置信息，具体步骤为：
15.首先通过视频获取设备获得实时的视频图像序列，其次按照需要对彩色视频图像进行颜色空间的转换，接着对得到的视频图像序列进行滤波处理和边缘检测来对视频图像进行去噪操作和边缘提取，然后对形态学处理后的视频图像运用帧差法来实现运动目标检测。
16.可选的，所述利用双目相机参数对双目相机获取的左、右图像进行矫正，具体步骤为：
17.首先利用张正友棋盘标记法对输入的左、右棋盘格图像进行单目标定、双目标定，获取双目相机的内外参数；其次利用标定后的参数对输入的左右图像进行双目校正。
18.可选的，所述输入的左右图像进行双目校正的算法是采用bouguet校正算法。
19.可选的，所述zynq平台有可编程逻辑fpga和处理系统两部分组成，fpga所述fpga主要实现图像采集传输和预处理、帧差法、双目立体匹配算法实现、数据格式转换、图像显示、数据传输，处理系统两个armcortex-a9处理器构成，主要控制视频流传输、以及视频流与ddr交互、将其计算值渲染至目标框附近显示。
20.综上所述，本发明包括以下至少一种有益效果：
21.(1)利用帧差法和canny边缘检测算子相结合的方法进行运动目标检测来提高运动目标轮廓的完整性，从而实现了改进的帧差法运动目标检测。
22.(2)为了保障在高速复杂环境下目标信息的距离信息准确以及计算速度快，利用相机标定、双目矫正以及立体特征匹配算法算出不同距离下目标的距离信息。避障判断，根据前方目标距离信息与计算时间得出汽车与障碍物之间的相对速度，根据距离与速度进行相应的的判断操作，从而达到避障作用。
23.(3)通过zynq平台，既有fpga并行处理、硬件可扩展的优势，也具有arm开发成熟、接口丰富、控制方便等特点。该系统具有体积小、成本低、功耗小、速度快等优势。
附图说明
24.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
25.图1为本发明车载双目测距避障系统的流程图；
26.图2为本发明帧差调取模块的原理框图；
27.图3为本发明矫正模块的原理框图。
具体实施方式
28.以下结合附图1-3对本发明作进一步详细说明。
29.实施例一，参照图1，本发明公开车载双目测距避障系统，包括双目相机，还包括
30.帧差调取模块，利用改进型帧差法调用双目相机进行目标的检测与识别，得到实际场景中目标位置信息，
31.具体的，首先通过视频获取设备获得实时的视频图像序列，其次按照需要对彩色视频图像进行颜色空间的转换，接着对得到的视频图像序列进行滤波处理和边缘检测来对视频图像进行去噪操作和边缘提取，然后对形态学处理后的视频图像运用帧差法来实现运动目标检测。首先对现有的运动目标检测方法进行了研究，针对两帧差分法得到的运动目标区域比实际的目标大，造成“重影”现象；在复杂背景下不能够得到运动目标的完整轮廓，导致得到的复杂背景下运动目标检测结果不理想。利用三帧差分法和canny边缘检测算子相结合的方法进行运动目标检测。为了提高视频序列中运动物体检测的准确性，消除“重影”现象采用三帧差分法来进行运动目标检测；canny边缘检测算法来提高运动目标轮廓的完整性，从而实现了改进的帧差法运动目标检测。帧差调取模块原理框图如图2所示。
32.矫正模块，利用双目相机参数对双目相机获取的左、右图像进行矫正，具体步骤为：实际情况中左右相机成像的平面不在同一平面上，且投影点不在同一行的现象，这就会导致后续的测距精度不准确，失去实际意义。为了得到准确的测距信息，就必须消除这种误差，因此选用校正算法是bouguet校正算法进行图像校正；然后利用立体匹配算法对校正后的左右图像进行像素点匹配，输出视差图。相对于bm算法，sgm算法在速度上慢一些，但是准确度高。结合整个系统、应用场景以及开发平台，速度上已经可以达到很高，因此立体匹配算法选择准确度更高的sgm算法；再利用双目测距公式得到目标的距离；最后在规定间隔时间内位移变化量来确定与障碍目标相对速度，从而做出判断。矫正模块的原理框图如图3所示。
33.计算模块，利用双目测距公式得到目标与双目相机的距离；最后在输出图像上显示检测到的图像中目标的距离，
34.双目测距公式为现有技术，双目测距其原理是指利用两个发射点之间的距离夹角公式来求出物体间的距离值。其基本公式可表示为角度将相邻的观察点的距离投射到一个固定的基本线上，那么将计算结果未完全无穷大，在基本线上距离为1，即1＝tanαd/2。
35.这里，tanα是角度α在普通三角函数中的正切值，d表示两个发射端之间的水平距离，借助此公式，可以通过观察两点之间的距离夹角，以及中间的基本线的距离，求出物体两点之间的实际距离。实际方法是利用两个观察端点之间的角度变来测量物体之间的距离，其原理类似于不变的切片和移动的切片的比较，以及某种程度上的投射原理。
36.决策模块，根据目标的距离以及相对速度做出相应决策判断。
37.实施例二，基于与上述实施例一相同的构思，该车载双目测距避障系统基于zynq平台实现，所述zynq平台有可编程逻辑fpga和处理系统两部分组成，fpga所述fpga主要实现图像采集传输和预处理、帧差法、双目立体匹配算法实现、数据格式转换、图像显示、数据传输，处理系统两个arm cortex-a9处理器构成，主要控制视频流传输、以及视频流与ddr交
互、将其计算值渲染至目标框附近显示。
38.如xilinx推出了基于arm+fpga的zynq开发平台，让fpga与arm协同工作让zynq同时具备低功耗与高性能的特点。fpga负责视频流并行算法处理，arm负责系统控制和与ddr交互。同时，使用传统的硬件描述语言如verilog/vhd进行复杂的算法设计难度大、周期长、灵活性差，而且需要设计者具有相关硬件描绘语言的知识，有较高的开发门槛。xilinx推出了高层次综合工具vivadohls，开发者可以用c/c++语言较为方便的设计硬件电路，开发门槛较低，灵活性强，为双目立体视觉系统提供硬件支撑。
39.综上，本发明通过：(1)运动目标检测，可以在汽车驾驶的环境下(高速行驶、复杂环境中)准确的检测出前方的障碍物，并将其从背景中选取出来。在高速行驶的过程中具有快速检测速度，在复杂背景下能够得到运动目标的完整轮廓，得到的运动目标检测结果理想，利用帧差法和canny边缘检测算子相结合的方法进行运动目标检测来提高运动目标轮廓的完整性，从而实现了改进的帧差法运动目标检测。
40.(2)双目测距技术与避障预警判断，在前方障碍目标检测区域的目标计算出距离信息并做出相应的判断。为了保障在高速复杂环境下目标信息的距离信息准确以及计算速度快，利用相机标定、双目矫正以及立体特征匹配算法算出不同距离下目标的距离信息。避障判断，根据前方目标距离信息与计算时间得出汽车与障碍物之间的相对速度，根据距离与速度进行相应的的判断操作，从而达到避障作用。
41.(3)基于zynq平台实现该检测系统，实时图像信息的输入采用两个摄像头图像传感器，障碍物的信息通过hdmi接口输出给显示器显示。由于大多数汽车各种传感技术和无线通信技术整合在一起时，通常需要同时使用lidar、radar、摄像头和v2x通信。在这种情况下，需要传输的数据量超过了传统汽车串行总线的现有容量。汽车行业引入车载以太网，以便使自动驾驶和先进adas系统变成现实，因此本文将障碍物的信息通过以太网传输给pc端。zynq-7020是由可编程逻辑(programmablelogic，pl)和处理系统(processingsystem，ps)两部分组成。fpga属于pl部分，采用硬件描述语言编程，用于图像算法的并行硬件加速和流水线处理。ps部分由两个armcortex-a9处理器构成，采用c/c++语言进行编程，完成软件控制与算法调试，从而提高目标检测以及双目测距算法的速度与准确率。在vivado软件上采用blockdesign基于ip核的设计方法完成双目立体视觉系统的硬件设计，其中pl端主要实现图像采集传输和预处理、帧差法、双目立体匹配算法实现、数据格式转换、图像显示、数据传输等，ps端主要控制视频流传输、以及视频流与ddr交互、将其计算值渲染至目标框附近显示等。
42.以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

技术特征：
1.车载双目测距避障系统，包括双目相机，其特征在于：还包括帧差调取模块，利用改进型帧差法调用双目相机进行目标的检测与识别，得到实际场景中目标位置信息，矫正模块，利用双目相机参数对双目相机获取的左、右图像进行矫正，并通过sgm立体匹配算法得到校正后左、右目标区域图像的视差图，计算模块，利用双目测距公式得到目标与双目相机的距离；最后在输出图像上显示检测到的图像中目标的距离，决策模块，根据目标的距离以及相对速度做出相应决策判断；所述车载双目测距避障系统系统是基于zynq平台实现。2.根据权利要求1所述的车载双目测距避障系统，其特征在于：所述改进型帧差法的运动目标检测为采用三帧差分法来进行运动目标检测；并采用canny边缘检测算法来提高运动目标轮廓的完整性。3.根据权利要求1所述的车载双目测距避障系统，其特征在于：所述利用改进型帧差法调用双目相机进行目标的检测与识别，得到实际场景中目标位置信息，具体步骤为：首先通过视频获取设备获得实时的视频图像序列，其次按照需要对彩色视频图像进行颜色空间的转换，接着对得到的视频图像序列进行滤波处理和边缘检测来对视频图像进行去噪操作和边缘提取，然后对形态学处理后的视频图像运用帧差法来实现运动目标检测。4.根据权利要求1所述的车载双目测距避障系统，其特征在于：所述利用双目相机参数对双目相机获取的左、右图像进行矫正，具体步骤为：首先利用张正友棋盘标记法对输入的左、右棋盘格图像进行单目标定、双目标定，获取双目相机的内外参数；其次利用标定后的参数对输入的左右图像进行双目校正。5.根据权利要求4所述的车载双目测距避障系统，其特征在于：所述输入的左右图像进行双目校正的算法是采用bouguet校正算法。6.根据权利要求1所述的车载双目测距避障系统，其特征在于：所述zynq平台有可编程逻辑fpga和处理系统两部分组成，fpga所述fpga主要实现图像采集传输和预处理、帧差法、双目立体匹配算法实现、数据格式转换、图像显示、数据传输，处理系统两个armcortex-a9处理器构成，主要控制视频流传输、以及视频流与ddr交互、将其计算值渲染至目标框附近显示。

技术总结
本发明公开了视觉检测技术领域的车载双目测距避障系统包括帧差调取模块，利用改进型帧差法调用双目相机进行目标的检测与识别，得到实际场景中目标位置信息，矫正模块，利用双目相机参数对双目相机获取的左、右图像进行矫正，并通过SGM立体匹配算法得到校正后左、右目标区域图像的视差图，计算模块，利用双目测距公式得到目标与双目相机的距离；最后在输出图像上显示检测到的图像中目标的距离，决策模块，根据目标的距离以及相对速度做出相应决策判断；车载双目测距避障系统系统是基于ZYNQ平台实现；不仅利用运动目标检测算法对目标实时检测，同时利用双目视觉技术对检测到的目标物体进行准确测距以及根据目标信息进行避障预警判断。警判断。警判断。


技术研发人员：葛太 陈宝远
受保护的技术使用者：哈尔滨理工大学
技术研发日：2023.04.18
技术公布日：2023/7/12