车辆环境监测方法、装置、设备及存储介质

1.本发明涉及车辆技术领域，尤其涉及一种车辆环境监测方法、装置、设备及存储介质。


背景技术：

2.近几年来，随着汽车智能化的不断发展，车企开始在汽车上使用一些科技来辅助驾驶安全，由于道路情况和驾驶员状况是复杂多样的，单凭驾驶员的操作和意识来防止事故的发生比较困难，所以采用汽车辅助安全手段具有一定的意义。商用车的安全辅助方法一般是在车身加装摄像头，将汽车附近的图像实时传输到车载屏幕上，驾驶员在观察后视镜和左右视镜的同时观察车载屏幕来了解车周围环境情况，做出判断。问题在于，驾驶员所需要观察的项目越多，容易分散精力，车载屏幕和视镜的观察角度兼容度不高，在切换观察视角的时间段内，车身周围盲区发生变化，驾驶员可能会遗漏信息，从而有事故风险，并且车载摄像头采集到的画面存在失真，使得驾驶员无法通过车载屏幕准确地观察道路情况，即现有技术无法有效地对采集到的车辆周围的环境图像进行处理，导致无法准确地对车辆周围进行监测，使得车辆驾驶员无法及时地应对道路情况。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提供一种车辆环境监测方法、装置、设备及存储介质，旨在解决现有技术无法有效地对采集到的车辆周围的环境图像进行处理，导致无法准确地对车辆周围进行监测，使得车辆驾驶员无法及时地应对道路情况的技术问题。
5.为实现上述目的，本发明提供了一种车辆环境监测方法，所述方法包括以下步骤：对采集到的初始车辆环境图像进行拼接，获得多张待处理图像，并确定各所述待处理图像之间的重叠区域；获取所述重叠区域中各所述待处理图像之间的像素强度差信息和像素梯度差信息；根据所述像素强度差信息和所述像素梯度差信息确定缝合路线；根据所述缝合路线对各所述待处理图像进行图像融合，获得目标车辆环境图像；根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，并对识别到的个体进行监测。
6.可选地，所述获取所述重叠区域中各所述待处理图像之间的像素强度差信息和像素梯度差信息，包括：确定各所述待处理图像中的待融合图像，以及与所述待融合图像之间对应重叠的重叠图像；获取所述待融合图像和所述重叠图像在所述重叠区域中的像素信息；
根据所述像素信息获取所述待融合图像在所述重叠区域中的第一像素强度信息和第一像素梯度信息，以及所述重叠图像在所述重叠区域中的第二像素强度信息和第二像素梯度信息；根据所述第一像素强度信息和所述第二像素强度信息获取所述待融合图像与所述重叠图像之间的像素强度差信息；根据所述第一像素梯度信息和所述第二像素梯度信息获取所述待融合图像与所述重叠图像之间的像素梯度差信息。
7.可选地，所述根据所述像素强度差信息和所述像素梯度差信息确定缝合路线，包括：根据所述像素强度差信息和所述像素梯度差信息设置能量函数；根据所述能量函数确定所述重叠区域的能量特征；根据所述能量特征和所述能量函数生成能量图像；对所述能量图像中的各行进行遍历，根据遍历结果确定缝合路线。
8.可选地，所述根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，并对识别到的个体进行监测，包括：根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，确定当前环境中存在的个体；根据所述目标车辆环境图像获取所述个体在多张连续的帧图像中对应的多组距离信息，以及各所述距离信息对应的帧顺序；根据所述帧顺序设置各所述距离信息的距离权重；根据所述距离权重对各所述距离信息进行加权，获得目标距离信息，并将所述目标距离信息作为所述个体的当前距离信息；根据所述当前距离信息对所述个体进行距离监测。
9.可选地，所述根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，确定当前环境中存在的个体，包括：将所述目标车辆环境图像进行栅格划分，获得多个栅格；对各所述栅格进行预测，获得多个边界框；获取各所述边界框的置信度信息；根据所述置信度信息从各所述边界框中筛选出符合预设置信度条件的目标边界框；根据所述目标边界框进行个体识别，确定当前环境中存在的个体。
10.可选地，所述根据所述目标车辆环境图像获取所述个体在多张连续的帧图像中对应的多组距离信息，包括：根据所述目标车辆环境图像获取所述个体在多张连续的帧图像中对应的像素平面坐标；将所述像素平面坐标进行转换，获得所述个体在多张连续的帧图像中对应的成像平面坐标；根据所述成像平面坐标获取所述个体在多张连续的帧图像中对应的多组距离信息。
11.可选地，所述对采集到的初始车辆环境图像进行拼接，获得多张待处理图像，并确定各所述待处理图像之间的重叠区域，包括：对采集到的初始车辆环境图像进行特征点检测，确定所述初始车辆环境图像中的特征点；获取所述特征点的位置信息；根据所述位置信息获取所述特征点的描述符信息；根据所述描述符信息将所述初始车辆环境图像中的各所述特征点进行匹配；根据特征点匹配结果对所述初始车辆环境图像进行拼接，获得多张待处理图像，并确定各所述待处理图像之间的重叠区域。
12.此外，为实现上述目的，本发明还提出一种车辆环境监测装置，所述车辆环境监测装置包括：图像拼接模块，用于对采集到的初始车辆环境图像进行拼接，获得多张待处理图像，并确定各所述待处理图像之间的重叠区域；信息获取模块，用于获取所述重叠区域中各所述待处理图像之间的像素强度差信息和像素梯度差信息；路线确定模块，用于根据所述像素强度差信息和所述像素梯度差信息确定缝合路线；图像融合模块，用于根据所述缝合路线对各所述待处理图像进行图像融合，获得目标车辆环境图像；环境监测模块，用于根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，并对识别到的个体进行监测。
13.此外，为实现上述目的，本发明还提出一种车辆环境监测设备，所述车辆环境监测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车辆环境监测程序，所述车辆环境监测程序配置为实现如上文所述的车辆环境监测方法的步骤。
14.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有车辆环境监测程序，所述车辆环境监测程序被处理器执行时实现如上文所述的车辆环境监测方法的步骤。
15.本发明通过对采集到的初始车辆环境图像进行拼接，获得多张待处理图像，并确定各所述待处理图像之间的重叠区域，获取所述重叠区域中各所述待处理图像之间的像素强度差信息和像素梯度差信息，根据所述像素强度差信息和所述像素梯度差信息确定缝合路线，根据所述缝合路线对各所述待处理图像进行图像融合，获得目标车辆环境图像，根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，并对识别到的个体进行监测；由于本发明通过对采集到的初始车辆环境图像进行拼接，从而获得需要进行融合处理的多张待处理图像，以消除拼接后图像中的拼接痕迹，并确定各所述待处理图像之间的重叠区域，获取所述重叠区域中各所述待处理图像之间的像素强度差信息和像素梯度差信息，根据所述像素强度差信息和所述像素梯度差信息确定缝合路线，实现了对融合处理的路径进行规划，有效地提升了图像融合处理的效率，根据所述缝合路线对各所述待处理图像进行图像融合，获得目标车辆环境图像，根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，并对识别到的个体进行监测，由于本发明通过确定待处理图像之间的
像素差异信息，从而实现了对融合路径的规划，提升了图像融合处理的效率，有效地提升了采集到的车辆环境图像的视觉效果，从而可以准确地感知车辆周围环境，有效提升了车辆安全性能。
附图说明
16.图1是本发明实施例方案涉及的硬件运行环境的车辆环境监测设备的结构示意图；图2为本发明车辆环境监测方法第一实施例的流程示意图；图3为本发明车辆环境监测方法第二实施例的流程示意图；图4为本发明车辆环境监测方法第三实施例的流程示意图；图5为本发明车辆环境监测方法第一实施例的车辆环境监测流程框图；图6为本发明车辆环境监测方法第二实施例的流程示意图；图7为本发明车辆环境监测方法第三实施例的流程示意图；图8为本发明车辆环境监测装置第一实施例的结构框图。
17.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
18.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
19.参照图1，图1为本发明实施例方案涉及的硬件运行环境的车辆环境监测设备结构示意图。
20.如图1所示，该车辆环境监测设备可以包括：处理器1001，例如中央处理器（central processing unit，cpu），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（display）、输入单元比如键盘（keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（wireless-fidelity，wi-fi）接口）。存储器1005可以是高速的随机存取存储器（random access memory，ram），也可以是稳定的非易失性存储器（non-volatile memory，nvm），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
21.本领域技术人员可以理解，图1中示出的结构并不构成对车辆环境监测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
22.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及车辆环境监测程序。
23.在图1所示的车辆环境监测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明车辆环境监测设备中的处理器1001、存储器1005可以设置在车辆环境监测设备中，所述车辆环境监测设备通过处理器1001调用存储器1005中存储的车辆环境监测程序，并执行本发明实施例提供的车辆环境监测方法。
24.本发明实施例提供了一种车辆环境监测方法，参照图2，图2为本发明一种车辆环境监测方法第一实施例的第一流程示意图。
25.本实施例中，所述车辆环境监测方法包括以下步骤：步骤s10：对采集到的初始车辆环境图像进行拼接，获得多张待处理图像，并确定各所述待处理图像之间的重叠区域。
26.应当理解的是，本实施例方法的执行主体可以是具有数据处理、网络通信以及程序运行功能的车辆环境监测设备，例如车载终端或车载控制器等，或者是其他能够实现相同或相似功能的装置或设备，此处以上述车辆环境监测设备（以下简称环境监测设备）为例进行说明。
27.需要说明的是，初始车辆环境图像可以是环境监测设备通过车载摄像头采集到的原始图像，初始车辆环境图像可以是车辆当前所处环境的图像。上述待处理图像可以是初始车辆环境图像经过图像拼接后获得的图像，由于经过图像拼接后得到的图像中存在拼接痕迹，导致图像的存在失真，并且视觉效果较差，因此需要对拼接后的图像进行处理，以消除拼接痕迹。上述重叠区域可以是待处理图像之间的拼接区域，由于拼接区域中存在重叠，导致重叠区域在拼接后存在较明显的拼接痕迹和重叠痕迹，为了降低图像失真，需要对重叠区域进行融合处理，以消除重叠痕迹和拼接痕迹。
28.应当理解的是，本实施例环境监测设备通过车载摄像头采集车辆当前所处环境的图像，由于车载摄像头可以是多个，因此采集到的初始车辆环境图像可以是多张图像，为了有效地对车辆环境进行感知，因此本实施例对多张所述初始车辆环境图像进行拼接，以使多张图像组成全景图像，但是拼接后的图像存在拼接痕迹，导致图像失真，因此本实施例环境监测设备需要对拼接后的图像进行处理，即对待处理图像进行处理，以消除待处理图像中的拼接痕迹，从而提升图像的视觉效果，降低图像失真。
29.进一步地，为了有效地对采集到的图像进行拼接，参照图3，图3为本发明一种车辆环境监测方法第一实施例的第二流程示意图，上述步骤s10，可包括：步骤s101：对采集到的初始车辆环境图像进行特征点检测，确定所述初始车辆环境图像中的特征点；步骤s102：获取所述特征点的位置信息；步骤s103：根据所述位置信息获取所述特征点的描述符信息；步骤s104：根据所述描述符信息将所述初始车辆环境图像中的各所述特征点进行匹配；步骤s105：根据特征点匹配结果对所述初始车辆环境图像进行拼接，获得多张待处理图像，并确定各所述待处理图像之间的重叠区域。
30.需要说明的是，特征点可以是初始车辆环境图像中的拼接锚点，位置信息可以是特征点在图像中的坐标位置和方向等信息。上述描述符信息可以是用于描述特征点的标识信息。
31.应当理解的是，本实施例环境监测设备首先是特征点的检测，将初始车辆环境图像中任意点坐标与坐标原点所形成对角线矩形区域内所有像素点之和定义为积分像素值，对初始车辆环境图像每个像素点进行上述处理可得到积分图像，本实施例的尺度空间采用盒子滤波器，使用不同尺寸的盒子滤波器与积分图像进行卷积运算，构建图像的尺度空间，通过快速hessian矩阵检测图像特征点，求解图像某一点快速hessian矩阵，当矩阵行列式的值为正时，该点为极值点，求得极值点后，在尺度空间每一组选取相邻三层对26个点进行
对比，确定特征点的位置。
32.特征点的主方向确定如下：对特征点一定圆形区域内haar小波响应做统计运算，以特征点为圆心，半径为6s的圆形区域内用尺寸4s的haar小波对图像进行处理（s可以是特征点所在位置的尺度值），计算所有特征点的小波响应值，再把60度扇形窗口所有特征点haar小波响应值相加，旋转窗口再次统计新区域haar小波响应值之和，将值最大扇形方向作为特征点主方向。特征点描述符的生成：以特征点为坐标原点，选取边长20s的正方形区域，分割为16个边长5s的子窗口，每个子窗口计算所有特征点水平和垂直方向上haar小波响应值之和及haar小波响应绝对值之和，形成四维向量，最终特征点的描述符为64维的特征向量。
33.需要说明的是，本实施例环境监测设备将各所述特征点进行匹配可包括：将两幅图像中的特征点匹配就可以实现图像的拼接。采用的匹配方法是欧氏距离法，比较待拼接图像与参考图像对应特征点的最小欧氏距离和次小欧式距离，两者的比值和设定阈值相比，若比值小于等于则匹配成功。
34.在具体实现中，环境监测设备可预先对用于采集图像的车载摄像头进行校正，对于经过校正后的图像，提取其特征点，图像特征点决定图像拼接质量的效果，相当于拼接锚定点，之后对特征点进行匹配，方法为采用暴力匹配算法计算欧氏距离，以最小值为匹配点，以此寻找所有特征点，找到匹配对，对于不同图片之间的相同物体的特征点，建立匹配的联系，为后续拼接做准备。下一步是图像的配准，将需要拼接的部分（对于不同图像的特征点，匹配对数越多说明两张图像相似，需要进行拼接）转换到相同图像坐标系下。
35.进一步地，为了有效地避免采集到的图像存在畸变，参照图4，图4为本发明一种车辆环境监测方法第一实施例的第三流程示意图，上述步骤s10之前，可包括：步骤s1：确定车辆中用于进行环境图像采集的目标摄像头；步骤s2：获取所述目标摄像头的相机参数；步骤s3：根据所述相机参数构建世界坐标系；步骤s4：根据所述世界坐标系构建图像坐标系；步骤s5：根据所述世界坐标系和所述图像坐标系对所述目标摄像头进行畸变校正；步骤s6：通过畸变校正后的所述目标摄像头对车辆周围环境进行图像采集。
36.需要说明的是，目标摄像头可以是车辆中用于进行环境图像采集的车载摄像头，目标摄像头可以是多个，例如在车身前后左右各安装摄像头进行环境感知，从而有效地避免了采集到的图像存在感知死角的问题。
37.应当理解的是，目标摄像头可以是鱼眼摄像头，但是鱼眼摄像头存在画面畸变的问题，为了有效地避免采集到的图像存在畸变，本实施例环境监测设备需要采取畸变校正，畸变校正如下：图像坐标系和世界坐标系的关系参照公式1，公式1中a为相机的内参数，p为相机外参数，m和m分别为图像坐标系和世界坐标系，s为尺度因子，利用l-m算法估计最大似然参数。
38.公式1由公式2计算畸变参数完成畸变校正，其中，（w，v）为经过校正后的新位置，（w
,
，v
,
）为畸变点在成像仪上的原始位置，经过畸变校正后，通过目标摄像头对车辆周围环境进行
图像采集。
39.公式2在具体实现中，对于原始图像，需要进行柱面投影解决图像和实际物体之间的结构问题。原图像点为m（x，y），投影后图像点n（x1，y1），焦距f由公式3计算获得，为相机水平视角，w为成像点相对于图像中心的像高，原图和投影图的坐标关系参照如下公式4。
40.公式3公式4步骤s20：获取所述重叠区域中各所述待处理图像之间的像素强度差信息和像素梯度差信息。
41.需要说明的是，重叠区域可以是一张待处理图像与另一张待处理图像叠加在一起产生的区域，该区域中两张待处理图像之间的重合部分导致重叠区域存在严重的重叠痕迹和拼接痕迹，将一张待处理图像作为原图像，另一张叠加在原图像上的待处理图像作为目标图像，因此像素强度差信息和像素梯度差信息可以是原图像与目标图像之间在重叠区域同一像素位置的像素强度差和像素梯度差。
42.应当理解的是，本实施例环境监测设备通过遍历重叠区域中的各像素，确定重叠区域中的各像素，以及各像素的像素位置，根据像素位置确定互相重叠的待处理图像在各像素的像素强度信息和像素梯度信息，根据互相重叠的待处理图像的像素强度信息和像素梯度信息确定互相重叠的待处理图像之间在重叠区域内各像素位置的像素强度差和像素梯度差。
43.步骤s30：根据所述像素强度差信息和所述像素梯度差信息确定缝合路线。
44.需要说明的是，缝合路线可以是环境监测设备根据待处理图像之间的像素强度差信息和像素梯度差信息规划的用于消除重叠部分实现图像融合的处理路线。
45.步骤s40：根据所述缝合路线对各所述待处理图像进行图像融合，获得目标车辆环境图像。
46.需要说明的是，目标车辆环境可以是经过图像融合处理后消除拼接痕迹的车辆环境图像。
47.应当理解的是，环境监测设备根据缝合路线对各待处理图像之间的重叠区域进行图像融合，以消除待处理图像之间的重叠部分和存在拼接痕迹的部分，从而获得视觉效果较好的目标车辆环境图像。
48.步骤s50：根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，并对识别到的个体进行监测。
49.需要说明的是，个体可以是车辆所处环境中的目标个体，个体可以是人、车辆或障碍物等可造成车辆出现碰撞危险的物体。
50.应当理解的是，本实施例环境监测设备根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，确定当前环境中存在的个体，对各个体进行测距，从而获得车辆与
各个体之间的当前距离，根据当前距离对识别到的个体进行监测，在监测到当前距离低于预设阈值时进行预警，提升驾驶员存在碰撞风险。
51.在具体实现中，环境监测设备当监测到有车辆或者人与车辆之间的距离小于五米（若车辆为客车或卡车等，由于客车和卡车商用车因为体积较大，则可以留更多空间），则车载语音助手发出语音播报提示可能有行车危险，当汽车停止时预警结束，当计算结果为车周围物体距离在五米之外，则系统不断工作，直至出现危险需要预报，或者汽车停车或者达到一定的稳定速度（本方案适用于起步和停车时需要车身周围较多信息的情形），系统停止工作，参照图5，图5为车辆环境监测流程框图，在车辆停车或未达到稳定速度时，对摄像头采集到的图像进行预处理，对图像进行拼接，然后进行目标识别，对识别到的个体进行测距，在个体与车辆之间的距离小于5米时进行预警，未小于5米时继续进行监测。
52.本实施例通过对采集到的初始车辆环境图像进行拼接，获得多张待处理图像，并确定各所述待处理图像之间的重叠区域，获取所述重叠区域中各所述待处理图像之间的像素强度差信息和像素梯度差信息，根据所述像素强度差信息和所述像素梯度差信息确定缝合路线，根据所述缝合路线对各所述待处理图像进行图像融合，获得目标车辆环境图像，根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，并对识别到的个体进行监测；由于本实施例通过对采集到的初始车辆环境图像进行拼接，从而获得需要进行融合处理的多张待处理图像，以消除拼接后图像中的拼接痕迹，并确定各所述待处理图像之间的重叠区域，获取所述重叠区域中各所述待处理图像之间的像素强度差信息和像素梯度差信息，根据所述像素强度差信息和所述像素梯度差信息确定缝合路线，实现了对融合处理的路径进行规划，有效地提升了图像融合处理的效率，根据所述缝合路线对各所述待处理图像进行图像融合，获得目标车辆环境图像，根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，并对识别到的个体进行监测，由于本实施例通过确定待处理图像之间的像素差异信息，从而实现了对融合路径的规划，提升了图像融合处理的效率，有效地提升了采集到的车辆环境图像的视觉效果，从而可以准确地感知车辆周围环境，有效提升了车辆安全性能。
53.参考图6，图6为本发明一种车辆环境监测方法第二实施例的流程示意图。
54.基于上述第一实施例，在本实施例中，所述步骤s20，包括：步骤s21：确定各所述待处理图像中的待融合图像，以及与所述待融合图像之间对应重叠的重叠图像。
55.需要说明的是，待融合图像与重叠图像可以是待处理图像中互相重叠的图像，存在重叠部分的图像，例如待处理图像中图像a与图像b之间存在相似部分，因此将图像a与图像b之间进行拼接，但是图像a与图像b之间的相似部分在拼接之后存在重叠区域，因此将图像a作为待融合图像（或重叠图像），将图像b作为重叠图像（或待融合图像），以对图像a与图像b进行图像融合，消除重叠区域。
56.步骤s22：获取所述待融合图像和所述重叠图像在所述重叠区域中的像素信息。
57.需要说明的是，像素信息可以是待融合图像和重叠图像分别在重叠区域内各像素位置的像素强度信息和像素梯度信息。
58.步骤s23：根据所述像素信息获取所述待融合图像在所述重叠区域中的第一像素强度信息和第一像素梯度信息，以及所述重叠图像在所述重叠区域中的第二像素强度信息
和第二像素梯度信息。
59.需要说明的是，第一像素强度信息可以是待融合图像在重叠区域中各像素位置的像素强度信息，第一像素梯度信息可以是待融合图像在重叠区域中各像素位置的像素梯度信息。上述第二像素强度信息可以是重叠图像在重叠区域中各像素位置的像素强度信息，上述第二像素梯度信息可以是重叠图像在重叠区域中各像素位置的像素梯度信息。
60.应当理解的是，本实施例环境监测设备根据像素信息遍历重叠区域中的各像素，根据遍历结果获取待融合图像在重叠区域内各像素的像素强度值和像素梯度值，从而获得第一像素强度信息和第一像素梯度信息；根据遍历结果获取重叠图像在重叠区域内各像素的像素强度值和像素梯度值，从而获得第二像素强度信息和第二像素梯度信息。
61.步骤s24：根据所述第一像素强度信息和所述第二像素强度信息获取所述待融合图像与所述重叠图像之间的像素强度差信息。
62.需要说明的是，像素强度差信息可参照如下公式5，其中，ea为像素强度差值，i
l
(x，y)为第一像素强度信息，ir(x，y)为第二像素强度信息，表示重叠区域某一像素的坐标。
63.公式5步骤s25：根据所述第一像素梯度信息和所述第二像素梯度信息获取所述待融合图像与所述重叠图像之间的像素梯度差信息。
64.需要说明的是，像素梯度差信息可参照如下公式6，其中eb为像素梯度差值，
▽il
(x，y)为第一像素梯度信息，
▽
ir(x，y)为第二像素梯度信息，表示重叠区域某一像素的位置坐标。
65.公式6应当理解的是，本实施例环境监测设备采用基于相似度的缝合路线融合法对拼接处进行过渡融合，通过能量函数在重叠区域寻找一条待融合图像和重叠图像在像素强度和梯度最为相似的缝隙，通过缝隙来作为融合的部分。
66.进一步地，为了准确地规划缝合路线，上述步骤s30，可包括：步骤s301：根据所述像素强度差信息和所述像素梯度差信息设置能量函数；步骤s302：根据所述能量函数确定所述重叠区域的能量特征；步骤s303：根据所述能量特征和所述能量函数生成能量图像；步骤s304：对所述能量图像中的各行进行遍历，根据遍历结果确定缝合路线。
67.需要说明的是，能量函数用于衡量待融合图像和重叠图像在重叠区域像素的相似程度，能量函数越小，两图像在该像素位置越相似，能量函数越大，两图像在该像素位置越不相似。
68.应当理解的是，环境监测设备采用基于相似度的缝合路线融合法对拼接处进行过渡融合，通过能量函数在重叠区域寻找一条待融合图像和重叠图像在像素强度和梯度最为相似的缝隙，通过缝隙来作为融合的部分。参照如下公式7，公式7为能量函数设置公式，其中es为能量函数，ea为像素强度差值，eb为像素梯度差值，ec表示相似度参数，用于比较缝合路线两侧像素相似程度高低，避免路线的走向过于偏离，参照如下公式8，公式8为相似度参数计算公式，计算能量函数得到能量图，e为计算所得能量图，缝合线表达式参照如下
公式9，为映射：x[1，...，u]
→
x[1，...，v]，参照如下公式10计算缝合路线，用动态规划求解最佳缝合路线，从能量图像第二行遍历到最后一行，累计所得能量值最小，选择最小值回溯，即可确定缝合路线。
[0069]
公式7公式8公式9公式10本实施例通过确定各所述待处理图像中的待融合图像，以及与所述待融合图像之间对应重叠的重叠图像，获取所述待融合图像和所述重叠图像在所述重叠区域中的像素信息，根据所述像素信息获取所述待融合图像在所述重叠区域中的第一像素强度信息和第一像素梯度信息，以及所述重叠图像在所述重叠区域中的第二像素强度信息和第二像素梯度信息，根据所述第一像素强度信息和所述第二像素强度信息获取所述待融合图像与所述重叠图像之间的像素强度差信息，根据所述第一像素梯度信息和所述第二像素梯度信息获取所述待融合图像与所述重叠图像之间的像素梯度差信息；由于本实施例通过获取待融合图像与其重叠的重叠图像之间像素强度差信息和像素梯度差信息，从而提升了图像融合的效率，大大降低了图像融合所需的处理时间。
[0070]
参考图7，图7为本发明一种车辆环境监测方法第三实施例的流程示意图。
[0071]
基于上述第一实施例，在本实施例中，所述步骤s50，包括：步骤s51：根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，确定当前环境中存在的个体。
[0072]
需要说明的是，个体可以是车辆所处环境中的目标个体，个体可以是人、车辆或障碍物等可造成车辆出现碰撞危险的物体。
[0073]
应当理解的是，本实施例环境监测设备根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，确定当前环境中存在的个体，对各个体进行测距，从而获得车辆与各个体之间的当前距离，根据当前距离对识别到的个体进行监测，在监测到当前距离低于预设阈值时进行预警，提升驾驶员存在碰撞风险。
[0074]
进一步地，为了准确地对车辆所处的当前环境中存在的个体进行识别，上述步骤s51，可包括：步骤s511：将所述目标车辆环境图像进行栅格划分，获得多个栅格；步骤s512：对各所述栅格进行预测，获得多个边界框；步骤s513：获取各所述边界框的置信度信息；步骤s514：根据所述置信度信息从各所述边界框中筛选出符合预设置信度条件的目标边界框；步骤s515：根据所述目标边界框进行个体识别，确定当前环境中存在的个体。
[0075]
需要说明的是，本实施例环境监测设备将目标车辆环境图像划分为n*n个栅格，每个栅格预测m个边界框，被检测目标中心点所在的栅格预测目标，计算其置信度。通过后续
数据处理进而实现目标识别，对于目标识别还需要经过数据集的训练，在大量数据训练之后达到满意的识别速度和精准度。
[0076]
具体实现如下：将图像输入后在cspdarknet53特征提取网络分别进行8、16、32倍的下采样，得到三种尺度的特征图，然后将特征提取的输出层进行三次darknetcon2d bn leaky卷积后送入spp池化模块，进行四个大小的池化处理，之后送入panet模块进行特征融合，将融合后三个不同尺度特征图送入yolo head分类器进行分类并输出结果。
[0077]
步骤s52：根据所述目标车辆环境图像获取所述个体在多张连续的帧图像中对应的多组距离信息，以及各所述距离信息对应的帧顺序。
[0078]
需要说明的是，多张连续帧图像可以是多帧连续的图像，例如连续3帧图像等。上述距离信息可以是各帧图像中个体与车辆之间的距离信息。上述帧顺序可以是各组距离信息对应的各帧的排列顺序，例如第一帧中的距离信息为a，第二帧中的距离信息为b，第三帧中的距离信息为c，上述3组距离信息的帧顺序分别为第一、第二和第三。
[0079]
进一步地，为了准确地测得距离信息，上述步骤s52，可包括：步骤s521：根据所述目标车辆环境图像获取所述个体在多张连续的帧图像中对应的像素平面坐标；步骤s522：将所述像素平面坐标进行转换，获得所述个体在多张连续的帧图像中对应的成像平面坐标；步骤s523：根据所述成像平面坐标获取所述个体在多张连续的帧图像中对应的多组距离信息。
[0080]
应当理解的是，本实施例环境监测设备可采用yolov5算法作为实现目标识别的方法，yolov5算法的网络结构包括输入端、主干网络、颈部网络和输出端。将采集到的图像数据在输入端进行预处理，预处理包括对图像采用自适应缩放操作，采用自适应锚架计算功能，在算法训练过程中计算最优值。主干网络包括focus、csp、cbl、spp四个模块组成。在focus结构中对原始图像进行切片操作，形成特征图，对卷积核进行卷积操作，得到新的特征图。在颈部网络中生成特征金字塔，实现对同一物体的相关识别，输出层实现功能在于对图像采取三个不同倍数的采样，生成对应的特征向量，预测图像特征，生成对应的边界框和预测目标类型和置信度。对于行人和车辆的识别需要经过数据集的训练，提高识别精度。对于识别通常采用召回率和精确率作为评价指标。对于图像处理的结果有以下四种，tp表示正确预测，fp表示错误预测，fn为遗漏检测，tn为正确背景，召回率参照如下公式11，精准率参照如下公式12，第三步是对识别出的车辆和行人进行测距，采用相似三角形的原理，参照如下公式13，小三角形为目标在成像平面的高度为h
，
，f为摄像头的焦距，大三角形包括所求距离为l，目标离地面高度为h。
[0081]
公式11公式12公式13步骤s53：根据所述帧顺序设置各所述距离信息的距离权重。
[0082]
需要说明的是，距离权重可以是各组距离信息的重要程度，环境监测设备可根据各组距离信息的误差可能性设置距离权重，误差可能性小的距离信息对应的距离权重较大，误差可能性大的距离信息对应的距离权重较小。
[0083]
步骤s54：根据所述距离权重对各所述距离信息进行加权，获得目标距离信息，并将所述目标距离信息作为所述个体的当前距离信息。
[0084]
在具体实现中，本实施例环境监测设备可采用测距结果择优算法，方法如下：对于连续测出的三次距离依分别为l1、l2、l3作为一个小优化周期，因为耗时极短，所以可以对三次测距的结果进行算法优化，将计算出来的结果代表这一周期内所得到的最终值，对于l1、l2、l3，由于l2位于中间测得的结果，误差产生的可能性更小，所以比重更高，l1和l3设置为比重稍大，最后将l1、l2、l3和各自的比重相乘，将最后的结果相加得到结果参照如下公式14，其中，和的取值范围为（0，0.2）并且对于不同的测距方法以及传感器的精度，取值范围可以变动。这种方法旨在提高测距精度，三次测量的耗时对于车辆行动来说时间非常短，可以契合前方车辆的任意动作，可以提高测量准度。
[0085]
公式14步骤s55：根据所述当前距离信息对所述个体进行距离监测。
[0086]
需要说明的是，个体可以是车辆所处环境中的目标个体，个体可以是人、车辆或障碍物等可造成车辆出现碰撞危险的物体。
[0087]
应当理解的是，本实施例环境监测设备根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，确定当前环境中存在的个体，对各个体进行测距，从而获得车辆与各个体之间的当前距离，根据当前距离对识别到的个体进行监测，在监测到当前距离低于预设阈值时进行预警，提升驾驶员存在碰撞风险。
[0088]
在具体实现中，环境监测设备当监测到有车辆或者人与车辆之间的距离小于五米（若车辆为客车或卡车等，由于客车和卡车商用车因为体积较大，则可以留更多空间），则车载语音助手发出语音播报提示可能有行车危险，当汽车停止时预警结束，当计算结果为车周围物体距离在五米之外，则系统不断工作，直至出现危险需要预报，或者汽车停车或者达到一定的稳定速度（本方案适用于起步和停车时需要车身周围较多信息的情形），系统停止工作，参照图5，图5为车辆环境监测流程框图，在车辆停车或未达到稳定速度时，对摄像头采集到的图像进行预处理，对图像进行拼接，然后进行目标识别，对识别到的个体进行测距，在个体与车辆之间的距离小于5米时进行预警，未小于5米时继续进行监测。
[0089]
本实施例通过根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，确定当前环境中存在的个体，根据所述目标车辆环境图像获取所述个体在多张连续的帧图像中对应的多组距离信息，以及各所述距离信息对应的帧顺序，根据所述帧顺序设置各所述距离信息的距离权重，根据所述距离权重对各所述距离信息进行加权，获得目标距离信息，并将所述目标距离信息作为所述个体的当前距离信息，根据所述当前距离信息对所述个体进行距离监测；由于本实施例通过在多张连续帧图像中分别获取多组距离信息，根据各组距离信息对应的距离权重进行加权，从而得到目标距离信息，实现了在确保测量耗时低的情况下提升测量精度。
[0090]
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有车辆环境监测
程序，所述车辆环境监测程序被处理器执行时实现如上文所述的车辆环境监测方法的步骤。
[0091]
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
[0092]
参照图8，图8为本发明车辆环境监测装置第一实施例的结构框图。
[0093]
如图8所示，本发明实施例提出的车辆环境监测装置包括：图像拼接模块10，用于对采集到的初始车辆环境图像进行拼接，获得多张待处理图像，并确定各所述待处理图像之间的重叠区域；信息获取模块20，用于获取所述重叠区域中各所述待处理图像之间的像素强度差信息和像素梯度差信息；路线确定模块30，用于根据所述像素强度差信息和所述像素梯度差信息确定缝合路线；图像融合模块40，用于根据所述缝合路线对各所述待处理图像进行图像融合，获得目标车辆环境图像；环境监测模块50，用于根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，并对识别到的个体进行监测。
[0094]
进一步地，所述信息获取模块20，还用于确定各所述待处理图像中的待融合图像，以及与所述待融合图像之间对应重叠的重叠图像；获取所述待融合图像和所述重叠图像在所述重叠区域中的像素信息；根据所述像素信息获取所述待融合图像在所述重叠区域中的第一像素强度信息和第一像素梯度信息，以及所述重叠图像在所述重叠区域中的第二像素强度信息和第二像素梯度信息；根据所述第一像素强度信息和所述第二像素强度信息获取所述待融合图像与所述重叠图像之间的像素强度差信息；根据所述第一像素梯度信息和所述第二像素梯度信息获取所述待融合图像与所述重叠图像之间的像素梯度差信息。
[0095]
进一步地，所述信息获取模块20，还用于根据所述像素强度差信息和所述像素梯度差信息设置能量函数；根据所述能量函数确定所述重叠区域的能量特征；根据所述能量特征和所述能量函数生成能量图像；对所述能量图像中的各行进行遍历，根据遍历结果确定缝合路线。
[0096]
进一步地，所述环境监测模块50，还用于根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，确定当前环境中存在的个体；根据所述目标车辆环境图像获取所述个体在多张连续的帧图像中对应的多组距离信息，以及各所述距离信息对应的帧顺序；根据所述帧顺序设置各所述距离信息的距离权重；根据所述距离权重对各所述距离信息进行加权，获得目标距离信息，并将所述目标距离信息作为所述个体的当前距离信息；根据所述当前距离信息对所述个体进行距离监测。
[0097]
进一步地，所述环境监测模块50，还用于将所述目标车辆环境图像进行栅格划分，获得多个栅格；对各所述栅格进行预测，获得多个边界框；获取各所述边界框的置信度信息；根据所述置信度信息从各所述边界框中筛选出符合预设置信度条件的目标边界框；根据所述目标边界框进行个体识别，确定当前环境中存在的个体。
[0098]
进一步地，所述环境监测模块50，还用于根据所述目标车辆环境图像获取所述个体在多张连续的帧图像中对应的像素平面坐标；将所述像素平面坐标进行转换，获得所述
个体在多张连续的帧图像中对应的成像平面坐标；根据所述成像平面坐标获取所述个体在多张连续的帧图像中对应的多组距离信息。
[0099]
进一步地，所述图像拼接模块10，还用于对采集到的初始车辆环境图像进行特征点检测，确定所述初始车辆环境图像中的特征点；获取所述特征点的位置信息；根据所述位置信息获取所述特征点的描述符信息；根据所述描述符信息将所述初始车辆环境图像中的各所述特征点进行匹配；根据特征点匹配结果对所述初始车辆环境图像进行拼接，获得多张待处理图像，并确定各所述待处理图像之间的重叠区域。
[0100]
本实施例通过对采集到的初始车辆环境图像进行拼接，获得多张待处理图像，并确定各所述待处理图像之间的重叠区域，获取所述重叠区域中各所述待处理图像之间的像素强度差信息和像素梯度差信息，根据所述像素强度差信息和所述像素梯度差信息确定缝合路线，根据所述缝合路线对各所述待处理图像进行图像融合，获得目标车辆环境图像，根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，并对识别到的个体进行监测；由于本实施例通过对采集到的初始车辆环境图像进行拼接，从而获得需要进行融合处理的多张待处理图像，以消除拼接后图像中的拼接痕迹，并确定各所述待处理图像之间的重叠区域，获取所述重叠区域中各所述待处理图像之间的像素强度差信息和像素梯度差信息，根据所述像素强度差信息和所述像素梯度差信息确定缝合路线，实现了对融合处理的路径进行规划，有效地提升了图像融合处理的效率，根据所述缝合路线对各所述待处理图像进行图像融合，获得目标车辆环境图像，根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，并对识别到的个体进行监测，由于本实施例通过确定待处理图像之间的像素差异信息，从而实现了对融合路径的规划，提升了图像融合处理的效率，有效地提升了采集到的车辆环境图像的视觉效果，从而可以准确地感知车辆周围环境，有效提升了车辆安全性能。
[0101]
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
[0102]
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
[0103]
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的车辆环境监测方法，此处不再赘述。
[0104]
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0105]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0106]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质
（如只读存储器（read only memory，rom）/ram、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
[0107]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他。

技术特征：
1.一种车辆环境监测方法，其特征在于，所述车辆环境监测方法包括：对采集到的初始车辆环境图像进行拼接，获得多张待处理图像，并确定各所述待处理图像之间的重叠区域；获取所述重叠区域中各所述待处理图像之间的像素强度差信息和像素梯度差信息；根据所述像素强度差信息和所述像素梯度差信息确定缝合路线；根据所述缝合路线对各所述待处理图像进行图像融合，获得目标车辆环境图像；根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，并对识别到的个体进行监测。2.如权利要求1所述的车辆环境监测方法，其特征在于，所述获取所述重叠区域中各所述待处理图像之间的像素强度差信息和像素梯度差信息，包括：确定各所述待处理图像中的待融合图像，以及与所述待融合图像之间对应重叠的重叠图像；获取所述待融合图像和所述重叠图像在所述重叠区域中的像素信息；根据所述像素信息获取所述待融合图像在所述重叠区域中的第一像素强度信息和第一像素梯度信息，以及所述重叠图像在所述重叠区域中的第二像素强度信息和第二像素梯度信息；根据所述第一像素强度信息和所述第二像素强度信息获取所述待融合图像与所述重叠图像之间的像素强度差信息；根据所述第一像素梯度信息和所述第二像素梯度信息获取所述待融合图像与所述重叠图像之间的像素梯度差信息。3.如权利要求2所述的车辆环境监测方法，其特征在于，所述根据所述像素强度差信息和所述像素梯度差信息确定缝合路线，包括：根据所述像素强度差信息和所述像素梯度差信息设置能量函数；根据所述能量函数确定所述重叠区域的能量特征；根据所述能量特征和所述能量函数生成能量图像；对所述能量图像中的各行进行遍历，根据遍历结果确定缝合路线。4.如权利要求1所述的车辆环境监测方法，其特征在于，所述根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，并对识别到的个体进行监测，包括：根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，确定当前环境中存在的个体；根据所述目标车辆环境图像获取所述个体在多张连续的帧图像中对应的多组距离信息，以及各所述距离信息对应的帧顺序；根据所述帧顺序设置各所述距离信息的距离权重；根据所述距离权重对各所述距离信息进行加权，获得目标距离信息，并将所述目标距离信息作为所述个体的当前距离信息；根据所述当前距离信息对所述个体进行距离监测。5.如权利要求4所述的车辆环境监测方法，其特征在于，所述根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，确定当前环境中存在的个体，包括：将所述目标车辆环境图像进行栅格划分，获得多个栅格；
对各所述栅格进行预测，获得多个边界框；获取各所述边界框的置信度信息；根据所述置信度信息从各所述边界框中筛选出符合预设置信度条件的目标边界框；根据所述目标边界框进行个体识别，确定当前环境中存在的个体。6.如权利要求5所述的车辆环境监测方法，其特征在于，所述根据所述目标车辆环境图像获取所述个体在多张连续的帧图像中对应的多组距离信息，包括：根据所述目标车辆环境图像获取所述个体在多张连续的帧图像中对应的像素平面坐标；将所述像素平面坐标进行转换，获得所述个体在多张连续的帧图像中对应的成像平面坐标；根据所述成像平面坐标获取所述个体在多张连续的帧图像中对应的多组距离信息。7.如权利要求1至6中任一项所述的车辆环境监测方法，其特征在于，所述对采集到的初始车辆环境图像进行拼接，获得多张待处理图像，并确定各所述待处理图像之间的重叠区域，包括：对采集到的初始车辆环境图像进行特征点检测，确定所述初始车辆环境图像中的特征点；获取所述特征点的位置信息；根据所述位置信息获取所述特征点的描述符信息；根据所述描述符信息将所述初始车辆环境图像中的各所述特征点进行匹配；根据特征点匹配结果对所述初始车辆环境图像进行拼接，获得多张待处理图像，并确定各所述待处理图像之间的重叠区域。8.一种车辆环境监测装置，其特征在于，所述车辆环境监测装置包括：图像拼接模块，用于对采集到的初始车辆环境图像进行拼接，获得多张待处理图像，并确定各所述待处理图像之间的重叠区域；信息获取模块，用于获取所述重叠区域中各所述待处理图像之间的像素强度差信息和像素梯度差信息；路线确定模块，用于根据所述像素强度差信息和所述像素梯度差信息确定缝合路线；图像融合模块，用于根据所述缝合路线对各所述待处理图像进行图像融合，获得目标车辆环境图像；环境监测模块，用于根据所述目标车辆环境图像对车辆所处的当前环境进行个体识别，并对识别到的个体进行监测。9.一种车辆环境监测设备，其特征在于，所述车辆环境监测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车辆环境监测程序，所述车辆环境监测程序配置为实现如权利要求1至7中任一项所述的车辆环境监测方法。10.一种存储介质，其特征在于，所述存储介质上存储有车辆环境监测程序，所述车辆环境监测程序被处理器执行时实现如权利要求1至7任一项所述的车辆环境监测方法。

技术总结
本发明公开了一种车辆环境监测方法、装置、设备及存储介质，具体公开了：对采集到的初始车辆环境图像进行拼接，获得多张待处理图像，并确定各待处理图像之间的重叠区域，获取重叠区域中各待处理图像之间的像素强度差信息和像素梯度差信息，根据像素强度差信息和像素梯度差信息确定缝合路线，根据缝合路线对各待处理图像进行图像融合，获得目标车辆环境图像，根据目标车辆环境图像对车辆所处的当前环境进行个体识别，并对识别到的个体进行监测；由于本发明根据重叠区域中的像素强度差信息和像素梯度差信息进行图像融合获得目标车辆环境图像，从而根据目标车辆环境图像实现准确地对车辆周围进行监测，确保车辆驾驶员可以及时地应对道路情况。时地应对道路情况。时地应对道路情况。


技术研发人员：李子贤 李勇滔 许恩永 陈子邮 李育方
受保护的技术使用者：广西科技大学
技术研发日：2023.03.20
技术公布日：2023/7/18