一种语义检测的车载视频智能处理方法与流程

1.本发明涉及车载视频处理的技术领域，尤其涉及一种语义检测的车载视频智能处理方法。


背景技术：

2.近年来，多媒体和视频应用技术发展的越来越迅速，与人类的日常生活也变得越来越息息相关。同时随着人口的急剧增加，行车安全性问题也已经受到了更多人的关注。虽然车辆行驶过程中有行车记录仪对行车过程进行记录，和正常行车活动相比，异常行车事件一般都是很少出现，导致行车记录仪中存储了大量无效行车视频，严重占据行车记录仪的存储空间。针对该问题，本发明提出一种语义检测的车载视频智能处理方法，通过对车载视频的语义识别实现异常行车记录提取，提高行车记录仪存储空间利用率。


技术实现要素：

3.有鉴于此，本发明提供一种语义检测的车载视频智能处理方法，目的在于：1)通过将车载视频帧图像进行局部分块，利用车载视频帧异常识别模型识别得到局部视频帧分块图像的浅层梯度信息以及结合注意力机制的深层语义信息，得到车载视频帧图像中每个局部存在异常事件的概率，并将该概率表示为异常得分，进而计算得到车载视频帧图像的异常识别得分，通过对异常识别得分进行判别，初步识别得到正常行车视频帧图像以及异常行车视频帧图像；2)对于识别得到的正常行车视频帧图像，根据图像的纹理特征以及光流特征实现图像重构，并计算正常行车视频帧图像在不同特征表示上的编码重构误差，若误差大于预设置的阈值，则表示正常行车视频帧图像中存在异常事件，并将正常行车视频帧图像标注为异常行车视频帧图像，实现结合纹理特征以及光流特征的进一步异常行车事件识别，通过提取车载视频中的所有异常行车视频帧图像，将正常行车视频帧图像所构成的车载视频进行压缩，实现异常行车记录提取以及正常行车记录压缩，提高行车记录仪存储空间利用率。
4.实现上述目的，本发明提供的一种语义检测的车载视频智能处理方法，包括以下步骤：
5.s1：采集行车过程中的车载视频并进行分帧处理，对车载视频帧图像进行局部分块处理，得到局部视频帧分块图像；
6.s2：构建车载视频帧异常识别模型，将局部视频帧分块图像输入到车载视频帧异常识别模型中，模型输出异常得分；
7.s3：根据局部视频帧分块图像异常得分计算得到车载视频帧图像的异常识别得分，若异常识别得分小于指定阈值则为正常行车视频帧图像，否则为异常行车视频帧图像；
8.s4：构建正常行车自编码器模型，利用正常行车自编码器模型对正常行车视频帧图像进行编码重构；
9.s5：计算正常行车视频帧图像的编码重构误差，若误差大于预设置的阈值，则表示
正常行车视频帧图像中存在异常事件，并将正常行车视频帧图像标注为异常行车视频帧图像，将正常行车视频帧图像所构成的车载视频进行压缩。
10.作为本发明的进一步改进方法：
11.可选地，所述s1步骤中采集行车过程中的车载视频并进行分帧处理，对车载视频帧图像进行局部分块处理，包括：
12.采集行车过程中的车载视频，并对所采集车载视频进行分帧处理，得到车载视频帧图像序列：
13.(i1,i2,...,in,...,in)
14.其中：
15.in表示车载视频中第n帧对应的车载视频帧图像，n表示车载视频的帧数；
16.对车载视频帧图像序列中的任意车载视频帧图像进行局部分块处理，将每张车载视频帧图像分割成m
×
k个互不重叠的局部视频帧分块图像，且每个局部视频帧分块图像的大小均为m
×
m像素，对每张车载视频帧图像的局部视频帧分块图像进行编号，则车载视频帧图像in中第m'行第k列的局部视频帧分块图像为in(m',k)，m'∈[1,m]，k∈[1,k]。
[0017]
可选地，所述s2步骤中构建车载视频帧异常识别模型，包括：
[0018]
构建车载视频帧异常识别模型，所构建车载视频帧异常识别模型的输入为局部视频帧分块图像，输出为该局部视频帧分块图像的异常得分；
[0019]
车载视频帧异常识别模型的结构包括输入层、像素梯度计算层、特征提取层以及输出层，输入层用于接收局部视频帧分块图像，像素梯度计算层用于计算局部视频帧分块图像中每个像素的梯度，得到初始梯度矩阵特征，特征提取层用于对初始梯度矩阵特征进行深层次特征提取，并将特征提取结果输入到输出层中，输出层用于将特征提取结果映射为异常得分；
[0020]
通过获取带有真实异常得分的局部图像构成训练集，所述真实异常得分为局部图像中存在异常事件的概率，并以真实异常得分与模型输出异常得分之间的均方误差最小化构成车载视频帧异常识别模型的训练目标函数，采用梯度下降法对车载视频帧异常识别模型中的模型参数进行优化求解，其中待求解参数包括特征提取层中的权重参数、偏置参数以及输出层中的权重矩阵。
[0021]
可选地，所述s2步骤中将局部视频帧分块图像输入到车载视频帧异常识别模型中，得到局部视频帧分块图像的异常得分，包括：
[0022]
将局部视频帧分块图像输入到车载视频帧异常识别模型中，基于车载视频帧异常识别模型的异常得分输出流程为：
[0023]
s21：输入层接收局部视频帧分块图像in(m',k)，并对局部视频帧分块图像in(m',k)进行灰度化处理，得到像素的灰度值，其中局部视频帧分块图像in(m',k)中像素(x,y)的灰度值为：像素(x,y)表示图像中第x行第y列的像素；
[0024]
s22：像素梯度计算层对局部视频帧分块图像in(m',k)中每个像素的梯度进行计算，其中像素(x,y)的梯度值为：
[0025]
[0026][0027][0028]
其中：
[0029]
表示局部视频帧分块图像in(m',k)中像素(x,y)的梯度；
[0030]
分别表示局部视频帧分块图像in(m',k)中像素(x,y)在水平以及竖直方向梯度的平方；
[0031]
构成局部视频帧分块图像in(m',k)的初始梯度矩阵特征
[0032][0033]
s23：特征提取层对初始梯度矩阵特征进行深层次特征提取：
[0034][0035][0036][0037][0038][0039]
其中：
[0040]
σ(
·
)表示激活函数；将其设置为sigmoid激活函数；
[0041]
w1,w2,w3表示权重参数，b1,b2,b3表示偏置参数；
[0042]
表示逐元素相加；
[0043]
表示初始梯度矩阵特征的深层次特征提取结果；
[0044]
对应不同层次的提取结果；
[0045]
s24：输出层利用权重矩阵w将特征提取结果映射为异常得分，其中局部视频帧分块图像in(m',k)的异常得分score(in(n',k))为：
[0046][0047]
其中：
[0048]
t表示转置。在本发明实施例中，局部视频帧分块图像的异常得分范围在0-1之间。
[0049]
可选地，所述s3步骤中根据局部视频帧分块图像异常得分计算得到车载视频帧图像的异常识别得分，包括：
[0050]
根据局部视频帧分块图像异常得分计算得到车载视频帧图像的异常识别得分，其中第n帧车载视频帧图像的异常识别得分scoren为：
[0051][0052]
若异常识别得分小于指定阈值则表示该车载视频帧图像为正常行车视频帧图像，否则为异常行车视频帧图像。
[0053]
可选地，所述s4步骤中构建正常行车自编码器模型，包括：
[0054]
构建正常行车自编码器模型，其中所构建正常行车自编码器模型的输入为正常行车视频帧图像，输出为正常行车视频帧图像的编码重构结果；
[0055]
正常行车自编码器模型包括特征提取层、编码层和解码层部分，特征提取层用于提取正常行车视频帧图像的纹理特征以及光流特征，编码层包括三个卷积层以及三个池化层，用于对正常行车视频帧图像特征进行编码表示处理，解码层包括三个卷积层和三个上采样层部分，用于对正常行车视频帧图像的编码表示结果进行解码处理，得到正常行车视频帧图像的编码重构结果；
[0056]
所构建正常行车自编码器的训练目标函数为：
[0057][0058]
其中：
[0059]
ω表示训练集中正常行车视频帧图像的像素点集合，通过获取若干正常行车视频帧图像构成训练集；
[0060]
e表示自然常数；
[0061]
g(l)表示正常行车视频帧图像中像素点l的灰度值，g(l')表示像素点l的重构后灰度值，l'表示编码重构结果中像素点l的同位置像素。在本发明实施例中，根据正常行车自编码器的训练目标函数，利用adam优化器对正常行车自编码器中的待优化参数进行优化求解，其中待优化参数包括卷积层权重参数。
[0062]
可选地，所述s4步骤中利用正常行车自编码器模型对正常行车视频帧图像进行编码重构，包括：
[0063]
利用正常行车自编码器模型对正常行车视频帧图像进行编码重构，其中编码重构流程为：
[0064]
s41：将正常行车视频帧图像q作为正常行车自编码器模型的输入；
[0065]
s42：特征提取层提取正常行车视频帧图像q的纹理特征，其中纹理特征的提取流程为：
[0066]
对于正常行车视频帧图像q中任意像素(x,y)为中心的3
×
3像素邻域，将中心像素(x,y)的灰度值与邻域像素的灰度值进行比较，若邻域像素的灰度值大于中心像素(x,y)的像素的灰度值，则将邻域像素的位置标记为1，否则标记为0，对邻域像素的位置按固定顺序排列，得到二进制编码结果code(x,y)，作为像素(x,y)的纹理特征；
[0067]
重复上述步骤，构成正常行车视频帧图像q的纹理特征：
[0068]
[0069]
其中：
[0070]
h1(q)表示正常行车视频帧图像q的纹理特征；
[0071]
s43：特征提取层提取正常行车视频帧图像q的光流特征，其中光流特征的提取流程为：
[0072]
s431：对于正常行车视频帧图像q，获取正常行车视频帧图像q最邻近的前向正常行车视频帧图像δq；
[0073]
s432：选取正常行车视频帧图像q中梯度最大的30个像素：
[0074]
(q(x1,y1),q(x2,y2),...,q(x
30
,y
30
))
[0075]
s433：构建由正常行车视频帧图像δq至正常行车视频帧图像q的光流特征：
[0076][0077][0078]
其中：
[0079]
g(
·
)表示计算像素灰度值；
[0080]
δq
x
表示由正常行车视频帧图像δq至正常行车视频帧图像q的水平方向移动信息；
[0081]
δqy表示由正常行车视频帧图像δq至正常行车视频帧图像q的竖直方向移动信息；
[0082]
τ表示δq与q之间的帧数差值；
[0083]
h2(q)表示正常行车视频帧图像q的光流特征；
[0084]
s44：编码层对光流特征进行插值处理，插值处理后光流特征的维数与纹理特征相同，利用三个卷积层以及三个池化层对正常行车视频帧图像q的纹理特征以及光流特征分别进行处理，并将处理结果进行融合，得到正常行车视频帧图像q的编码表示结果；
[0085]
s45：解码层利用三个卷积层和三个上采样层对编码表示结果进行解码处理，得到正常行车视频帧图像q的编码重构结果q'。
[0086]
可选地，所述s5步骤中计算正常行车视频帧图像的编码重构误差，若误差大于预设置的阈值，则表示正常行车视频帧图像中存在异常事件，包括：
[0087]
计算正常行车视频帧图像的编码重构误差，其中编码重构误差的计算公式为：
[0088]
err(q,q')＝||h1(q)-h1(q')||2+||h2(q)-h2(q')||2[0089]
其中：
[0090]
q表示正常行车视频帧图像，q'表示正常行车视频帧图像的编码重构结果；
[0091]
||
·
||表示l1范数；
[0092]
h1(
·
)表示纹理特征提取结果，h2(
·
)表示光流特征提取结果；
[0093]
err(q,q')表示正常行车视频帧图像q的编码重构误差；
[0094]
若编码重构误差大于预设置的阈值，则表示正常行车视频帧图像q中存在异常事件，并将正常行车视频帧图像q标注为异常行车视频帧图像；
[0095]
提取车载视频中的所有异常行车视频帧图像，将正常行车视频帧图像所构成的车载视频进行压缩。
[0096]
为了解决上述问题，本发明提供一种电子设备，所述电子设备包括：
[0097]
存储器，存储至少一个指令；
[0098]
通信接口，实现电子设备通信；及
[0099]
处理器，执行所述存储器中存储的指令以实现上述所述的语义检测的车载视频智能处理方法。
[0100]
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的语义检测的车载视频智能处理方法。
[0101]
相对于现有技术，本发明提出一种语义检测的车载视频智能处理方法，该技术具有以下优势：
[0102]
首先，本方案提出一种局部分块图像的异常得分输出方法，将局部视频帧分块图像输入到车载视频帧异常识别模型中，基于车载视频帧异常识别模型的异常得分输出流程为：输入层接收局部视频帧分块图像in(m',k)，并对局部视频帧分块图像in(m',k)进行灰度化处理，得到像素的灰度值，其中局部视频帧分块图像in(m',k)中像素(x,y)的灰度值为：像素(x,y)表示图像中第x行第y列的像素；像素梯度计算层对局部视频帧分块图像in(m',k)中每个像素的梯度进行计算，其中像素(x,y)的梯度值为：
[0103][0104][0105][0106]
其中：表示局部视频帧分块图像in(m',k)中像素(x,y)的梯度；
[0107]
分别表示局部视频帧分块图像in(m',k)中像素(x,y)在水平以及竖直方向梯度的平方；构成局部视频帧分块图像in(m',k)的初始梯度矩阵特征
[0108][0109]
特征提取层对初始梯度矩阵特征进行深层次特征提取：
[0110][0111][0112]
[0113][0114][0115]
其中：σ(
·
)表示激活函数；w1,w2,w3表示权重参数，b1,b2,b3表示偏置参数；表示逐元素相加；表示初始梯度矩阵特征的深层次特征提取结果；
[0116]
对应不同层次的提取结果；输出层利用权重矩阵w将特征提取结果映射为异常得分，其中局部视频帧分块图像in(m',k)的异常得分score(in(m',k))为：
[0117][0118]
其中：t表示转置。本方案通过将车载视频帧图像进行局部分块，利用车载视频帧异常识别模型识别得到局部视频帧分块图像的浅层梯度信息以及结合注意力机制的深层语义信息，得到车载视频帧图像中每个局部存在异常事件的概率，并将该概率表示为异常得分，进而计算得到车载视频帧图像的异常识别得分，通过对异常识别得分进行判别，初步识别得到正常行车视频帧图像以及异常行车视频帧图像。
[0119]
同时，本方案提出一种基于图像编码重构的异常行车事件识别方法，通过构建正常行车自编码器模型，其中所构建正常行车自编码器模型的输入为正常行车视频帧图像，输出为正常行车视频帧图像的编码重构结果；正常行车自编码器模型包括特征提取层、编码层和解码层部分，特征提取层用于提取正常行车视频帧图像的纹理特征以及光流特征，编码层包括三个卷积层以及三个池化层，用于对正常行车视频帧图像特征进行编码表示处理，解码层包括三个卷积层和三个上采样层部分，用于对正常行车视频帧图像的编码表示结果进行解码处理，得到正常行车视频帧图像的编码重构结果；计算正常行车视频帧图像的编码重构误差，其中编码重构误差的计算公式为：
[0120]
err(q,q')＝||h1(q)-h1(q')||2+||h2(q)-h2(q')||2[0121]
其中：q表示正常行车视频帧图像，q'表示正常行车视频帧图像的编码重构结果；||
·
||表示l1范数；h1(
·
)表示纹理特征提取结果，h2(
·
)表示光流特征提取结果；err(q,q')表示正常行车视频帧图像q的编码重构误差；若编码重构误差大于预设置的阈值，则表示正常行车视频帧图像q中存在异常事件，并将正常行车视频帧图像q标注为异常行车视频帧图像。对于识别得到的正常行车视频帧图像，本方案根据图像的纹理特征以及光流特征实现图像重构，并计算正常行车视频帧图像在不同特征表示上的编码重构误差，若误差大于预设置的阈值，则表示正常行车视频帧图像中存在异常事件，并将正常行车视频帧图像标注为异常行车视频帧图像，实现结合纹理特征以及光流特征的进一步异常行车事件识别，通过提取车载视频中的所有异常行车视频帧图像，将正常行车视频帧图像所构成的车载视频进行压缩，实现异常行车记录提取以及正常行车记录压缩，提高行车记录仪存储空间利用率。
附图说明
[0122]
图1为本发明一实施例提供的一种语义检测的车载视频智能处理方法的流程示意图；
[0123]
图2为本发明一实施例提供的实现语义检测的车载视频智能处理方法的电子设备的结构示意图。
[0124]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0125]
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0126]
本技术实施例提供一种语义检测的车载视频智能处理方法。所述语义检测的车载视频智能处理方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之，所述语义检测的车载视频智能处理方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
[0127]
实施例1：
[0128]
s1：采集行车过程中的车载视频并进行分帧处理，对车载视频帧图像进行局部分块处理，得到局部视频帧分块图像。
[0129]
所述s1步骤中采集行车过程中的车载视频并进行分帧处理，对车载视频帧图像进行局部分块处理，包括：
[0130]
采集行车过程中的车载视频，并对所采集车载视频进行分帧处理，得到车载视频帧图像序列：
[0131]
(i1,i2,...,in,...,in)
[0132]
其中：
[0133]in
表示车载视频中第n帧对应的车载视频帧图像，n表示车载视频的帧数；
[0134]
对车载视频帧图像序列中的任意车载视频帧图像进行局部分块处理，将每张车载视频帧图像分割成m
×
k个互不重叠的局部视频帧分块图像，且每个局部视频帧分块图像的大小均为m
×
m像素，对每张车载视频帧图像的局部视频帧分块图像进行编号，则车载视频帧图像in中第m'行第k列的局部视频帧分块图像为in(m',k)，m'∈[1,m]，k∈[1,k]。
[0135]
s2：构建车载视频帧异常识别模型，将局部视频帧分块图像输入到车载视频帧异常识别模型中，模型输出异常得分。
[0136]
所述s2步骤中构建车载视频帧异常识别模型，包括：
[0137]
构建车载视频帧异常识别模型，所构建车载视频帧异常识别模型的输入为局部视频帧分块图像，输出为该局部视频帧分块图像的异常得分；
[0138]
车载视频帧异常识别模型的结构包括输入层、像素梯度计算层、特征提取层以及输出层，输入层用于接收局部视频帧分块图像，像素梯度计算层用于计算局部视频帧分块图像中每个像素的梯度，得到初始梯度矩阵特征，特征提取层用于对初始梯度矩阵特征进行深层次特征提取，并将特征提取结果输入到输出层中，输出层用于将特征提取结果映射为异常得分；
[0139]
获取带有真实异常得分的局部图像构成训练集，所述真实异常得分为局部图像中存在异常事件的概率，并以真实异常得分与模型输出异常得分之间的均方误差最小化构成车载视频帧异常识别模型的训练目标函数，采用梯度下降法对车载视频帧异常识别模型中的模型参数进行优化求解，其中待求解参数包括特征提取层中的权重参数、偏置参数以及
输出层中的权重矩阵。
[0140]
所述s2步骤中将局部视频帧分块图像输入到车载视频帧异常识别模型中，得到局部视频帧分块图像的异常得分，包括：
[0141]
将局部视频帧分块图像输入到车载视频帧异常识别模型中，基于车载视频帧异常识别模型的异常得分输出流程为：
[0142]
s21：输入层接收局部视频帧分块图像in(m',k)，并对局部视频帧分块图像in(m',k)进行灰度化处理，得到像素的灰度值，其中局部视频帧分块图像in(m',k)中像素(x,y)的灰度值为：像素(x,y)表示图像中第x行第y列的像素；
[0143]
s22：像素梯度计算层对局部视频帧分块图像in(m',k)中每个像素的梯度进行计算，其中像素(x,y)的梯度值为：
[0144][0145][0146][0147]
其中：
[0148]
表示局部视频帧分块图像in(m',k)中像素(x,y)的梯度；
[0149]
分别表示局部视频帧分块图像in(m',k)中像素(x,y)在水平以及竖直方向梯度的平方；
[0150]
构成局部视频帧分块图像in(m',k)的初始梯度矩阵特征
[0151][0152]
s23：特征提取层对初始梯度矩阵特征进行深层次特征提取：
[0153][0154][0155][0156][0157][0158]
其中：
[0159]
σ(
·
)表示激活函数；
[0160]
w1,w2,w3表示权重参数，b1,b2,b3表示偏置参数；
[0161]
表示逐元素相加；
[0162]
表示初始梯度矩阵特征的深层次特征提取结果；
[0163]
对应不同层次的提取结果；
[0164]
s24：输出层利用权重矩阵w将特征提取结果映射为异常得分，其中局部视频帧分块图像in(m',k)的异常得分score(in(m',k))为：
[0165][0166]
其中：
[0167]
t表示转置。在本发明实施例中，局部视频帧分块图像的异常得分范围在0-1之间。
[0168]
s3：根据局部视频帧分块图像异常得分计算得到车载视频帧图像的异常识别得分，若异常识别得分小于指定阈值则为正常行车视频帧图像，否则为异常行车视频帧图像。
[0169]
所述s3步骤中根据局部视频帧分块图像异常得分计算得到车载视频帧图像的异常识别得分，包括：
[0170]
根据局部视频帧分块图像异常得分计算得到车载视频帧图像的异常识别得分，其中第n帧车载视频帧图像的异常识别得分scoren为：
[0171][0172]
若异常识别得分小于指定阈值则表示该车载视频帧图像为正常行车视频帧图像，否则为异常行车视频帧图像。
[0173]
s4：构建正常行车自编码器模型，利用正常行车自编码器模型对正常行车视频帧图像进行编码重构。
[0174]
所述s4步骤中构建正常行车自编码器模型，包括：
[0175]
构建正常行车自编码器模型，其中所构建正常行车自编码器模型的输入为正常行车视频帧图像，输出为正常行车视频帧图像的编码重构结果；
[0176]
正常行车自编码器模型包括特征提取层、编码层和解码层部分，特征提取层用于提取正常行车视频帧图像的纹理特征以及光流特征，编码层包括三个卷积层以及三个池化层，用于对正常行车视频帧图像特征进行编码表示处理，解码层包括三个卷积层和三个上采样层部分，用于对正常行车视频帧图像的编码表示结果进行解码处理，得到正常行车视频帧图像的编码重构结果；
[0177]
所构建正常行车自编码器的训练目标函数为：
[0178][0179]
其中：
[0180]
ω表示训练集中正常行车视频帧图像的像素点集合，通过获取若干正常行车视频帧图像构成训练集；
[0181]
e表示自然常数；
[0182]
g(l)表示正常行车视频帧图像中像素点l的灰度值，g(l')表示像素点l的重构后灰度值，l'表示编码重构结果中像素点l的同位置像素。
[0183]
所述s4步骤中利用正常行车自编码器模型对正常行车视频帧图像进行编码重构，
包括：
[0184]
利用正常行车自编码器模型对正常行车视频帧图像进行编码重构，其中编码重构流程为：
[0185]
s41：将正常行车视频帧图像q作为正常行车自编码器模型的输入；
[0186]
s42：特征提取层提取正常行车视频帧图像q的纹理特征，其中纹理特征的提取流程为：
[0187]
对于正常行车视频帧图像q中任意像素(x,y)为中心的3
×
3像素邻域，将中心像素(x,y)的灰度值与邻域像素的灰度值进行比较，若邻域像素的灰度值大于中心像素(x,y)的像素的灰度值，则将邻域像素的位置标记为1，否则标记为0，对邻域像素的位置按固定顺序排列，得到二进制编码结果code(x,y)，作为像素(x,y)的纹理特征；
[0188]
重复上述步骤，构成正常行车视频帧图像q的纹理特征：
[0189][0190]
其中：
[0191]
h1(q)表示正常行车视频帧图像q的纹理特征；
[0192]
s43：特征提取层提取正常行车视频帧图像q的光流特征，其中光流特征的提取流程为：
[0193]
s431：对于正常行车视频帧图像q，获取正常行车视频帧图像q最邻近的前向正常行车视频帧图像δq；
[0194]
s432：选取正常行车视频帧图像q中梯度最大的30个像素：
[0195]
(q(x1,y1),q(x2,y2),...,q(x
30
,y
30
))
[0196]
s433：构建由正常行车视频帧图像δq至正常行车视频帧图像q的光流特征：
[0197][0198][0199]
其中：
[0200]
g(
·
)表示计算像素灰度值；
[0201]
δq
x
表示由正常行车视频帧图像δq至正常行车视频帧图像q的水平方向移动信息；
[0202]
δqy表示由正常行车视频帧图像δq至正常行车视频帧图像q的竖直方向移动信息；
[0203]
τ表示δq与q之间的帧数差值；
[0204]
h2(q)表示正常行车视频帧图像q的光流特征；
[0205]
s44：编码层对光流特征进行插值处理，插值处理后光流特征的维数与纹理特征相同，利用三个卷积层以及三个池化层对正常行车视频帧图像q的纹理特征以及光流特征分
别进行处理，并将处理结果进行融合，得到正常行车视频帧图像q的编码表示结果；
[0206]
s45：解码层利用三个卷积层和三个上采样层对编码表示结果进行解码处理，得到正常行车视频帧图像q的编码重构结果q'。
[0207]
s5：计算正常行车视频帧图像的编码重构误差，若误差大于预设置的阈值，则表示正常行车视频帧图像中存在异常事件，并将正常行车视频帧图像标注为异常行车视频帧图像，将正常行车视频帧图像所构成的车载视频进行压缩。
[0208]
所述s5步骤中计算正常行车视频帧图像的编码重构误差，若误差大于预设置的阈值，则表示正常行车视频帧图像中存在异常事件，包括：
[0209]
计算正常行车视频帧图像的编码重构误差，其中编码重构误差的计算公式为：
[0210]
err(q,q')＝||h1(q)-h1(q')||2+||h2(q)-h2(q')||2[0211]
其中：
[0212]
q表示正常行车视频帧图像，q'表示正常行车视频帧图像的编码重构结果；
[0213]
||
·
||表示l1范数；
[0214]
h1(
·
)表示纹理特征提取结果，h2(
·
)表示光流特征提取结果；
[0215]
err(q,q')表示正常行车视频帧图像q的编码重构误差；
[0216]
若编码重构误差大于预设置的阈值，则表示正常行车视频帧图像q中存在异常事件，并将正常行车视频帧图像q标注为异常行车视频帧图像；
[0217]
提取车载视频中的所有异常行车视频帧图像，将正常行车视频帧图像所构成的车载视频进行压缩。
[0218]
实施例2：
[0219]
如图2所示，是本发明一实施例提供的实现语义检测的车载视频智能处理方法的电子设备的结构示意图。
[0220]
所述电子设备1可以包括处理器10、存储器11、通信接口13和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如程序12。
[0221]
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如程序12的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0222]
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(用于实现车载视频智能处理的程序12等)，以及调用存储在所述存储器11
内的数据，以执行电子设备1的各种功能和处理数据。
[0223]
所述通信接口13可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接，并实现电子设备内部组件之间的连接通信。
[0224]
所述总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
[0225]
图2仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图2示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0226]
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
[0227]
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
[0228]
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
[0229]
所述电子设备1中的所述存储器11存储的程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
[0230]
采集行车过程中的车载视频并进行分帧处理，对车载视频帧图像进行局部分块处理，得到局部视频帧分块图像；
[0231]
构建车载视频帧异常识别模型，将局部视频帧分块图像输入到车载视频帧异常识别模型中，模型输出异常得分；
[0232]
根据局部视频帧分块图像异常得分计算得到车载视频帧图像的异常识别得分，若异常识别得分小于指定阈值则为正常行车视频帧图像，否则为异常行车视频帧图像；
[0233]
构建正常行车自编码器模型，利用正常行车自编码器模型对正常行车视频帧图像进行编码重构；
[0234]
计算正常行车视频帧图像的编码重构误差，若误差大于预设置的阈值，则表示正常行车视频帧图像中存在异常事件，并将正常行车视频帧图像标注为异常行车视频帧图像，将正常行车视频帧图像所构成的车载视频进行压缩。
[0235]
具体地，所述处理器10对上述指令的具体实现方法可参考图1至图2对应实施例中相关步骤的描述，在此不赘述。
[0236]
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
[0237]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0238]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种语义检测的车载视频智能处理方法，其特征在于，所述方法包括：s1：采集行车过程中的车载视频并进行分帧处理，对车载视频帧图像进行局部分块处理，得到局部视频帧分块图像；s2：构建车载视频帧异常识别模型，将局部视频帧分块图像输入到车载视频帧异常识别模型中，模型输出异常得分；s3：根据局部视频帧分块图像异常得分计算得到车载视频帧图像的异常识别得分，若异常识别得分小于指定阈值则为正常行车视频帧图像，否则为异常行车视频帧图像；s4：构建正常行车自编码器模型，利用正常行车自编码器模型对正常行车视频帧图像进行编码重构；s5：计算正常行车视频帧图像的编码重构误差，若误差大于预设置的阈值，则表示正常行车视频帧图像中存在异常事件，并将正常行车视频帧图像标注为异常行车视频帧图像，将正常行车视频帧图像所构成的车载视频进行压缩。2.如权利要求1所述的一种语义检测的车载视频智能处理方法，其特征在于，所述s1步骤中采集行车过程中的车载视频并进行分帧处理，对车载视频帧图像进行局部分块处理，包括：采集行车过程中的车载视频，并对所采集车载视频进行分帧处理，得到车载视频帧图像序列：；其中：表示车载视频中第n帧对应的车载视频帧图像，n表示车载视频的帧数；对车载视频帧图像序列中的任意车载视频帧图像进行局部分块处理，将每张车载视频帧图像分割成个互不重叠的局部视频帧分块图像，且每个局部视频帧分块图像的大小均为像素，对每张车载视频帧图像的局部视频帧分块图像进行编号，则车载视频帧图像中第行第k列的局部视频帧分块图像为，，。3.如权利要求2所述的一种语义检测的车载视频智能处理方法，其特征在于，所述s2步骤中构建车载视频帧异常识别模型，包括：构建车载视频帧异常识别模型，所构建车载视频帧异常识别模型的输入为局部视频帧分块图像，输出为该局部视频帧分块图像的异常得分；车载视频帧异常识别模型的结构包括输入层、像素梯度计算层、特征提取层以及输出层，输入层用于接收局部视频帧分块图像，像素梯度计算层用于计算局部视频帧分块图像中每个像素的梯度，得到初始梯度矩阵特征，特征提取层用于对初始梯度矩阵特征进行深层次特征提取，并将特征提取结果输入到输出层中，输出层用于将特征提取结果映射为异常得分；获取带有真实异常得分的局部图像构成训练集，所述真实异常得分为局部图像中存在异常事件的概率，并以真实异常得分与模型输出异常得分之间的均方误差最小化构成车载视频帧异常识别模型的训练目标函数，采用梯度下降法对车载视频帧异常识别模型中的模型参数进行优化求解，其中待求解参数包括特征提取层中的权重参数、偏置参数以及输出层中的权重矩阵。
4.如权利要求2所述的一种语义检测的车载视频智能处理方法，其特征在于，所述s2步骤中将局部视频帧分块图像输入到车载视频帧异常识别模型中，得到局部视频帧分块图像的异常得分，包括：将局部视频帧分块图像输入到车载视频帧异常识别模型中，基于车载视频帧异常识别模型的异常得分输出流程为：s21：输入层接收局部视频帧分块图像，并对局部视频帧分块图像进行灰度化处理，得到像素的灰度值，其中局部视频帧分块图像中像素的灰度值为：，像素表示图像中第x行第y列的像素；s22：像素梯度计算层对局部视频帧分块图像中每个像素的梯度进行计算，其中像素的梯度值为：；；；其中：表示局部视频帧分块图像中像素的梯度；分别表示局部视频帧分块图像中像素在水平以及竖直方向梯度的平方；构成局部视频帧分块图像的初始梯度矩阵特征：；s23：特征提取层对初始梯度矩阵特征进行深层次特征提取：；；；；；其中：
表示激活函数；表示权重参数，表示偏置参数；表示逐元素相加；表示初始梯度矩阵特征的深层次特征提取结果；对应不同层次的提取结果；s24：输出层利用权重矩阵w将特征提取结果映射为异常得分，其中局部视频帧分块图像的异常得分为：；其中：t表示转置。5.如权利要求4所述的一种语义检测的车载视频智能处理方法，其特征在于，所述s3步骤中根据局部视频帧分块图像异常得分计算得到车载视频帧图像的异常识别得分，包括：根据局部视频帧分块图像异常得分计算得到车载视频帧图像的异常识别得分，其中第n帧车载视频帧图像的异常识别得分为：；若异常识别得分小于指定阈值则表示该车载视频帧图像为正常行车视频帧图像，否则为异常行车视频帧图像。6.如权利要求1所述的一种语义检测的车载视频智能处理方法，其特征在于，所述s4步骤中构建正常行车自编码器模型，包括：构建正常行车自编码器模型，其中所构建正常行车自编码器模型的输入为正常行车视频帧图像，输出为正常行车视频帧图像的编码重构结果；正常行车自编码器模型包括特征提取层、编码层和解码层部分，特征提取层用于提取正常行车视频帧图像的纹理特征以及光流特征，编码层包括三个卷积层以及三个池化层，用于对正常行车视频帧图像特征进行编码表示处理，解码层包括三个卷积层和三个上采样层部分，用于对正常行车视频帧图像的编码表示结果进行解码处理，得到正常行车视频帧图像的编码重构结果；所构建正常行车自编码器的训练目标函数为：；其中：表示训练集中正常行车视频帧图像的像素点集合，通过获取若干正常行车视频帧图像构成训练集；e表示自然常数；表示正常行车视频帧图像中像素点l的灰度值，表示像素点l的重构后灰度
值，表示编码重构结果中像素点l的同位置像素。7.如权利要求6所述的一种语义检测的车载视频智能处理方法，其特征在于，所述s4步骤中利用正常行车自编码器模型对正常行车视频帧图像进行编码重构，包括：利用正常行车自编码器模型对正常行车视频帧图像进行编码重构，其中编码重构流程为：s41：将正常行车视频帧图像q作为正常行车自编码器模型的输入；s42：特征提取层提取正常行车视频帧图像q的纹理特征，其中纹理特征的提取流程为：对于正常行车视频帧图像q中任意像素为中心的像素邻域，将中心像素的灰度值与邻域像素的灰度值进行比较，若邻域像素的灰度值大于中心像素的像素的灰度值，则将邻域像素的位置标记为1，否则标记为0，对邻域像素的位置按固定顺序排列，得到二进制编码结果，作为像素的纹理特征；重复上述步骤，构成正常行车视频帧图像q的纹理特征：；其中：表示正常行车视频帧图像q的纹理特征；s43：特征提取层提取正常行车视频帧图像q的光流特征，其中光流特征的提取流程为：s431：对于正常行车视频帧图像q，获取正常行车视频帧图像q最邻近的前向正常行车视频帧图像；s432：选取正常行车视频帧图像q中梯度最大的30个像素：；s433：构建由正常行车视频帧图像至正常行车视频帧图像q的光流特征：；；其中：表示计算像素灰度值；表示由正常行车视频帧图像至正常行车视频帧图像q的水平方向移动信息；表示由正常行车视频帧图像至正常行车视频帧图像q的竖直方向移动信息；表示与q之间的帧数差值；表示正常行车视频帧图像q的光流特征；s44：编码层对光流特征进行插值处理，插值处理后光流特征的维数与纹理特征相同，利用三个卷积层以及三个池化层对正常行车视频帧图像q的纹理特征以及光流特征分别进
行处理，并将处理结果进行融合，得到正常行车视频帧图像q的编码表示结果；s45：解码层利用三个卷积层和三个上采样层对编码表示结果进行解码处理，得到正常行车视频帧图像q的编码重构结果。8.如权利要求7所述的一种语义检测的车载视频智能处理方法，其特征在于，所述s5步骤中计算正常行车视频帧图像的编码重构误差，若误差大于预设置的阈值，则表示正常行车视频帧图像中存在异常事件，包括：计算正常行车视频帧图像的编码重构误差，其中编码重构误差的计算公式为：；其中：表示正常行车视频帧图像，表示正常行车视频帧图像的编码重构结果；表示l1范数；表示纹理特征提取结果，表示光流特征提取结果；表示正常行车视频帧图像的编码重构误差；若编码重构误差大于预设置的阈值，则表示正常行车视频帧图像中存在异常事件，并将正常行车视频帧图像q标注为异常行车视频帧图像；提取车载视频中的所有异常行车视频帧图像，将正常行车视频帧图像所构成的车载视频进行压缩。

技术总结
本发明涉及车载视频处理的技术领域，揭露了一种语义检测的车载视频智能处理方法，所述方法包括：对车载视频帧图像进行局部分块处理，利用车载视频帧异常识别模型计算得到车载视频帧图像的异常识别得分，若异常识别得分小于指定阈值则为正常行车视频帧图像；利用正常行车自编码器模型对正常行车视频帧图像进行编码重构；计算正常行车视频帧图像的编码重构误差进行异常行车视频帧图像标注，将正常行车视频帧图像所构成的车载视频进行压缩。本发明通过基于局部分块图像的浅层梯度信息以及深层语义信息实现正常行车图像的初步识别，并基于纹理特征以及光流特征实现正常行车图像中异常行车事件识别，实现异常行车记录提取以及正常行车记录压缩。正常行车记录压缩。正常行车记录压缩。


技术研发人员：胡鹏飞 尹跃军 曹伟
受保护的技术使用者：湖南承希科技有限公司
技术研发日：2023.05.11
技术公布日：2023/7/22