基于边缘辅助与RoI提取的视频分析方法及自动驾驶系统

基于边缘辅助与roi提取的视频分析方法及自动驾驶系统
技术领域
1.本发明属于视频分析领域，更具体地，涉及基于边缘辅助与roi提取的视频分析方法及自动驾驶系统。


背景技术：

2.自动驾驶可以减少交通拥堵、提高驾驶安全。其核心技术被概括为感知、规划和控制。其中，高精度的环境感知是自动驾驶决策的基础，特别是在复杂的路段和危险的天气条件下。然而，受限于车载传感器的传感范围和精度，大多数现成的车辆只能达到l2的水平。
3.车载摄像头产生的高清视频流具有丰富的语义信息可以帮助提高计算机视觉的准确度，然而现有的深度神经网络(deep neural networks，dnn)的输入多为224
×
224或640
×
640低分辨率的图片。对高分辨率(3840
×
2160)的视频帧直接下采样作为dnn模型的输入会很大程度上影响影响检测准确度，而扩大dnn的输入尺寸会带来高的处理时延，无法满足实时性的要求。
4.路边单元等边缘节点具有一定的算力资源可以帮助减轻车端的计算负担，车辆在边缘节点的覆盖范围内时，可以卸载部分计算任务到边缘节点。但是行驶中的车辆具有高速移动特性，车联网的连接不稳定会导致数据包丢失，所以当网络带宽不足而传输数据量较大时，会导致推理结果更新的不及时，引发驾驶安全问题。
5.为了提高自动驾驶过程中，视频分析的性能，现有方法提出，将车载高清摄像头拍摄的视频流中的视频帧等分后再以分块的形式卸载，这种卸载方法可以在一定程度上提高视频分析的准确度，但是可能导致目标被分割，影响最终的视频分析准确性，在某些特殊情况下，分割得到的分块中可能不包含目标物体，将这样的分块也卸载至边缘节点，反而会导致传输无用的数据。也有方法提出，通过预测判断目标物体可能出现在视频帧中的哪个区域，直接将该区域作为感兴趣区域提取相应的roi框，然后以roi框的形式卸载，这两种卸载方法也可以在一定程度上减少数据传输量，提高实时性，但是这种卸载方法对于新出现的目标无法进行预测，也无法保证视频分析的准确性。


技术实现要素：

6.针对现有技术的缺陷和改进需求，本发明提供了基于边缘辅助与roi提取的视频分析方法及自动驾驶系统，其目的在于，准确提取视频帧的特征图中与目标视频分析任务密切相关的roi框，以roi框的形式将视频分析任务卸载到边缘节点，在保证视频分析任务准确性的情况下，减少数据传输量，从而在网络条件较差的情况下也能够实现高准确度的视频任务分析。
7.为实现上述目的，按照本发明的一个方面，提供了一种基于边缘辅助与roi提取的视频分析方法，包括如下步骤：
8.(s1)将车载摄像头产生的视频流中的当前视频帧输入至已训练好的特征提取器，以提取当前视频帧的特征图；
9.(s2)将特征图沿水平方向和垂直方向划分为互不重叠的四个特征图块，并在原始特征图中心区域裁剪出一个特征图块，得到特征图的五个特征图块；
10.(s3)通过类激活映射得到特征图块关于每个物体类别k的热力图mk，并将各热力图中大于预设的阈值σm的像素点置为1，其余像素点置为0，得到各特征图块关于每个物体类别k的掩模图；
11.(s4)对掩模图中的白色区域进行提取，得到一系列定位框，并在特征图块中提取各定位框对应的部分，得到一系列roi框；
12.(s5)将各roi框卸载到边缘节点，由边缘节点中的dnn模型完成当前视频帧的目标视觉任务分析。
13.进一步地，步骤(s2)和步骤(s3)之间还包括：剔除位于左上区域和右上区域的特征图块。
14.进一步地，位于左上区域和位于右上区域的特征图块所占比例与车载摄像头的焦距反相关。
15.进一步地，步骤(s5)中，在将各roi框卸载到边缘节点之前，还包括：
16.对于当前视频帧内的任意一个特征图块b，若上一个被卸载的特征图块b所属的视频帧与当前视频帧之间的间隔小于当前的传输帧间隔tb，则直接丢弃特征图块b中提取到的roi框；否则，保留特征图块b中提取到的roi框；
17.并且，步骤(s5)中，将各roi框卸载到边缘节点之后，还包括：
18.对于当前视频帧内的任意一个特征图块b，若从中提取的roi框被卸载到边缘节点后均未检测到目标物体，且特征图块b当前的传输频率大于传输频率下界，则增加特征图块b的传输帧间隔。
19.进一步地，本发明提供的基于边缘辅助与roi提取的视频分析方法，还包括：对于当前视频帧内的任意一个特征图块b，若从中提取的roi框被卸载到边缘节点，且至少一个roi框内检测到目标，则设置特征图块b的传输帧间隔tb为初始的传输帧间隔，使其传输频率与所述视频流的帧率相等。
20.进一步地，步骤(s5)中，通过求解如下优化问题确定卸载至边缘节点的各roi框的下采样率ri：
[0021][0022]
s.t.c1:
[0023]
c2:
[0024]
c3:i≥r
min
[0025]
其中，t表示当前时刻，ri表示分配给第i个roi框的下采样率，表示第i个roi框分配下采样率ri后的图像大小，b
t
表示边缘节点当前可用带宽资源，表示边缘节点中dnn
模型分析第i个roi框所需要消耗的gpu资源，是边缘节点当前可用的最大gpu占用率，r
min
表示下采样率的下界；u
t
表示当前视频帧的效用值，n表示卸载的roi框的总数；表示第i个roi框分配下采样率ri后输入到dnn模型的分析准确度，表示边缘端分析第i个roi框所需要的算力资源。
[0026]
进一步地，特征提取器为卷积神经网络，其中的池化层数量少于预设的第一阈值，且其骨干网络的网络层数低于预设的第二阈值。
[0027]
进一步地，特征提取器为resnet18。
[0028]
按照本发明的又一个方面，提供了一种基于边缘辅助与roi提取的视频分析设备，包括：计算机可读存储介质和处理器；
[0029]
计算机可读存储介质中存储有计算机程序；
[0030]
处理器用于读取计算机可读存储介质中的计算机程序，执行本发明提供的基于边缘辅助与roi提取的视频分析方法。
[0031]
按照本发明的又一个方面，提供了一种自动驾驶系统，包括：车载摄像头，以及本发明提供的基于边缘辅助与roi提取的视频分析设备。
[0032]
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
[0033]
(1)本发明提供的基于边缘辅助与roi提取的视频分析方法，基于车载摄像头生成的视频流的画面结构信息，将视频帧的特征图裁剪为5个特征图块，并分别在每个特征图块上进行cam定位能显著提升目标物体定位的效果，之后基于cam的定位结果完成roi框的提取，由此能够准确与视频分析任务紧密相关的roi框；最终，以roi框的形式将视频分析任务卸载到边缘节点，能够在保证视频分析任务准确度的基础上，有效减少传输数据量，保证了视频分析结果的实时更新，在网络条件较差的情况下，也能准确完成视频分析任务。
[0034]
(2)本发明提供的基于边缘辅助与roi提取的视频分析方法，在其优选方案中，在进行roi框提取之前，会先剔除位于左上区域和右上区域的特征图块，基于车载摄像头产生的高清视频流的画面结构信息，所剔除的特征图块为背景，且不包含目标物体，剔除后，可减少roi框提取的计算量，并减少无效roi框的传输，从而进一步减少数据传输量。
[0035]
(3)本发明提供的基于边缘辅助与roi提取的视频分析方法，在其优选方案中，会根据车载摄像头的焦距调整位于左上区域和右上区域的特征图块，由此能够适应画面结构信息，在保证不剔除有效roi框的情况下，最大程度上减少无效roi框的传输。
[0036]
(4)本发明提供的基于边缘辅助与roi提取的视频分析方法，在其优选方案中，会基于特征图块中包含目标物体的情况，自适应调整各特征图块的传输频率，进一步减少无效roi框的传输。
[0037]
(5)本发明提供的基于边缘辅助与roi提取的视频分析方法，在其优选方案中，通过可用带宽以及边缘端资源约束的条件下，最大化效用函数可得到不同roi框所分配的最优下采样率，实现最大化带宽与边缘端资源利用率的同时保证dnn模型的高准确度分析结果。
[0038]
(6)本发明提供的基于边缘辅助与roi提取的视频分析方法，在其优选方案中，所使用的特征提取器中，池化层数量较少(少于预设的第一阈值)，能够避免影响cam的定位功
能，且其骨干网络的网络层数较低(低于预设的第二阈值)，由此能够保证所提取特征对于位置信息具有较高的敏感度。
附图说明
[0039]
图1为本发明实施例提供的基于边缘辅助与roi提取的视频分析方法示意图；
[0040]
图2为本发明实施例提供的特征图块裁剪示意图；
[0041]
图3为本发明实施例提供的roi框提取过程示意图；(a)为原始视频帧，(b)为经过cam进行定位后得到的热力图，(c)为相应的掩模图，(d)为提取的roi框，(e)为剔除位于左上区域和右上区域的特征图块后得到的有效roi框，(f)为将(e)所示的有效roi框卸载到边缘节点后，得到的视频分析结果；
[0042]
图4为基于不同视频分析方法得到的最终结果对比图；其中，(a)是直接将视频帧下采样后输入到dnn检测器中的结果图，(b)是基于本实施例提供的视频分析方法得到的最终结果图。
具体实施方式
[0043]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0044]
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0045]
为了减少传输数据量，保证在网络条件较差的情况下依旧实现高准确度的视频分析，本发明提供了基于边缘辅助与roi提取的视频分析方法及自动驾驶系统，其整体思路在于：基于车载摄像头生成的视频帧的画面结构信息，准确提取视频帧的特征图中与目标视频分析任务密切相关的roi框，以roi框的形式将视频分析任务卸载到边缘节点，在保证视频分析任务准确性的情况下，减少数据传输量，从而在网络条件较差的情况下也能够实现高准确度的视频任务分析。
[0046]
为了准确提取与视频分析任务相关的roi框，本发明对于车载摄像头产生的高清视频流进行提出了基于类激活映射(class activation mapping,cam)的roi提取并将roi框卸载到边缘进行多任务处理，通过提取高分辨率视频帧中roi框不仅可以显著提高计算机视觉任务的准确度而且极大减少传输到边缘节点的数据量。
[0047]
以下为实施例。
[0048]
实施例1：
[0049]
一种基于边缘辅助与roi提取的视频分析方法，如图1所示，包括如下步骤：
[0050]
(s1)将车载摄像头产生的视频流中的当前视频帧输入至已训练好的特征提取器，以提取当前视频帧的特征图。
[0051]
考虑到本实施例后续会通过类激活映射(class activation mapping,cam)获取热力图，而池化层会损失物体之间精确的空间映射关系，从而影响cam的定位效果，所以骨干网络应包含尽可能少的池化层；同时，网络层数越深提取到的特征越抽象，对位置信息敏
感度越低，所以骨干网络的网络层数不能太深；基于以上考虑，本实施例所使用的特征提取其为一种轻量级的卷积神经网络，即其中的池化层数量较少(少于预设的第一阈值)，且其骨干网络的网络层数较少(低于预设的第二阈值)。应当说明的是，在实际应用中，轻量级卷积神经网络中的池化层数量以及骨干网络的网络层数，应根据实际的视频分析效果相应设定，可选地，本实施例中，具体选用了resnet18作为特征提取器，选用resnet18作为特征提取器，可以在资源开销最少的情况下获得较好的准确度。容易理解的是，该特征提取器已在标注了特征标签的图像数据数据集上完成了训练。应当说明的是，在本发明其他的一些实施例中，在特征提取的实时性和准确性都满足应用需求的情况下，也可以选用resnet50，googlenet，mobilenet，darknet53等其他网络作为特征提取器。
[0052]
基于所提取的当前视频帧的特征图，本实施例进一步包括：
[0053]
(s2)将特征图沿水平方向和垂直方向划分为且互不重叠的四个特征图块，并在原始特征图中心区域裁剪出一个特征图块，得到特征图的五个特征图块。
[0054]
cam具有物体定位的功能且时间开销非常少，但其对于离散分布的物体尤其是小物体的定位效果较差，本实施例通过步骤(s2)将特征图裁剪为多个特征图块，有利于提高定位准确度。
[0055]
车载摄像头生成的视频帧具有特定的画面结构信息，即画面左上方区域和画面右上方区域往往为背景区域，并且不包含目标物体，而画面右下方区域和画面右下方区域往往包含有目标物体，此外，画面中心区域中，物体最密集，且分布较小，后续通过cam进行定位时，定位效果较差。基于车载摄像头生成的视频帧的画面结构信息，本实施例采取
‘
4+1’的固定结构的裁剪方式，将特征图裁剪为了五个特征图块，如图2所示，其中p1～p5分别表示特征图的左上区域、右上区域、左下区域、右下区域以及中心区域。这种特征图块的裁剪方式，与画面结构信息相符，有利于roi框的准确提取。
[0056]
在实际应用中，每个特征图块的大小比例不是固定的，而是根据车载摄像头的焦距决定，具体方法包括：摄像头焦距越长视角越窄，单个物体成像越大，对应地，减少特征图块p1和p2所占的比例，由此可以保证特征图块p1和p2仅为背景，而不包含目标物体，从而无需进行roi的提取。
[0057]
相应地，本实施例在完成特征图块的裁剪后，还包括：剔除位于左上区域和右上区域的特征图块，即剔除特征图块p1和p2；由于这两个特征图块中不包含目标物体，直接剔除，可有效减少无效roi框的数量，减少计算量，并减少数据传输量。
[0058]
通过以上步骤(s2)完成特征图块的裁剪后，本实施例进一步包括：
[0059]
(s3)通过类激活映射得到特征图块关于每个物体类别k的热力图mk，并将各热力图中大于预设的阈值σm的像素点置为1，其余像素点置为0，得到各特征图块关于每个物体类别k的掩模图。
[0060]
对于任意一个物体类别k，其热力图mk中，每个像素值表示特征图块中对应位置的像素属于第k类目标物体的概率；
[0061]
以fc(x,y)表示特征提取器输出的第c通道特征图在空间坐标(x,y)上的像素值，将其输入到全局平均池化层得到均值标量fc＝∑
x,y
fc(x,y)，从而得到物体类别k的热力图其中是类别k在特征通道c的权重。
[0062]
本实施例在裁剪得到特征图块的基础上，分别在每个特征图块上进行cam定位能
显著提升目标物体定位的效果。同时，卷积操作不改变物体之间的映射关系，所以先对特征图进行裁剪然后在每个块上进行基于cam的物体定位，与先裁剪原始视频帧，再对每个视频块分别进行特征提取和cam，输出的热力图是一样的。但是前者仅需要进行一次特征提取，而后者需要进行五次消耗五倍的算力资源。其中cam物体定位的时间开销可以忽略不计。
[0063]
通过以上步骤(s3)，本实施例能够得到每一个特征图块关于每个物体类别的掩模图，在该掩模图中，白色区域，即像素值为1的区域，为物体所在区域。在步骤(s3)的基础上，本实施例进一步包括：
[0064]
(s4)对掩模图中的白色区域进行提取，得到一系列定位框，并在特征图块中提取各定位框对应的部分，得到一系列roi框。
[0065]
基于以上步骤(s1)～(s4)，本实施例实现了基于cam的roi提取，由此能够准确提取出视频帧中与视频分析任务相关的roi框。基于步骤(s4)所提取的roi框，本实施例进一步包括：
[0066]
(s5)将各roi框卸载到边缘节点，由边缘节点中的dnn模型完成当前视频帧的目标视觉任务分析。
[0067]
本实施例仅卸载与视频分析任务相关的roi框，在保证视频分析准确性的情况下，能够有效减少数据传输量，保证视频分析结果的实时更新，从而在网络条件较差的情况下，也能够实现高准确度的视频分析。
[0068]
图3所示，为采用本实施例提供的上述方法完成一个视频帧的分析示意图，其中，(a)为原始视频帧，(b)为经过cam进行定位后得到的热力图，(c)为相应的掩模图，(d)为提取的roi框，(e)为剔除特征图块p1和p2后得到的有效roi框，(f)为将(e)所示的有效roi框卸载到边缘节点后，得到的视频分析结果。根据图3可知，基于本实施例所提供的方法，最终卸载到边缘节点的数据量较少，仅为几个roi框，从最终结果来看，本实施例也能够准确检测到相应的目标物体。
[0069]
作为一种优选的实施方式，本实施例的步骤(s5)在将roi框卸载到边缘节点时，会自适应当前视频流的目标物体分布特性，对roi框的传输频率进行调节；具体地，本实施例的步骤(s5)中，在将各roi框卸载到边缘节点之前，还包括：
[0070]
对于当前视频帧内的任意一个特征图块b，若上一个被卸载的特征图块b所属的视频帧与当前视频帧之间的间隔小于当前的传输帧间隔tb，则直接丢弃特征图块b中提取到的roi框；否则，保留特征图块b中提取到的roi框；
[0071]
并且，步骤(s5)中，将各roi框卸载到边缘节点之后，还包括：
[0072]
对于当前视频帧内的任意一个特征图块b，若从中提取的roi框被卸载到边缘节点后均未检测到目标物体，且特征图块b当前的传输频率大于传输频率下界，则增加特征图块b的传输帧间隔；
[0073]
此外，本实施例还包括：对于当前视频帧内的任意一个特征图块b，若从中提取的roi框被卸载到边缘节点，且至少一个roi框内检测到目标，则设置特征图块b的传输帧间隔tb为初始的传输帧间隔，即恢复其传输频率为视频流的帧率。
[0074]
可选地，本实施例中，将每个块的传输频率初始化为30fps(视频流的帧率为30fps)；每次增加传输帧间隔时，具体增加的幅度，可根据实际的检测需求相应设置，本实施例中，如果5帧之后这个块内依旧没有目标物体出现，则传输间隔增加到10帧，传输频率
按照这个规律依次减少。同时，设置每个块的最低传输频率为1fps。一旦这个块内有物体被检测到，则其传输频率恢复到30fps。
[0075]
基于视频流的连续性，若某个特征图块中提取的所有roi框中都未检测到目标物体，则其后连续的多个视频帧中，相同特征图块中提取的所有roi框中也不会检测到目标物体，本实施例基于各特征图块内的roi框卸载后目标物体的检测情况对传输频率进行调整，能够有效减少roi框的卸载，进一步减少数据传输量。
[0076]
作为一种优选的实施方式，本实施例的步骤(s5)还会通过自适应调节每个要卸载到边缘进行视觉任务分析的roi框的下采样率来控制它们的分辨率，实现传输尽可能少的数据量同时保证高的分析准确度。
[0077]
在t时刻要卸载n个有效roi框，通过函数在t时刻要卸载n个有效roi框，通过函数计算每一帧的效用值，用于衡量通过对这一帧中n个有效roi框分配不同的下采样率ri后，输入到dnn模型的检测效果。其中，表示第i个roi框分配下采样率ri后输入到dnn模型的分析准确度，表示边缘端分析这个roi框所需要的算力资源。
[0078]
通过可用带宽以及边缘端资源约束的条件下，最大化效用函数可得到不同roi框所分配的最优下采样率，实现最大化带宽与边缘端资源利用率的同时保证dnn模型的高准确度分析结果。相应地，本实施例步骤(s5)中，通过求解如下优化问题确定卸载至边缘节点的各roi框的下采样率ri：
[0079][0080]
s.t.c1:
[0081]
c2:
[0082]
c3:i≥r
min
[0083]
其中，t表示当前时刻，ri表示分配给第i个roi框的下采样率，表示第i个roi框分配下采样率ri后的图像大小，b
t
表示边缘节点当前可用带宽资源，表示边缘节点中dnn模型分析第i个roi框所需要消耗的gpu资源，是边缘节点当前可用的最大gpu占用率，r
min
表示下采样率的下界；u
t
表示当前视频帧的效用值，n表示卸载的roi框的总数；表示第i个roi框分配下采样率ri后输入到dnn模型的分析准确度，表示边缘端分析第i个roi框所需要的算力资源。
[0084]
总的来说，本实施例基于车载摄像头生成的高清视频流的画面结构信息，实现了基于cam的roi提取，并进一步筛选出了有效roi框，最终仅将这些有效roi框卸载到边缘节点执行视频分析任务，在保证视频分析准确度的情况下，有效减少了数据传输量。
[0085]
图4所示，为基于不同视频分析方法得到的最终结果对比图，其中，(a)是直接将视频帧下采样后输入到dnn检测器中的结果图，(b)是基于本实施例提供的视频分析方法得到的最终结果图。对比图4中的(a)和(b)可知，对于画面中存在的目标物体，通过本发明提供的视频分析方法均可检测到，而采用现有的方法，对于视野较远处的小目标，则无法检测到，由此可知，基于本发明提供的视频分析方法，原始车载高清视频帧经过roi提取并卸载到边缘节点进行处理可以大大提高视觉任务的准确度。
[0086]
实施例2：
[0087]
一种基于边缘辅助与roi提取的视频分析设备，包括：计算机可读存储介质和处理器；
[0088]
计算机可读存储介质中存储有计算机程序；
[0089]
处理器用于读取计算机可读存储介质中的计算机程序，执行上述实施例1提供的基于边缘辅助与roi提取的视频分析方法。
[0090]
实施例3：
[0091]
一种自动驾驶系统，包括：车载摄像头，以及上述实施例2提供的基于边缘辅助与roi提取的视频分析设备。
[0092]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于边缘辅助与roi提取的视频分析方法，其特征在于，包括如下步骤：(s1)将车载摄像头产生的视频流中的当前视频帧输入至已训练好的特征提取器，以提取当前视频帧的特征图；(s2)将所述特征图沿水平方向和垂直方向划分为互不重叠的四个特征图块，并在原始特征图中心区域裁剪出一个特征图块，得到所述特征图的五个特征图块；(s3)通过类激活映射得到特征图块关于每个物体类别k的热力图m
k
，并将各热力图中大于预设的阈值σ
m
的像素点置为1，其余像素点置为0，得到各特征图块关于每个物体类别k的掩模图；(s4)对掩模图中的白色区域进行提取，得到一系列定位框，并在特征图块中提取各定位框对应的部分，得到一系列roi框；(s5)将各roi框卸载到边缘节点，由所述边缘节点中的dnn模型完成当前视频帧的目标视觉任务分析。2.如权利要求1所述的基于边缘辅助与roi提取的视频分析方法，其特征在于，所述步骤(s2)和所述步骤(s3)之间还包括：剔除位于左上区域和右上区域的特征图块。3.如权利要求2所述的基于边缘辅助与roi提取的视频分析方法，其特征在于，位于左上区域和位于右上区域的特征图块所占比例与所述车载摄像头的焦距反相关。4.如权利要求1～3任一项所述的基于边缘辅助与roi提取的视频分析方法，其特征在于，所述步骤(s5)中，在将各roi框卸载到边缘节点之前，还包括：对于当前视频帧内的任意一个特征图块b，若上一个被卸载的特征图块b所属的视频帧与当前视频帧之间的间隔小于当前的传输帧间隔t
b
，则直接丢弃特征图块b中提取到的roi框；否则，保留特征图块b中提取到的roi框；并且，所述步骤(s5)中，将各roi框卸载到边缘节点之后，还包括：对于当前视频帧内的任意一个特征图块b，若从中提取的roi框被卸载到边缘节点后均未检测到目标物体，且特征图块b当前的传输频率大于传输频率下界，则增加特征图块b的传输帧间隔。5.如权利要求4所述的基于边缘辅助与roi提取的视频分析方法，其特征在于，还包括：对于当前视频帧内的任意一个特征图块b，若满足卸载条件，且当前视频帧内的特征图块b内提取的至少一个roi框内检测到目标，则设置特征图块b的传输帧间隔t
b
为初始的传输帧间隔，使其传输频率与所述视频流的帧率相等。6.如权利要求1～3任一项所述的基于边缘辅助与roi提取的视频分析方法，其特征在于，所述步骤(s5)中，通过求解如下优化问题确定卸载至边缘节点的各roi框的下采样率r
i
：：
c3:r
i
≥r
min
其中，t表示当前时刻，r
i
表示分配给第i个roi框的下采样率，表示第i个roi框分配下采样率r
i
后的图像大小，b
t
表示边缘节点当前可用带宽资源，表示边缘节点中dnn模型分析第i个roi框所需要消耗的gpu资源，是边缘节点当前可用的最大gpu占用率，r
min
表示下采样率的下界；u
t
表示当前视频帧的效用值，n表示卸载的roi框的总数；表示第i个roi框分配下采样率r
i
后输入到dnn模型的分析准确度，表示边缘端分析第i个roi框所需要的算力资源。7.如权利要求1～3任一项所述的基于边缘辅助与roi提取的视频分析方法，其特征在于，所述特征提取器为卷积神经网络，其中的池化层数量少于预设的第一阈值，且其骨干网络的网络层数低于预设的第二阈值。8.如权利要求7所述的基于边缘辅助与roi提取的视频分析方法，其特征在于，所述特征提取器为resnet18。9.一种基于边缘辅助与roi提取的视频分析设备，其特征在于，包括：计算机可读存储介质和处理器；所述计算机可读存储介质中存储有计算机程序；所述处理器用于读取所述计算机可读存储介质中的计算机程序，执行权利要求1～8任一项所述的基于边缘辅助与roi提取的视频分析方法。10.一种自动驾驶系统，其特征在于，包括：车载摄像头，以及权利要求9所述的基于边缘辅助与roi提取的视频分析设备。

技术总结
本发明公开了基于边缘辅助与RoI提取的视频分析方法及自动驾驶系统，属于视频分析领域，包括：将当前视频帧输入至特征提取器，得到特征图后，沿水平、垂直方向划分为四个特征图块，并在中心区域裁剪出一个特征图块；通过CAM得到特征图块关于各物体类别的热力图，并较大的像素点置为1，其余像素点置为0，得到掩模图，并对其中的白色区域进行提取，得到一系列定位框，在特征图块中提取各定位框对应的部分，得到一系列RoI框；将各RoI框卸载到边缘节点，由其中的DNN模型完成当前视频帧的目标视觉任务分析。本发明能够准确提取与视频分析任务密切相关的RoI框，并以RoI框的形式卸载任务到边缘节点，在保证准确性的情况下，减少数据传输量。减少数据传输量。减少数据传输量。


技术研发人员：杨鹏 程岩
受保护的技术使用者：华中科技大学
技术研发日：2023.06.13
技术公布日：2023/10/8