一种图像目标识别性能评估装置及评估方法与流程

1.本发明涉及工程应用领域的目标识别技术，具体的涉及一种图像目标识别性能评估装置及评估方法。


背景技术：

2.深度学习在目标识别领域得到了广泛的应用，为了评估不同模型和方法之间的优劣，催生了一些经典数据集，利用这些数据集进行训练并测试得到平均准确率和处理速度等指标来进行评估，并随着平均准确率等指标不断刷新记录，也伴随模型的复杂化、网络的不断加深以及硬件要求的提高。然而工程应用中，那些排行靠前的算法却并未得到广泛普及，反而是那些简单高效的方法得到了广泛的应用，这也反映出当下目标识别算法的评估方法并不完全适用于工程应用。
3.催生出的经典数据集，虽为目标识别算法提供了测试评估数据来源，但很难直接通过这些数据集来评估目标识别算法在嵌入式平台的性能，往往需要依赖外场不同环境且增加干扰等场景的测试，耗费大、保障要求高，且不同场景的重复性较差。因此，需要利用一种装置和方法，把不同环境且增加干扰等场景的图像数据、以及经典数据集等，重复性注入到不同嵌入式图像处理器来评估目标识别性能。


技术实现要素：

4.针对上述问题，本发明提出了一种工程应用中的图像目标识别性能评估装置及评估方法，为评估不同嵌入式图像处理器的目标识别性能提供参考。
5.本发明采用的技术方案是：一种图像目标识别性能评估装置，所述装置基于全可编程阵列片上数字处理芯片为框架，包括千兆网数据传输模块、视频接口转换模块、vdma模块、axi4-stream to video out模块、通讯模块、osd(on-screen display)模块、视频流时序产生模块、动态时钟配置模块、全可编程阵列片上数字处理模块和性能评估模块；所述性能评估模块将准备好的场景视频数据，通过千兆网数据传输模块传输给全可编程阵列片上数字处理模块，vdma模块读完准备好的图像并通过通讯模块告诉嵌入式图像处理器准备开始识别；与此同时，vdma模块把内存中的视频流数据在视频流时序产生模块产生的时序下，按嵌入式图像处理器输入视频的要求，通过视频接口转换模块注入嵌入式图像处理器；嵌入式图像处理器收到注入图像数据开始目标识别，识别结果通过通讯模块传输给全可编程阵列片上数字处理模块，全可编程阵列片上数字处理模块将识别结果数据通过千兆网数据传输模块传输给性能评估模块，性能评估模块根据下发和收到的结果数据进行不同维度的性能评估。
6.进一步地，所述千兆网数据传输模块实现性能评估模块将不同环境且增加干扰的场景图像数据和经典数据集，重复性注入到不同嵌入式图像处理器，并兼具通讯功能。
7.进一步地，所述vdma模块高带宽实现视频流在内存的读取和存贮功能。
8.进一步地，所述视频流时序产生模块将内存中的视频流按不同嵌入式图像处理器
视频输入接口时序，产生与之相适配的时序。
9.进一步地，所述视频接口转换模块在视频流时序产生模块的配合下，实现不同嵌入式图像处理器视频注入。
10.进一步地，所述全可编程阵列片上数字处理模块是整个装置核心数据处理模块，为数据流控制、工作流程控制和数据交互中心。
11.进一步地，所述性能评估模块是注入不同环境且增加干扰的场景图像数据和经典数据集等数据后，收集嵌入式图像处理器工作过程数据，并在不同维度评估嵌入式图像处理器目标识别性能，形成综合性能图表数据。
12.一种基于上述图像目标识别性能评估装置的目标识别评估方法，具体实施步骤如下：步骤一、性能评估模块通过千兆网数据传输模块将准备好的场景视频数据，传输给全可编程阵列片上数字处理模块，全可编程阵列片上数字处理模块收到视频帧计为f1,f2,f3…fn
的视频数据后，以收到f1产生图像准备好中断，并用全可编程阵列片上数字处理模块建立时间基准t0，产生帧计数1，并通过osd模块叠加在f1图像帧上，与此同时通过vdma模块读v0通道准备好的图像去生成嵌入式图像处理器所需时序要求的图像数据，并在vmda模块多通道缓存机制下切换到v1通道存储图像。
13.步骤二、vdma模块读完准备好的图像产生图像显示中断，并通过通讯模块告诉嵌入式图像处理器可以开始识别，时间记为t1，通过通讯模块收到嵌入式图像处理器的识别结果时间记为t
11
；与此同时，通过vdma多通道缓存机制，切换步骤一中v1通道图像进行读取，收到的目标识别中目标真实位置数据为和并通过千兆网数据传输模块传输给性能评估模块保存记录；重复步骤一，可实现f2帧图像的处理，依此类推，即可实现准备好的场景视频fn的处理。
14.步骤三、性能评估模块数据处理已准备好的场景视频数据f1,f2,f3…fn
，场景中标定目标真实位置数据为c
11c12c13
…c1i
、c
21c22c23
…c2j
和c
n1cn2cn3
…cnk
，由目标总数r
total
为收到嵌入式图像处理器识别结果时间为t
11
t
21
t
31
…
t
n1
，收到的嵌入式图像处理器处理完的视频数据f1′
,f2′
,f3′…fn
′
；与此同时，准备好多个场景数据，重复步骤一、二和三，可得到不同应用场景分析数据；f1,f2,f3…fn
处理时间为t1t2t3…
tn，f1帧处理时间为t1＝t
11-t1，fn帧处理时间为tn＝t
n1-tn；识别结果中，如果第n帧收到位置坐标与真实位置坐标欧式距离小于某值th(如3个像素)可认为正确，记为rn，否则认为识别错误；则识别正确的个数为：
识别准确率rec是最重要的指标，定义为识别正确样本数与总样本数的比值，记为：识别速度v
rec
是实现目标识别功能的速度，通过每帧图像目标识别处理时间的平均，记为：泛化能力f是指输入非训练样本数据时，也能实现目标正确识别的能力，记为：式(5)中r1′
为第一帧正确识别非训练样本目标数，r1″
为第一帧非训练样本目标总数，m为识别帧数，jjm为第m帧非训练样本真实目标总数。
15.步骤四、综合上述指标，对各指标进行加权得到综合评估目标识别性能综合指标，记为：e＝w1·
rec+w2·
f-w3·vvec
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)式(6)中，w1、w2和w3为各指标分配权值，可根据实际工程应用场景分配。
16.与现有技术相比，本发明的优点在于：1)可有效降低外场测试保障要求，能根据不同场景需求综合、客观且能充分利用不同数据集资源或者增加干扰措施来评估其对场景的适应能力，具有重复性高、可扩展性强、综合性高和保障要求低等特点，适用于各种不同视频接口的嵌入式图像处理器评估其目标识别性能的需求；2)提出的目标识别评估方法，能解决工程应用中目标识别算法在缺乏公用数据集情况下的性能评估问题，为目标识别算法的择优提供参考；3)提出的目标识别评估方法，以综合性、可量化、结果直观和公有性为原则，结合加权优序法和综合评价法，利用识别准确率、泛化能力和识别速度三个维度来评估目标识别性能。
附图说明
17.图1为本发明评估装置示意图；图2为本发明评估装置的工作信息流图。
具体实施方式
18.下面结合附图，对本发明实施例的技术方案进行详细描述。
19.实施例一：如图1所示，一种工程应用中的图像目标识别性能评估装置，该装置基于全可编程阵列片上数字处理芯片为框架，包括千兆网数据传输模块、视频接口转换模块、vdma模块、axi4-stream to video out模块、通讯模块、osd(on-screen display)模块、视频流时序产
生模块、动态时钟配置模块、全可编程阵列片上数字处理模块和性能评估模块。
20.其中，千兆网数据传输模块实现性能评估模块将不同环境且增加干扰的场景图像数据和经典数据集，重复性注入到不同嵌入式图像处理器，并兼具通讯功能。vdma模块高带宽实现视频流在内存的读取和存贮功能；视频流时序产生模块是将内存中的视频流按不同嵌入式图像处理器视频输入接口时序，产生与之相适配的时序；视频接口转换模块是在视频流时序产生模块的配合下，实现不同嵌入式图像处理器视频注入，包括pal、cml、cameralink和lvds等。全可编程阵列片上数字处理模块是整个装置核心数据处理模块，为数据流控制、工作流程控制和数据交互中心；性能评估模块是注入不同环境且增加干扰的场景图像数据和经典数据集等数据后，收集嵌入式图像处理器工作过程数据，并在不同维度评估嵌入式图像处理器目标识别性能，形成综合性能图表数据。axi4-stream to video out模块为流视频转化为行场视频格式模块，osd(on-screen display)模块作用是字符叠加模块，动态时钟配置模块为配置所需视频输出格式的时钟。
21.性能评估模块将准备好的场景视频数据，通过千兆网数据传输模块传输给全可编程阵列片上数字处理模块，传输一帧完成，产生图像中断；vdma模块读完准备好的图像并通过通讯模块告诉嵌入式图像处理器准备开始识别；与此同时，vdma模块把内存中的视频流数据在视频流时序产生模块产生的时序下，按嵌入式图像处理器输入视频的要求，通过视频接口转换模块注入嵌入式图像处理器；嵌入式图像处理器收到注入图像数据开始目标识别，识别结果通过通讯模块传输给全可编程阵列片上数字处理模块，全可编程阵列片上数字处理模块将识别结果数据通过千兆网数据传输模块传输给性能评估模块，性能评估模块根据下发和收到的结果数据进行不同维度的性能评估。
22.实施例二：一种基于图像目标识别性能评估装置的目标识别评估方法，其工作信息流如图2所示，具体实施步骤如下：步骤一、性能评估模块通过千兆网数据传输模块传输已准备好的场景视频数据，全可编程阵列片上数字处理模块收到视频数据，视频帧计为f1,f2,f3…fn
，以收到f1产生图像准备好中断，并用全可编程阵列片上数字处理模块建立时间基准t0，产生帧计数1，并通过osd模块叠加在f1图像帧上，与此同时通过vdma模块读v0通道准备好的图像，去生成嵌入式图像处理器所需时序要求的图像数据，并在vmda模块多通道缓存机制下切换到v1通道存储图像。
23.步骤二、vdma模块读完准备好的图像产生图像显示中断，并通过rs422通讯模块告诉嵌入式图像处理器可以开始识别，时间记为t1，通过通讯模块收到嵌入式图像处理器的识别结果时间记为t
11
；与此同时，通过vdma模块多通道缓存机制，切换步骤一中v1通道图像进行读取，收到的目标识别中目标真实位置数据为和并通过千兆网数据传输模块传输给性能评估模块保存记录。重复步骤一，可实现f2帧图像的处理，依此类推，即可实现准备好的场景视频fn的处理。
24.步骤三、性能评估模块数据处理已准备好的场景视频数据f1,f2,f3…fn
，场景中标定目标真实位置数据为c
11c12c13
…c1i
、c
21c22c23
…c2j
和c
n1cn2cn3
…cnk
，由目标总数r
total
为收到嵌入式图像处理器识别结果时间为t
11
t
21
t
31
…
t
n1
，收到的嵌入式图像处理
器处理完的视频数据f1′
,f2′
,f3′…fn
′
。
25.与此同时，准备好多个场景数据，重复步骤一、二和三，可得到不同应用场景分析数据。
26.f1,f2,f3…fn
处理时间为t1t2t3…
tn，f1帧处理时间为t1＝t
11-t1，fn帧处理时间为tn＝t
n1-tn。
27.识别结果中，如果第n帧收到位置坐标与真实位置坐标欧式距离小于某值th(如3个像素)可认为正确，记为rn，否则认为识别错误。则识别正确的个数为：识别准确率rec是最重要的指标，定义为识别正确样本数与总样本数的比值，记为：识别速度v
rec
是实现目标识别功能的速度，通过每帧图像目标识别处理时间的平均，记为：泛化能力f是指输入非训练样本数据时，也能实现目标正确识别的能力，记为：
28.式(5)中r1′
为第一帧正确识别非训练样本目标数，r1″
为第一帧非训练样本目标总数，m为识别帧数，jjm为第m帧非训练样本真实目标总数。
29.步骤四、综合上述指标，对各指标进行加权得到综合评估目标识别性能综合指标，记为：e＝w1·
rec+w2·
f-w3·vvec
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)式(6)中，w1、w2和w3为各指标分配权值，可根据实际工程应用场景分配。
30.显然上述实施例仅仅是本发明一部分的实施例，而不是全部的实施例，基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

技术特征：
1.一种图像目标识别性能评估装置，其特征在于，所述装置基于全可编程阵列片上数字处理芯片为框架，包括千兆网数据传输模块、视频接口转换模块、vdma模块、axi4-stream to video out模块、通讯模块、osd模块、视频流时序产生模块、动态时钟配置模块、全可编程阵列片上数字处理模块和性能评估模块；所述性能评估模块将准备好的场景视频数据，通过千兆网数据传输模块传输给全可编程阵列片上数字处理模块，vdma模块读完准备好的图像并通过通讯模块告诉嵌入式图像处理器准备开始识别；与此同时，vdma模块把内存中的视频流数据在视频流时序产生模块产生的时序下，按嵌入式图像处理器输入视频的要求，通过视频接口转换模块注入嵌入式图像处理器；嵌入式图像处理器收到注入图像数据开始目标识别，识别结果通过通讯模块传输给全可编程阵列片上数字处理模块，全可编程阵列片上数字处理模块将识别结果数据通过千兆网数据传输模块传输给性能评估模块，性能评估模块根据下发和收到的结果数据进行不同维度的性能评估。2.如权利要求1所述的图像目标识别性能评估装置，其特征在于，所述千兆网数据传输模块实现性能评估模块将不同环境且增加干扰的场景图像数据和经典数据集，重复性注入到不同嵌入式图像处理器，并兼具通讯功能。3.如权利要求2所述的图像目标识别性能评估装置，其特征在于，所述vdma模块高带宽实现视频流在内存的读取和存贮功能。4.如权利要求3所述的图像目标识别性能评估装置，其特征在于，所述视频流时序产生模块将内存中的视频流按不同嵌入式图像处理器视频输入接口时序，产生与之相适配的时序。5.如权利要求4所述的图像目标识别性能评估装置，其特征在于，所述视频接口转换模块在视频流时序产生模块的配合下，实现不同嵌入式图像处理器视频注入。6.如权利要求5所述的图像目标识别性能评估装置，其特征在于，所述全可编程阵列片上数字处理模块是整个装置核心数据处理模块，为数据流控制、工作流程控制和数据交互中心。7.如权利要求6所述的图像目标识别性能评估装置，其特征在于，所述性能评估模块是注入不同环境且增加干扰的场景图像数据和经典数据集等数据后，收集嵌入式图像处理器工作过程数据，并在不同维度评估嵌入式图像处理器目标识别性能，形成综合性能图表数据。8.一种基于权利要求1-7所述图像目标识别性能评估装置的目标识别评估方法，其特征在于，具体实施步骤如下：步骤一、性能评估模块通过千兆网数据传输模块将准备好的场景视频数据，传输给全可编程阵列片上数字处理模块，全可编程阵列片上数字处理模块收到视频帧计为f1,f2,f3…
f
n
的视频数据后，以收到f1产生图像准备好中断，并用全可编程阵列片上数字处理模块建立时间基准t0，产生帧计数1，并通过osd模块叠加在f1图像帧上，与此同时通过vdma模块读v0通道准备好的图像去生成嵌入式图像处理器所需时序要求的图像数据，并在vmda模块多通道缓存机制下切换到v1通道存储图像；步骤二、vdma模块读完准备好的图像产生图像显示中断，并通过通讯模块告诉嵌入式图像处理器可以开始识别，时间记为t1，通过通讯模块收到嵌入式图像处理器的识别结果
时间记为t
11
；与此同时，通过vdma多通道缓存机制，切换步骤一中v1通道图像进行读取，收到的目标识别中目标真实位置数据为和并通过千兆网数据传输模块传输给性能评估模块保存记录；重复步骤一，可实现f2帧图像的处理，依此类推，即可实现准备好的场景视频f
n
的处理；步骤三、性能评估模块数据处理已准备好的场景视频数据f1,f2,f3…
f
n
，场景中标定目标真实位置数据为c
11
c
12
c
13
…
c
1i
、c
21
c
22
c
23
…
c
2j
和c
n1
c
n2
c
n3
…
c
nk
，由目标总数r
total
为收到嵌入式图像处理器识别结果时间为t
11
t
21
t
31
…
t
n1
，收到的嵌入式图像处理器处理完的视频数据f1′
,f2′
,f3′…
f
n
′
；与此同时，准备好多个场景数据，重复步骤一、二和三，可得到不同应用场景分析数据；f1,f2,f3…
f
n
处理时间为t1t2t3…
t
n
，f1帧处理时间为t1＝t
11-t1，f
n
帧处理时间为t
n
＝t
n1-t
n
；识别结果中，如果第n帧收到位置坐标与真实位置坐标欧式距离小于某值th(如3个像素)可认为正确，记为r
n
，否则认为识别错误；则识别正确的个数为：识别准确率rec是最重要的指标，定义为识别正确样本数与总样本数的比值，记为：识别速度v
rec
是实现目标识别功能的速度，通过每帧图像目标识别处理时间的平均，记为：泛化能力f是指输入非训练样本数据时，也能实现目标正确识别的能力，记为：式(5)中r1′
为第一帧正确识别非训练样本目标数，r1″
为第一帧非训练样本目标总数，m为识别帧数，jj
m
为第m帧非训练样本真实目标总数；步骤四、综合上述指标，对各指标进行加权得到综合评估目标识别性能综合指标，记为：e＝w1·
rec+w2·
f-w3·vvec
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)式(6)中，w1、w2和w3为各指标分配权值，可根据实际工程应用场景分配。

技术总结
本发明公开了一种图像目标识别性能评估装置及评估方法，所述装置基于全可编程阵列片上数字处理芯片为框架，包括千兆网数据传输模块、视频接口转换模块、VDMA模块、AXI4-stream to Video out模块、通讯模块、OSD模块、视频流时序产生模块、动态时钟配置模块、全可编程阵列片上数字处理模块和性能评估模块；本发明的评估装置和评估方法可有效降低外场测试保障要求，根据不同场景需求综合且客观和能充分利用不同数据集资源或者增加干扰措施来评估其对场景的适应能力，适用于各种不同视频接口的嵌入式图像处理器评估其目标识别性能的需求。嵌入式图像处理器评估其目标识别性能的需求。嵌入式图像处理器评估其目标识别性能的需求。


技术研发人员：周伟 颜有翔 朱高祥 卢鑫 李路 周波 陆叶 蔡俊杰 李显彦 王乾明 陈赞 王建梅 孙攀
受保护的技术使用者：湖南华南光电（集团）有限责任公司
技术研发日：2023.06.05
技术公布日：2023/10/15