障碍物检测目标列表生成方法、设备、存储介质与流程
未命名
07-22
阅读:68
评论:0
1.本技术涉及目标检测技术领域,尤其涉及一种障碍物检测目标列表生成方法、设备、存储介质。
背景技术:
2.在现有的目标检测过程中,通过ai(artificial intelligence,人工智能)检测或rb(rule base,规则库)检测实现。
3.以道路场景下对目标汽车进行检测为例,若进行ai检测,此时如果检测到目标汽车,则得到检测到目标汽车的ai检测结果,如果未检测到目标汽车,则得到未检测到目标汽车的ai检测结果。同理,若进行rb检测,此时如果检测到目标汽车,则得到检测到目标汽车的rb检测结果,如果未检测到目标汽车,则得到未检测到目标汽车的rb检测结果。
4.但是无论ai检测还是rb检测,均会出现漏检的情况。即检测对象中存在目标汽车,但是通过ai检测得到了未检测到目标汽车的ai检测结果,或者,通过rb检测得到了未检测到目标汽车的rb检测结果。漏检会造成最终目标收集的遗漏,因此,亟需一种能够不漏目标,得到目标列表的方案。
技术实现要素:
5.为了解决上述技术缺陷之一,本技术提供了一种障碍物检测目标列表生成方法、设备、存储介质。
6.本技术第一个方面,提供了一种障碍物检测目标列表生成方法,所述方法包括:获取当前帧图像和当前的检测目标列表;通过匹配算法对当前帧图像进行前后帧匹配,并基于所述当前的检测目标列表,确定匹配出的目标的跟踪器标识;对所述当前帧图像进行目标检测;确定目标检测出的目标的跟踪器标识和可见状态;根据跟踪器标识和可见状态更新所述检测目标列表。
7.可选地,所述检测目标列表中包括一个或多个目标,每个目标对应一个跟踪器标识;所述通过匹配算法对当前帧图像进行前后帧匹配,并基于所述当前的检测目标列表,确定匹配出的目标的跟踪器标识,包括:通过匈牙利匹配算法,对当前帧图像进行前后帧匹配,匹配出与前一帧相同的目标;若当前的检测目标列表中包括匹配出的目标,则将匹配出的目标在当前的检测目标列表中对应的跟踪器标识确定为匹配出的目标的跟踪器标识。
8.可选地,所述跟踪器包括人工智能ai跟踪器和规则库rb跟踪器;所述对所述当前帧图像进行目标检测,包括:
对所述当前帧图像同时进行ai检测和rb检测,得到ai目标和rb目标;其中,每个ai目标由唯一一个ai跟踪器所跟踪,每个rb目标由唯一一个rb跟踪器所跟踪。
9.可选地,所述确定目标检测出的目标的跟踪器标识,包括:对于每一个ai目标,若其已存在跟踪器标识,且已存在的跟踪器标识与跟踪其的ai跟踪器的标识不同,或者,其未存在跟踪器标识,则确定其跟踪器标识为跟踪其的ai跟踪器的标识;对于每一个rb目标,若其未被ai检测所检测出,且未存在跟踪器标识,则确定其跟踪器标识为跟踪其的rb跟踪器的标识。
10.可选地,确定目标检测出的目标的可见状态,包括:对于任一ai目标,若其满足如下第一条件,则确定其针对ai检测的可见状态为不可见,否则确定其针对ai检测的可见状态为可见;对于任一rb目标,若其满足如下第二条件,则确定其针对rb检测的可见状态为不可见,否则确定其针对rb检测的可见状态为可见;其中,第一条件为:在i-1帧图像至i-n+1帧图像之中,存在ai检测未检测到与ai目标对应的目标的帧图像,其中,i为所述当前帧图像的帧号,n为预设阈值;或者,ai目标未被rb检测所检测出;或者,ai目标在当前帧图像之前持续丢失的图像帧数超过阈值;第二条件为:满足删除条件,并且rb目标未被ai检测所检测出;或者,rb目标被ai检测所检测出。
11.可选地,所述ai跟踪器中包括一个计数器,且所述计数器初始值为0;对于任一帧图像,若对所述任一帧图像进行ai检测时,未检测出由所述ai跟踪器跟踪的目标时,所述计数器+1;检测出由所述ai跟踪器跟踪的目标时,所述计数器重置为0;所述ai目标在当前帧图像之前持续丢失的图像帧数为跟踪所述ai目标的ai跟踪器中计数器的值。
12.可选地,所述根据所述跟踪器标识和可见状态更新所述检测目标列表,包括:对于任一ai目标,若其针对ai检测的可见状态为可见,且其在连续被rb检测出的帧数超过预设帧阈值,同时当前的检测目标列表包括所述任一ai目标,则获取其最新的状态信息,将最新的状态信息更新至所述检测目标列表中,且在所述任一ai目标在当前的检测目标列表中对应的跟踪器标识与所述任一ai目标的跟踪器标识不相同时,还将所述任一ai目标的跟踪器标识更新至所述检测目标列表中;对于任一rb目标,若其针对rb检测的可见状态为可见,且当前的检测目标列表包括所述任一rb目标,则获取其最新的状态信息,将最新的状态信息更新至所述检测目标列
表中。
13.可选地,所述根据所述跟踪器标识和可见状态更新所述检测目标列表,包括:对于任一ai目标,若其针对ai检测的可见状态为可见,且其在连续被rb检测出的帧数超过预设帧阈值,同时当前的检测目标列表不包括所述任一ai目标,则获取其最新的状态信息,将所述任一ai目标、跟踪器标识和其最新的状态信息加入检测目标列表中;对于任一rb目标,若其针对rb检测的可见状态为可见,且当前的检测目标列表不包括所述任一rb目标,则获取其最新的状态信息,将所述任一rb目标、跟踪器标识和其最新的状态信息加入检测目标列表中。
14.可选地,所述状态信息包括如下的一种或多种:大小,中心点,方向,类型。
15.本技术第二个方面,提供了一种电子设备,包括:存储器;处理器;以及计算机程序;其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如上述第一个方面所述的方法。
16.本技术第三个方面,提供了一种计算机可读存储介质,其上存储有计算机程序;所述计算机程序被处理器执行以实现如上述第一个方面所述的方法。
17.本技术提供一种障碍物检测目标列表生成方法、设备、存储介质,该方法包括:获取当前帧图像和当前的检测目标列表;通过匹配算法对当前帧图像进行前后帧匹配,并基于当前的检测目标列表,确定匹配出的目标的跟踪器标识;对当前帧图像进行目标检测;确定目标检测出的目标的跟踪器标识和可见状态;根据跟踪器标识和可见状态更新检测目标列表。本技术提供的方法根据跟踪器标识和可见状态更新检测目标列表,确保每个目标有检测有跟踪有输出,保证了目标的不遗漏,实现了对于一个实际目标只收集输出一个检测状态,即对于一个实际目标可能有多个检测,只输出一个检测状态。
附图说明
18.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:图1为本技术实施例提供的一种障碍物检测目标列表生成方法的流程示意图;图2为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
19.为了使本技术实施例中的技术方案及优点更加清楚明白,以下结合附图对本技术的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本技术的一部分实施例,而不是所有实施例的穷举。需要说明的是,在不冲突的情况下,本技术中的实施例及实施例中的特征可以相互组合。
20.在实现本技术的过程中,发明人发现,在现有的目标检测过程中,如在道路场景下检测汽车,通常会通过ai(artificial intelligence,人工智能)方法对该汽车进行感知识别,得到ai识别结果。同时通过rb(rule base,规则库)方法对该汽车进行感知识别,得到rb
识别结果。即对于同一个目标,两种感知方法都会产生一个感知结果。所以需要将当帧处理的目标不重不漏、信息完备的收集成可以输出下游的目标列表。
21.针对上述问题,本技术实施例中提供了一种障碍物检测目标列表生成方法、设备、存储介质,该方法包括:获取当前帧图像和当前的检测目标列表;通过匹配算法对当前帧图像进行前后帧匹配,并基于当前的检测目标列表,确定匹配出的目标的跟踪器标识;对当前帧图像进行目标检测;确定目标检测出的目标的跟踪器标识和可见状态;根据跟踪器标识和可见状态更新检测目标列表。本技术提供的方法根据跟踪器标识和可见状态更新检测目标列表,确保每个目标有检测有跟踪有输出,保证了目标的不遗漏,实现了对于一个实际目标只收集输出一个检测状态,即对于一个实际目标可能有多个检测,只输出一个检测状态。
22.参见图1,本实施例提供一种障碍物检测目标列表生成方法,其实现过程如下:通过本实施例的方法可以对一段影像生成障碍物检测目标列表,此时,会针对每帧图像执行图1所示的方法,针对每帧图像对障碍物检测目标列表进行更新,当最后一帧执行完成后,即得到最终的障碍物检测目标列表。
23.因此,本实施例影像中任一帧(本实施例及后续实施例将其称为当前帧,如第i帧)为例进行说明。
24.101,获取当前帧图像和当前的检测目标列表。
25.本步骤中当前的检测目标列表是针对前一帧(即i-1帧)图像执行图1所示的方法所得到的,也就是针对第i-1帧图像执行步骤101至105之后所得到的检测目标列表。
26.如果当前帧为首帧,那么当前的检测目标列表为空。
27.对于非空的检测目标列表,其包括一个或多个目标,该目标是对已执行过图1所示的方法所识别出的各帧图像中的对象(如汽车等,本实施例及后续实施例不对目标进行限定)。同时,每个目标均包括状态信息,以便得到完整的目标检测状态。
28.状态信息包括但不限于如下的一种或多种:大小size,中心点center,方向direction,类型type。
29.另外,每个目标对应一个跟踪器标识track id。
30.102,通过匹配算法对当前帧图像进行前后帧匹配,并基于当前的检测目标列表,确定匹配出的目标的跟踪器标识。
31.例如,通过匈牙利匹配算法,对当前帧图像进行前后帧匹配,匹配出与前一帧相同的目标。
32.若当前的检测目标列表中包括匹配出的目标,则将匹配出的目标在当前的检测目标列表中对应的跟踪器标识确定为匹配出的目标的跟踪器标识。
33.在步骤102中,通过匈牙利匹配算法,基于目标的状态信息进行目标匹配,匹配出与前一帧相同的目标。若当前为第i帧图像,则匹配出同时在第i-1帧图像和第i帧图像同时出现的目标。
34.若为首帧,由于没有前一帧,因此,通过匈牙利匹配算法匹配不出目标。
35.对于匹配出的目标,由于其在i-1帧图像中也出现,因此,在对i-1帧图像执行图1所示的方法之后,该目标更新在最终的检测目标列表中。也就是说,在步骤101中获取的当前的检测目标列表中会有匹配出的目标,那么该匹配出的目标在当前的检测目标列表中还会记录对应的状态信息和跟踪器标识track id,那么会将匹配出的目标在当前的检测目标
列表中记录的跟踪器标识track id确定为匹配出的目标的跟踪器标识。
36.103,对当前帧图像进行目标检测。
37.在进行目标检测时,会同时进行ai(artificial intelligence,人工智能)检测和rb(rule base,规则库)检测,每个检测均采用自己的跟踪器对检测出的目标进行跟踪。也就是说,会通过ai检测和rb检测对同一图像同时进行检测,每个检测采用自己的跟踪器对目标进行跟踪,会有自己的检测结果。
38.例如,ai检测通过ai跟踪器对ai检测过程中得到的目标进行跟踪,且一个ai跟踪器唯一跟踪一个ai检测出的目标。rb检测通过rb跟踪器对rb检测过程中得到的目标进行跟踪,且一个rb跟踪器唯一跟踪一个rb检测出的目标。如果图像中存在一辆汽车,如果其被ai检测出,那么其在ai检测过程中会被ai跟踪器进行跟踪,如果同时被rb检测出,那么其在rb检测过程中会被rb跟踪器进行跟踪。此时,对于该汽车,既是ai检测出的目标,也是rb检测出的目标,既被唯一一个ai跟踪器跟踪,又被唯一一个rb跟踪器跟踪。
39.对于一个跟踪器(如rb跟踪器,或者,ai跟踪器)均具有两个标识,一个是自身标识,一个是跟踪相同目标的其他跟踪器标识。
40.例如,对于rb跟踪器,其具备两个标识,一个标识为rb标识,该标识作为rb检测过程中所采用的所有跟踪器的唯一标识,通过rb标识即可识别各个rb跟踪器。另一个标识为ai标识,如果rb跟踪器识别的目标也被ai检测出,此时,其也被一个ai跟踪器跟踪,那么该rb跟踪器的ai标识即为同时跟踪的ai跟踪器的标识。如果,rb跟踪器识别的目标未被ai检测出,那么该rb跟踪器的ai标识可以为空。通过rb跟踪器的ai标识即可得知该目标是否也被ai检测出,且ai检测时跟踪该目标的ai跟踪器是哪个。
41.同样,对于ai跟踪器,其具备两个标识,一个标识为ai标识,该标识作为ai检测过程中所采用的所有跟踪器的唯一标识,通过ai标识即可识别各个ai跟踪器。另一个标识为rb标识,如果ai跟踪器识别的目标也被rb检测出,此时,其也被一个rb跟踪器跟踪,那么该ai跟踪器的rb标识即为同时跟踪的rb跟踪器的标识。如果,ai跟踪器识别的目标未被rb检测出,那么该ai跟踪器的rb标识可以为空。通过ai跟踪器的rb标识即可得知该目标是否也被rb检测出,且rb检测时跟踪该目标的rb跟踪器是哪个。
42.由于有两个跟踪器,即ai跟踪器和rb跟踪器,对于检测目标列表中目标对应的跟踪器标识track id的确定原则是,如果一个目标被ai跟踪器跟踪(可以同时被rb跟踪器跟踪,也可以未被rb跟踪器跟踪),那么跟踪器标识track id为跟踪器的ai跟踪器的标识。如果一个目标未被ai跟踪器跟踪,但是被rb跟踪器跟踪,那么跟踪器标识track id为跟踪器的rb跟踪器的标识。也就是说,在每次进行ai检测和rb检测之后,会对图像中的目标打上对应的跟踪器标识track id,如果其被ai检测出,图像中该目标的跟踪器标识track id为跟踪其的ai跟踪器的标识,如果其未被ai检测出但是被rb检测出,图像中该目标的跟踪器标识track id为跟踪其的rb跟踪器的标识。
43.对于图像中的一个目标(如汽车),经过ai检测和rb检测之后会出现如下情况:1、该汽车具备跟踪器标识track id。
44.2、该汽车如果被ai检测出,会出现在ai检测结果中,由唯一一个ai跟踪器(如跟踪器x)所跟踪,跟踪器x具备ai标识(如track aix)。
45.2.1、如果该汽车未被rb检测出,则不会出现在rb检测结果中,那么跟踪器x的rb标识为空。
46.此时,跟踪器标识track id为track aix。
47.2.2、如果该汽车被rb检测出,则会出现在rb检测结果中,由唯一一个rb跟踪器(如跟踪器y)所跟踪,跟踪器x的rb标识为跟踪器y的标识(如track rby)。对于跟踪器y,其rb标识为track rby,其ai标识为track aix。
48.此时,跟踪器标识track id为track aix。也就是说,若一个目标被ai检测出,无论其是否被rb检测出,其跟踪器标识track id均为跟踪其的ai跟踪器的标识。
49.3、该汽车如果未被ai检测出,则不会出现在ai检测结果中。
50.3.1、如果该汽车未被rb检测出,则也不会出现在rb检测结果中,那么汽车均未被ai和rb检测出。此种情况是,图像中的汽车均未被ai检测和rb检测出,两种检测均对实际存在的目标进行了漏检,在实际应用中,出现可能性极低,因此3.1的情况几乎不存在,也不是本实施例的方法考虑的情况。
51.3.2、如果该汽车被rb检测出,则会出现在rb检测结果中,由唯一一个rb跟踪器(如跟踪器y)所跟踪,跟踪器y的rb标识为跟踪器y的标识(如track rby)。由于其没有被ai检测出,因此跟踪器y的ai标识为空。
52.此时,跟踪器标识track id为track rby。
53.也就是说,一个目标被rb检测出,那么其跟踪器标识可能为ai跟踪器的标识,也可能为rb跟踪器的标识。具体是哪个取决于ai检测是否也检测出该目标。如果ai检测也检测出该目标(即一个目标同时被ai检测和rb检测所检测出),那么其跟踪器标识为ai跟踪器的标识。如果ai检测未检测出该目标(即只有rb检测出该目标),那么其跟踪器标识为rb跟踪器的标识。
54.综上,对于一个目标,只有仅被rb检测出的情况下,该目标的跟踪器标识为rb跟踪器的标识,除此之外(即仅被ai检测出,或者,被ai检测和rb检测同时检测出)该目标的跟踪器标识均为ai跟踪器的标识。
55.通过上述分析可知,跟踪器包括ai跟踪器和rb跟踪器。
56.那么步骤103的执行过程为:对当前帧图像同时进行ai检测和rb检测,得到ai目标和rb目标。
57.其中,每个ai目标由唯一一个ai跟踪器所跟踪,每个rb目标由唯一一个rb跟踪器所跟踪。
58.104,确定目标检测出的目标的跟踪器标识和可见状态。
59.在步骤103中,会对图像中的目标打上对应的跟踪器标识track id进行确定,即如果被ai检测出,则跟踪器标识track id为跟踪该目标的ai跟踪器的标识。如果未被ai检测出,但是被rb检测出,则跟踪器标识track id为跟踪该目标的rb跟踪器的标识。
60.那么本步骤会确定每个ai检测出的目标的跟踪器标识和可见状态,以及确定每个rb检测出的目标的跟踪器标识和可见状态。
61.1、对于跟踪器标识,由于在步骤102中会通过匹配算法对当前帧图像进行前后帧匹配,并基于当前的检测目标列表,确定匹配出的目标的跟踪器标识,也就是说,在步骤102中,会确定当前的帧
图像(如第i帧图像)与前一帧图像(如第i-1帧图像)中相同的目标(如两帧中都出现了同一辆汽车,该汽车即相同的目标),对于此相同的目标(如该汽车),会直接将第i-1帧中汽车所对应的跟踪器标识track id直接赋予第i帧中该汽车的跟踪器标识track id。因此,在执行步骤104之前,对于图像中的目标,会存在如下几种情况:第一种情况,步骤102中未匹配出任何目标,此时,当前帧图像中任何目标均未对应跟踪器标识track id。
62.第二种情况,步骤102中匹配出目标,此时,当前帧图像中,在步骤102中匹配出的目标已对应跟踪器标识track id,未在步骤102中匹配出的目标未对应跟踪器标识track id。
63.因此,在开始执行步骤104时,当前帧图像中的目标可能已经对应跟踪器标识track id,也可以未对应跟踪器标识track id。
64.在执行步骤104时,对于每一个ai目标,若其已存在跟踪器标识,且已存在的跟踪器标识与跟踪其的ai跟踪器的标识不同,或者,其未存在跟踪器标识,则确定其跟踪器标识为跟踪其的ai跟踪器的标识。
65.对于每一个rb目标,若其未被ai检测所检测出,且未存在跟踪器标识,则确定其跟踪器标识为跟踪其的rb跟踪器的标识。
66.通过步骤104的执行,会为每个ai检测出的目标和rb检测出的目标确定跟踪器标识。
67.对于ai检测出的目标,如果其在102中已经匹配出,那么在步骤102时已经对应跟踪器标识,那么,如果已经对应的跟踪器标识和ai检测时跟踪该目标的ai跟踪器的标识相同,则说明同一个ai跟踪器在跟踪该目标,此时不需要进行任何处理。如果已经对应的跟踪器标识和ai检测时跟踪该目标的ai跟踪器的标识不相同,则说明两个ai跟踪器跟踪了同一个目标,这种情况理论上是不应该发生的(因为,一个目标要么未被ai检测识别,此时不对应ai跟踪器,要么被ai识别,一旦识别到,会由唯一一个ai跟踪器跟踪,不可能存在多个ai跟踪器跟踪同一个目标的情况),针对此种异常,会将已经对应的跟踪器标识变更为本次进行ai检测时跟踪该目标的ai跟踪器的标识。如果其在102中未匹配出,那么在步骤104中会确定其跟踪器标识为ai检测时跟踪该目标的ai跟踪器的标识。
68.对于每一个rb目标,如果其在102中已经匹配出,那么在步骤102时已经对应跟踪器标识,那么,此时不需要进行任何处理。如果其在102中未匹配出,那么其有可能也被ai检测所检测出,如果被ai检测所检测出,则在处理ai目标时为其确定了跟踪器标识,因此,此时不需要进行任何处理。只有在102中未匹配出,同时也未被ai检测所检测出(即未被ai检测所检测出,且未存在跟踪器标识)的情况下,会确定其跟踪器标识为rb检测时跟踪该目标的rb跟踪器的标识。
69.通过步骤104,保证了每个检测出的目标的跟踪器标识的唯一性,即优先确定为跟踪其的ai跟踪器的标识,如果未被ai跟踪器跟踪,但被rb跟踪器跟踪,则为rb跟踪器的标识。
70.2、对于可见状态,步骤104会分别确定ai目标的可见状态和rb目标的可见状态。如果一个目标同时
被ai检测和rb检测出,则其存在两个可见状态,一个是针对ai检测的,一个是针对rb检测的。
71.具体的,对于任一ai目标,若其满足如下第一条件,则确定其针对ai检测的可见状态为不可见,否则确定其针对ai检测的可见状态为可见。
72.对于任一rb目标,若其满足如下第二条件,则确定其针对rb检测的可见状态为不可见,否则确定其针对rb检测的可见状态为可见。
73.其中,第一条件为:在i-1帧图像至i-n+1帧图像之中,存在ai检测未检测到与ai目标对应的目标的帧图像,其中,i为当前帧图像的帧号,n为预设阈值。或者,ai目标未被rb检测所检测出。或者,ai目标在当前帧图像之前持续丢失的图像帧数超过阈值。
74.下面对第一条件中的每个情况进行详细说明。
75.1)对于在i-1帧图像至i-n+1帧图像之中,存在ai检测未检测到与ai目标对应的目标的帧图像的条件,满足第一条件的在i-1帧图像至i-n+1帧图像之中,存在ai检测未检测到与ai目标对应的目标的帧图像的任一ai目标(如ai目标u)是当前帧图像(如第i帧图像)进行ai检测得到的目标,也就是说,在对第i帧图像进行ai检测时,检测到ai目标u。但是在对i-1帧图像、i-2帧图像、
…
、i-n+1帧图像进行ai检测时,至少存在一帧图像的ai检测结果中没有ai目标u。
76.也就是说,如果对于ai目标u,连续检测出的帧图像数量少于n,则认为ai目标u满足第一条件。
77.例如,n=3,对于任一ai目标(如ai目标u),由于其是当前帧图像(即第i帧图像)的ai目标,因此第i帧图像肯定是在ai检测时检测到ai目标u。如果在i-1帧图像和i-2帧图像中,存在一帧或者多帧图像在ai检测时未检测到ai目标u(如在对i-1帧图像进行ai检测时未检测到ai目标u,和/或,在对i-2帧图像进行ai检测时未检测到ai目标u),则认为ai目标u满足第一条件。如果在对i-1帧图像进行ai检测时检测到ai目标u,并且在对i-2帧图像进行ai检测时也检测到ai目标u(此时加上第i帧,已连续3帧均被ai检测出ai目标u),那么认为ai目标u不满足第一条件的在i-1帧图像至i-n+1帧图像之中,存在ai检测未检测到与ai目标对应的目标的帧图像条件。
78.从上面分析可知,在i-1帧图像至i-n+1帧图像之中,存在ai检测未检测到与ai目标对应的目标的帧图像,说明连续检测出ai目标u的帧数量小于预设阈值n,因此预设阈值n限定了连续检测出某一目标的连续帧数量,小于该数量则连续检测到任一ai目标的帧数较少,认为满足第一条件,将其作为不可见。不小于该数量则确定不满足第一条件中的在i-1帧图像至i-n+1帧图像之中,存在ai检测未检测到与ai目标对应的目标的帧图像条件,有可能其满足第一条件中的其他条件。
79.2)对于ai目标未被rb检测所检测出的条件,若任一ai目标(如ai目标u),其被ai检测到,但是未被rb检测到,那么说明其满足第一条件,确定ai目标u针对ai检测的可见状态为不可见。
80.3)对于ai目标在当前帧图像之前持续丢失的图像帧数超过阈值的条件,
若当前帧图像为第i帧图像,对于任一ai目标(如ai目标u),虽然其在第i帧图像的ai检测时被检测到,但是其在第i-1帧图像进行ai检测时未检测到,在第i-2帧图像进行ai检测时未检测到,在第i-3帧图像进行ai检测时未检测到,
……
,在第i-阈值帧图像进行ai检测时仍未检测到,那么也认为满足第一条件,即ai目标u针对ai检测的可见状态为不可见。
81.第二条件为:满足删除条件,并且rb目标未被ai检测所检测出。或者,rb目标被ai检测所检测出。
82.下面对第二条件中的每个情况进行详细说明。
83.1)对于满足删除条件,并且rb目标未被ai检测所检测出的条件,其中的删除条件为预先设置的,例如目标过高或者过低,体积过小,超过检测范围等等,本实施例不对删除条件进行限定。
84.如果一个rb目标(如rb目标v),虽然其被rb检测出,但是没有被ai检测出,此时,如果rb目标v满足删除条件,则rb目标v针对rb检测的可见状态为不可见,如果rb目标v不满足删除条件,则rb目标v针对rb检测的可见状态为不可见。
85.2)针对rb目标被ai检测所检测出的条件,如果一个目标被rb检测出,此时该目标是一个rb目标,若该目标同时被ai检测出,那么该目标同时也是一个ai目标。那么该目标会作为ai目标处理,因此,该目标针对rb检测的可见状态为不可见。
86.在执行步骤104时,对于ai检测出的目标(即ai目标),如果其连续检测出的帧数少于预设差阈值,或者,没有rb与之匹配的ai目标(即ai目标未被rb检测所检测出),或者,近期检测丢失超过阈值的ai目标(即ai目标在当前帧图像之前持续丢失的图像帧数超过阈值),则其针对ai检测的目标的可见状态为不可见,除此之外,针对ai检测的可见状态均为可见。
87.对于rb检测出的目标(即rb目标),如果其满足删除条件且没有ai与之匹配的rb目标(即满足删除条件,并且rb目标未被ai检测所检测出),或者,和ai匹配上的对应rb目标(即rb目标被ai检测所检测出),则其针对rb检测的可见状态为不可见,除此之外,针对rb检测的可见状态均为可见。
88.也就是说,对于图像中的任一目标,如果其被ai检测到,即其为ai目标,那么如果ai检测持续检测出该目标的帧数小于预设差阈值,或者近期检测丢失超过阈值,或者没有被rb检测出,其均未不可见。其余情况为可见。因此,对于可见的ai目标,其一定也会被rb检测所检测出。
89.如果其被rb所检测到,即其为rb目标,此时,若同时也是ai目标(即同时被ai检测到),那么该目标针对rb检测是不可见的,对于ai检测可能不可见(持续帧数少于3帧,或者,近期检测丢失超过阈值),可能可见(持续帧数不少于3帧,且近期检测丢失不超过阈值)。若该rb目标未被ai目标检测到,那么如果满足删除条件,其针对rb检测是不可见的,其余均为可见的。因此,对于rb目标,如果其也为ai目标,那么其对于rb检测是不可见的,如果未为ai目标,则在满足删除条件才不可见,其余均可见。那么,对于rb检测可见的rb目标,均未被ai检测出。
90.另外,对于跟踪器,无论是ai跟踪器还是rb跟踪器,均会设置一个对应的计数器
(如vanish time),且计数器初始值为0。在对每帧图像进行ai检测的时候,未检测到由谁跟踪的目标,即ai检测的目标丢失,那么该ai跟踪器的计数器加1,如果检测到由其跟踪的目标,那么该ai跟踪器的计数器重置为0。同样的,在对每帧图像进行rb检测的时候,未检测到由谁跟踪的目标,即rb检测的目标丢失,那么该rb跟踪器的计数器加1,如果检测到由其跟踪的目标,那么该rb跟踪器的计数器重置为0。因此,通过跟踪器的计数器的值即可得知持续丢失的图像帧数,即ai目标在当前帧图像之前持续丢失的图像帧数为跟踪ai目标的ai跟踪器中计数器的值。
91.105,根据跟踪器标识和可见状态更新检测目标列表。
92.执行步骤104之后,对于ai检测可见的每个ai目标,均同时被rb检测出。对于rb检测可见的每个rb目标,均不会被ai检测出。
93.那么在执行步骤105时,对于任一ai目标,若其针对ai检测的可见状态为可见,且其在连续被rb检测出的帧数超过预设帧阈值,同时当前的检测目标列表包括任一ai目标,则获取其最新的状态信息,将最新的状态信息更新至检测目标列表中,且在任一ai目标在当前的检测目标列表中对应的跟踪器标识与任一ai目标的跟踪器标识不相同时,还将任一ai目标的跟踪器标识更新至检测目标列表中。对于任一ai目标,若其针对ai检测的可见状态为可见,且其在连续被rb检测出的帧数超过预设帧阈值,同时当前的检测目标列表不包括任一ai目标,则获取其最新的状态信息,将任一ai目标、跟踪器标识和其最新的状态信息加入检测目标列表中。
94.对于任一rb目标,若其针对rb检测的可见状态为可见,且当前的检测目标列表包括任一rb目标,则获取其最新的状态信息,将最新的状态信息更新至检测目标列表中。对于任一rb目标,若其针对rb检测的可见状态为可见,且当前的检测目标列表不包括任一rb目标,则获取其最新的状态信息,将任一rb目标、跟踪器标识和其最新的状态信息加入检测目标列表中。
95.其中,状态信息包括但不限于如下的一种或多种:大小,中心点,方向,类型。
96.也就是说,对于任一ai目标,其针对ai检测的可见状态可以为可见,也可以为不可见。如果其针对ai检测的可见状态为不可见时,不对其进行处理。如果其针对ai检测的可见状态为可见,若其在连续被rb检测出的帧数没有超过预设帧阈值,也不对其进行处理。只要在其针对ai检测的可见状态为可见,且其在连续被rb检测出的帧数超过预设帧阈值时才对其处理。处理过程为:获取其最新的状态信息,然后更新检测目标列表。更新检测目标列表的过程为:1)在当前的检测目标列表不包括任一ai目标时,将任一ai目标、跟踪器标识和其最新的状态信息加入检测目标列表中。2)在当前的检测目标列表包括任一ai目标,且任一ai目标在当前的检测目标列表中对应的跟踪器标识与任一ai目标的跟踪器标识相同时,将最新的状态信息更新至检测目标列表中。3)在当前的检测目标列表包括任一ai目标,且任一ai目标在当前的检测目标列表中对应的跟踪器标识与任一ai目标的跟踪器标识不相同时,将任一ai目标的跟踪器标识和最新的状态信息更新至检测目标列表中。
97.对于任一rb目标,其针对rb检测的可见状态可以为可见,也可以为不可见。如果其针对rb检测的可见状态为不可见时,不对其进行处理。如果其针对rb检测的可见状态为可见,则进行如下处理:获取其最新的状态信息,然后更新检测目标列表。更新检测目标列表的过程为:1)在当前的检测目标列表不包括任一rb目标时,将任一rb目标、跟踪器标识和其
最新的状态信息加入检测目标列表中。2)在当前的检测目标列表包括任一rb目标时,将最新的状态信息更新至检测目标列表中。
98.在执行步骤105时,会将当前帧图像中有效的目标的最新状态更新至检测目标列表中,保证每次执行完步骤105之后的检测目标列表均为最新的检测目标列表。以此一帧一帧更新,保证了最终得到的检测目标列表中的目标无重复,无遗漏,且信息也为最新的。
99.在更新的过程中,a、如果图像中的一个目标被ai检测出,即其为ai目标,那么,a.1、若其针对ai检测可见(因为在步骤104中,针对ai检测可见的目标一定会被rb检测出,因此,此时该ai目标也一定为rb目标),且其被rb检测连续检测出的帧数少于预设帧阈值(如预设帧阈值为3,即其针对ai检测的可见状态为可见,且其在对i-1帧图像和i-2帧图像进行rb检测时均被检测出),那么说明其是有效目标,会获取其最新的状态信息。
100.a、若该目标已经存在于当前的检测目标列表中(即已经识别到的目标),则如果该目标在当前的检测目标列表中对应的跟踪器标识与步骤104中确定的跟踪器标识相同,则仅更新状态信息(如大小,中心点,方向,类型)即可,因此,会将该目标在检测目标列表中的状态信息更新为最新的状态信息。
101.如果该目标在当前的检测目标列表中对应的跟踪器标识与步骤104中确定的跟踪器标识不相同,则需要更新跟踪器标识和状态信息,进而保证每个目标的跟踪器标识均为跟踪其ai跟踪器的标识,因此,会将该目标在检测目标列表中的状态信息更新为最新的状态信息,同时将该目标的跟踪器标识更新为步骤104中确定的跟踪器标识。
102.b、若该目标未存在于当前的检测目标列表中(即新识别到的目标),则要将该目标加入检测目标列表中,即将该目标、跟踪器标识和其最新的状态信息加入检测目标列表中。
103.a.2、若其针对ai检测不可见,则说明不是有效目标,不进行处理。
104.b、如果图像中的一个目标被rb检测出,即其为rb目标,那么,b.1、若其针对rb检测的可见状态为可见(因为在步骤104中,针对rb检测可见的目标一定不会被rb检测出,因此,此时该rb目标可肯定不为ai目标,在上述1针对ai目标的处理中,不会对rb检测可见的rb目标进行处理),那么其也是有效目标,会获取其最新的状态信息。
105.a、若该目标已经存在于当前的检测目标列表中(即已经识别到的目标),则将最新的状态信息更新至检测目标列表中。
106.对于此种情况,因为该目标未被ai检测出,即仅是一个rb目标,但是当前的检测目标列表中存在该目标。此时说明当前帧之前该目标被检测出,此处的检测有可能是被ai检测出(此时当前的检测目标列表中该目标对应的跟踪器标识应该为跟踪该目标的ai跟踪器的标识,但是当前帧该目标未被ai检测出,即该ai跟踪器未跟踪到该目标。只要之前有一帧ai检测出该目标,当前的检测目标列表中该目标对应的跟踪器标识就为跟踪该目标的ai跟踪器的标识),也有可能被rb检测出(此时当前的检测目标列表中该目标对应的跟踪器标识应该为跟踪该目标的rb跟踪器的标识。此种情况是当前帧之前,没有一帧的ai检测检测到该目标,但是至少有一帧的rb检测出该目标)。
107.如果该目标之前被ai检测出,那么当前的检测目标列表中该目标对应的跟踪器标识就为跟踪该目标的ai跟踪器的标识,但是步骤104中确定的跟踪器标识为rb跟踪器的标
识,二者肯定不一样。但是为了保证跟踪图像中目标的跟踪器优选ai跟踪器,此种情况下,不再进行跟踪器标识的更新,因为一旦更新,就将正确的标识(当前的检测目标列表中该目标对应的跟踪器标识,即曾经跟踪该目标的ai跟踪器的标识)更新为rb跟踪器的标识(即步骤104中确定的跟踪器标识)。
108.如果该目标之前仅被rb检测出,那么当前的检测目标列表中该目标对应的跟踪器标识就为跟踪该目标的rb跟踪器的标识,步骤104中确定的跟踪器标识也为rb跟踪器的标识,二者一样,也无需进行跟踪器标识的更新。
109.因此,对于该目标已经存在于当前的检测目标列表中的情况,此时不再进行跟踪器标识的更新,只将最新的状态信息更新至检测目标列表中即可,即将该目标在检测目标列表中的状态信息更新为最新的状态信息。
110.在具体实现时,此种情况还可以有另一种实现方式,即根据rb跟踪器的ai标识情况实现。具体的,对于rb跟踪器,其具备两个标识,一个标识为rb标识,另一个为ai标识,若步骤104中确定该目标的跟踪器标识对应的rb跟踪器,该对应rb跟踪器的ai标识非空,则说明该目标在当前帧之前被ai检测和rb检测同时检测出,那么对比该对应rb跟踪器的ai标识与当前的检测目标列表中该目标对应的跟踪器标识是否一致,如果一致,则只将最新的状态信息更新至检测目标列表中即可,即将该目标在检测目标列表中的状态信息更新为最新的状态信息。如果不一致,可以更新跟踪器标识和状态信息,进而保证每个目标的跟踪器标识均为跟踪其ai跟踪器的标识,因此,会将该目标在检测目标列表中的状态信息更新为最新的状态信息,同时将该目标的跟踪器标识更新为步骤104中确定的跟踪器标识所对应的rb跟踪器的ai标识。
111.b、若该目标未存在于当前的检测目标列表中(即新识别到的目标),则要将该目标加入检测目标列表中,即将该目标、跟踪器标识和其最新的状态信息加入检测目标列表中。
112.b.2、若其针对rb检测不可见,则说明不是有效目标,不进行处理。
113.执行至此,对于当前帧图像中的一个目标,其会存在如下四种情况:第一种情况:该目标被ai检测到,同时也被rb检测到。
114.对于第一种情况,在其针对ai可见时,其最新的信息会更新到检测目标列表中。
115.第二种情况:该目标被ai检测到,但未被rb检测到。
116.对于第二种情况,该目标在步骤104中会被认为针对ai不可见,此时也不会对检测目标列表中其信息进行更新。
117.第三种情况:该目标未被ai检测到,但是被rb检测到。
118.对于第三种情况,在其针对rb可见时,其最新的信息会更新到检测目标列表中。
119.第四种情况,该目标未被ai检测到,同时也未被rb检测到。
120.对于第四种情况,该目标未被检测出来,自然也不会对检测目标列表中其信息进行更新。
121.经过步骤105之后得到的检测目标列表即为最新的完整,且无重复的检测目标列表。
122.本实施例提供的障碍物检测目标列表生成方法,获取当前帧图像和当前的检测目标列表;通过匹配算法对当前帧图像进行前后帧匹配,并基于当前的检测目标列表,确定匹配出的目标的跟踪器标识;对当前帧图像进行目标检测;确定目标检测出的目标的跟踪器
标识和可见状态;根据跟踪器标识和可见状态更新检测目标列表。本实施例的方法根据跟踪器标识和可见状态更新检测目标列表,确保每个目标有检测有跟踪有输出,保证了目标的不遗漏,实现了对于一个实际目标只收集输出一个检测状态,即对于一个实际目标可能有多个检测,只输出一个检测状态。
123.基于障碍物检测目标列表生成方法的同一发明构思,本实施例提供一种电子设备,该电子设备如图2所示,包括:存储器201,处理器202,以及计算机程序。
124.其中,计算机程序存储在存储器201中,并被配置为由处理器202执行以实现上述障碍物检测目标列表生成方法。
125.具体的,获取当前帧图像和当前的检测目标列表。
126.通过匹配算法对当前帧图像进行前后帧匹配,并基于当前的检测目标列表,确定匹配出的目标的跟踪器标识。
127.对当前帧图像进行目标检测。
128.确定目标检测出的目标的跟踪器标识和可见状态。
129.根据跟踪器标识和可见状态更新检测目标列表。
130.可选地,检测目标列表中包括一个或多个目标,每个目标对应一个跟踪器标识。
131.通过匹配算法对当前帧图像进行前后帧匹配,并基于当前的检测目标列表,确定匹配出的目标的跟踪器标识,包括:通过匈牙利匹配算法,对当前帧图像进行前后帧匹配,匹配出与前一帧相同的目标。
132.若当前的检测目标列表中包括匹配出的目标,则将匹配出的目标在当前的检测目标列表中对应的跟踪器标识确定为匹配出的目标的跟踪器标识。
133.可选地,跟踪器包括人工智能ai跟踪器和规则库rb跟踪器。
134.对当前帧图像进行目标检测,包括:对当前帧图像同时进行ai检测和rb检测,得到ai目标和rb目标。
135.其中,每个ai目标由唯一一个ai跟踪器所跟踪,每个rb目标由唯一一个rb跟踪器所跟踪。
136.可选地,确定目标检测出的目标的跟踪器标识,包括:对于每一个ai目标,若其已存在跟踪器标识,且已存在的跟踪器标识与跟踪其的ai跟踪器的标识不同,或者,其未存在跟踪器标识,则确定其跟踪器标识为跟踪其的ai跟踪器的标识。
137.对于每一个rb目标,若其未被ai检测所检测出,且未存在跟踪器标识,则确定其跟踪器标识为跟踪其的rb跟踪器的标识。
138.可选地,确定目标检测出的目标的可见状态,包括:对于任一ai目标,若其满足如下第一条件,则确定其针对ai检测的可见状态为不可见,否则确定其针对ai检测的可见状态为可见。
139.对于任一rb目标,若其满足如下第二条件,则确定其针对rb检测的可见状态为不可见,否则确定其针对rb检测的可见状态为可见。
140.其中,
第一条件为:在i-1帧图像至i-n+1帧图像之中,存在ai检测未检测到与ai目标对应的目标的帧图像,其中,i为当前帧图像的帧号,n为预设阈值。
141.或者,ai目标未被rb检测所检测出。
142.或者,ai目标在当前帧图像之前持续丢失的图像帧数超过阈值。
143.第二条件为:满足删除条件,并且rb目标未被ai检测所检测出。
144.或者,rb目标被ai检测所检测出。
145.可选地,ai跟踪器中包括一个计数器,且计数器初始值为0。
146.对于任一帧图像,若对任一帧图像进行ai检测时,未检测出由ai跟踪器跟踪的目标时,计数器+1。检测出由ai跟踪器跟踪的目标时,计数器重置为0。
147.ai目标在当前帧图像之前持续丢失的图像帧数为跟踪ai目标的ai跟踪器中计数器的值。
148.可选地,根据跟踪器标识和可见状态更新检测目标列表,包括:对于任一ai目标,若其针对ai检测的可见状态为可见,且其在连续被rb检测出的帧数超过预设帧阈值,同时当前的检测目标列表包括任一ai目标,则获取其最新的状态信息,将最新的状态信息更新至检测目标列表中,且在任一ai目标在当前的检测目标列表中对应的跟踪器标识与任一ai目标的跟踪器标识不相同时,还将任一ai目标的跟踪器标识更新至检测目标列表中。
149.对于任一rb目标,若其针对rb检测的可见状态为可见,且当前的检测目标列表包括任一rb目标,则获取其最新的状态信息,将最新的状态信息更新至检测目标列表中。
150.可选地,根据跟踪器标识和可见状态更新检测目标列表,包括:对于任一ai目标,若其针对ai检测的可见状态为可见,且其在连续被rb检测出的帧数超过预设帧阈值,同时当前的检测目标列表不包括任一ai目标,则获取其最新的状态信息,将任一ai目标、跟踪器标识和其最新的状态信息加入检测目标列表中。
151.对于任一rb目标,若其针对rb检测的可见状态为可见,且当前的检测目标列表不包括任一rb目标,则获取其最新的状态信息,将任一rb目标、跟踪器标识和其最新的状态信息加入检测目标列表中。
152.可选地,状态信息包括如下的一种或多种:大小,中心点,方向,类型。
153.本实施例提供的电子设备,其上计算机程序被处理器执行以获取当前帧图像和当前的检测目标列表;通过匹配算法对当前帧图像进行前后帧匹配,并基于当前的检测目标列表,确定匹配出的目标的跟踪器标识;对当前帧图像进行目标检测;确定目标检测出的目标的跟踪器标识和可见状态;根据跟踪器标识和可见状态更新检测目标列表。根据跟踪器标识和可见状态更新检测目标列表,确保每个目标有检测有跟踪有输出,保证了目标的不遗漏,实现了对于一个实际目标只收集输出一个检测状态,即对于一个实际目标可能有多个检测,只输出一个检测状态。
154.基于障碍物检测目标列表生成方法的同一发明构思,本实施例提供一种计算机,且其上存储有计算机程序。计算机程序被处理器执行以实现上述障碍物检测目标列表生成方法。
155.具体的,获取当前帧图像和当前的检测目标列表。
156.通过匹配算法对当前帧图像进行前后帧匹配,并基于当前的检测目标列表,确定匹配出的目标的跟踪器标识。
157.对当前帧图像进行目标检测。
158.确定目标检测出的目标的跟踪器标识和可见状态。
159.根据跟踪器标识和可见状态更新检测目标列表。
160.可选地,检测目标列表中包括一个或多个目标,每个目标对应一个跟踪器标识。
161.通过匹配算法对当前帧图像进行前后帧匹配,并基于当前的检测目标列表,确定匹配出的目标的跟踪器标识,包括:通过匈牙利匹配算法,对当前帧图像进行前后帧匹配,匹配出与前一帧相同的目标。
162.若当前的检测目标列表中包括匹配出的目标,则将匹配出的目标在当前的检测目标列表中对应的跟踪器标识确定为匹配出的目标的跟踪器标识。
163.可选地,跟踪器包括人工智能ai跟踪器和规则库rb跟踪器。
164.对当前帧图像进行目标检测,包括:对当前帧图像同时进行ai检测和rb检测,得到ai目标和rb目标。
165.其中,每个ai目标由唯一一个ai跟踪器所跟踪,每个rb目标由唯一一个rb跟踪器所跟踪。
166.可选地,确定目标检测出的目标的跟踪器标识,包括:对于每一个ai目标,若其已存在跟踪器标识,且已存在的跟踪器标识与跟踪其的ai跟踪器的标识不同,或者,其未存在跟踪器标识,则确定其跟踪器标识为跟踪其的ai跟踪器的标识。
167.对于每一个rb目标,若其未被ai检测所检测出,且未存在跟踪器标识,则确定其跟踪器标识为跟踪其的rb跟踪器的标识。
168.可选地,确定目标检测出的目标的可见状态,包括:对于任一ai目标,若其满足如下第一条件,则确定其针对ai检测的可见状态为不可见,否则确定其针对ai检测的可见状态为可见。
169.对于任一rb目标,若其满足如下第二条件,则确定其针对rb检测的可见状态为不可见,否则确定其针对rb检测的可见状态为可见。
170.其中,第一条件为:在i-1帧图像至i-n+1帧图像之中,存在ai检测未检测到与ai目标对应的目标的帧图像,其中,i为当前帧图像的帧号,n为预设阈值。
171.或者,ai目标未被rb检测所检测出。
172.或者,ai目标在当前帧图像之前持续丢失的图像帧数超过阈值。
173.第二条件为:满足删除条件,并且rb目标未被ai检测所检测出。
174.或者,rb目标被ai检测所检测出。
175.可选地,ai跟踪器中包括一个计数器,且计数器初始值为0。
176.对于任一帧图像,若对任一帧图像进行ai检测时,未检测出由ai跟踪器跟踪的目标时,计数器+1。检测出由ai跟踪器跟踪的目标时,计数器重置为0。
177.ai目标在当前帧图像之前持续丢失的图像帧数为跟踪ai目标的ai跟踪器中计数器的值。
178.可选地,根据跟踪器标识和可见状态更新检测目标列表,包括:对于任一ai目标,若其针对ai检测的可见状态为可见,且其在连续被rb检测出的帧数超过预设帧阈值,同时当前的检测目标列表包括任一ai目标,则获取其最新的状态信息,将最新的状态信息更新至检测目标列表中,且在任一ai目标在当前的检测目标列表中对应的跟踪器标识与任一ai目标的跟踪器标识不相同时,还将任一ai目标的跟踪器标识更新至检测目标列表中。
179.对于任一rb目标,若其针对rb检测的可见状态为可见,且当前的检测目标列表包括任一rb目标,则获取其最新的状态信息,将最新的状态信息更新至检测目标列表中。
180.可选地,根据跟踪器标识和可见状态更新检测目标列表,包括:对于任一ai目标,若其针对ai检测的可见状态为可见,且其在连续被rb检测出的帧数超过预设帧阈值,同时当前的检测目标列表不包括任一ai目标,则获取其最新的状态信息,将任一ai目标、跟踪器标识和其最新的状态信息加入检测目标列表中。
181.对于任一rb目标,若其针对rb检测的可见状态为可见,且当前的检测目标列表不包括任一rb目标,则获取其最新的状态信息,将任一rb目标、跟踪器标识和其最新的状态信息加入检测目标列表中。
182.可选地,状态信息包括如下的一种或多种:大小,中心点,方向,类型。
183.本实施例提供的计算机可读存储介质,其上的计算机程序被处理器执行以获取当前帧图像和当前的检测目标列表;通过匹配算法对当前帧图像进行前后帧匹配,并基于当前的检测目标列表,确定匹配出的目标的跟踪器标识;对当前帧图像进行目标检测;确定目标检测出的目标的跟踪器标识和可见状态;根据跟踪器标识和可见状态更新检测目标列表。本技术提供的方法根据跟踪器标识和可见状态更新检测目标列表,确保每个目标有检测有跟踪有输出,保证了目标的不遗漏,实现了对于一个实际目标只收集输出一个检测状态,即对于一个实际目标可能有多个检测,只输出一个检测状态。
184.本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术实施例中的方案可以采用各种计算机语言实现,例如,面向对象的程序设
计语言java和直译式脚本语言javascript等。
185.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
186.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
187.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
188.尽管已描述了本技术的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
189.显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。
技术特征:
1.一种障碍物检测目标列表生成方法,其特征在于,所述方法包括:获取当前帧图像和当前的检测目标列表;通过匹配算法对当前帧图像进行前后帧匹配,并基于所述当前的检测目标列表,确定匹配出的目标的跟踪器标识;对所述当前帧图像进行目标检测;确定目标检测出的目标的跟踪器标识和可见状态;根据跟踪器标识和可见状态更新所述检测目标列表。2.根据权利要求1所述的方法,其特征在于,所述检测目标列表中包括一个或多个目标,每个目标对应一个跟踪器标识;所述通过匹配算法对当前帧图像进行前后帧匹配,并基于所述当前的检测目标列表,确定匹配出的目标的跟踪器标识,包括:通过匈牙利匹配算法,对当前帧图像进行前后帧匹配,匹配出与前一帧相同的目标;若当前的检测目标列表中包括匹配出的目标,则将匹配出的目标在当前的检测目标列表中对应的跟踪器标识确定为匹配出的目标的跟踪器标识。3.根据权利要求1所述的方法,其特征在于,所述跟踪器包括人工智能ai跟踪器和规则库rb跟踪器;所述对所述当前帧图像进行目标检测,包括:对所述当前帧图像同时进行ai检测和rb检测,得到ai目标和rb目标;其中,每个ai目标由唯一一个ai跟踪器所跟踪,每个rb目标由唯一一个rb跟踪器所跟踪。4.根据权利要求3所述的方法,其特征在于,所述确定目标检测出的目标的跟踪器标识,包括:对于每一个ai目标,若其已存在跟踪器标识,且已存在的跟踪器标识与跟踪其的ai跟踪器的标识不同,或者,其未存在跟踪器标识,则确定其跟踪器标识为跟踪其的ai跟踪器的标识;对于每一个rb目标,若其未被ai检测所检测出,且未存在跟踪器标识,则确定其跟踪器标识为跟踪其的rb跟踪器的标识。5.根据权利要求3所述的方法,其特征在于,确定目标检测出的目标的可见状态,包括:对于任一ai目标,若其满足如下第一条件,则确定其针对ai检测的可见状态为不可见,否则确定其针对ai检测的可见状态为可见;对于任一rb目标,若其满足如下第二条件,则确定其针对rb检测的可见状态为不可见,否则确定其针对rb检测的可见状态为可见;其中,第一条件为:在i-1帧图像至i-n+1帧图像之中,存在ai检测未检测到与ai目标对应的目标的帧图像,其中,i为所述当前帧图像的帧号,n为预设阈值;或者,ai目标未被rb检测所检测出;或者,
ai目标在当前帧图像之前持续丢失的图像帧数超过阈值;第二条件为:满足删除条件,并且rb目标未被ai检测所检测出;或者,rb目标被ai检测所检测出。6.根据权利要求5所述的方法,其特征在于,所述ai跟踪器中包括一个计数器,且所述计数器初始值为0;对于任一帧图像,若对所述任一帧图像进行ai检测时,未检测出由所述ai跟踪器跟踪的目标时,所述计数器+1;检测出由所述ai跟踪器跟踪的目标时,所述计数器重置为0;所述ai目标在当前帧图像之前持续丢失的图像帧数为跟踪所述ai目标的ai跟踪器中计数器的值。7.根据权利要求5所述的方法,其特征在于,所述根据所述跟踪器标识和可见状态更新所述检测目标列表,包括:对于任一ai目标,若其针对ai检测的可见状态为可见,且其在连续被rb检测出的帧数超过预设帧阈值,同时当前的检测目标列表包括所述任一ai目标,则获取其最新的状态信息,将最新的状态信息更新至所述检测目标列表中,且在所述任一ai目标在当前的检测目标列表中对应的跟踪器标识与所述任一ai目标的跟踪器标识不相同时,还将所述任一ai目标的跟踪器标识更新至所述检测目标列表中;对于任一rb目标,若其针对rb检测的可见状态为可见,且当前的检测目标列表包括所述任一rb目标,则获取其最新的状态信息,将最新的状态信息更新至所述检测目标列表中。8.根据权利要求5所述的方法,其特征在于,所述根据所述跟踪器标识和可见状态更新所述检测目标列表,包括:对于任一ai目标,若其针对ai检测的可见状态为可见,且其在连续被rb检测出的帧数超过预设帧阈值,同时当前的检测目标列表不包括所述任一ai目标,则获取其最新的状态信息,将所述任一ai目标、跟踪器标识和其最新的状态信息加入检测目标列表中;对于任一rb目标,若其针对rb检测的可见状态为可见,且当前的检测目标列表不包括所述任一rb目标,则获取其最新的状态信息,将所述任一rb目标、跟踪器标识和其最新的状态信息加入检测目标列表中。9.根据权利要求7或8所述的方法,其特征在于,所述状态信息包括如下的一种或多种:大小,中心点,方向,类型。10.一种电子设备,其特征在于,包括:存储器;处理器;以及计算机程序;其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如权利要求1-9任一项所述的方法。11.一种计算机可读存储介质,其特征在于,其上存储有计算机程序;所述计算机程序被处理器执行以实现如权利要求1-9任一项所述的方法。
技术总结
本申请提供一种障碍物检测目标列表生成方法、设备、存储介质,该方法包括:获取当前帧图像和当前的检测目标列表;通过匹配算法对当前帧图像进行前后帧匹配,并基于当前的检测目标列表,确定匹配出的目标的跟踪器标识;对当前帧图像进行目标检测;确定目标检测出的目标的跟踪器标识和可见状态;根据跟踪器标识和可见状态更新检测目标列表。本申请提供的方法根据跟踪器标识和可见状态更新检测目标列表,确保每个目标有检测有跟踪有输出,保证了目标的不遗漏,实现了对于一个实际目标只收集输出一个检测状态,即对于一个实际目标可能有多个检测,只输出一个检测状态。只输出一个检测状态。只输出一个检测状态。
技术研发人员:江浚源 盛杲
受保护的技术使用者:智道网联科技(北京)有限公司
技术研发日:2023.03.17
技术公布日:2023/7/20
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
