一种基于前后帧图像关联的目标检测方法及检测系统与流程

1.本发明属于计算机视觉和目标检测技术领域，具体涉及一种基于前后帧图像关联的目标检测方法及检测系统。


背景技术：

2.自动驾驶技术作为一项前沿的研究领域，旨在实现车辆的智能化驾驶和自主决策。在自动驾驶中，图像感知系统起着至关重要的作用，它能够实时地对车辆周围环境进行感知和理解，从而支持决策和控制的过程。
3.目标检测作为图像感知系统的核心任务之一，旨在准确地识别和定位道路上的各类交通标志、行人、车辆等目标。然而，自动驾驶系统的实时性和效率要求对目标检测提出了极高的要求。
4.传统的目标检测方法在实时性和效率方面面临着一些挑战。通常情况下，在自动驾驶场景中，目标检测模型需要对每一帧图像进行全图的目标检测，这导致了巨大的计算开销和延迟。在高速行驶的场景中，这种延迟可能导致决策和控制的延迟，从而影响驾驶安全和系统性能。
5.为了满足自动驾驶系统对实时性和效率的需求，已经提出了一些方法来改进目标检测。其中一些方法尝试利用前一帧的目标检测结果来辅助下一帧的检测，以减少全图检测的计算量。然而，这些方法通常只利用前一帧的目标位置作为感兴趣区域（roi），并在下一帧中扩大此区域，然后在扩大的roi区域中进行局部的目标检测。尽管在一定程度上提高了效率，但仍然存在定位不准确、漏检和误检等问题。
6.因此，基于上述技术问题需要设计一种新的基于前后帧图像关联的目标检测方法及检测系统。


技术实现要素：

7.本发明的目的是提供一种基于前后帧图像关联的目标检测方法及检测系统。
8.为了解决上述技术问题，本发明提供了一种基于前后帧图像关联的目标检测方法，包括：在视频流中，对当前帧图像进行检测；根据当前帧图像检测中对下一帧图像的预测结果对下一帧图像进行检测；循环进行当前帧图像和下一帧图像的检测，直至视频流结束。
9.进一步，所述对当前帧图像进行检测包括：在视频流中获取当前帧图像，并通过深层的大目标检测模型，即深层大模型进行全图检测。
10.进一步，全图检测获取当前帧图像中，得到每个目标的一对位置信息。
11.进一步，所述位置信息包括：目标在当前帧的边界框位置，以及目标在下一帧中的预测边界框位置。
12.进一步，将当前帧图像中各目标的边界框位置应用于自动驾驶系统中的相关任务；将当前帧图像中各目标在下一帧中的预测边界框位置进行保存。
13.进一步，所述根据当前帧图像检测中对下一帧图像的预测结果对下一帧图像进行检测包括：获取当前帧图像的下一帧图像，并且获取各目标在下一帧中的预测边界框位置，采用浅层的小目标检测模型，即浅层小模型进行推理。
14.进一步，将各目标在下一帧中的预测边界框位置作为启发信息，以作为后一帧图像目标检测的初始位置。
15.进一步，在下一帧图像中，使用浅层小模型对预测边界框位置信息进行微调，得到下一帧图像中各目标实际的边界框位置。
16.进一步，所述循环进行当前帧图像和下一帧图像的检测，直至视频流结束包括：将当前帧图像和下一帧图像作为一组，在一组中的两帧图像检测完成后，进行下一组的图像检测，直至视频流结束。
17.另一方面，本发明还提供一种采用上述基于前后帧图像关联的目标检测方法的检测系统，包括：当前帧检测模块，在视频流中，对当前帧图像进行检测；下一帧检测模块，根据当前帧图像检测中对下一帧图像的预测结果对下一帧图像进行检测；循环模块，循环进行当前帧图像和下一帧图像的检测，直至视频流结束。
18.本发明的有益效果是，本发明通过在视频流中，对当前帧图像进行检测；根据当前帧图像检测中对下一帧图像的预测结果对下一帧图像进行检测；循环进行当前帧图像和下一帧图像的检测，直至视频流结束；实现了充分利用深度学习驱动的目标检测模型，并结合当前帧图像的目标检测结果，能够快速、精确地定位目标，并在一定程度上减少全图检测的计算量，可以显著提高目标检测的实时性和效率，从而为自动驾驶系统提供更可靠和高性能的目标感知能力。
19.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
20.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
21.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1是本发明的一种基于前后帧图像关联的目标检测方法的流程图；图2是本发明的前后帧图像目标检测流程示意图；
图3是本发明的模型调用流程。
具体实施方式
23.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.实施例1，如图1至图3所示，本实施例1提供了一种基于前后帧图像关联的目标检测方法，包括：在视频流中，对当前帧图像进行检测；根据当前帧图像的检测结果对下一帧图像（后一帧图像）进行检测；循环进行当前帧图像和下一帧图像的检测，直至视频流结束；实现了充分利用深度学习驱动的目标检测模型，并结合当前帧图像的目标检测结果，能够快速、精确地定位目标，并在一定程度上减少全图检测的计算量，可以显著提高目标检测的实时性和效率，从而为自动驾驶系统提供更可靠和高性能的目标感知能力，在保证高准确性的同时，有效地减少计算开销和延迟，以适应快速变化的交通环境和驾驶决策的需求，提高自动驾驶系统的实时性和效率，同时保持高准确性。
25.在本实施例中，结合了一个深层的大目标检测模型和一个浅层的小目标检测模型，并利用当前帧图像的目标检测结果来辅助下一帧图像的检测。深层的大目标检测模型网络层数深，检测能力强，对资源占用大，推理时间大于浅层的小目标检测模型，浅层的小目标检测模型占用资源少，运行速度快，只能对目标边界位置框坐标进行微调。首先使用深层的大目标检测模型对当前帧图像进行全图目标检测，并同时预测每个目标在当前帧的边界框位置以及该目标在下一帧图像中可能的边界框位置（即目标在下一帧中的预测边界框位置）。这样，得到了每个目标的一对边界框位置信息，分别表示目标在当前帧和下一帧中可能的位置。接下来，在实际进行下一帧图像的目标检测时，仅使用一个浅层的小目标检测模型对每一个目标的预测边界框位置信息进行微调就能得到该目标在下一帧图像中的实际边界框，通过这种方式，避免了每一帧图像都要进行全图目标检测的计算，而是仅对预测的边界框位置进行微调，从而大幅减小了计算量，提高了检测的效率和自动驾驶系统的实时性。交替使用深层的大目标检测模型和浅层的小目标检测模型就能达到和连续使用深层的大目标检测模型对每帧图像进行全图目标检测同样的效果。利用当前帧图像的目标检测结果提供的预测边界框位置信息，充分利用了前后帧图像的关联性和相似性。同时，通过使用不同深度的目标检测模型，能够在保证准确性的前提下，降低计算复杂度，减小了硬件资源占用和时间消耗，提高了实时性和效率。
26.在本实施例中，所述对当前帧图像进行检测包括：在视频流中获取当前帧图像，并通过深层的大目标检测模型，即深层大模型进行全图检测，以提高目标检测的准确性和表达能力。深层大模型同时输出目标在当前帧图像中的边界框位置以及目标在下一帧中的预测边界框位置。
27.在本实施例中，全图检测获取当前帧图像中，得到每个目标的一对位置信息。
28.在本实施例中，所述位置信息包括：目标在当前帧的边界框位置，以及目标在下一帧中的预测边界框位置。
29.在本实施例中，将当前帧图像中各目标的边界框位置应用于自动驾驶系统中的相
关任务；将当前帧图像中各目标在下一帧中的预测边界框位置进行保存。
30.在本实施例中，所述根据当前帧图像检测中对下一帧图像的预测结果对下一帧图像进行检测包括：获取当前帧图像的下一帧图像，并且获取各目标在下一帧中的预测边界框位置，采用浅层的小目标检测模型，即浅层小模型进行推理。
31.在本实施例中，将各目标在下一帧中的预测边界框位置作为启发信息，以作为后一帧图像目标检测的初始位置；利用前一帧的预测结果（即目标在下一帧中的预测边界框位置）进行下一帧图像的目标检测：在下一帧图像（后一帧图像）的目标检测中，利用当前帧图像输出的预测边界框位置作为浅层小模型输入之一，以减小检测空间并提高检测效率。
32.在本实施例中，在下一帧图像中，使用浅层小模型对预测边界框位置信息进行微调，得到下一帧图像中各目标实际的边界框位置；为了获得最终准确的目标检测结果，利用预测边界框位置作为输入，在下一帧图像中使用浅层的小目标检测模型进行微调，以精确定位目标并输出实际的边界框位置；由于自动驾驶实际场景中前后两帧图像间隔极短且差异较小，该方法在保持准确性的同时避免了每一帧图像都进行全图检测，提高了计算效率和自动驾驶系统的实时性。
33.在本实施例中，所述循环进行当前帧图像和下一帧图像的检测，直至视频流结束包括：将当前帧图像和下一帧图像作为一组，在一组中的两帧图像检测完成后，进行下一组的图像检测，直至视频流结束；交替使用深层的大目标检测模型和浅层的小目标检测模型实现对视频流的连续性检测。
34.实施例2，在实施例1的基础上，本实施例2还提供一种采用实施例1中基于前后帧图像关联的目标检测方法的检测系统，包括：当前帧检测模块，在视频流中，对当前帧图像进行检测；下一帧检测模块，根据当前帧图像检测中对下一帧图像的预测结果对下一帧图像进行检测；循环模块，循环进行当前帧图像和下一帧图像的检测，直至视频流结束；各模块的具体功能方法在实施例1中已经详细描述，不再赘述。
35.综上所述，本发明通过在视频流中，对当前帧图像进行检测；根据当前帧图像检测中对下一帧图像的预测结果对下一帧图像进行检测；循环进行当前帧图像和下一帧图像的检测，直至视频流结束；实现了充分利用深度学习驱动的目标检测模型，并结合当前帧图像的目标检测结果，能够快速、精确地定位目标，并在一定程度上减少全图检测的计算量，可以显著提高目标检测的实时性和效率，从而为自动驾驶系统提供更可靠和高性能的目标感知能力。
36.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
37.另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
38.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
39.以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

技术特征：
1.一种基于前后帧图像关联的目标检测方法，其特征在于，包括：在视频流中，对当前帧图像进行检测；根据当前帧图像检测中对下一帧图像的预测结果对下一帧图像进行检测；循环进行当前帧图像和下一帧图像的检测，直至视频流结束；所述对当前帧图像进行检测包括：在视频流中获取当前帧图像，并通过深层的大目标检测模型，即深层大模型进行全图检测。2.如权利要求1所述的基于前后帧图像关联的目标检测方法，其特征在于，全图检测获取当前帧图像中，得到每个目标的一对位置信息。3.如权利要求2所述的基于前后帧图像关联的目标检测方法，其特征在于，所述位置信息包括：目标在当前帧的边界框位置，以及目标在下一帧中的预测边界框位置。4.如权利要求3所述的基于前后帧图像关联的目标检测方法，其特征在于，将当前帧图像中各目标的边界框位置应用于自动驾驶系统中的相关任务；将当前帧图像中各目标在下一帧中的预测边界框位置进行保存。5.如权利要求4所述的基于前后帧图像关联的目标检测方法，其特征在于，所述根据当前帧图像检测中对下一帧图像的预测结果对下一帧图像进行检测包括：获取当前帧图像的下一帧图像，并且获取各目标在下一帧中的预测边界框位置，采用浅层的小目标检测模型，即浅层小模型进行推理。6.如权利要求5所述的基于前后帧图像关联的目标检测方法，其特征在于，将各目标在下一帧中的预测边界框位置作为启发信息，以作为后一帧图像目标检测的初始位置。7.如权利要求6所述的基于前后帧图像关联的目标检测方法，其特征在于，在下一帧图像中，使用浅层小模型对预测边界框位置信息进行微调，得到下一帧图像中各目标实际的边界框位置。8.如权利要求7所述的基于前后帧图像关联的目标检测方法，其特征在于，所述循环进行当前帧图像和下一帧图像的检测，直至视频流结束包括：将当前帧图像和下一帧图像作为一组，在一组中的两帧图像检测完成后，进行下一组的图像检测，直至视频流结束。9.一种采用如权利要求1所述基于前后帧图像关联的目标检测方法的检测系统，其特征在于，包括：当前帧检测模块，在视频流中，对当前帧图像进行检测；下一帧检测模块，根据当前帧图像检测中对下一帧图像的预测结果对下一帧图像进行检测；循环模块，循环进行当前帧图像和下一帧图像的检测，直至视频流结束。

技术总结
本发明属于计算机视觉和目标检测技术领域，具体涉及一种基于前后帧图像关联的目标检测方法及检测系统，包括：在视频流中，对当前帧图像进行检测；根据当前帧图像检测中对下一帧图像的预测结果对下一帧图像进行检测；循环进行当前帧图像和下一帧图像的检测，直至视频流结束；实现了充分利用深度学习驱动的目标检测模型，并结合当前帧图像的目标检测结果，能够快速、精确地定位目标，并在一定程度上减少全图检测的计算量，可以显著提高目标检测的实时性和效率，从而为自动驾驶系统提供更可靠和高性能的目标感知能力。性能的目标感知能力。性能的目标感知能力。


技术研发人员：丁状 赵强 戴凯龙 刘宇
受保护的技术使用者：常州星宇车灯股份有限公司
技术研发日：2023.09.06
技术公布日：2023/10/15