一种基于红外可见光融合的多目标自动查证方法与流程

1.本发明涉及计算机视觉、目标定位、无人机自主控制技术领域，尤其涉及一种基于红外可见光融合的多目标自动查证方法。


背景技术：

2.空对地海多目标自动查证方法，是指无人机通过可变焦光电吊舱，自动对任务区域内的多个目标进行细粒度识别并对其进行定位的地理位置的技术。
3.在目前的基于无人机光电平台的多目标查证方法中，大多利用人工控制的方式依次对目标进行查证，而在仅有的一些自动化的方法中，也都遵循着大视场搜索发现多个目标，减小视场对单个目标细粒度识别，重新放大视场更换目标进行查证的范式。在该范式中，现有的方法包括通过基于深度学习的目标重识别算法来对视场变化前后目标进行一致化表征的方法以及通过结合目标定位，即对目标检测获得的每个目标估计其地理位置，进而构建视场变化前后目标的一致化表征。
4.现有方法都存在较大的局限性，无法适应无人机对多目标自主查证的能力要求。对于基于目标重识别的方法来说，机载嵌入式设备算力有限，在运行目标检测、目标跟踪算法之后很难在保证实时性的情况下运行目标重识别模型；对于结合目标定位的方法来说，现有目标定位算法大多只能保证视场中心处，即光轴处的目标，对于图像边缘的目标，定位误差较大，无法有效用于目标的重识别。
5.而目前大部分无人机都可以挂载双光吊舱甚至三光吊舱，而红外与可见光之间又可以单独以不同的视场角对环境进行感知，而现有方法对可见光和红外图像的融合仅仅扩充了无人机信息感知的丰富度，并没有提升无人机对环境感知的灵活性。
6.本专利要解决以下技术问题：1、多模态融合适应性差：现有的无人机对地海目标检测大多进通过单光进行检测，或者通过像素级或者特征级的模态融合进而进行目标检测，前者不能很好的利用红外与可见光之间的信息互补特点，后者计算成本较高，且不能针对环境灵活的调整模型。
7.2、目标的一致化表征难：无人机对地海目标侦察时，由于多目标相似程度高（多个坦克、多个统一服装人员、多艘相似船只、多个海面浮标等）以及算法实时性等原因，难以通过基于深度学习的目标重识别算法构建视场变化前后目标的一致化表征，进而导致无人机侦察过程自主化程度较低。
8.在该问题中，存在两个子问题。a：当目标搜索阶段发现目标准备进入目标查证阶段时候，对目标的检测有可见光与红外融合检测变为了红外图像的检测跟踪，则可能会出现可见光中发现目标但是红外图像中没有发现目标的情况，此时转入目标查证阶段是，可见光不再同于目标跟踪，如何在红外图像中保持对目标的跟踪。b：在无人机行进、盘旋过程中，存在目标，其在某一时刻离开红外图像的视场，并在时刻内，重新进入视场，如何对其进行重识别，重新识别为目标而不是，从而不对其进行重复查证。
9.3、无人机多任务侦察灵活性差：在执行对地海目标的侦察时，无人机上的计算平台需要同时运行目标检测算法、目标跟踪算法、细粒度目标识别算法等，现有算法不能充分利用多传感器吊舱保证任务的灵活性，需要构建新的算法框架，充分发挥红外与可见光各自的优势，更加灵活的执行任务。


技术实现要素：

10.本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于红外可见光融合的多目标自动查证方法。
11.本发明解决其技术问题所采用的技术方案是：本发明提供一种基于红外可见光融合的多目标自动查证方法，该方法包括以下步骤：目标搜索阶段，构建基于可见光图像和红外图像决策级融合的目标检测算法，实现在任务区中目标有无的搜索和检测，并对多个目标进行融合目标检测；目标查证阶段，在融合目标检测阶段的检测结果满足进入查证阶段的判定条件后，将融合目标检测结果叠加到红外图像上，并由基于红外图像的目标跟踪算法进行跟踪；对发现的多个目标通过变焦依次进行细粒度识别，获得目标的细粒度信息，并由机动目标跟踪模型对目标进行位置估计与预测。
12.进一步地，本发明的该方法中基于可见光图像和红外图像决策级融合的目标检测算法具体为：保留只在可见图像或只在红外图像中检测到的目标的准确结果；对在可见光图像和红外图像中同时检测到的同一标的准确结果进行加权融合，包括对框的融合与对目标置信度的融合；将所得的检测结果进行合并，作为融合图像中所有对应目标的检测结果进而实现基于决策级融合的快速目标检测。
13.进一步地，本发明的该方法中将融合目标检测结果叠加到红外图像上，并由基于红外图像的目标跟踪算法进行跟踪的方法具体为：在融合目标检测阶段的检测结果满足进入查证阶段的判定条件后，将融合目标检测结果叠加到红外图像上，并由基于红外图像的目标跟踪算法进行跟踪，为了防止由于红外图像中目标的特征不明显导致目标跟踪失败，在进行目标锁定查证时，优先锁定目标对其进行细粒度目标识别；若在进入查证阶段时，存在多个这样的目标，则查证第一个目标之后记录该目标位置，重新进入目标搜索阶段，直至进入查证阶段时，目标可基于红外图像被跟踪；若存在目标重新进入红外视场，首先给定目标编号，在锁定目标进行细粒度识别时，首先根据目标定位结果判断该目标是否已经查证完毕，若满足：则认为为目标重新进入视场，否则，认为目标为新目标或者目标位置估计模型误差过大，目标编号不变，等待进一步查证，pos
ti
表示目标ti的位置。
14.进一步地，本发明的该方法中对发现的多个目标通过变焦依次进行细粒度识别的
方法具体为：根据侦察任务内容预先加载采用的细粒度目标识别的模型，包括开放场景字符识别模型、人员识别模型、人脸检测模型，对进入侦察范围的船只进行查证，若检测到船上甲板区域的人员，则进一步通过人脸检测模型，对人脸进行识别，对获取的船只图像、船只舷号、船上人员数量、人员人脸信息进行保存并回传指挥中心。
15.进一步地，本发明的该方法的目标搜索阶段具体包括以下步骤：步骤1：可见光与红外镜头调至最大视场，进入目标搜索状态；步骤2：分别获取可见光与红外图像与并且分别进行图像预处理；步骤3：分别将图像与输入可见光目标检测模型与红外目标检测模型进行模型推理，获得检测框集合与然后通过分辨率对齐之后两者取并集，并对交集部分检测结果进行融合，即当红外与可见光图像都检测到目标时，对检测框进行融合，融合后的框的中心位置由红外与可见光结果加权表示，预测置信度分数，其中根据具体情况预先设定；已经检测到的目标分为三组，表示可见光图像中检测到，但红外图像未检测到的目标组，表示红外图像中检测到，但可见光图像中未检测到的目标组，表示两者都检测到的目标组；步骤4：通过目标跟踪算法对视野中的多个目标进行跟踪，并对其进行排序编号，顺序为，对于每个组内的目标，按照置信度从高到低的进行排序；步骤5：自适用的调整可见光与红外的焦距，重复步骤4，在连读多次检测稳定发现目标的次数大于阈值时，进入目标查证阶段。
16.进一步地，本发明的该方法的目标查证阶段具体包括以下步骤：步骤6：按照融合目标检测结果生成的目标id，对id为的目标进行锁定凝视，首次锁定时；步骤7：在红外图像中，保持对目标的锁定跟踪，通过改变可见光镜头的焦距，放大号目标对其进行细粒度的目标识别，获得目标的具体类别，包括船只型号、船舷号、船上数量信息，并在获取细粒度信息的同时，通过定位算法与构建的基于多模型粒子滤波的目标状态估计算法对目标的位置、速度信息进行估计，并对目标的接下来的位置进行预测；步骤8：获取id为的目标信息之后，与红外图像的跟踪状态进行同步切换锁定id为的目标，重复步骤6、7。
17.本发明产生的有益效果是：1、本发明构建的方法在无人机进行多目标查证的时候，可以通过定位算法、红外可见光融合目标检测算法等方法构建目标的一致化表征，有效解决高度相似目标的重识别问题。
18.2、本发明充分发挥了双光吊舱的灵活性，通过红外与可见光的单独控制，可以实现更加快速准确的目标锁定切换，充分利用了红外图像跟踪友好特点与可见光图像的无线粒度特点。
19.3、本发明充分将目标定位与目标检测跟踪相结合，提高了真实场景下无人机的感知能力。
20.4、本发明极大程度提高了无人机侦察系统的自主化程度，可以在较短的时间内完成对任务区域内多目标的快速自主查证。
附图说明
21.下面将结合附图及实施例对本发明作进一步说明，附图中：图1是基于可见光图像和红外图像决策级融合的目标检测算法；图2是红外与可见红目标检测结果iou融合示意图；图3是红外与可见光以不同视场执行不同任务示意图。
具体实施方式
22.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
23.实施例一本发明实施例的基于红外可见光融合的多目标自动查证方法，包括两个阶段，即目标搜索阶段和目标查证阶段，其中目标搜索阶段主要解决在任务区中目标有无的问题，而目标查证阶段主要对发现的多个目标通过变焦依次进行细粒度识别，获得船只型号、舷号，坦克型号等细粒度信息，通过结合武器火力分类等算法模型，可进一步实现威胁程度评估告警等不同后端任务。
24.针对技术问题1，构建基于可见光图像和红外图像决策级融合的目标检测算法，首先，保留只在可见图像或只在红外图像中检测到的目标的准确结果；然后对在可见光图像和红外图像中同时检测到的同一标的准确结果进行加权融合，包括对框的融合与对目标置信度的融合；最后，将所得的检测结果进行合并，作为融合图像中所有对应目标的检测结果进而实现基于决策级融合的快速目标检测。
25.其中算法框架图如图1所示，其中可以根据天气状况人工选择图像增强算法（如雾天情况下的自适应去雾算法等），根据任务需求权衡小目标检测能力、算法实时性，背景复杂程度等选择不同的目标检测网络模型，相比于特征级或者像素级的红外可见光融合，该方法实际应用中更加灵活。
26.红外与可见光的图像融合目标检测主要分为三类，即像素级图像融合、特征级图像融合、决策级图像融合。像素级图像融合指在输入网络模型之前，对红外和可见光进行配准，将对应的像素点进行处理从而得到融合之后的图像的过程，这种方法准确性较高，但是计算量大，同时实际应用过程中由于红外可见光的焦距、算法的处理时延等原因可能会是的获取的两张图像不是同一时刻、同一焦距所得，为配准带来较大的困难；特征级融合指对通过卷积对特征进行提取后，只保留重要信息，而去除一些冗余信息，然后对特征进行融合，这在一定程度上压缩了源图像中的细节信息，在实际应用过程中也缺乏一定的灵活性；而决策级图像融合，可以针对红外和可见光图像，各自通过不同的网络模型获取检测结果，再根据实际需要进行结果的融合，有较高的灵活性，尤其适用于本发明所涉及到的无人机
目标侦察场景，通过基于可见光图像和红外图像决策级融合的目标检测算法，可以在目标搜索阶段充分利用红外与可见光这两种光谱下的图像数据，又能减小因为视角、焦距、时延以及分辨率等因素带来的融合问题，又能根据实际场景自由选择不同的模型，例如，当所要进行侦察的任务区域有着复杂的背景，则选择在复杂背景下鲁棒性更优的网络模型，而当所要侦察区域背景较简单时，又可以最大程度的提高小目标检测能力，以获得更大的可有效探测范围。
27.针对技术问题2，提出红外与可见光分别执行不同任务的策略，即红外图像凭借目标与背景差异更明显的优势以大视场保持对多目标的跟踪，而凭借可见光图像中拥有的更加丰富细节，进行更细粒度的目标识别，例如坦克型号，船只型号、舷号，浮标标识等并获得目标的位置信息，并由机动目标跟踪模型对其进行位置估计与预测，如图3所示。
28.机动目标跟踪模型可以选择对运行状态不确定性鲁棒性较好的交互式多模型imm方法，具体来说，为避免具有机动检测的跟踪算法产生的估计时间延迟和机动检测过程中跟踪性能的降低，采用基于交互式多模型(imm)的自适应机动目标跟踪算法，通过不同目标模型的交互作用来实现对目标机动状态的自适应估计。
29.针对技术问题2a，在融合目标检测阶段的检测结果满足进入查证阶段的判定条件后，将融合目标检测结果叠加到红外图像上，并由基于红外图像的目标跟踪算法进行跟踪，为了防止由于红外图像中目标的特征不明显导致目标跟踪失败，在进行目标锁定查证时，优先锁定目标对其进行细粒度目标识别；若在进入查证阶段时，存在多个这样的目标，则查证第一个目标之后记录该目标位置，重新进入目标搜索阶段，直至进入查证阶段时，目标可基于红外图像被跟踪；针对技术问题2b，若存在目标重新进入红外视场，首先给定目标编号，在锁定目标进行细粒度识别时，首先根据目标定位结果判断该目标是否已经查证完毕，若满足则认为为目标重新进入视场，否则，认为目标为新目标或者目标位置估计模型误差过大，目标编号不变，等待进一步查证。
30.针对技术问题3，为了无人机多任务侦察的灵活性，本发明中提到的深度学习算法可以由其他模型替换，可以根据不同的任务和不同的环境情况进行调整，以对某海面进行日常巡逻侦察场景为例，其中细粒度目标识别的模型根据侦察任务内容预先加载，可以通过加载开放场景字符识别模型、人员识别模型、人脸检测模型等，对进入侦察范围的船只进行查证，若检测到船上甲板等区域的人员，则进一步通过人脸检测模型，对人脸进行识别，对获取的船只图像、船只舷号、船上人员数量、人员人脸等信息进行保存并回传指挥中心。
31.实施例二本发明实施例的基于红外可见光融合的多目标自动查证方法，包括以下步骤：目标搜索阶段，通过基于红外可见光融合的目标检测算法，为了有效利用红外与可见光的信息，降低计算成本同时考虑实用场景下的灵活性，本方法选择计算成本最低的决策级融合方法，而不是像素级或者特征级的图像融合，算法框架如图1所示。其中步骤1：可见光与红外镜头调至最大视场，进入目标搜索状态；
步骤2：分别获取可见光与红外图像与并且分别进行图像预处理，减小天气、传感器噪声带来的影响；步骤3：分别将图像与输入可见光目标检测模型与红外目标检测模型进行模型推理，获得检测框集合与然后通过分辨率对齐之后两者取并集，并对交集部分检测结果进行融合，即当红外与可见光图像都检测到目标时，对检测框进行融合，融合后的框的中心位置由红外与可见光结果加权表示，如图2所示，预测置信度分数同理，，其中根据具体情况预先设定；至此，已经检测到的目标分为三组，表示可见光图像中检测到，但红外图像未检测到的目标组，表示红外图像中检测到，但可见光图像中未检测到的目标组，表示两者都检测到的目标组；步骤4：通过目标跟踪算法对视野中的多个目标进行跟踪，并对其进行排序编号，顺序为，对于每个组内的目标，按照置信度从高到低的进行排序。
32.步骤5：自适用的调整可见光与红外的焦距，重复步骤4，在连读多次检测稳定发现目标的次数大于阈值时，进入目标查证阶段。
33.目标查证阶段，红外相机始终保持较大的视场，通过目标跟踪算法对红外图像中的目标进行跟踪，保持对全局目标的感知，而可见光相机调整焦距使得视场减小，放大目标对其进行细粒度的识别，识别完成后跟踪红外图像中的目标信息更换锁定目标，依次进行细粒度识别。步骤6：按照融合目标检测结果生成的目标id，对id为的目标进行锁定凝视（首次锁定时）；步骤7：在红外图像中，保持对目标的锁定跟踪，通过改变可见光镜头的焦距，放大号目标对其进行细粒度的目标识别，获得目标的具体类别，例如船只型号、船舷号、船上数量等信息，并在获取细粒度信息的同时，通过定位算法与构建的基于多模型粒子滤波的目标状态估计算法对目标的位置、速度信息进行估计，并对目标的接下来的位置进行预测；步骤8：获取id为的目标信息之后，与红外图像的跟踪状态进行同步，切换锁定id为的目标，重复步骤6、7。
34.应当理解的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
35.应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

技术特征：
1.一种基于红外可见光融合的多目标自动查证方法，其特征在于，该方法包括以下步骤：目标搜索阶段，构建基于可见光图像和红外图像决策级融合的目标检测算法，实现在任务区中目标有无的搜索和检测，并对多个目标进行融合目标检测；目标查证阶段，在融合目标检测阶段的检测结果满足进入查证阶段的判定条件后，将融合目标检测结果叠加到红外图像上，并由基于红外图像的目标跟踪算法进行跟踪；对发现的多个目标通过变焦依次进行细粒度识别，获得目标的细粒度信息，并由机动目标跟踪模型对目标进行位置估计与预测。2.根据权利要求1所述的基于红外可见光融合的多目标自动查证方法，其特征在于，该方法中基于可见光图像和红外图像决策级融合的目标检测算法具体为：保留只在可见图像或只在红外图像中检测到的目标的准确结果；对在可见光图像和红外图像中同时检测到的同一标的准确结果进行加权融合，包括对框的融合与对目标置信度的融合；将所得的检测结果进行合并，作为融合图像中所有对应目标的检测结果进而实现基于决策级融合的快速目标检测。3.根据权利要求1所述的基于红外可见光融合的多目标自动查证方法，其特征在于，该方法中将融合目标检测结果叠加到红外图像上，并由基于红外图像的目标跟踪算法进行跟踪的方法具体为：在融合目标检测阶段的检测结果满足进入查证阶段的判定条件后，将融合目标检测结果叠加到红外图像上，并由基于红外图像的目标跟踪算法进行跟踪，为了防止由于红外图像中目标的特征不明显导致目标跟踪失败，在进行目标锁定查证时，优先锁定目标对其进行细粒度目标识别；若在进入查证阶段时，存在多个这样的目标，则查证第一个目标之后记录该目标位置，重新进入目标搜索阶段，直至进入查证阶段时，目标可基于红外图像被跟踪；若存在目标重新进入红外视场，首先给定目标编号，在锁定目标进行细粒度识别时，首先根据目标定位结果判断该目标是否已经查证完毕，若满足：则认为为目标重新进入视场，否则，认为目标为新目标或者目标位置估计模型误差过大，目标编号不变，等待进一步查证，pos
ti
表示目标t
i
的位置。4.根据权利要求1所述的基于红外可见光融合的多目标自动查证方法，其特征在于，该方法中对发现的多个目标通过变焦依次进行细粒度识别的方法具体为：根据侦察任务内容预先加载采用的细粒度目标识别的模型，包括开放场景字符识别模型、人员识别模型、人脸检测模型，对进入侦察范围的船只进行查证，若检测到船上甲板区域的人员，则进一步通过人脸检测模型，对人脸进行识别，对获取的船只图像、船只舷号、船上人员数量、人员人脸信息进行保存并回传指挥中心。5.根据权利要求1所述的基于红外可见光融合的多目标自动查证方法，其特征在于，该方法的目标搜索阶段具体包括以下步骤：步骤1：可见光与红外镜头调至最大视场，进入目标搜索状态；
步骤2：分别获取可见光与红外图像与并且分别进行图像预处理；步骤3：分别将图像与输入可见光目标检测模型与红外目标检测模型进行模型推理，获得检测框集合与然后通过分辨率对齐之后两者取并集，并对交集部分检测结果进行融合，即当红外与可见光图像都检测到目标时，对检测框进行融合，融合后的框的中心位置由红外与可见光结果加权表示，预测置信度分数，其中根据具体情况预先设定；已经检测到的目标分为三组，表示可见光图像中检测到，但红外图像未检测到的目标组，表示红外图像中检测到，但可见光图像中未检测到的目标组，表示两者都检测到的目标组；步骤4：通过目标跟踪算法对视野中的多个目标进行跟踪，并对其进行排序编号，顺序为，对于每个组内的目标，按照置信度从高到低的进行排序；步骤5：自适用的调整可见光与红外的焦距，重复步骤4，在连读多次检测稳定发现目标的次数大于阈值时，进入目标查证阶段。6.根据权利要求5所述的基于红外可见光融合的多目标自动查证方法，其特征在于，该方法的目标查证阶段具体包括以下步骤：步骤6：按照融合目标检测结果生成的目标id，对id为的目标进行锁定凝视，首次锁定时；步骤7：在红外图像中，保持对目标的锁定跟踪，通过改变可见光镜头的焦距，放大号目标对其进行细粒度的目标识别，获得目标的具体类别，包括船只型号、船舷号、船上数量信息，并在获取细粒度信息的同时，通过定位算法与构建的基于多模型粒子滤波的目标状态估计算法对目标的位置、速度信息进行估计，并对目标的接下来的位置进行预测；步骤8：获取id为的目标信息之后，与红外图像的跟踪状态进行同步切换锁定id为的目标，重复步骤6、7。

技术总结
本发明公开了一种基于红外可见光融合的多目标自动查证方法，包括：目标搜索阶段，构建基于可见光图像和红外图像决策级融合的目标检测算法，实现在任务区中目标有无的搜索和检测，并对多个目标进行融合目标检测；目标查证阶段，在融合目标检测阶段的检测结果满足进入查证阶段的判定条件后，将融合目标检测结果叠加到红外图像上，并由基于红外图像的目标跟踪算法进行跟踪；对发现的多个目标通过变焦依次进行细粒度识别，获得目标的细粒度信息，并由机动目标跟踪模型对目标进行位置估计与预测。本发明能有效解决高度相似目标的重识别问题，可以实现更加快速准确的目标锁定切换，提高了真实场景下无人机的感知能力。真实场景下无人机的感知能力。真实场景下无人机的感知能力。


技术研发人员：罗威 龚俊斌 黄骁 张科 陶浩 逯翔
受保护的技术使用者：中国舰船研究设计中心
技术研发日：2023.06.30
技术公布日：2023/10/15