一种基于无人机的目标感知方法及装置与流程

1.本发明涉及目标检测领域，尤其涉及一种基于无人机的目标感知方法及装置。


背景技术：

2.随着无人机应用的不断发展，无人机在喷洒农药、灭火等领域都有很多的应用，但无人机对火源等具体目标的识别，以及无人机集群或单架无人机在空中面临飞行物、建筑物等带来的干扰依旧存在问题。以往无人机仅搭载单个光电瞄准系统进行目标探测感知，难以同时检测多方向的目标。后来，将分布式光电孔径载荷安装于无人机上，分布式光电孔径载荷通常由多个光电探测器协同工作，可覆盖机身周围广域视场进行目标探测与识别。通常分布式光电孔径载荷将多路输入的图像先进行压缩编码，再进行大视场拼接，但在广域全向感知模式下，其局部详察能力达有限。
3.对于目标检测识别算法，目前主要是传统的人工特征提取方法。基于人工特征提取的目标检测方法，需要人为设置并提取目标特征。该方法提取特征相对复杂且计算速度慢，对于小目标或旋转、拉伸的物体检测效果不好，无法保证模型的实时性等，因此无法满足目标检测的要求。同时，全景图像数据量大，包含目标和背景场景视场更广信息更丰富，传统目标识别算法难以满足时效要求。


技术实现要素：

4.本发明提供一种基于无人机的目标感知方法及装置，用以至少解决现有技术中无人机在广域全向感知模式下，其局部详察能力有限的问题。
5.根据本发明第一方面实施例中的一种基于无人机的目标感知方法，包括：
6.构建疑似目标检测模型及目标检测模型；
7.采用全向感知模式，获取飞行场景的全景图像，并基于所述全景图像，采用所述疑似目标检测模型，识别疑似目标；
8.基于所述疑似目标，自动切换至鹰眼式仿生复合感知模式，以获取所述疑似目标对应方向的局部图像；
9.基于所述局部图像，采用所述目标检测模型，进行目标检测。
10.根据本发明的一些实施例，所述构建目标检测模型，包括：
11.获取数据集，并对所述数据集进行增广；
12.对增广后的数据集进行目标类型标注，并划分训练集、测试集；
13.基于深度学习算法，构建训练模型，并基于所述训练集和所述测试集训练和测试所述训练模型，以构建目标检测模型。
14.根据本发明的一些实施例，所述基于所述疑似目标，自动切换至鹰眼式仿生复合感知模式，以获取所述疑似目标对应方向的局部图像，包括：
15.基于所述疑似目标，确定所述疑似目标所在图像的来源；
16.控制所述疑似目标所在图像的来源，采用鹰眼式仿生复合感知方法，获取所述疑
似目标对应方向的局部图像。
17.根据本发明的一些实施例，在获取所述疑似目标的局部图像后，所述方法还包括：对所述局部图像进行预处理，所述预处理包括格式转换、大小重设、变换中的至少一种。
18.根据本发明第二方面实施例中的一种基于无人机集群的目标定位方法，包括：
19.无人机集群中的每个无人机采用目标感知方法进行目标检测，所述目标感知方法为如上所述的基于无人机的目标感知方法；
20.所述无人机集群进行目标检测信息共享，并协同合作以实现目标定位。
21.根据本发明第三方面实施例中的一种基于无人机的目标感知装置，包括：
22.训练单元，用于构建疑似目标检测模型及目标检测模型；
23.获取单元，用于采用全向感知模式获取飞行场景的全景图像，采用鹰眼式仿生复合感知模式获取疑似目标对应方向的局部图像；
24.分析单元，用于基于所述全景图像，采用所述疑似目标检测模型，识别疑似目标，基于所述局部图像，采用所述目标检测模型，进行目标检测；
25.控制单元，用于基于所述疑似目标，自动切换至鹰眼式仿生复合感知模式。
26.根据本发明的一些实施例，所述训练单元，用于：
27.获取数据集，并对所述数据集进行增广；
28.对增广后的数据集进行目标类型标注，并划分训练集、测试集；
29.基于深度学习算法，构建训练模型，并基于所述训练集和所述测试集训练和测试所述训练模型，以构建目标检测模型。
30.根据本发明的一些实施例，所述控制单元基于所述疑似目标，自动切换至鹰眼式仿生复合感知模式，以获取所述疑似目标对应方向的局部图像，包括：
31.基于所述疑似目标，确定所述疑似目标所在图像的来源；
32.控制所述疑似目标所在图像的来源，采用鹰眼式仿生复合感知方法，获取所述疑似目标对应方向的局部图像。
33.根据本发明的一些实施例，所述获取单元还用于，对所述局部图像进行预处理，所述预处理包括格式转换、大小重设、变换中的至少一种。
34.根据本发明第四方面实施例中的一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如第一方面实施例中任一项所述的无人机的目标感知方法的步骤。
35.采用本发明实施例，无人机在全向感知模式下识别到疑似目标后，可以自动切换至鹰眼式仿生复合感知模式获取疑似目标的方向的局部图像，根据局部图像对目标进行检测。通过采用这种感知切换模式，可以提高无人机在局部区域的目标检测能力，进一步提高了无人机的目标识别准确度。
36.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
37.通过阅读下文实施方式的详细描述，各种其他的优点和益处对于本领域普通技术
人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：
38.图1是本发明第一方面实施例中基于无人机的目标感知方法的流程示意图；
39.图2是本发明第一方面实施例中构建目标检测模型的流程示意图；
40.图3是本发明第三方面实施例中进行目标检测的流程示意图。
具体实施方式
41.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
42.根据本发明第一方面实施例中的一种基于无人机的目标感知方法，参考图1，包括：
43.s1：构建疑似目标检测模型及目标检测模型。
44.例如，基于深度学习目标检测识别算法构建疑似目标检测模型及目标检测模型，其中疑似目标检测模型用于在全向感知模式下，对所获取场景中的疑似目标进行识别，目标检测模型用于根据在切换鹰眼式仿生复合感知模式后获取的图像对目标进行识别。
45.s2：采用全向感知模式，获取飞行场景的全景图像，并基于所述全景图像，采用所述疑似目标检测模型，识别疑似目标。
46.例如，在无人机上搭载若干分布式光电孔径载荷，通过分布式光电孔径载荷对全向的场景进行采集，然后对获取的压缩图形数据进行全景拼接，从而获取飞行场景的全景图像。疑似目标为在全向感知模式下，通过疑似目标检测模型识别到的有可能是无人机所要寻找的目标或者对无人机飞行产生障碍的物体等。
47.s3：基于所述疑似目标，自动切换至鹰眼式仿生复合感知模式，以获取所述疑似目标对应方向的局部图像。
48.所述局部图像表示采用鹰眼式仿生复合感知模式针对疑似目标所获取的包含疑似目标详细信息的图像。
49.s4：基于所述局部图像，采用所述目标检测模型，进行目标检测。
50.采用本发明的实施例，通过在全向感知模式与鹰眼式仿生复合感知模式进行自动切换，既保证了无人机可以针对飞行全景获取疑似目标，又可以针对疑似目标进行局部的目标信息详查。增强了无人机对局部目标的检测能力以及目标识别的准确度。
51.在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。
52.根据本发明的一些实施例，所述构建目标检测模型，包括：
53.获取数据集，并对所述数据集进行增广；
54.对增广后的数据集进行目标类型标注，并划分训练集、测试集；
55.基于深度学习算法，构建训练模型，并基于所述训练集和所述测试集训练和测试所述训练模型，以构建目标检测模型。
56.根据本发明的一些实施例，所述构建目标检测模型，参考图2，包括：
57.获取至少包括农田、森林、河流、海滩、飞行物、车辆、建筑物、公路、港口、桥的数据集。例如，使用coco数据集。
58.对获取的所述数据集进行增广。例如，对数据进行水平/垂直翻转、旋转、缩放、裁剪、剪切、平移、改变对比度、色彩抖动、去噪声等操作。
59.为数据集中所包含的数据按照目标类型进行标注。
60.提取所述数据及中的部分数据目标构建训练集、测试集、验证集。
61.采用深度学习算法搭建训练平台对构建的目标检测模型进行感知训练并调整参数进行优化以提高检测模型的目标识别准确度。
62.获取最终优化后的目标检测模型。
63.通过获取较多的数据，并对数据进行增广，使得目标检测模型的识别范围广，准确度高。
64.根据本发明的一些实施例，采用深度学习的单阶段目标检测算法构建检测模型。例如，以yolo作为基础算法。yolo算法可以满足对小目标、多尺度目标的检测能力，且网络前向计算速度快。
65.根据本发明的一些实施例，可以在无人机端建立目标库，将预先获取的数据标注、增广后按照目标类型存储于不同的目标库中，方便无人机执行不同任务时，可以提供不同的目标库构建训练模型以用于目标识别。
66.根据本发明的一些实施例，在使用目标检测模型对目标进行检测识别后，对基于深度学习算法前向推理得到的数据进行解析和过滤，得到最终的目标检测结果。
67.根据本发明的一些实施例，无人机端还设置有预定义的具体接口，用来接收触发和停止目标检测的指令。指令可以由无人机端根据飞行时的具体情况在经过算法计算后判断是否发送，也可以由地面端向无人机发送触发和停止目标检测的指令。
68.根据本发明的一些实施例，所述基于所述疑似目标，自动切换至鹰眼式仿生复合感知模式，以获取所述疑似目标对应方向的局部图像，包括：
69.在全向感知模式下，分布式光电孔径载荷采集全向图像，将采集的全向图像进行压缩编码后拼接为全景图像，疑似目标检测模型在获取的全景图像中识别到疑似目标后，无人机基于全景图像，判断疑似目标所在图像的光电孔径载荷来源。
70.无人机确认疑似目标所在图像的光电孔径载荷来源后，控制其从全向感知模式切换至鹰眼式仿生复合感知方法，从而获取包含所述疑似目标详细信息的局部图像。
71.根据本发明的一些实施例，无人机搭载的是分布式光电孔径载荷，在无人机识别到疑似目标所在图像是由哪个光电孔径载荷采集获取后，将此路光电孔径载荷输出的图像由压缩模式改为原始模式或超分辨图像，并进行相关处理。高分辨率的原始目标图像或超分辨图像中目标特征更加丰富，目标所占像素也更加精细。从而使无人机对目标的识别准确率进一步提高。
72.根据本发明的一些实施例，无人机搭载的是分布式光电孔径载荷，在无人机识别到疑似目标所在图像是由哪个光电孔径载荷采集获取后，将此路光电孔径载荷自身的焦距变长或者引导性能更强的一路光电载荷瞄准目标，对目标进行长焦距精细化图像采集，从而达到提高无人机对目标识别的精准度。
73.根据本发明的一些实施例，在获取包含所述疑似目标详细信息的局部图像后，还
需要对图像进行预处理，所述预处理包括格式转换、大小重设、变换中的至少一种。变换指的是将图像进行翻转、平移、缩小、放大等操作。
74.根据本发明第二方面实施例中的一种基于无人机集群的目标定位方法，包括：
75.无人机集群中的每个无人机采用目标感知方法进行目标检测，所述目标感知方法为如权利要求1-4任一项所述的基于无人机的目标感知方法；
76.所述无人机集群进行目标检测信息共享，并协同合作以实现目标定位。
77.例如，在无人机集群中的任一无人机检测到目标后，会在无人机集群内进行目标信息交互，还可以通过其他无人机对目标进行进一步的识别检测，从而提高准确度。在确认目标无误后，在无人机集群中进行相互通讯确定由哪几个无人机配合进行协同定位。
78.由确定参与协同定位的无人机组采用不同机位对目标进行探测定位，从而获取目标位置信息。
79.根据本发明第三方面实施例中的一种基于无人机的目标感知装置，包括：
80.训练单元，用于构建疑似目标检测模型及目标检测模型。例如，基于深度学习目标检测识别算法构建疑似目标检测模型及目标检测模型，其中疑似目标检测模型用于在全向感知模式下，对所获取的场景中的疑似目标进行识别，目标检测模型用于在切换鹰眼式仿生复合感知模式后，根据获取的图像对目标进行识别。
81.获取单元，用于采用全向感知模式获取飞行场景的全景图像，采用鹰眼式仿生复合感知模式获取疑似目标对应方向的局部图像。
82.例如，在无人机上搭载若干分布式光电孔径载荷，通过分布式光电孔径载荷对全向的场景进行采集，然后对获取的压缩图形数据进行全景拼接，从而获取飞行场景的全景图像。疑似目标为在全向感知模式下，通过疑似目标检测模型识别到的有可能是无人机所要寻找或者对无人机飞行产生障碍的物体等。
83.分析单元，用于基于所述全景图像，采用所述疑似目标检测模型，识别疑似目标，基于所述局部图像，采用所述目标检测模型，进行目标检测。
84.控制单元，用于基于所述疑似目标，自动切换至鹰眼式仿生复合感知模式。
85.根据本发明的一些实施例，所述训练单元，用于：
86.获取数据集，并对所述数据集进行增广；
87.对增广后的数据集进行目标类型标注，并划分训练集、测试集；
88.基于深度学习算法，构建训练模型，并基于所述训练集和所述测试集训练和测试所述训练模型，以构建目标检测模型。
89.根据本发明的一些实施例，所述训练单元构建所述目标检测模型，包括：
90.获取至少包括农田、森林、河流、海滩、飞行物、车辆、建筑物、公路、港口、桥的数据集。
91.对获取的所述数据集进行增广。例如，对数据进行水平/垂直翻转、旋转、缩放、裁剪、剪切、平移、改变对比度、色彩抖动、去噪声等操作。
92.为数据集中所包含的数据按照目标类型进行标注。
93.提取所述数据及中的部分目标构建训练集、测试集、验证集。
94.采用深度学习算法搭建训练平台对构建的检测模型进行训练并调整参数进行优化以提高检测模型的目标识别准确度。
95.获取最终优化后的目标检测模型。
96.根据本发明的一些实施例，所述控制单元基于所述疑似目标，自动切换至鹰眼式仿生复合感知模式，以获取所述疑似目标对应方向的局部图像，包括：
97.在全向感知模式下，疑似目标检测模型识别到疑似目标后，无人机通过确定所获取的全景图像，判断所述疑似目标所在图像来源。
98.无人机识别到所述疑似目标所在图像的来源后，控制其从全向感知模式切换至鹰眼式仿生复合感知方法，从而获取包含所述疑似目标详细信息的局部图像。
99.根据本发明的一些实施例，所述获取单元还用于，在获取包含所述疑似目标详细信息的局部图像后，还需要对图像进行预处理，所述预处理包括格式转换、大小重设、变换中的至少一种。变换指的是将图像进行翻转、平移、缩小、放大等操作
100.下面以一个具体的实施例详细描述使用基于无人机的目标感知装置进行目标感知的方法。值得理解的是，下述描述仅是示例性说明，而不是对本发明的具体限制。凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围。
101.在本实施例中，无人机集群为执行搜寻起火点和灭火任务。
102.参考图3，训练单元首先从目标库中获取与起火相关的图像作为构建、训练目标检测模型的样本，并对样本数据进行标定及增广。基于深度学习算法构建疑似目标检测模型与目标检测模型，通过若干次的训练及参数调整，获得最终优化后的疑似目标检测模型与目标检测模型。
103.无人机搭载有分布式光电孔径载荷，在全向感知模式下，对多路光电载荷获取的多路视频数据进行压缩，然后将压缩图像数据进行全景拼接，从而可获取全景图像。
104.无人机通过下发指令至分布式光电孔径载荷，触发全向感知模式，通过分布式光电孔径载荷获取飞行场景的全景图像，无人机的分析单元以疑似目标检测模型对全景图像中是否存在疑似目标进行检测分析，并智能提取疑似目标感兴趣区域，获取至少包括疑似目标的位置框、类别、置信度的结构化信息。
105.当分析单元探知到疑似起火目标后，控制单元将采集到疑似起火目标的一路或几路光电载荷从全向感知模式切换为鹰眼式仿生复合感知模式，从而获取疑似起火目标的详细图像。分析单元基于详细图像，以标检测模型对疑似目标进行检测分析，输出最终关于目标检测结果的结构化信息。
106.确定疑似起火目标为起火目标后，将起火目标信息在无人机集群内进行交互，通过其他无人机进行进一步确认。在经过若干无人机的识别确认起火点后，无人机集群在集群内进行通讯，确定位置最佳的若干无人机通过多机位对起火点的位置进行定位，获取起火点的位置信息，并在无人机集群内共享。无人机集群通过共享获得的位置信息，飞往起火点，将携带的干粉或水喷洒在起火点及周边进行灭火。
107.采用本实施例的技术方案，可以兼顾广域与局部的目标检测能力，通过在发现疑似目标时切换无人机的感知模式，实现对目标信息的详查且提高了检测的准确度。以无人机端的深度学习目标检测算法对目标进行检测，避免了以往需要将无人机视频回传地面进行识别检测，提高了目标检测的实效性，减少了地面的人力成本。
108.需要说明的是，以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化，可以将各个实施例进行不同的
自由组合。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
109.根据本发明第四方面实施例中的一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如第一方面实施例中任一项所述的无人机的目标感知方法的步骤。
110.需要说明的是，本实施例所述计算机可读存储介质包括但不限于为：rom、ram、磁盘或光盘等。所述程序被处理器可以是手机，计算机，服务器或者网络设备等。
111.需要说明的是，在本说明书的描述中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

技术特征：
1.一种基于无人机的目标感知方法，其特征在于，包括：构建疑似目标检测模型及目标检测模型；采用全向感知模式，获取飞行场景的全景图像，并基于所述全景图像，采用所述疑似目标检测模型，识别疑似目标；基于所述疑似目标，自动切换至鹰眼式仿生复合感知模式，以获取所述疑似目标对应方向的局部图像；基于所述局部图像，采用所述目标检测模型，进行目标检测。2.如权利要求1所述的基于无人机的目标感知方法，其特征在于，所述构建目标检测模型，包括：获取数据集，并对所述数据集进行增广；对增广后的数据集进行目标类型标注，并划分训练集、测试集；基于深度学习算法，构建训练模型，并基于所述训练集和所述测试集训练和测试所述训练模型，以构建目标检测模型。3.如权利要求1所述的基于无人机的目标感知方法，其特征在于，所述基于所述疑似目标，自动切换至鹰眼式仿生复合感知模式，以获取所述疑似目标对应方向的局部图像，包括：基于所述疑似目标，确定所述疑似目标所在图像的来源；控制所述疑似目标所在图像的来源，采用鹰眼式仿生复合感知方法，获取所述疑似目标对应方向的局部图像。4.如权利要求3所述的基于无人机的目标感知方法，其特征在于，在获取所述疑似目标的局部图像后，所述方法还包括：对所述局部图像进行预处理，所述预处理包括格式转换、大小重设、变换中的至少一种。5.一种基于无人机集群的目标定位方法，其特征在于，包括：无人机集群中的每个无人机采用目标感知方法进行目标检测，所述目标感知方法为如权利要求1-4任一项所述的基于无人机的目标感知方法；所述无人机集群进行目标检测信息共享，并协同合作以实现目标定位。6.一种基于无人机的目标感知装置，其特征在于，包括：训练单元，用于构建疑似目标检测模型及目标检测模型；获取单元，用于采用全向感知模式获取飞行场景的全景图像，采用鹰眼式仿生复合感知模式获取疑似目标对应方向的局部图像；分析单元，用于基于所述全景图像，采用所述疑似目标检测模型，识别疑似目标，基于所述局部图像，采用所述目标检测模型，进行目标检测；控制单元，用于基于所述疑似目标，自动切换至鹰眼式仿生复合感知模式。7.如权利要求6所述的基于无人机的目标感知装置，其特征在于，所述训练单元，用于：获取数据集，并对所述数据集进行增广；对增广后的数据集进行目标类型标注，并划分训练集、测试集；基于深度学习算法，构建训练模型，并基于所述训练集和所述测试集训练和测试所述训练模型，以构建目标检测模型。8.如权利要求6所述的基于无人机的目标感知装置，其特征在于，所述控制单元基于所
述疑似目标，自动切换至鹰眼式仿生复合感知模式，以获取所述疑似目标对应方向的局部图像，包括：基于所述疑似目标，确定所述疑似目标所在图像的来源；控制所述疑似目标所在图像的来源，采用鹰眼式仿生复合感知方法，获取所述疑似目标对应方向的局部图像。9.如权利要求6所述的基于无人机的目标感知装置，其特征在于，所述获取单元还用于，对所述局部图像进行预处理，所述预处理包括格式转换、大小重设、变换中的至少一种。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至4中任一项所述的无人机的目标感知方法的步骤。

技术总结
本发明公开了一种基于无人机的目标感知方法及装置，所述基于无人机的目标感知方法包括：构建疑似目标检测模型及目标检测模型；采用全向感知模式，获取飞行场景的全景图像，并基于全景图像，采用疑似目标检测模型，识别疑似目标；基于疑似目标，自动切换至鹰眼式仿生复合感知模式，以获取疑似目标对应方向的局部图像；基于局部图像，采用目标检测模型，进行目标检测。采用本发明技术方案，无人机在全向感知模式下识别到疑似目标后，可以自动切换至鹰眼式仿生复合感知模式获取疑似目标的方向的局部图像，根据局部图像对目标进行检测。通过采用这种感知切换模式，可以提高无人机在局部区域的目标检测能力，进一步提高了无人机的目标识别准确度。标识别准确度。标识别准确度。


技术研发人员：刘让 武剑 杨毅 刘长清 韩斌
受保护的技术使用者：中国电子科技集团公司信息科学研究院
技术研发日：2023.04.27
技术公布日：2023/8/13