一种无人机目标识别方法、系统、计算机及可读存储介质

未命名 08-27 阅读:120 评论:0


1.本发明属于无人机的技术领域,具体地涉及一种无人机目标识别方法、系统、计算机及可读存储介质。


背景技术:

2.随着科技的发展,无人机也在快速发展,目前的无人机一般有固定翼无人机、多旋翼无人机以及扑翼机,但固定翼无人机与多旋翼无人机存在噪音大的缺点,扑翼机存在续航短、造价高的缺点,基于上述原因,目前存在一种仿生蝴蝶无人机解决上述问题。
3.仿生蝴蝶无人机的飞行方式较为特殊,其通过模拟蝴蝶的飞行动作即通过仿生蝴蝶无人机的侧翼的扑动结合升力完成飞行,在现有技术中,通常通过可移动的拍摄设备录制包含无人机的目标视频,对目标视频进行单帧分析以识别无人机的位置、轨迹等,但由于仿生蝴蝶无人机在飞行时其侧翼是扑动的,因此在连续的单帧图像中会出现重影的情况,进而影响无人机目标的识别,同时在录制的无人机目标视频中受外界环境干扰容易导致原始的视频中存在多种不同的噪声,采用常规去噪方法效果不好,同时也会影响后续无人机目标的识别过程。


技术实现要素:

4.为了解决上述技术问题,本发明提供了一种无人机目标识别方法、系统、计算机及可读存储介质,用于解决现有技术中存在的技术问题。
5.第一方面,该发明提供以下技术方案,一种无人机目标识别方法,所述方法包括:获取无人机的飞行目标视频,对所述飞行目标视频进行单帧分解,以得到若干连续的单帧飞行图像;对所有所述单帧飞行图像进行噪声识别以确定噪声种类,基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集与预设去噪模型对所述单帧飞行图像进行迁移去噪处理,以得到若干去噪飞行图像;对若干所述去噪飞行图像进行背景目标分割,以得到若干第一目标图像以及与所述第一目标图像对应的背景图像,对若干所述第一目标图像进行重影消除,以得到若干第二目标图像,将所述第二目标图像放入对应的背景图像中,以得到若干第三目标图像;判断所述第三目标图像是否满足重点图像的判定条件,将满足重点图像的判定条件的相邻两帧所述第三目标图像进行偏移计算,以得到目标中心位置,基于所述目标中心位置完成无人机目标的识别;所述基于所述噪声种类对所述单帧飞行图像进行迁移去噪处理,以得到若干去噪飞行图像的步骤包括:基于所述噪声种类将所述单帧飞行图像进行噪声表达:;式中,为不同种类的噪声分量,为对应的噪声权重,
为无噪声图像;基于所述噪声种类的优先级将所述单帧飞行图像中的噪声将排序处理,利用注意力编码器将所述单帧飞行图像进行噪声分离,以得到若干分离噪声图像;基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集对所述分离噪声图像进行迁移转化以得到转化噪声数据集,基于预设去噪模型与所述训练噪声数据集对所述转化噪声数据集进行去噪处理,以得到若干去噪飞行图像。
6.相比现有技术,本技术的有益效果为:本技术首先获取无人机的飞行目标视频,对所述飞行目标视频进行单帧分解,以得到若干连续的单帧飞行图像;之后对所有所述单帧飞行图像进行噪声识别以确定噪声种类,基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集与预设去噪模型对所述单帧飞行图像进行迁移去噪处理,以得到若干去噪飞行图像;然后对若干所述去噪飞行图像进行背景目标分割,以得到若干第一目标图像以及与所述第一目标图像对应的背景图像,对若干所述第一目标图像进行重影消除,以得到若干第二目标图像,将所述第二目标图像放入对应的背景图像中,以得到若干第三目标图像;最后判断所述第三目标图像是否满足重点图像的判定条件,将满足重点图像的判定条件的相邻两帧所述第三目标图像进行偏移计算,以得到目标中心位置,基于所述目标中心位置完成无人机目标的识别,本发明通过对单帧飞行图像进行噪声种类的识别以及迁移去噪,可以去除掉单帧飞行图像中的复合噪声,避免噪声对图像的干扰,同时具有良好的鲁棒性,且本发明通过对第一目标图像进行重影消除,避免单帧飞行图像中的重影影响无人机目标的识别,同时提高了目标识别的准确性。
7.较佳的,所述基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集对所述分离噪声图像进行迁移转化以得到转化噪声数据集,基于预设去噪模型与所述训练噪声数据集对所述转化噪声数据集进行去噪处理,以得到若干去噪飞行图像的步骤包括:基于所述噪声种类获取对应的噪声物理模型,获取原始无噪声图像以及真实噪声图像,基于所述噪声物理模型在所述原始无噪声图像中对应添加第一附加噪声,以得到若干单独噪声图像;在所述单独噪声图像中添加若干数量的第二附加噪声,以得到若干复合噪声图像,将若干所述单独噪声图像、若干所述复合噪声图像以及真实噪声图像作为训练噪声数据集;基于所述真实噪声图像并利用对抗网络将所述分离噪声图像的数据向真实域空间进行数据迁移转化,以得到转化噪声数据集;通过所述训练噪声数据集对预设去噪模型进行训练,并通过训练后的预设去噪模型对所述转化噪声数据集进行去噪处理,以得到若干去噪飞行图像。
8.较佳的,所述对若干所述去噪飞行图像进行背景目标分割,以得到若干第一目标图像以及与所述第一目标图像对应的背景图像的步骤包括:计算所述去噪飞行图像中各像素点的像素值,基于所述像素值计算分割因子:;式中,表示处的像素点,表示处的像素点对
应样本集中的第个样本值,表示处的像素点对应样本集存在的样本值总数;计算前帧的去噪飞行图像的像素点与样本点的样本最短距离,并基于所述样本最短距离计算调整阈值:;;式中,为调整系数;基于所述调整阈值重新确定预设分割阈值:;基于重新确定后的预设分割阈值对若干去噪飞行图像进行分割,以得到若干第一目标图像以及与所述第一目标图像对应的背景图像。
9.较佳的,所述对若干所述第一目标图像进行重影消除,以得到若干第二目标图像的步骤包括:基于所述第一目标图像设置第一变量与第二变量,并判断所述第一目标图像中的像素点是否属于运动目标;若所述第一目标图像中的像素点属于运动目标则判断所述像素点是否属于所述背景图像的同类像素点,若所述像素点属于所述背景图像的同类像素点,则在所述第二变量中增加预设变量,以得到第三变量;判断所述第三变量是否大于预设变量阈值,若所述第三变量大于预设变量阈值,则将第三变量对应的像素点的所在区域作为待定区域;计算所述待定区域中每个所述像素点对应的所述背景图像的方差,并判断所述方差是否大于预设方差阈值,若所述方差大于所述预设方差阈值,则将所述待定区域从所述第一目标图像中剔除并更新所述背景图像,以得到若干第二目标图像。
10.较佳的,所述判断所述第三目标图像是否满足重点图像的判定条件,将满足重点图像的判定条件的相邻两帧所述第三目标图像进行偏移计算,以得到目标中心位置,基于所述目标中心位置完成无人机目标的识别的步骤包括:将单帧的所述第三目标图像与对应的单帧的模板图像进行差分计算,以得到差分灰度图,基于预设灰度阈值对所述差分灰度图进行灰度分离,基于所述预设灰度阈值计算所述第三目标图像的重要系数:;式中,为第三目标图像中像素点的数量,为第个像素点的灰度值;判断所述重要系数是否小于系数阈值,将所述重要系数小于系数阈值的第三目标图像进行剔除,将所述重要系数不小于系数阈值的第三目标图像进行保留;将保留后的相邻两帧的第三目标图像进行直方图转化与偏移均值计算,以得到目标中心位置,基于所述目标中心位置完成无人机目标的识别。
11.较佳的,所述将保留后的相邻两帧的第三目标图像进行直方图转化与偏移均值计算,以得到目标中心位置,基于所述目标中心位置完成无人机目标的识别的步骤包括:将保留的所述第三目标图像转化为hsv图像,并提取所述hsv图像的通道分量,基于所述通道分量确定保留的所述第三目标图像的直方图;将所述直方图进行反向投影变换并计算对应的像素点密度,基于所述像素点密度对相邻两帧的所述第三目标图像的直方图进行帧差计算,以得到所述直方图中各像素点的偏移分量;计算所有所述偏移分量的偏移均值,基于所述偏移均值确定目标中心位置,并基于所述目标中心位置完成无人机目标的识别。
12.第二方面,该发明提供以下技术方案,一种无人机目标识别系统,所述系统包括:处理模块,用于获取无人机的飞行目标视频,对所述飞行目标视频进行单帧分解,以得到若干连续的单帧飞行图像;去噪模块,用于对所有所述单帧飞行图像进行噪声识别以确定噪声种类,基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集与预设去噪模型对所述单帧飞行图像进行迁移去噪处理,以得到若干去噪飞行图像;消除模块,用于对若干所述去噪飞行图像进行背景目标分割,以得到若干第一目标图像以及与所述第一目标图像对应的背景图像,对若干所述第一目标图像进行重影消除,以得到若干第二目标图像,将所述第二目标图像放入对应的背景图像中,以得到若干第三目标图像;识别模块,用于判断所述第三目标图像是否满足重点图像的判定条件,将满足重点图像的判定条件的相邻两帧所述第三目标图像进行偏移计算,以得到目标中心位置,基于所述目标中心位置完成无人机目标的识别;所述去噪模块包括:表达子模块,用于基于所述噪声种类将所述单帧飞行图像进行噪声表达:;式中,为不同种类的噪声分量,为对应的噪声权重,为无噪声图像;排序子模块,用于基于所述噪声种类的优先级将所述单帧飞行图像中的噪声将排序处理,利用注意力编码器将所述单帧飞行图像进行噪声分离,以得到若干分离噪声图像;转化子模块,用于基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集对所述分离噪声图像进行迁移转化以得到转化噪声数据集,基于预设去噪模型与所述训练噪声数据集对所述转化噪声数据集进行去噪处理,以得到若干去噪飞行图像。
13.第三方面,该发明提供以下技术方案,一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的无人机目标识别方法。
14.第四方面,该发明提供以下技术方案,一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的无人机目标识别方法。
附图说明
15.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
16.图1为本发明第一实施例提供的无人机目标识别方法的流程图;图2为本发明第一实施例提供的无人机目标识别方法中步骤s2的详细流程图;图3为本发明第一实施例提供的无人机目标识别方法中步骤s23的详细流程图;图4为本发明第一实施例提供的无人机目标识别方法中步骤s31的详细流程图;图5为本发明第一实施例提供的无人机目标识别方法中步骤s32的详细流程图;图6为本发明第一实施例提供的无人机目标识别方法中步骤s4的详细流程图;图7为本发明第一实施例提供的无人机目标识别方法中步骤s43的详细流程图;图8为本发明第二实施例提供的无人机目标识别系统的结构框图;图9为本发明另一实施例提供的计算机的硬件结构框图。
17.以下将结合附图对本发明实施例作进一步说明。
具体实施方式
18.为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
19.除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
20.实施例一如图1所示,在本发明的第一个实施例中,该发明提供以下技术方案,一种无人机目标识别方法,所述方法包括:s1、获取无人机的飞行目标视频,对所述飞行目标视频进行单帧分解,以得到若干连续的单帧飞行图像;具体的,在步骤s1中,飞行目标视频为可移动拍摄设备所拍摄到的带有无人机的视频,通过对飞行目标视频进行逐帧分解,即可得到若干连续的单帧飞行图像。
21.s2、对所有所述单帧飞行图像进行噪声识别以确定噪声种类,基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集与预设去噪模型对所述单帧飞行图像进行迁移去噪处理,以得到若干去噪飞行图像;具体的,在实际的单帧飞行图像中,受拍摄环境的影响,在单帧飞行图像中可能存在若干不同种类的噪声,例如:雨天、雾天、光线较暗的天气、雪天或者其余噪声,受不同种类的噪声影响,会导致分解后的单帧飞行图像较为模糊、不清晰,以干扰影响无人机的识别过程,因此在步骤s2中,通过识别噪声种类并基于不同种类的噪声进行迁移去噪处理,便可得到清晰的不带有噪声的去噪飞行图像;
需要说明的是,在分类器模型识别单帧飞行图像中的噪声种类,具体可事先获取不同种类的噪声的训练样本,之后通过训练样本训练分类器模型,之后将单帧飞行图像输入至训练后的分类模型中,即可输出对应的噪声种类。
22.如图2所示,其中,所述步骤s2包括:s21、基于所述噪声种类将所述单帧飞行图像进行噪声表达:;式中,为不同种类的噪声分量,为对应的噪声权重,为无噪声图像。
23.s22、基于所述噪声种类的优先级将所述单帧飞行图像中的噪声将排序处理,利用注意力编码器将所述单帧飞行图像进行噪声分离,以得到若干分离噪声图像;具体的,通过使用注意力编码器可消除噪声分离时产生的棋盘格噪声,能够为后续的去噪过程提供更加清晰的噪声与图像信息。
24.s23、基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集对所述分离噪声图像进行迁移转化以得到转化噪声数据集,基于预设去噪模型与所述训练噪声数据集对所述转化噪声数据集进行去噪处理,以得到若干去噪飞行图像。
25.如图3所示,其中,所述步骤s23包括:s231、基于所述噪声种类获取对应的噪声物理模型,获取原始无噪声图像以及真实噪声图像,基于所述噪声物理模型在所述原始无噪声图像中对应添加第一附加噪声,以得到若干单独噪声图像;具体的,在该步骤中,噪声物理模型即为大气模型,根据不同的噪声种类获取与之对应的大气模型,而该步骤中的原始无噪声数据为不带有噪声的图像,真实噪声图像即为在外界真实获取的图像,其具有代表性,通过每个对应的大气模型可得到对应噪声的噪声量,并在原始无噪声图像中对应添加一种对应噪声的噪声量,以此得到带有一种噪声的图像,即单独噪声图像。
26.s232、在所述单独噪声图像中添加若干数量的第二附加噪声,以得到若干复合噪声图像,将若干所述单独噪声图像、若干所述复合噪声图像以及真实噪声图像作为训练噪声数据集;具体的,该步骤中的第二附加噪声可从第一附加噪声中选取,但该第二附加噪声不与单独噪声图像中的噪声相同,第一附加噪声可记为z1、z2、
……
、zx,其中,x为噪声种类中噪声的数量,之后为每个原始无噪声图像添加一种第一附加噪声之后得到单独噪声图像,将添加了z1噪声的单独噪声图像记为i
z1
,同理将添加了zx噪声的单独噪声图像记为i
zx
,而在单独噪声图像中添加第二附加噪声时,如果在i
z1
单独噪声图像中添加第二附加噪声,其只能在z2、
……
、zx中选取,不可在继续添加z1噪声,且第二附加噪声添加数量以此递增,以此得到了若干复合噪声图像,且复合噪声图像中包括带有两种噪声的图像、带有三种噪声的图像
……
带有x种噪声的图像。
27.s233、基于所述真实噪声图像并利用对抗网络将所述分离噪声图像的数据向真实域空间进行数据迁移转化,以得到转化噪声数据集;具体的,通过利用对抗网络将所述分离噪声图像的数据向真实域空间进行数据迁
移转化,可提高在真实场景下对噪声的去除能力以及在复杂情况下的图像恢复能力。
28.s234、通过所述训练噪声数据集对预设去噪模型进行训练,并通过训练后的预设去噪模型对所述转化噪声数据集进行去噪处理,以得到若干去噪飞行图像;具体的,本实施例中的预设去噪模型可为resnet,通过带有单独噪声图像、复合噪声图像以及真实噪声图像的训练噪声数据对模型进行训练,可提高模型去噪的速度、准确度以及在真实场景下的泛化性。
29.s3、对若干所述去噪飞行图像进行背景目标分割,以得到若干第一目标图像以及与所述第一目标图像对应的背景图像,对若干所述第一目标图像进行重影消除,以得到若干第二目标图像,将所述第二目标图像放入对应的背景图像中,以得到若干第三目标图像;具体的,在对无人机目标进行识别的过程中,需要将图像中的背景以及前景进行分离,以此避免背景对无人机目标识别的干扰,之后通过对第一目标图像进行重影消除,在实际的背景与前景分离过程中,所需提取的是前景,但由于无人机飞行过程导致的重影也可能会被分离为前景,但该步骤的目的需要获取得到只带有无人机的第二目标图像,因此重影会影响背景以及前景分离的准确性。
30.具体的,所述步骤s3包括:s31、对若干所述去噪飞行图像进行背景目标分割,以得到若干第一目标图像以及与所述第一目标图像对应的背景图像,s32、对若干所述第一目标图像进行重影消除,以得到若干第二目标图像。
31.如图4所示,其中,所述步骤s31包括:s311、计算所述去噪飞行图像中各像素点的像素值,基于所述像素值计算分割因子:;式中,表示处的像素点,表示处的像素点对应样本集中的第个样本值,表示处的像素点对应样本集存在的样本值总数;分割因子为一个动态变化的值,其根据每帧图像中个像素点的像素值而变化,且样本集为预先建立的样本集,在步骤s31之前,需要执行一个预分离的过程,即将像素值与所建立的样本集中的样本值进行距离计算,根据将大于预设距离的像素点数与分割阈值进行对比,根据对比结果进行分离。
32.s312、计算前帧的去噪飞行图像的像素点与样本点的样本最短距离,并基于所述样本最短距离计算调整阈值:;;式中,为调整系数。
33.s313、基于所述调整阈值重新确定预设分割阈值:;
具体的,此处的预设分割阈值为一个动态变化的值,根据前若干帧的预设分割阈值与调整阈值的大小关系而变化。
34.s314、基于重新确定后的所述预设分割阈值对若干去噪飞行图像进行分割,以得到若干第一目标图像以及与所述第一目标图像对应的背景图像。
35.如图5所示,其中,所述步骤s32包括:s321、基于所述第一目标图像设置第一变量与第二变量,并判断所述第一目标图像中的像素点是否属于运动目标;具体的,判断是否属于运动目标可根据相邻两帧图像同一位置的像素点的像素值变化确定。
36.s322、若所述第一目标图像中的像素点属于运动目标则判断所述像素点是否属于所述背景图像的同类像素点,若所述像素点属于所述背景图像中的同类像素点,则在所述第二变量中增加预设变量,以得到第三变量;具体的,背景图像的同类像素点可根据分割阈值确定,像素点在预设阈值范围内的点作为背景图像的同类像素点,此处的同类像素点则表示无人机重影的像素点,第一变量为一个标志变量,第二变量而数量变量,当判断到所述像素点属于所述背景图像中的同类像素点时,则将第二变量所代表的数量变量加一,以得到第三变量,第三变量也为数量变量。
37.s323、判断所述第三变量是否大于预设变量阈值,若所述第三变量大于预设变量阈值,则将第三变量对应的所述像素点的所在区域作为待定区域;具体的,如果所述第三变量大于预设变量阈值,则表示该像素点为背景中的点,将该背景点所在的区域作为待定区域,以便于后续的分离。
38.s324、计算所述待定区域中每个所述像素点对应的所述背景图像的方差,并判断所述方差是否大于预设方差阈值,若所述方差大于所述预设方差阈值,则将所述待定区域从所述第一目标图像中剔除并更新所述背景图像,以得到若干第二目标图像;具体的,当所述方差大于所述预设方差阈值,则认为该待定区域所对应的点不应该作为前景中的点,而是需要在分离出的前景图像中将待定区域进行去除,在去除之后,对应的背景图像会缺失关于待定区域部分的图像,因此需要跟新补充对应的背景图像,使其完整。
39.s4、判断所述第三目标图像是否满足重点图像的判定条件,将满足重点图像的判定条件的相邻两帧所述第三目标图像进行偏移计算,以得到目标中心位置,基于所述目标中心位置完成无人机目标的识别;如图6所示,其中,所述步骤s4包括:s41、将单帧的所述第三目标图像与对应的单帧的模板图像进行差分计算,以得到差分灰度图,基于预设灰度阈值对所述差分灰度图进行灰度分离,基于所述预设灰度阈值计算所述第三目标图像的重要系数:;式中,为第三目标图像中像素点的数量,为第个像素点的灰度值。
40.s42、判断所述重要系数是否小于系数阈值,将所述重要系数小于系数阈值的第三目标图像进行剔除,将所述重要系数不小于系数阈值的第三目标图像进行保留;具体的,在所获取的整个飞行目标视频中,可能会存在无人机悬停或者在短时间内无人机的位置没有产生变化的情况,因此在对应的单帧飞行图像中则会存在重复或者不重要、对无人机目标识别没有作用的图像,因此在步骤s42中,通过计算对应的重要系数,将重要系数不小于系数阈值的第三目标图像进行保留,将重要系数小于系数阈值的第三目标图像进行剔除,需要说明的是,在剔除之后,此时的第三目标图像会出现中断的情况,因此需要按照拍摄时间顺序将保留下来的第三目标图像进行顺位递进,调整各图像之间的位置,以使得第三目标图像为连续的图像。
41.s43、将保留后的相邻两帧的第三目标图像进行直方图转化与偏移均值计算,以得到目标中心位置,基于所述目标中心位置完成无人机目标的识别;如图7所示,其中,所述步骤s43包括:s431、将保留的所述第三目标图像转化为hsv图像,并提取所述hsv图像的通道分量,基于所述通道分量确定保留的所述第三目标图像的直方图。
42.s432、将所述直方图进行反向投影变换并计算对应的像素点密度,基于所述像素点密度对相邻两帧的第三目标图像的直方图进行帧差计算,以得到所述直方图中各像素点的偏移分量;具体的,偏移分量可用于表示两图像中目标的偏移程度以及变化程度。
43.s433、计算所有所述偏移分量的偏移均值,基于所述偏移均值确定目标中心位置,并基于所述目标中心位置完成无人机目标的识别;具体的,在实际的识别过程中,可根据无人机的大小以及目标中心位置在图像中确定一个标定框,该标定框会跟随无人机的运动而运动,以实现无人机目标的识别。
44.本实施例一的好处在于:本技术首先获取无人机的飞行目标视频,对所述飞行目标视频进行单帧分解,以得到若干连续的单帧飞行图像;之后对所有所述单帧飞行图像进行噪声识别以确定噪声种类,基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集与预设去噪模型对所述单帧飞行图像进行迁移去噪处理,以得到若干去噪飞行图像;然后对若干所述去噪飞行图像进行背景目标分割,以得到若干第一目标图像以及与所述第一目标图像对应的背景图像,对若干所述第一目标图像进行重影消除,以得到若干第二目标图像,将所述第二目标图像放入对应的背景图像中,以得到若干第三目标图像;最后判断所述第三目标图像是否满足重点图像的判定条件,将满足重点图像的判定条件的相邻两帧所述第三目标图像进行偏移计算,以得到目标中心位置,基于所述目标中心位置完成无人机目标的识别,本发明通过对单帧飞行图像进行噪声种类的识别以及迁移去噪,可以去除掉单帧飞行图像中的复合噪声,避免噪声对图像的干扰,同时具有良好的鲁棒性,且本发明通过对第一目标图像进行重影消除,避免单帧飞行图像中的重影影响无人机目标的识别,同时提高了目标识别的准确性。
45.实施例二如图8所示,在本发明的第二个实施例提供了一种无人机目标识别系统,所述系统包括:处理模块1,用于获取无人机的飞行目标视频,对所述飞行目标视频进行单帧分
解,以得到若干连续的单帧飞行图像;去噪模块2,用于对所有所述单帧飞行图像进行噪声识别以确定噪声种类,基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集与预设去噪模型对所述单帧飞行图像进行迁移去噪处理,以得到若干去噪飞行图像;消除模块3,用于对若干所述去噪飞行图像进行背景目标分割,以得到若干第一目标图像以及与所述第一目标图像对应的背景图像,对若干所述第一目标图像进行重影消除,以得到若干第二目标图像,将所述第二目标图像放入对应的背景图像中,以得到若干第三目标图像;识别模块4,用于判断所述第三目标图像是否满足重点图像的判定条件,将满足重点图像的判定条件的相邻两帧所述第三目标图像进行偏移计算,以得到目标中心位置,基于所述目标中心位置完成无人机目标的识别。
46.所述去噪模块2包括:表达子模块,用于基于所述噪声种类将所述单帧飞行图像进行噪声表达:;式中,为不同种类的噪声分量,为对应的噪声权重,为无噪声图像;排序子模块,用于基于所述噪声种类的优先级将所述单帧飞行图像中的噪声将排序处理,利用注意力编码器将所述单帧飞行图像进行噪声分离,以得到若干分离噪声图像;转化子模块,用于基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集对所述分离噪声图像进行迁移转化以得到转化噪声数据集,基于预设去噪模型与所述训练噪声数据集对所述转化噪声数据集进行去噪处理,以得到若干去噪飞行图像。
47.所述转化子模块包括:第一噪声添加单元,用于基于所述噪声种类获取对应的噪声物理模型,获取原始无噪声图像以及真实噪声图像,基于所述噪声物理模型在所述原始无噪声图像中对应添加第一附加噪声,以得到若干单独噪声图像;第二噪声添加单元在所述单独噪声图像中添加若干数量的第二附加噪声,以得到若干复合噪声图像,将若干所述单独噪声图像、若干所述复合噪声图像以及真实噪声图像作为训练噪声数据集;转化单元,用于基于所述真实噪声图像并利用对抗网络将所述分离噪声图像的数据向真实域空间进行数据迁移转化,以得到转化噪声数据集;去噪单元,用于通过所述训练噪声数据集对预设去噪模型进行训练,并通过训练后的所述预设去噪模型对所述转化噪声数据集进行去噪处理,以得到若干去噪飞行图像。
48.所述消除模块3包括:第一计算子模块,用于计算所述去噪飞行图像中各像素点的像素值,基于所述像素值计算分割因子:;式中,表示处的像素点,表示处的像素点对
应样本集中的第个样本值,表示处的像素点对应样本集存在的样本值总数;第二计算子模块,用于计算前帧的所述去噪飞行图像的像素点与样本点的样本最短距离,并基于所述样本最短距离计算调整阈值:;;式中,为调整系数;确定子模块,用于基于所述调整阈值重新确定预设分割阈值:;分割子模块,用于基于重新确定后的所述预设分割阈值对若干所述去噪飞行图像进行分割,以得到若干第一目标图像以及与所述第一目标图像对应的背景图像。
49.所述消除模块3还包括:变量子模块,用于基于所述第一目标图像设置第一变量与第二变量,并判断所述第一目标图像中的像素点是否属于运动目标;变量增加子模块,用于若所述第一目标图像中的像素点属于运动目标则判断所述像素点是否属于所述背景图像中的同类像素点,若所述像素点属于所述背景图像中的同类像素点,则在所述第二变量中增加预设变量,以得到第三变量;区域确定子模块,用于判断所述第三变量是否大于预设变量阈值,若所述第三变量大于预设变量阈值,则将第三变量对应的所述像素点的所在区域作为待定区域;去除子模块,用于计算所述待定区域中每个所述像素点对应的所述背景图像的方差,并判断所述方差是否大于预设方差阈值,若所述方差大于所述预设方差阈值,则将所述待定区域从所述第一目标图像中剔除并更新所述背景图像,以得到若干第二目标图像。
50.所述识别模块4包括:系数计算子模块,用于将单帧的所述第三目标图像与对应的单帧的模板图像进行差分计算,以得到差分灰度图,基于预设灰度阈值对所述差分灰度图进行灰度分离,基于所述预设灰度阈值计算所述第三目标图像的重要系数:;式中,为第三目标图像中像素点的数量,为第个像素点的灰度值;保留子模块,用于判断所述重要系数是否小于系数阈值,将所述重要系数小于系数阈值的第三目标图像进行剔除,将所述重要系数不小于系数阈值的第三目标图像进行保留;识别子模块,用于将保留后的相邻两帧的所述第三目标图像进行直方图转化与偏移均值计算,以得到目标中心位置,基于所述目标中心位置完成无人机目标的识别。
51.所述识别子模块包括:直方图确定单元,用于将保留的所述第三目标图像转化为hsv图像,并提取所述
hsv图像的通道分量,基于所述通道分量确定保留的所述第三目标图像的直方图;偏移分量计算单元,用于将所述直方图进行反向投影变换并计算对应的像素点密度,基于所述像素点密度对相邻两帧的所述第三目标图像的直方图进行帧差计算,以得到所述直方图中各像素点的偏移分量;识别单元,用于计算所有所述偏移分量的偏移均值,基于所述偏移均值确定目标中心位置,并基于所述目标中心位置完成无人机目标的识别。
52.在本发明的另一些实施例中,本发明实施例提供以下技术方案,一种计算机,包括存储器102、处理器101以及存储在所述存储器102上并可在所述处理器101上运行的计算机程序,所述处理器101执行所述计算机程序时实现如上所述的无人机目标识别方法。
53.具体的,上述处理器101可以包括中央处理器(cpu),或者特定集成电路(application specific integrated circuit,简称为asic),或者可以被配置成实施本技术实施例的一个或多个集成电路。
54.其中,存储器102可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器102可包括硬盘驱动器(hard disk drive,简称为hdd)、软盘驱动器、固态驱动器(solid state drive,简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus,简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器102可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器102可在数据处理装置的内部或外部。在特定实施例中,存储器102是非易失性(non-volatile)存储器。在特定实施例中,存储器102包括只读存储器(read-only memory,简称为rom)和随机存取存储器(random access memory,简称为ram)。在合适的情况下,该rom可以是掩模编程的rom、可编程rom(programmable read-only memory,简称为prom)、可擦除prom(erasable programmable read-only memory,简称为eprom)、电可擦除prom(electrically erasable programmable read-only memory,简称为eeprom)、电可改写rom(electrically alterable read-only memory,简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下,该ram可以是静态随机存取存储器(static random-access memory,简称为sram)或动态随机存取存储器(dynamic random access memory,简称为dram),其中,dram可以是快速页模式动态随机存取存储器(fast page mode dynamic random access memory,简称为fpmdram)、扩展数据输出动态随机存取存储器(extended date out dynamic random access memory,简称为edodram)、同步动态随机存取内存(synchronous dynamic random-access memory,简称sdram)等。
55.存储器102可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器101所执行的可能的计算机程序指令。
56.处理器101通过读取并执行存储器102中存储的计算机程序指令,以实现上述无人机目标识别方法。
57.在其中一些实施例中,计算机还可包括通信接口103和总线100。其中,如图9所示,处理器101、存储器102、通信接口103通过总线100连接并完成相互间的通信。
58.通信接口103用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。通信接口103还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
59.总线100包括硬件、软件或两者,将计算机的部件彼此耦接在一起。总线100包括但不限于以下至少之一:数据总线(data bus)、地址总线(address bus)、控制总线(control bus)、扩展总线(expansion bus)、局部总线(local bus)。举例来说而非限制,总线100可包括图形加速接口(accelerated graphics port,简称为agp)或其他图形总线、增强工业标准架构(extended industry standard architecture,简称为eisa)总线、前端总线(front side bus,简称为fsb)、超传输(hyper transport,简称为ht)互连、工业标准架构(industry standard architecture,简称为isa)总线、无线带宽(infiniband)互连、低引脚数(low pin count,简称为lpc)总线、存储器总线、微信道架构(micro channel architecture,简称为mca)总线、外围组件互连(peripheral component interconnect,简称为pci)总线、pci-express(pci-x)总线、串行高级技术附件(serial advanced technology attachment,简称为sata)总线、视频电子标准协会局部(video electronics standards association local bus,简称为vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线100可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线,但本技术考虑任何合适的总线或互连。
60.该计算机可以基于获取到无人机目标识别系统,执行本技术的无人机目标识别方法,从而实现无人机目标的识别。
61.在本发明的再一些实施例中,结合上述的无人机目标识别方法,本发明实施例提供以下技术方案,一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的无人机目标识别方法。
62.本领域技术人员可以理解,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
63.可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(ram),只读存储器(rom),可擦除可编辑只读存储器(eprom或闪速存储器),光纤装置,以及便携式光盘只读存储器(cdrom)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
64.应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或它们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。
65.以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实
施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
66.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术专利的保护范围应以所附权利要求为准。

技术特征:
1.一种无人机目标识别方法,其特征在于,所述方法包括:获取无人机的飞行目标视频,对所述飞行目标视频进行单帧分解,以得到若干连续的单帧飞行图像;对所有所述单帧飞行图像进行噪声识别以确定噪声种类,基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集与预设去噪模型对所述单帧飞行图像进行迁移去噪处理,以得到若干去噪飞行图像;对若干所述去噪飞行图像进行背景目标分割,以得到若干第一目标图像以及与所述第一目标图像对应的背景图像,对若干所述第一目标图像进行重影消除,以得到若干第二目标图像,将所述第二目标图像放入对应的背景图像中,以得到若干第三目标图像;判断所述第三目标图像是否满足重点图像的判定条件,将满足重点图像的判定条件的相邻两帧所述第三目标图像进行偏移计算,以得到目标中心位置,基于所述目标中心位置完成无人机目标的识别;所述对所有所述单帧飞行图像进行噪声识别以确定噪声种类,基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集与预设去噪模型对所述单帧飞行图像进行迁移去噪处理,以得到若干去噪飞行图像的步骤包括:基于所述噪声种类将所述单帧飞行图像进行噪声表达:;式中,为不同种类的噪声分量,为对应的噪声权重,为无噪声图像;基于所述噪声种类的优先级将所述单帧飞行图像中的噪声将排序处理,利用注意力编码器将所述单帧飞行图像进行噪声分离,以得到若干分离噪声图像;基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集对所述分离噪声图像进行迁移转化以得到转化噪声数据集,基于预设去噪模型与所述训练噪声数据集对所述转化噪声数据集进行去噪处理,以得到若干去噪飞行图像。2.根据权利要求1所述的无人机目标识别方法,其特征在于,所述基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集对所述分离噪声图像进行迁移转化以得到转化噪声数据集,基于预设去噪模型与所述训练噪声数据集对所述转化噪声数据集进行去噪处理,以得到若干去噪飞行图像的步骤包括:基于所述噪声种类获取对应的噪声物理模型,获取原始无噪声图像以及真实噪声图像,基于所述噪声物理模型在所述原始无噪声图像中对应添加第一附加噪声,以得到若干单独噪声图像;在所述单独噪声图像中添加若干数量的第二附加噪声,以得到若干复合噪声图像,将若干所述单独噪声图像、若干所述复合噪声图像以及真实噪声图像作为训练噪声数据集;基于所述真实噪声图像并利用对抗网络将所述分离噪声图像的数据向真实域空间进行数据迁移转化,以得到转化噪声数据集;通过所述训练噪声数据集对预设去噪模型进行训练,并通过训练后的预设去噪模型对所述转化噪声数据集进行去噪处理,以得到若干去噪飞行图像。3.根据权利要求1所述的无人机目标识别方法,其特征在于,所述对若干所述去噪飞行
图像进行背景目标分割,以得到若干第一目标图像以及与所述第一目标图像对应的背景图像的步骤包括:计算所述去噪飞行图像中各像素点的像素值,基于所述像素值计算分割因子:;式中,表示处的像素点,表示处的像素点对应样本集中的第个样本值,表示处的像素点对应样本集存在的样本值总数;计算前帧的去噪飞行图像的像素点与样本点的样本最短距离,并基于所述样本最短距离计算调整阈值:;;式中,为调整系数;基于所述调整阈值重新确定预设分割阈值:;基于重新确定后的预设分割阈值对若干去噪飞行图像进行分割,以得到若干第一目标图像以及与所述第一目标图像对应的背景图像。4.根据权利要求1所述的无人机目标识别方法,其特征在于,所述对若干所述第一目标图像进行重影消除,以得到若干第二目标图像的步骤包括:基于所述第一目标图像设置第一变量与第二变量,并判断所述第一目标图像中的像素点是否属于运动目标;若所述第一目标图像中的像素点属于运动目标则判断所述像素点是否属于所述背景图像的同类像素点,若所述像素点属于所述背景图像的同类像素点,则在所述第二变量中增加预设变量,以得到第三变量;判断所述第三变量是否大于预设变量阈值,若所述第三变量大于预设变量阈值,则将第三变量对应的像素点的所在区域作为待定区域;计算所述待定区域中每个所述像素点对应的所述背景图像的方差,并判断所述方差是否大于预设方差阈值,若所述方差大于所述预设方差阈值,则将所述待定区域从所述第一目标图像中剔除并更新所述背景图像,以得到若干第二目标图像。5.根据权利要求4所述的无人机目标识别方法,其特征在于,所述判断所述第三目标图像是否满足重点图像的判定条件,将满足重点图像的判定条件的相邻两帧所述第三目标图像进行偏移计算,以得到目标中心位置,基于所述目标中心位置完成无人机目标的识别的步骤包括:将单帧的所述第三目标图像与对应的单帧的模板图像进行差分计算,以得到差分灰度图,基于预设灰度阈值对所述差分灰度图进行灰度分离,基于所述预设灰度阈值计算所述第三目标图像的重要系数:
;式中,为第三目标图像中像素点的数量,为第个像素点的灰度值;判断所述重要系数是否小于系数阈值,将所述重要系数小于系数阈值的第三目标图像进行剔除,将所述重要系数不小于系数阈值的第三目标图像进行保留;将保留后的相邻两帧的第三目标图像进行直方图转化与偏移均值计算,以得到目标中心位置,基于所述目标中心位置完成无人机目标的识别。6.根据权利要求5所述的无人机目标识别方法,其特征在于,所述将保留后的相邻两帧的第三目标图像进行直方图转化与偏移均值计算,以得到目标中心位置,基于所述目标中心位置完成无人机目标的识别的步骤包括:将保留的所述第三目标图像转化为hsv图像,并提取所述hsv图像的通道分量,基于所述通道分量确定保留的所述第三目标图像的直方图;将所述直方图进行反向投影变换并计算对应的像素点密度,基于所述像素点密度对相邻两帧的第三目标图像的直方图进行帧差计算,以得到所述直方图中各像素点的偏移分量;计算所有所述偏移分量的偏移均值,基于所述偏移均值确定目标中心位置,并基于所述目标中心位置完成无人机目标的识别。7.一种无人机目标识别系统,其特征在于,所述系统包括:处理模块,用于获取无人机的飞行目标视频,对所述飞行目标视频进行单帧分解,以得到若干连续的单帧飞行图像;去噪模块,用于对所有所述单帧飞行图像进行噪声识别以确定噪声种类,基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集与预设去噪模型对所述单帧飞行图像进行迁移去噪处理,以得到若干去噪飞行图像;消除模块,用于对若干所述去噪飞行图像进行背景目标分割,以得到若干第一目标图像以及与所述第一目标图像对应的背景图像,对若干所述第一目标图像进行重影消除,以得到若干第二目标图像,将所述第二目标图像放入对应的背景图像中,以得到若干第三目标图像;识别模块,用于判断所述第三目标图像是否满足重点图像的判定条件,将满足重点图像的判定条件的相邻两帧所述第三目标图像进行偏移计算,以得到目标中心位置,基于所述目标中心位置完成无人机目标的识别;所述去噪模块包括:表达子模块,用于基于所述噪声种类将所述单帧飞行图像进行噪声表达:;式中,为不同种类的噪声分量,为对应的噪声权重,为无噪声图像;排序子模块,用于基于所述噪声种类的优先级将所述单帧飞行图像中的噪声将排序处理,利用注意力编码器将所述单帧飞行图像进行噪声分离,以得到若干分离噪声图像;转化子模块,用于基于所述噪声种类建立训练噪声数据集,基于所述训练噪声数据集
对所述分离噪声图像进行迁移转化以得到转化噪声数据集,基于预设去噪模型与所述训练噪声数据集对所述转化噪声数据集进行去噪处理,以得到若干去噪飞行图像。8.一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的无人机目标识别方法。9.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的无人机目标识别方法。

技术总结
本发明提供了一种无人机目标识别方法、系统、计算机及可读存储介质,该方法对所有单帧飞行图像进行噪声识别以确定噪声种类,对单帧飞行图像进行迁移去噪处理,以得到若干去噪飞行图像;对若干去噪飞行图像进行背景目标分割与重影消除,将第二目标图像放入对应的背景图像中,以得到若干第三目标图像;将满足重点图像的判定条件的相邻两帧第三目标图像进行偏移计算,以得到目标中心位置,基于目标中心位置完成无人机目标的识别,本发明可避免噪声对图像的干扰,具有良好的鲁棒性,且本发明避免重影影响无人机目标的识别,同时提高了目标识别的准确性。别的准确性。别的准确性。


技术研发人员:章建群 陈飞 吴在丞 胡君仪
受保护的技术使用者:江西现代职业技术学院
技术研发日:2023.07.21
技术公布日:2023/8/24
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐