一种高光谱异常检测方法和装置

1.本发明涉及高光谱图像异常检测技术领域，更具体的涉及一种高光谱异常检测方法和装置。


背景技术：

2.高光谱图像的高维度光谱信息使其在遥感图像处理领域拥有独特的优势，但是光谱信息丰富的同时，也存在数据量过大、信息冗余的缺点。这使得高光谱图像异常检测任务的计算量过大、运算时间过长，同时冗余的光谱信息会降低异常检测的准确率。
3.为了克服高光谱图像的高维度光谱信息的数据量过大、信息冗余的问题，现有的高光谱图像异常检测的大多基于k-means聚类算法、层次聚类分析法、基于最大信息量算法、信息离散度法、第一光谱导数法等波段选，这些方法单独使用均存在目标检测准确率和效率低的问题。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明第一方面提出一种高光谱异常检测方法，包括：
5.获取高光谱图像的所有波段的光谱数据；
6.利用近邻传播聚类算法处理所有波段的光谱数据，获得高光谱图像的聚类结果；
7.利用自适应波段选择算法处理各个聚类结果中所有波段，获得按照abs指数从大到小排列且abs指数大于预设阈值的最优波段集，并根据最优波段集重构高光谱图像；
8.利用协同表示算法处理重构的高光谱图像，获得异常检测目标。
9.本发明另一方面还提供一种基于波段选择和协同表示的高光谱异常检测装置，包括：
10.数据获取模块，用于获取高光谱图像的所有波段的光谱数据；
11.聚类模块，用于利用近邻传播聚类算法处理所有波段的光谱数据，获得高光谱图像的聚类结果；
12.图像重构模块，用于利用自适应波段选择算法处理各个聚类结果中所有波段，获得按照abs指数从大到小排列且abs指数大于预设阈值的最优波段集，并根据最优波段集重构高光谱图像；
13.异常检测模块，用于利用协同表示算法处理重构的高光谱图像，获得异常检测目标。
14.本发明另一方面还提供一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如第一方面的高光谱异常检测方法。
15.本发明另一方面还提供一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理
器加载并执行以实现如第一方面的高光谱异常检测方法。
16.本发明实施例提供一种高光谱异常检测方法和装置，与现有技术相比，其有益效果如下：
17.本发明根据高光谱图像的光谱相关性，利用近邻传播聚类算法进行波段初步聚类。然后，利用自适应波段选择算法对各个聚类中的波段进行选择，组成最优高光谱图像波段集，最后利用最优高光谱图像波段集重建高光谱图像，并在重建后的高光谱图像上利用协同表示算法算法进行异常检测，进一步利用高光谱图像邻近局部空间信息提高异常检测准确率。
附图说明
18.为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还能够根据这些附图获得其它附图。
19.图1为本发明实施例提供的一种高光谱异常检测方法的流程图；
20.图2为本发明实施例提供的基于波段选择和协同表示的高光谱异常检测算法框架图；
21.图3为本发明实施例提供的基于波段选择和协同表示的高光谱异常检测算法的异常检测auc曲线图；
22.图4为本发明实施例提供的基于波段选择和协同表示的高光谱异常检测算法的两组数据集异常检测结果对比图；
23.图5为本发明实施例提供的基于波段选择和协同表示的高光谱异常检测算法的两组数据集异常检测结果roc曲线图；
24.图6为本发明实施例提供的一种基于波段选择和协同表示的高光谱异常检测装置的结构图。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或无创造性的劳动可以包括更多或者更少的操作步骤。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
27.如图1所示，一种高光谱异常检测方法，包括：
28.步骤101、获取高光谱图像的所有波段的光谱数据；
29.步骤102、利用近邻传播聚类算法处理所有波段的光谱数据，获得高光谱图像的聚类结果；
30.在步骤102中，近邻传播聚类算法(affinity propagation，ap)是一种简单快速的聚类算法，根据目标数据之间的相似性自动进行聚类，无需事先人为设定聚类数目。假设高光谱图像数据为{x1,x2,l,xn}，通过计算样本数据间的相似度，不断更新吸引信息矩阵r和归属信息矩阵a，结合相似信息和归属信息找到最优的聚类中心，r(i,k)表示数据点k对数据点i的吸引度，a(i,k)表示数据i对数据k的归属度，s(i,k)为每个数据点设定的偏向参数，s(i,k)的值越大，相应的点被选中作为类代表点的可能性也就越大。算法通常假设所有样本点被选中成为类代表点的可能性相同，即设定所有s(i,k)为相同值p。算法通过以下步骤迭代进行：
31.迭代后的吸引度r
t+1
(i,k)按照公式(1)进行迭代，
[0032][0033]
式中，a
t
(i,k
′
)表示除k外，迭代前其他点对i点的归属度值，初始为0；s(i,k
′
)表示除k外，其他点对i的吸引度，即i外其他点都在争夺i点的所有权；
[0034]
迭代后的归属度a
t+1
(i,k)按照公式(2)和(3)迭代，
[0035][0036]at+1
(k,k)＝∑i′
≠k
max{0,r
t
(i
′
,k)}，i＝k
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0037]
式中，r
t
(i
′
,k)表示迭代前点k作为除i外其他点的聚类中心的相似度值，取所有大于等于0的吸引度；r
t
(k,k)是节点k不适合被划分到其他聚类中心的程度；a
t+1
(k,k)表示i等于k时的归属度。
[0038]
在更新归属度和吸引度时，为了避免震荡引入衰减系数λ，则第t+1次r
t+1
(i,k)和a
t+1
(i,k)的迭代值为，
[0039]rt+1
(i,k)＝(1-λ)r
t+1
(i,k)+λr
t
(i,k)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0040]at+1
(i,k)＝(1-λ)a
t+1
(i,k)+λa
t
(i,k)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0041]
式中，a
t
(i,k)和a
t+1
(i,k)分别表示a(i,k)第t次和第t+1次迭代的值；r
t
(i,k)和r
t+1
(i,k)分别表示r(i,k)第t次和第t+1次迭代的值。
[0042]
对于波段数目众多、光谱相关性强的高光谱图像，用ap聚类算法对高光谱图像所有波段进行初步聚类，可以有效减小abs波段选择的最优光谱波段集的光谱相关性，使重建后的高光谱图像更多的包含原始高光谱图像中的主要光谱信息。
[0043]
步骤103、利用自适应波段选择算法处理各个聚类结果中所有波段，获得按照abs指数从大到小排列且abs指数大于预设阈值的最优波段集，并根据最优波段集重构高光谱图像；
[0044]
在步骤102中，自适应波段选择算法(adaptive band selection，abs)充分考虑了高光谱图像的空间相关性和光谱相关性，通过计算波段间指数选择波段相关性小且能最大程度包含高光谱图像主要信息的波段组合。abs指数通过公式(6)、(7)和(8)计算，
[0045]
[0046][0047][0048]
在公式(6)、(7)、(8)中，σi表示第i个波段的标准差；ii表示第i个波段的abs指数，m和n分别表示高光谱图像的行和列；fi(x,y)表示第i个波段；表示第i个波段的像元平均值，r
i-1，i
和r
i，i+1
是第i个波段与前后两波段的相关系数，相关系数越小，表明两个波段数据之间的独立性越高、冗余度也越小，e是数学期望。
[0049]
计算各个聚类中所有波段的abs指数并按照从大到小排列，并根据设定的阈值或者波段abs指数大小排名选择波段数目，从而得到高光谱图像最优波段集。
[0050]
步骤104、利用协同表示算法处理重构的高光谱图像，获得异常检测目标。
[0051]
在步骤104中，在协同表示算法中，利用背景字典中原子的线性组合近似表示待测像元，待测像元为滑动双窗口的中心像元，背景字典由内外窗口之间区域的像元组成。假设中心像元为z∈rn×1，n为高光谱图像的光谱维数，双窗口的外窗口和内窗口的尺寸分别为win
out
和win
in
，背景字典xm(大小为n
×
m)由内外窗口之间的像元构成，其中m＝win
out
×
win
out-win
in
×
win
in
，协同表示的核心是求解权向量β，使得和同时达到最小，协同表示的目标函数为：
[0052][0053]
其中，η为拉格朗日乘数。
[0054]
对上式中的η求导，并让导数等于0，得到β的表达式为：
[0055][0056]
其中，i为单位矩阵。
[0057]
为了调整背景字典中不同像元对中心像元的影响，利用tikhonov正则化矩阵调整背景字典中像元的权重：
[0058][0059]
利用计算得到的权向量β重建待测像元，即近似像元z1＝xmβ。然后，计算待测像元z与它的近似值z1之间的残差r1，如式(12)所示，并与阈值相比较，若r1大于阈值，则待测像元为异常像元；若r1小于阈值，则待测像元为背景像元。
[0060]
r1＝‖z-z1‖2ꢀꢀꢀ
(12)
[0061]
综上，本发明的算法步骤如下：
[0062]
(a)输入高光谱图像x＝{x1,x2,l,xn}，参数λ和内外窗口尺寸win
in
和wino
ut
；
[0063]
(b)根据公式(1)到(5)对高光谱图像所有波段进行聚类；
[0064]
(c)根据公式(6)和(8)对每个聚类中的所有波段进行abs指数计算，并选择所有聚类中的排名前n的最优波段组成高光谱图像最优波段集；
[0065]
(d)根据公式(9)和(12)对由高光谱图像最优波段集组成的重建高光谱图像进行异常检测。
[0066]
实验验证：
[0067]
为证明算法的有效性，本章利用两组真实高光谱数据集：coats island和gainesville，并分别计算在不同波段数目下本算法的异常检测准确率，并与rx、lrx、crd和lsad四种算法进行实验对比。
[0068]
1、参数设置
[0069]
粗略设置本算法的最优波段数目为(5,10,15,20,25,30,35,40,45,50)，(win
out
,win
in
,λ)在coats island数据集中设置为(5,3,10-5
)，在gainesville数据集中设置为(7,5,104)。
[0070]
2、算法结果对比及分析
[0071]
根据最优波段数目的设置，本算法在coats island和gainesville数据集的异常检测auc值，如图3所示。
[0072]
根据本算法异常检测auc值可以看出，在coats island和gainesville数据集上本算法异常检测准确率随着重建高光谱图像波段数目增加而增加，当达到最高值后开始缓慢下降。原因在于，当光谱波段较少时，重建高光谱图像光谱信息不足，异常检测准确率较低；当光谱波段较大时，异常检测准确率可能受到包含噪声波段或者其它低质量波段光谱信息影响，导致异常检测准确率降低。对于coats island数据集，在光谱波段数目为40时，异常检测准确率最高，auc＝0.996；对于gainesville数据集，在光谱波段数目为35时，异常检测准确率最高，auc＝0.980。本算法和对比算法在两组数据集上auc值和时间，如表1所示。
[0073]
表1两组异常检测实验的auc值和时间(t/s)
[0074][0075]
由表1中数据可以看出，本算法相比于crd算法，异常检测准确率有略微提升，原因在于本算法去除了高光谱图像中的部分噪声波段和其它低质量波段，使得异常信息和背景信息的可区分性增强。同时，本算法的运算时间相比于crd算法大大减少，原因在于本算法去除了高光谱图像大量冗余信息，减少了算法计算的数据量，从而提高算法运行速度。相比于其它对比算法，本算法也保持较高的准确率和运算速度，尤其是相比于lrx算法和lsad算法，在异常检测准确率相差不大的情况下，本算法的运算时间耗时更少。如图4所示为两组数据集下异常检测结果对比图，图5所示为两组数据集下异常检测结果roc曲线图。
[0076]
本发明另一方面还提供一种基于波段选择和协同表示的高光谱异常检测装置200，包括：
[0077]
数据获取模块201，用于获取高光谱图像的所有波段的光谱数据；
[0078]
聚类模块202，用于利用近邻传播聚类算法处理所有波段的光谱数据，获得高光谱图像的聚类结果；
[0079]
图像重构模块203，用于利用自适应波段选择算法处理各个聚类结果中所有波段，获得按照abs指数从大到小排列且abs指数大于预设阈值的最优波段集，并根据最优波段集重构高光谱图像；
[0080]
异常检测模块204，用于利用协同表示算法处理重构的高光谱图像，获得异常检测目标。
[0081]
在本发明提供的又一实施例中，还提供了一种设备，所述设备包括处理器和存储器，所述存储器种存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现本发明实施例中所述的分布式数据处理集群高可用方法。
[0082]
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现本发明实施例中所述的分布式数据处理集群高可用方法。
[0083]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0084]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0085]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实
施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0086]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

技术特征：
1.一种高光谱异常检测方法和装置，其特征在于，包括：获取高光谱图像的所有波段的光谱数据；利用近邻传播聚类算法处理所有波段的所述光谱数据，获得所述高光谱图像的聚类结果；利用自适应波段选择算法处理各个所述聚类结果中所有波段，获得按照abs指数从大到小排列且abs指数大于预设阈值的最优波段集，并根据所述最优波段集重构所述高光谱图像；利用协同表示算法处理重构的所述高光谱图像，获得异常检测目标。2.一种基于波段选择和协同表示的高光谱异常检测装置，其特征在于，包括：数据获取模块，用于获取高光谱图像的所有波段的光谱数据；聚类模块，用于利用近邻传播聚类算法处理所有波段的所述光谱数据，获得所述高光谱图像的聚类结果；图像重构模块，用于利用自适应波段选择算法处理各个所述聚类结果中所有波段，获得按照abs指数从大到小排列且abs指数大于预设阈值的最优波段集，并根据所述最优波段集重构所述高光谱图像；异常检测模块，用于利用协同表示算法处理重构的所述高光谱图像，获得异常检测目标。3.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1所述的基于波段选择和协同表示的高光谱异常检测方法。4.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1所述的基于波段选择和协同表示的高光谱异常检测方法。

技术总结
本发明公开了一种高光谱异常检测方法，涉及高光谱图像异常检测技术领域，包括：获取高光谱图像的所有波段的光谱数据，利用近邻传播聚类算法处理所有波段的光谱数据，获得高光谱图像的聚类结果，利用自适应波段选择算法处理各个聚类结果中所有波段，获得按照ABS指数从大到小排列且ABS指数大于预设阈值的最优波段集，并根据最优波段集重构高光谱图像，利用协同表示算法处理重构的高光谱图像，获得异常检测目标。该方法可以提高在不同复杂高光谱图像下异常目标检测的准确率，提高异常目标检测的效率。效率。效率。


技术研发人员：王涛 王盛铭 李爱华 李庆辉 韩德帅 曹继平 苏延召 张瑞祥
受保护的技术使用者：中国人民解放军火箭军工程大学
技术研发日：2023.03.29
技术公布日：2023/7/12