一种基于弹性网络正则化回归算法的遥感图像分类方法

1.本发明涉及图像分类领域，具体涉及一种基于弹性网络正则化回归算法的遥感图像分类方法。


背景技术：

2.近年来，随着我国科技的迅速发展，随着卫星遥感图像和航空遥感图片分辨率的不断提高,人们可以从遥感图像中获得更多的有用的数据和信息。伴随着“数字地球”概念的提出,越来越多的民用场合需要用到遥感图像,包括资源调查,自然灾害观测、大气气象预报等。由于不同场合遥感图像的应用对遥感图像处理提出了不同的要求,所以图像处理中重要的环节——图像分类也就显得尤为重要。
3.在图像识别系统中，有效的图像表示对于构建高性能场景分类方法至关重要，因为图像分类通常在特征空间中进行。基于表示的分类方法(rbcm)已经在各个研究领域获得了越来越多的关注，例如字符识别、人员重新识别和高光谱图像分类。主要用到的方法基于稀疏表示的分类(src)方法和基于协作表示的分类(crc)，其中src方法用训练样本对测试样本建立稀疏表示，并将测试样本标记到残差最小的类别中，该分类方法在多类分类中取得了很大的成功，然而，该分类方法没有训练的过程，直接将每类训练样本构造相应子空间，并没有考虑该分类样本中每个个体对构造子空间的贡献，容易产生较大的拟合误差。；crc算法用所有训练样本表示一个测试样本，并将其分类到重构误差最小的类别中。该分类方法在某些数据集上性能优于基于稀疏表示的多类分类方法。同样地，该分类方法没有训练的过程，直接将每类训练样本构造相应子空间，容易产生较大拟合误差，导致分类性能不高。虽然这两种方法在视觉识别方面都取得了优越的性能。但是，对于高分辨的遥感图像识别有一定的局限性。


技术实现要素：

4.针对现有技术中存在的不足，本发明提供了一种基于弹性网络正则化回归算法的遥感图像分类方法。
5.因此，本发明将弹性网络正则化回归算法的思想加入到了图像分类网络中，将基于稀疏的表示方法(src)与基于协作的表示方法(crc)两种基于表示的分类方法融合，从而提高对高分辨率的遥感图像图像分类的精准度。
6.基于稀疏的表示方法(src)，利用来自所有类的训练样本来表示测试样本，却忽略了测试样本自身也属于一个特定类的事实，然而测试样本中某一类的训练样本对分类的影响可能会更大。为了弥补这一缺陷，我们可以将基于协作的表示方法(crc)引入到src方法，并提出了一种名为弹性网络正则化回归的新方法，以学习对测试样本更具判别性的表示。此外，我们将提出的弹性网络正则化模型扩展到任意核空间，以探索隐藏在原始图像特征中的非线性特征，从而进一步提高分类性能。
7.一种基于弹性网络正则化回归算法的遥感图像分类方法，包括如下步骤：
8.步骤(1)构造训练集；
9.步骤(2)基于稀疏表示的分类方法(src)利用每种类型的训练样本的线性组合来表示测试样本，然后将测试样本划分为代表最小表示残差的类。
10.步骤(3)基于协作表示的分类方法(crc)用正则化l-2范数代替正则化l-1范数，提高图像识别的效率。
11.步骤(4)通过在src的方法中引入特定类别的协作表示，实现弹性网络正则化回归。
12.步骤(5)将弹性网络正则化回归算法扩展到内核空间。
13.步骤(6)通过扩展到内核空间的弹性网络正则化回归算法获得预测标签；
14.步骤(7)通过现有的最近邻分类器对所得测试样本的预测标签进行多类分类，获得分类结果。
15.进一步的，步骤(1)具体方法如下：
16.从uc-merced数据库中下载测试样本集，经过三层卷积核不同的卷积层的预训练卷积神经网络训练加强提取出测试样本的特征，并把这些特征加入到训练集中。
17.进一步的，步骤(2)具体方法如下：
18.给定测试样本y∈rd×1，y的线性表示如下:
[0019][0020]
其中，x＝[x1...xc]∈rd×n表示训练样本的集合，表示第c类的训练样本，c表示类别的数量，nc表示第c类训练样本的数量，d代表测试样本的维度。对于测试样本y，稀疏表示系数的向量s∈rc通过如下求解优化问题获得，即代表的目标函数：
[0021][0022]
其中，λ为大于0的正则化参数，作用是防止出现退化解，表示由测试样本的重构残差和引用的l-1范数构成的约束条件。
[0023]
在经过稀疏表示之后，y的预测标签id(y)由每个特定类别最小的的重构残差来确定：
[0024][0025]
进一步的，步骤(3)具体方法如下：
[0026]
基于协作表示的分类方法(crc)用正则化l-2范数代替正则化l-1范数，提高了图像识别的效率。crc的目标函数如下：
[0027][0028]
其中，β表示用于控制整体的拟合优度和协作表示之间变化的正则化参数，表示测试样本的重构残差和引用l-2范数的约束条件。
[0029]
进一步的，步骤(4)具体方法如下：
[0030]
将特定类别的表示加入src的目标函数中，在特定类别的表示中使用协作表示。弹性网络正则化回归算法的目标函数如下：
[0031][0032]
式(5)中，τ表示用于调整协作表示与类的特定表示之间权衡的参数，γ表示正则化参数；前两项是传统的稀疏表示，用于表示只针对测试样本所属的类别进行分类。后一项针对特定类别的协作表示，它表示来自不同类别的训练样本的影响。
[0033]
根据β＝τ
×
γ表示正则化l-1范数和正则化l-2范数的惩罚项的和，将方程(5)改写为：
[0034][0035]
同时，β即弹性网络正则化算法的惩罚项。
[0036]
进一步的，步骤(5)具体方法如下：
[0037]
存在一个核函数k(x,y)＝φ(x)
t
φ(y),其中映射φ：rd→rk
(d＜k)将原始图像特征映射到更高维的hilbert特征空间，φ(x)＝[φ(x1),...,φ(xc)]∈rk×n，结合弹性网络正则化回归算法，得到以下目标函数：
[0038][0039]
进一步的，步骤(6)具体方法如下：
[0040]
针对得到的目标函数方程(7)进行优化推导，得到测试样本的预测标签。
[0041]
本发明的有益效果如下：
[0042]
针对现阶段对于高分辨率遥感图像的分类，本发明受基于表示的分类方法的启发，通过一种弹性网络正则化回归算法，在基于稀疏表示的分类方法中加入基于协作表示的方法，两者都有助于图像分类中单个类别的样本建立在一个线性子空间上，将测试样本表示为训练样本的线性组合，适用于图像的特殊性和复杂性。此外，我们将提出的弹性正则化回归算法扩展到任意核空间，以处理隐藏在原始图像特征中的非线性结构，从而进一步提高分类性能。
附图说明
[0043]
图1为本发明弹性网络正则化回归算法的结构图。
具体实施方式
[0044]
以下结合附图与实施例对本发明技术方案进行进一步描述。
[0045]
一种基于弹性网络正则化回归算法的遥感图像分类方法，包括如下步骤：
[0046]
步骤(1)构造训练集，从uc-merced数据库中下载测试样本集，经过三层卷积核不同的卷积层的预训练卷积神经网络训练加强提取出测试样本的特征，并把这些特征加入到训练集中。
[0047]
步骤(2)基于稀疏表示的分类方法(src)利用每种类型的训练样本的线性组合来表示测试样本，然后将测试样本划分为代表最小表示残差的类。具体地说，给定测试样本y∈rd×1，y的线性表示如下:
[0048][0049]
其中，x＝[x1...xc]∈rd×n表示训练样本的集合，表示第c类的训练样本，c表示类别的数量，nc表示第c类训练样本的数量，d代表测试样本的维度。对于测试样本y，稀疏表示系数的向量s∈rc通过如下求解优化问题获得，即代表的目标函数：
[0050][0051]
其中，λ为大于0的正则化参数，作用是防止出现退化解，表示由测试样本的重构残差和引用的l-1范数构成的约束条件。
[0052]
在经过稀疏表示之后，y的预测标签id(y)由每个特定类别最小的的重构残差来确定：
[0053][0054]
步骤(3)基于协作表示的分类方法(crc)用正则化l-2范数代替正则化l-1范数，提高了图像识别的效率。crc的目标函数如下：
[0055][0056]
其中，β表示用于控制整体的拟合优度和协作表示之间变化的正则化参数，表示测试样本的重构残差和引用l-2范数的约束条件。
[0057]
步骤(4)通过在src的方法中引入特定类别的协作表示(crc)，这就是我们提出的弹性网络正则化回归算法。
[0058]
受到测试样本属于一个特定类别的事实的启发，我们提出将特定类别的表示加入src的目标函数中，这保证了来自特定类别的训练样本贡献更多。为了包含尽可能多的来自特定类别的训练样本，在特定类别的表示中使用协作表示。弹性网络正则化回归算法的目标函数如下：
[0059][0060]
式(5)中，τ表示用于调整协作表示与类的特定表示之间权衡的参数，γ表示正则化参数，作用类似于前面的λ，β；前两项是传统的稀疏表示，用于表示只针对测试样本所属的类别进行分类。后一项针对特定类别的协作表示，它表示来自不同类别的训练样本的影响。
[0061]
根据β＝τ
×
γ表示正则化l-1范数和正则化l-2范数的惩罚项的和，将方程(5)改写为：
[0062][0063]
同时这里的β也是我们提出的弹性网络正则化算法的惩罚项，方程(6)即弹性正则化回归算法模型。
[0064]
步骤(5)将弹性网络正则化回归算法扩展到内核空间。
[0065]
再生核hilbert空间在支持向量机svm中，通常使用核函数将样本输入空间转化为再生核hilbert空间(reproducing kernel hilbert space，rkhs)，提高算法处理非线性分类问题的性能。因此我们将所提出的弹性网络正则化回归推广到任意核空间，可以进一步提高分类性能，较好的处理遥感图像的特殊性和复杂性。
[0066]
存在一个核函数k(x,y)＝φ(x)
t
φ(y),其中映射φ：rd→rk
(d＜k)将原始图像特征映射到更高维的hilbert特征空间，φ(x)＝[φ(x1),...,φ(xc)]∈rk×n，结合前面提出的弹性网络正则化回归算法，得到以下目标函数：
[0067][0068]
步骤(6)针对上述得到的目标函数方程(7)进行优化推导，得到测试样本的预测标签。
[0069]
步骤(7)通过现有的最近邻分类器对所得测试样本的预测标签进行多类分类，获得分类结果。
[0070]
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
[0071]
本发明未详细说明部分属于本领域技术人员公知技术。

技术特征：
1.一种基于弹性网络正则化回归算法的遥感图像分类方法，其特征在于，包括如下步骤：步骤(1)构造训练集；步骤(2)基于稀疏表示的分类方法src利用每种类型的训练样本的线性组合来表示测试样本，然后将测试样本划分为代表最小表示残差的类；步骤(3)基于协作表示的分类方法crc用正则化l-2范数代替正则化l-1范数，提高图像识别的效率；步骤(4)通过在src的方法中引入特定类别的协作表示，实现弹性网络正则化回归；步骤(5)将弹性网络正则化回归算法扩展到内核空间；步骤(6)通过扩展到内核空间的弹性网络正则化回归算法获得预测标签；步骤(7)通过现有的最近邻分类器对所得测试样本的预测标签进行多类分类，获得分类结果。2.根据权利要求1所述的一种基于弹性网络正则化回归算法的遥感图像分类方法，其特征在于，步骤(1)具体方法如下：从uc-merced数据库中下载测试样本集，经过三层卷积核不同的卷积层的预训练卷积神经网络训练加强提取出测试样本的特征，并把这些特征加入到训练集中。3.根据权利要求2所述的一种基于弹性网络正则化回归算法的遥感图像分类方法，其特征在于，步骤(2)具体方法如下：给定测试样本y∈r
d
×1，y的线性表示如下:其中，x＝[x1...x
c
]∈r
d
×
n
表示训练样本的集合，表示第c类的训练样本，c表示类别的数量，n
c
表示第c类训练样本的数量，d代表测试样本的维度；对于测试样本y，稀疏表示系数的向量s∈r
c
通过如下求解优化问题获得，即代表的目标函数：其中，λ为大于0的正则化参数，作用是防止出现退化解，表示由测试样本的重构残差和引用的l-1范数构成的约束条件；在经过稀疏表示之后，y的预测标签id(y)由每个特定类别最小的的重构残差来确定：4.根据权利要求3所述的一种基于弹性网络正则化回归算法的遥感图像分类方法，其特征在于，步骤(3)具体方法如下：基于协作表示的分类方法crc用正则化l-2范数代替正则化l-1范数，提高了图像识别的效率；crc的目标函数如下：
其中，β表示用于控制整体的拟合优度和协作表示之间变化的正则化参数，表示测试样本的重构残差和引用l-2范数的约束条件。5.根据权利要求4所述的一种基于弹性网络正则化回归算法的遥感图像分类方法，其特征在于，步骤(4)具体方法如下：将特定类别的表示加入src的目标函数中，在特定类别的表示中使用协作表示；弹性网络正则化回归算法的目标函数如下：式(5)中，τ表示用于调整协作表示与类的特定表示之间权衡的参数，γ表示正则化参数；前两项是传统的稀疏表示，用于表示只针对测试样本所属的类别进行分类；后一项针对特定类别的协作表示，它表示来自不同类别的训练样本的影响；根据β＝τ
×
γ表示正则化l-1范数和正则化l-2范数的惩罚项的和，将方程(5)改写为：同时，β即弹性网络正则化算法的惩罚项。6.根据权利要求5所述的一种基于弹性网络正则化回归算法的遥感图像分类方法，其特征在于，步骤(5)具体方法如下：存在一个核函数k(x,y)＝φ(x)
t
φ(y),其中映射φ：r
d
→
r
k
(d＜k)将原始图像特征映射到更高维的hilbert特征空间，φ(x)＝[φ(x1),...,φ(x
c
)]∈r
k
×
n
，结合弹性网络正则化回归算法，得到以下目标函数：7.根据权利要求6所述的一种基于弹性网络正则化回归算法的遥感图像分类方法，其特征在于，步骤(6)具体方法如下：针对得到的目标函数方程(7)进行优化推导，得到测试样本的预测标签。

技术总结
本发明公开了一种基于弹性网络正则化回归算法的遥感图像分类方法。针对现阶段对于高分辨率遥感图像的分类，通过一种弹性网络正则化回归算法，在基于稀疏表示的分类方法中加入基于协作表示的方法，两者都有助于图像分类中单个类别的样本建立在一个线性子空间上，将测试样本表示为训练样本的线性组合，适用于图像的特殊性和复杂性。此外，本发明将提出的弹性正则化回归算法扩展到任意核空间，以处理隐藏在原始图像特征中的非线性结构，从而进一步提高分类性能。高分类性能。高分类性能。


技术研发人员：颜成钢 秦汉 陆雯 何敏 王帅 高宇涵 孙垚棋 朱尊杰 王鸿奎 王廷宇 殷海兵 张继勇 李宗鹏 赵治栋
受保护的技术使用者：杭州电子科技大学
技术研发日：2023.03.22
技术公布日：2023/7/25