一种基于迁移学习的多通道微弱信号识别分类方法

1.本发明属于多通道微弱信号识别技术领域，具体涉及一种基于迁移学习的多通道微弱信号识别分类方法。


背景技术：

2.将幅值较小或者处于强噪声环境中的信号统称为多通道微弱信号，如脑电心电信号、海洋水声信号、机械振动故障信号及卫星导航定位信号等。这类多通道微弱信号广泛的存在与日常生活与生产中，然而这类信号因其本身幅值较小、噪声较多等特点，难以利用常见的信号识别方法完成识别分类。
3.近年来，在国内多通道微弱信号识别分类研究领域中，多使用深度学习、机器学习的方法来进行识别分类，如：
4.专利cn115659157a公开了通过卷积神经网络的深度学习来实现水声信号识别的方法。在现有深度学习中，卷积神经网络只是针对小区域进行滑窗提取，存在多个不同区域特征无法被同一个卷积核同时提取的现象，然而多通道微弱信号通常会跨越多个区域，具有极高数据维度，因此若通过该专利公开的方法对多通道微弱信号进行特征提取识别，则会导致特征提取不完全、识别准确度较差等问题。
5.专利cn112270235a公开了通过机器学习实现脑电信号识别的方法。该专利中，pso-svm算法具有参数较少、实现简单、收敛快速的特点，但其通常采用惯性权重递减的方式执行更新，因此在后期寻优迭代中惯性权重的取值会越来越小，进而导致算法的全局寻优能力逐渐衰弱，同样难以适用于具有极高数据维度的多通道微弱信号的精确识别。


技术实现要素：

6.鉴于此，为解决上述背景技术中所提出的基于深度学习、机器学习的识别方法均难以精确识别多通道微弱信号的问题，本发明的目的在于提供一种基于迁移学习的多通道微弱信号识别分类方法。
7.为实现上述目的，本发明提供如下技术方案：
8.一种基于迁移学习的多通道微弱信号识别分类方法，包括如下步骤：
9.通过在源领域多通道微弱信号数据集上训练的至少部分参数迁移构建三维卷积神经网络模型，并将待分类的多通道微弱信号输入所述三维卷积神经网络模型中提取浅层特征；
10.将所述浅层特征转换为rgb三通道特征图片；
11.通过在jft-300m数据集上训练的参数迁移构建vit模型，并将所述rgb三通道特征图片输入所述vit模型中进行识别分类。
12.优选的，所述三维卷积神经网络模型包括输入层、卷积层、池化层和输出层，且所述卷积层设有两层。
13.优选的，所述三维卷积神经网络模型通过所述卷积层提取浅层特征，且每层所述
卷积层的输出均为批量归一化处理后的特征量。
14.优选的，所述卷积层采用多通道卷积核，且各卷积层提取的特征大小为：
15.式中，n为原始图像的大小；nc为原始图像通道数；p为padding填充维度；f为卷积核大小；s为步长；nc'表示卷积核个数。
16.优选的，所述输出层通过如下格式输出所述浅层特征：
17.shape
output
＝[n,c
out
,d
out
,h
out
,w
out
]；
[0018]
式中
[0019][0020][0021][0022]
n表示batch size；c表示channel；h表示heigh；w表示width；d表示depth；p表示padding；s表示stride。
[0023]
优选的，将所述浅层特征转换为rgb三通道特征图片时包括：
[0024]
分别对各通道微弱信号的浅层特征进行高八位、中八位、低八位的元素提取；
[0025]
基于提取的元素堆叠形成与各浅层特征相对应的rgb三通道特征图片。
[0026]
优选的，所述vit模型为基于多头自注意力机制与多层感知机的vit模型。
[0027]
优选的，注意力机制公式为：式中，q、k、v为对应向量的矩阵；用于稳定向量中元素的方差；
[0028]
优选的，多头注意力公式为：z'
ι
＝msa(ln(z'
ι-1
))+z'
ι-1
；式中，ln为layernorm；z'
ι
为状态。
[0029]
优选的，通过所述vit模型识别分类所述rgb三通道特征图片包括：
[0030]
预处理所述rgb三通道特征图片，得到包含图片信息与分类信息的特征map，并归一化处理所述特征map；
[0031]
对所述特征map依次进行layernorm、multi-head attention、layernorm以及mlp处理，最终基于多层感知机得出识别分类方结果。
[0032]
本发明与现有技术相比，具有以下有益效果：
[0033]
本发明的识别分类方法通过首次迁移三维卷积神经网络模型前两层，得到浅层的微弱信号特征和预设的数据类型，而后进行三维数据形式转换生成rgb三通道特征图片，最后将rgb三通道特征图片输入基于jft-300m数据集训练再次迁移构建的vit模型中执行识别分类，相比现有算法，识别准确度显著提升。
附图说明
[0034]
图1为本发明的流程图；
[0035]
图2为源卷积神经网络的结构示意图；
[0036]
图3为将所述浅层特征转换为rgb三通道特征图片的流程图。
具体实施方式
[0037]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]
如图1所示，一种基于迁移学习的多通道微弱信号识别分类方法，包括：
[0039]
s1.通过在源领域多通道微弱信号数据集上训练的至少部分参数迁移构建三维卷积神经网络模型，并将待分类的多通道微弱信号输入所述三维卷积神经网络模型中提取浅层特征。
[0040]
本步骤中关于三维卷积神经网络模型的建立为第一次迁移学习过程：
[0041]
首先建立具有输入层、卷积层、池化层和输出层的源卷积神经网络，然后利用源领域多通道微弱信号数据集优化训练源卷积神经网络。具体如图2所示，该源卷积神经网络具有多层卷积层。
[0042]
s11.关于本步骤的优化训练：
[0043]
s111.以公开的源领域多通道微弱信号数据集作为输入，且输入层每个样本的输入是：d
×h×
w。其中d
×
h是根据多通道拓扑位置结构设置的二维张量，w是对每个通道特征提取的时间采样；
[0044]
s112.卷积层特征提取，该层主要是对输入要素进行时空特征的滤波和融合，因此该层与输入层之间的链接是局部链接，但3d卷积核只能从三维张量中提取一种类型特征，因为在整个三维张量中卷积核的权值是一样的，即共享权值。优选本发明中采用多通道卷积核，以提取多种特征，且多通道的特征图大小计算公式如下：
[0045]
式中，n为原始图像的大小；nc为原始图像通道数；p为padding填充维度；f为卷积核大小；s为步长；nc'表示卷积核个数。
[0046]
s113.卷积层批量归一化处理。由于微弱信号的非平稳性和主体间变异性的特征，多通道微弱信号可能存在协方差偏移的问题，为了缓解协方差偏移问题，可在网络中对每层卷积层中各特征分布进行批量归一化处理。
[0047]
s114.池化并输出，且对三维卷积输出格式如下：
[0048]
shape
output
＝[n,c
out
,d
out
,h
out
,w
out
]；
[0049]
式中
[0050]
[0051][0052][0053]
n表示batch size；c表示channel；h表示heigh；w表示width；d表示depth；p表示padding；s表示stride。
[0054]
s12.第一次迁移学习
[0055]
通过上述步骤s11的优化训练，使得源卷积神经网络的测试识别准确率达到90％以上，保存训练参数；
[0056]
通过源卷积神经网络至少部分参数的迁移构建三维卷积神经网络模型，并将待分类的多通道微弱信号输入所述三维卷积神经网络模型中提取浅层特征。优选设置三维卷积神经网络模型包括两层卷积层，由此可知，所迁移学习的参数即为源卷积神经网络前两层(卷积层)的优选参数。
[0057]
s2.将所述浅层特征转换为rgb三通道特征图片。
[0058]
基于上述设有两层卷积层的三维卷积神经网络模型，其输出的取浅层特征为(1,16,4,4,196)。将所述浅层特征转换为rgb三通道特征图片，具体如图3所示：
[0059]
对取浅层特征进行view操作，保证整个元素的总数不变，调整维度变为224
×
224，其数据类型为(224,224)；
[0060]
将特征数据进行位扩展，同乘2
24
，以便运用位运算来进行特征提取；
[0061]
分别对各通道微弱信号的浅层特征(224
×
224)进行高八位、中八位、低八位的元素提取，然后基于提取的元素堆叠形成与各浅层特征相对应的rgb三通道特征图片(224
×
224
×
3)；
[0062]
s3.通过在jft-300m数据集上训练的参数迁移构建vit模型，并将所述rgb三通道特征图片输入所述vit模型中进行识别分类。
[0063]
本步骤中关于vit模型的建立为第二次迁移学习过程：
[0064]
首先建立基于多头自注意力机制与多层感知机的vit模型，并jft-300m数据集优选训练该vit模型。
[0065]
s31.关于本步骤的优化训练：
[0066]
s311.设定输入为224
×
224特征图片，且通过vit模型kernel_size＝16
×
16、stride＝16
×
16、channel＝768的卷积核对其该特征图片进行卷积操作，输出的特征map的大小为14
×
14
×
768，将其进行flatten处理(即将14
×
14
×
768压平为196
×
768)，添加一个1
×
768的张量，得到维度为197
×
768包含图片信息与分类信息的特征map，创建一个维度为197
×
768的可学习张量，使vit模型训练学习图片的位置信息。
[0067]
s312.将上述特征map进行归一化处理，并输入到transformer encoder，依次进行layernorm、multi-head attention、layernorm以及mlp处理。其中，transformer encoder包含了12个self-attention自注意力模块，用于计算特征map各部分的重要程度，且注意力机制公式如下：
[0068]
式中，q、k、v为对应向量的矩阵；用于稳定向量中元素的方差。
[0069]
基于相同的注意力机制学习到不同的特征，将不同的特征进行融合，捕获序列内各种范围的依赖关系，并基于多头自注意力机制对图片特征信息进行进一步特征提取，使其包含注意力信息，其msa公式如下：
[0070]
z'
ι
＝msa(ln(z'
ι-1
))+z'
ι-1
；式中，ln为layernorm；z'
ι
为状态。
[0071]
s32.第二次迁移学习
[0072]
迁移学习经上述步骤s31优化训练后的vit模型，并将所述rgb三通道特征图片输入所述vit模型中进行识别分类。
[0073]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种基于迁移学习的多通道微弱信号识别分类方法，其特征在于，包括如下步骤：通过在源领域多通道微弱信号数据集上训练的至少部分参数迁移构建三维卷积神经网络模型，并将待分类的多通道微弱信号输入所述三维卷积神经网络模型中提取浅层特征；将所述浅层特征转换为rgb三通道特征图片；通过在jft-300m数据集上训练的参数迁移构建vit模型，并将所述rgb三通道特征图片输入所述vit模型中进行识别分类。2.根据权利要求1所述的基于迁移学习的多通道微弱信号识别分类方法，其特征在于：所述三维卷积神经网络模型包括输入层、卷积层、池化层和输出层，且所述卷积层设有两层。3.根据权利要求2所述的基于迁移学习的多通道微弱信号识别分类方法，其特征在于：所述三维卷积神经网络模型通过所述卷积层提取浅层特征，且每层所述卷积层的输出均为批量归一化处理后的特征量。4.根据权利要求3所述的基于迁移学习的多通道微弱信号识别分类方法，其特征在于：所述卷积层采用多通道卷积核，且各卷积层提取的特征大小为：式中，n为原始图像的大小；n
c
为原始图像通道数；p为padding填充维度；f为卷积核大小；s为步长；n
c
'表示卷积核个数。5.根据权利要求2所述的基于迁移学习的多通道微弱信号识别分类方法，其特征在于，所述输出层通过如下格式输出所述浅层特征：shape
output
＝[n,c
out
,d
out
,h
out
,w
out
]；式中，n表示batchsize；c表示channel；h表示heigh；w表示width；d表示depth。6.根据权利要求5所述的基于迁移学习的多通道微弱信号识别分类方法，其特征在于：6.根据权利要求5所述的基于迁移学习的多通道微弱信号识别分类方法，其特征在于：6.根据权利要求5所述的基于迁移学习的多通道微弱信号识别分类方法，其特征在于：式中，p表示padding；s表示stride。7.根据权利要求1所述的基于迁移学习的多通道微弱信号识别分类方法，其特征在于，将所述浅层特征转换为rgb三通道特征图片时包括：分别对各通道微弱信号的浅层特征进行高八位、中八位、低八位的元素提取；基于提取的元素堆叠形成与各浅层特征相对应的rgb三通道特征图片。8.根据权利要求1所述的基于迁移学习的多通道微弱信号识别分类方法，其特征在于：所述vit模型采用基于多头自注意力机制与多层感知机的vit模型。
9.根据权利要求8所述的基于迁移学习的多通道微弱信号识别分类方法，其特征在于：注意力机制公式为：式中，q、k、v为对应向量的矩阵；用于稳定向量中元素的方差；多头注意力公式为：z'
ι
＝msa(ln(z'
ι-1
))+z'
ι-1
；式中，ln为layernorm；z'
ι
为状态。10.根据权利要求9所述的基于迁移学习的多通道微弱信号识别分类方法，其特征在于，通过所述vit模型识别分类所述rgb三通道特征图片包括：预处理所述rgb三通道特征图片，得到包含图片信息与分类信息的特征map，并归一化处理所述特征map；对所述特征map依次进行layernorm、multi-headattention、layernorm以及mlp处理，最终基于多层感知机得出识别分类方结果。

技术总结
本发明属于多通道微弱信号识别技术领域，公开了一种基于迁移学习的多通道微弱信号识别分类方法，包括如下步骤：通过在源领域多通道微弱信号数据集上训练的至少部分参数迁移构建三维卷积神经网络模型，并将待分类的多通道微弱信号输入所述三维卷积神经网络模型中提取浅层特征；将所述浅层特征转换为RGB三通道特征图片；通过在JFT-300M数据集上训练的参数迁移构建ViT模型，并将所述RGB三通道特征图片输入所述ViT模型中进行识别分类。综上，本发明基于两次迁移学习实现识别模型参数的有效优化，相比于现有算法，本发明的识别准确度显著提升。著提升。著提升。


技术研发人员：张彬 王骄 宋鹏程 郭志芬
受保护的技术使用者：东北大学
技术研发日：2023.04.18
技术公布日：2023/7/13