基于时频注意力混合深度网络的癫痫脑电信号识别方法

1.本发明涉及脑电信号处理技术领域，具体涉及基于时频注意力混合深度网络的癫痫脑电信号识别方法。


背景技术：

2.癫痫是一种常见的神经系统疾病，主要表现为反复发作的脑神经功能障碍，如意识障碍、肢体抽搐、口吐白沫等。其病理表现为大脑神经细胞反复超同步放电，其发作会影响患者的身体机能，对患者大脑造成不可逆的损害，所以及时发现癫痫发作并给予患者抗癫痫药物治疗至关重要。
3.在现有技术中，癫痫的识别主要依靠医生查验患者的脑电图来判断，存在较大的主观因素。并且，由于脑电信号的非稳定性和波的多样性，脑电信号的分析和处理一直很困难。传统的方法主要从时域来分析脑电信号，忽略了其非平稳性，效果并不是很理想。
4.近年来，随着深度学习的蓬勃发展，卷积神经网络和循环神经网络已经在计算机视觉、自然语言处理和语音等领域取得了不错的效果，许多研究也开始用深度学习的方法来进行癫痫脑电信号识别。结合卷积神经网络和循环神经网络的混合深度学习模型可以同时提取时空特征，具有更好的癫痫发作检测性能。但是，现有的混合深度学习模型仍然存在以下两个弱点。首先，他们直接输入原始脑电信号，由于脑电信号的非平稳性，提取的癫痫特征信息有限；其次，直接运用深层网络的堆栈机构来得到特征矩阵，分散了深度学习模型对脑电信号的注意力，分类效果并不理想。


技术实现要素：

5.本发明的目的在于提供基于时频注意力混合深度网络的癫痫脑电信号识别方法，解决上述技术问题。
6.本发明的目的可以通过以下技术方案实现：
7.基于时频注意力混合深度网络的癫痫脑电信号识别方法，包括以下步骤：
8.步骤一：对原始脑电信号数据进行预处理；
9.步骤二：利用时频注意力机制模块对预处理后的脑电信号进行时频表示；
10.步骤三：构建混合深度网络模块对拓展后的脑电信号进行时空信息提取；
11.步骤四：将所述特征提取后的脑电信号通过特征分类模块进行特征融合并且分类，将分类精度作为最终的评价指标。
12.作为本发明进一步的方案：所述的原始脑电信号数据是使用标准的10-20电极放置系统，以173.61hz的频率进行采样所获取的单通道脑电信号，采样持续时间为23.6s，每个所述的单通道脑电信号包含4097数据点。
13.作为本发明进一步的方案：所述的原始脑电信号数据进行预处理具体步骤包括：对所述的原始脑电信号进行数据划分，将连续的原始脑电信号划分成脑电信号片段，将每个所述的原始脑电信号分为23个片段，每段脑电信号包含178个数据点，余下的少量数据点
因不构成完整的脑电信号片段而舍弃。
14.作为本发明进一步的方案：述的时频注意力机制模块包括时频表示层和注意力网络层。
15.作为本发明进一步的方案：在所述的时频表示层中，使用小波变换方法对脑电信号进行时频表示，得到4个不同时频特征的波段δ，θ，α，和β，并使用注意力网络结构，优化脑电信号时频特征的质量。
16.作为本发明进一步的方案：在所述的注意力网络层中，将原始脑电信号和4种不同的时频表示作为不同的通道，通过注意力机制来自适应地调整特征通道对分类任务的重要程度。
17.作为本发明进一步的方案：所述的混合深度网络模块包括cnn网络模块和bi-lstm模块，所述的cnn网络用于提取脑电信号中的空间信息，所述的bi-lstm网络用于提取脑电信号中的时间信息。
18.作为本发明进一步的方案：所述的cnn网络模块包括依次链接的第一层卷积层、第二层批标准化层、第三层卷积层、第四层卷积层、第五层卷积层、第六层卷积层和第七层批标准化层。
19.作为本发明进一步的方案：所述cnn网络模型的输出数据输入到bi-lstm网络模块进行脑电信号时间信息的获取，其中所述的bi-lstm网络模块包括依次链接的第一层双向长短期记忆层、第二层dropout层和第三层双向长短期记忆层。
20.作为本发明进一步的方案：在所述的特征分类模块中，最后得到的脑电信号特征通过两层全连接层进行融合，最终的分类结果由softmax层得到。
21.本发明的有益效果：本发明充分考虑不同类型深度网络的特征，通过混合深度网络有效地提取脑电信号的时间信息和空间信息，从而解决了现有技术难以将脑电信号时空信息进行融合的问题，从而得到提高癫痫检测准确率的目的。
附图说明
22.下面结合附图对本发明作进一步的说明。
23.图1是本发明基于时频注意力混合深度网络的癫痫脑电信号识别方法的流程示意图；
24.图2是本发明时频表示层的结构示意图；
25.图3是本发明不同时频特征波段的多通道脑电矩阵显示图；
26.图4是本发明cnn模块的结构示意图；
27.图5是本发明b i-lstm模块的结构示意图；
28.图6是本发明全连接层的结构示意图。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
30.请参阅图1-6所示，本发明为基于时频注意力混合深度网络的癫痫脑电信号识别方法，包括以下步骤：
31.步骤一：对原始脑电信号数据进行预处理；
32.步骤二：利用时频注意力机制模块对预处理后的脑电信号进行时频表示；
33.步骤三：构建混合深度网络模块对拓展后的脑电信号进行时空信息提取；
34.步骤四：将所述特征提取后的脑电信号通过特征分类模块进行特征融合并且分类，将分类精度作为最终的评价指标。
35.在本实施例中，以来自波恩大学医院癫痫中心的一组脑电数据集作为样本数据详细说明本发明的工作原理；该数据集是目前脑电癫痫发作识别领域中使用最广泛的数据集，包含五个标签的数据(表示为1-5)，每个标签包含100个持续时间为23.6秒的单通道脑电信号。数据集是使用标准的10-20电极放置系统记录的数据，以173.61hz的频率进行采样余下的少量数据点因不构成完整的脑电信号片段而舍弃；
36.在本发明一种优选的实施例中，在步骤一中，对原始脑电信号数据进行预处理，具体为：通过脑电设备采集脑电信号数据，并对脑电信号进行数据划分，将连续的脑电信号分给成采样点为178的脑电信号片段，余下的少量数据点因不构成完整的脑电信号片段而舍弃；设脑电信号片段数据为s，标签设置为y，将脑电数据s和标签y作为数据集e＝{(si，yi)，i＝1，2，
…
，n}，n为样本数量；
37.标签yi设置为1-5，分别对应：
38.标签1：癫痫间隔中从病变内部收集到的脑电信号记录；
39.标签2：癫痫间隔中从病变的相对侧收集到的脑电信号记录；
40.标签3：受试者闭上眼睛时收集的脑电图记录；
41.标签4：癫痫时期从病变内部收集到的脑电信号记录；
42.标签5：受试者睁开眼睛时收集的脑电图记录。
43.对脑电数据集e按9:1划分为训练集和测试集，分别记为e
train
和e
test
。
44.在本发明一种优选的实施例中，在步骤二中，构建时频注意力机制模块对预处理后的脑电信号进行时频表示，得到不同时频特征的多通道脑电数据；
45.时频注意力机制模块包括时频表示层和注意力网络层，时频表示层结构如图2所示，其使用小波变换方法对脑电信号进行时频表示，得到4个不同时频特征的波段δ，θ，α，和β，脑电信号si输入时频表示层后得到多通道时频表示单通道脑电信号si扩展为带有不同时频特征的多通道脑电矩阵如图3所示。接着多通道脑电矩阵输入到注意力网络层进一步优化脑电信号时频特征的质量，并得到输出
46.在本发明一种优选的实施例中，在步骤三中，构建混合深度网络模型对注意力网络层输出的多通道脑电信号进行时空信息提取。在本实施例中，所述的混合深度网络模型包括cnn模块和bi-lstm模块，其中cnn模块如图4所示，包括5个卷积层和2个批标准化层；卷积层通过不同大小的卷积和对不同区域的数据信息进行特征提取，得到不同的空间特征，其数学公式为：
47.xo＝f(w
·
xi+b)
48.其中xi，xo为卷积层的输入和输出，w，b分别为权重矩阵和偏置，f为激活函数，一般选用relu函数；
49.cnn模块第一层为一维卷积层，维数为64，卷积核大小为9，时间步长为2，激活函数为relu函数；第二层为批标准化层；第三层为一维卷积层，维数为64，卷积核大小为9，时间步长为1；第四层为一维卷积层，维数为64，卷积核大小为9，时间步长为2，激活函数为relu函数；第五层为一维卷积层，维数为64，卷积核大小为3，时间步长为1；第六层为一维卷积层，维数为64，卷积核大小为3，时间步长为2，激活函数为relu函数；第七层为批标准化层；通过cnn模块得到新的脑电特征矩阵再输入到bi-lstm中进行进一步的学习；
50.bi-lstm模块如图5所示，bi-lstm模块网络结构分为2个stm层；lstm层具有记忆长短期信息的能力，通过门机制来构建lstm单元来控制特征的保留和损失，其中，遗忘门控制上一时刻lstm单元c
t-1
的信息多少保留到当前时刻c
t
，其数学公式为：
51.f
t
＝σ(wf·
[h
t-1
，x
t
]+bf)
[0052]
其中wf，bf是遗忘门的权重矩阵和偏置，h
t-1
是上一时刻lstm单元的输出，x
t
是当前时刻的输入，σ是sigmoid函数；输入门控制当前时刻的输入x
t
有多少信息保存在当前时刻c
t
，其数学公式为：
[0053]it
＝σ(wi·
[h
t-1
，x
t
]+bi)
[0054]
其中，wi，bi分别是输入门的权重矩阵和偏置；输出门控制当前时刻的信息输入到当前时刻lstm单元的输出：
[0055]ot
＝σ(wo·
[h
t-1
，x
t
]+bo)
[0056]
其中，wo，bo分别是输出门的权重矩阵和偏置；输入序列分别以正序和逆序输入至2个lstm层进行时间特征提取，2个输出向量(即提取后的特征向量)进行特征拼接操作后形成的新的脑电特征；本发明使用两层bi-lstm层来进行学习训练，第一层bi-lstm维数为128，第二层维数为32，其中droupout层设置为0.1；通过bi-lstm模块得到最终的脑电特征矩阵
[0057]
在本发明一种优选的实施例中，在步骤四中，将最终特征提取后的脑电信号输入特征分类模块进行特征融合并且分类，将分类精度作为最终的评价指标；特征分类模块由两层全连接层构成，如图6所示，第一层维数为16，第二层维数为5；最后的分类结果通过softmax函数获得；输入特征分类模块得到用于分类5个类别；
[0058]
使用训练集e
train
训练构建时频注意力混合深度网络并保存模型参数，并用训练好的模型在测试集e
test
上验证模型的有效性，最后进一步对输出结果进行分析；
[0059]
在本实施例中，以波恩大学数据集的癫痫脑电识别深度网络模型darlnet(xuanjie qiu.fang yan.haihong liu.a difference attention resnet-lstm network for epileptic seizure detection using eeg signal，2023),xu et al.(xuhui chen.jinlong ji.tianxi ji.pan li.cost-sensitive deep active learning for epileptic seizure detection,2018)进行比较，对比结果如下所示：
[0060][0061]
从商标可以看出，与其他最近提出的癫痫脑电识别深度网络模型相比，本发明提出的时频注意力混合深度网络对癫痫脑电识别的分类精确度最高。
[0062]
因此，本发明采用上述一种基于时频注意力混合深度网络的癫痫脑电信号识别方法，解决现有技术未考虑脑电信号非平稳性的特征，没有将脑电信号时间信息、频率信息和空间信息充分融合的问题。基于上述一种基于时频注意力混合深度网络的癫痫脑电信号识别方法，提取到具有更优判别非癫痫脑电信号和癫痫脑电信号的特征，实现了高精度的分类效果。
[0063]
在本发明一种优选的实施例中，所述的原始脑电信号数据进行预处理具体步骤包括：对所述的原始脑电信号进行数据划分，将连续的原始脑电信号划分成脑电信号片段，将每个所述的原始脑电信号分为23个片段，每段脑电信号包含178个数据点。
[0064]
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

技术特征：
1.基于时频注意力混合深度网络的癫痫脑电信号识别方法，其特征在于，包括以下步骤：步骤一：对原始脑电信号数据进行预处理；步骤二：利用时频注意力机制模块对预处理后的脑电信号进行时频表示；步骤三：构建混合深度网络模块对拓展后的脑电信号进行时空信息提取；步骤四：将所述特征提取后的脑电信号通过特征分类模块进行特征融合并且分类，将分类精度作为最终的评价指标。2.根据权利要求1所述的基于时频注意力混合深度网络的癫痫脑电信号识别方法，其特征在于，所述的原始脑电信号数据是使用标准的10-20电极放置系统，以173.61hz的频率进行采样所获取的单通道脑电信号，采样持续时间为23.6s，每个所述的单通道脑电信号包含4097数据点。3.根据权利要求1所述的基于时频注意力混合深度网络的癫痫脑电信号识别方法，其特征在于，所述的原始脑电信号数据进行预处理具体步骤包括：对所述的原始脑电信号进行数据划分，将连续的原始脑电信号划分成脑电信号片段，将每个所述的原始脑电信号分为23个片段，每段脑电信号包含178个数据点，余下的少量数据点因不构成完整的脑电信号片段而舍弃。4.根据权利要求1所述的基于时频注意力混合深度网络的癫痫脑电信号识别方法，其特征在于，所述的时频注意力机制模块包括时频表示层和注意力网络层。5.根据权利要求4所述的基于时频注意力混合深度网络的癫痫脑电信号识别方法，其特征在于，在所述的时频表示层中，使用小波变换方法对脑电信号进行时频表示，得到4个不同时频特征的波段δ，θ，α，和β，并使用注意力网络结构，优化脑电信号时频特征的质量。6.根据权利要求4所述的基于时频注意力混合深度网络的癫痫脑电信号识别方法，其特征在于，在所述的注意力网络层中，将原始脑电信号和4种不同的时频表示作为不同的通道，通过注意力机制来自适应地调整特征通道对分类任务的重要程度。7.根据权利要求1所述的基于时频注意力混合深度网络的癫痫脑电信号识别方法，其特征在于，所述混合深度网络模块包括cnn网络模块和bi-lstm模块，所述的cnn网络用于提取脑电信号中的空间信息，所述的bi-lstm网络用于提取脑电信号中的时间信息。8.根据权利要求7所述的基于时频注意力混合深度网络的癫痫脑电信号识别方法，其特征在于，所述的cnn网络模块包括依次链接的第一层卷积层、第二层批标准化层、第三层卷积层、第四层卷积层、第五层卷积层、第六层卷积层和第七层批标准化层。9.根据权利要求7所述的基于时频注意力混合深度网络的癫痫脑电信号识别方法，其特征在于，所述cnn网络模型的输出数据输入到bi-lstm网络模块进行脑电信号时间信息的获取，其中所述的bi-lstm网络模块包括依次链接的第一层双向长短期记忆层、第二层dropout层和第三层双向长短期记忆层。10.根据权利要求1所述的基于时频注意力混合深度网络的癫痫脑电信号识别方法，其特征在于，在所述的特征分类模块中，最后得到的脑电信号特征通过两层全连接层进行融合，最终的分类结果由softmax层得到。

技术总结
本发明公开了基于时频注意力混合深度网络的癫痫脑电信号识别方法，包括以下步骤：步骤一：对原始脑电信号数据进行预处理；步骤二：利用时频注意力机制模块对预处理后的脑电信号进行时频表示；步骤三：构建混合深度网络模块对拓展后的脑电信号进行时空信息提取；步骤四：将所述特征提取后的脑电信号通过特征分类模块进行特征融合并且分类，将分类精度作为最终的评价指标。相比于现有技术，解决了现有技术难以将脑电信号时空信息进行融合的问题，从而提高癫痫检测的准确率。而提高癫痫检测的准确率。而提高癫痫检测的准确率。


技术研发人员：谭春雨 田云飞 周云 吴巧云
受保护的技术使用者：安徽大学
技术研发日：2023.06.25
技术公布日：2023/10/8