基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型

基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型
【技术领域】
1.本发明涉及生物医学信号处理的技术领域，特别是基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型的技术领域。


背景技术：

2.近年来，深度学习作为一种在图像处理、自然语言处理和智能医学领域中的特征提取方法受到了广泛的关注。神经网络会调整每一层的权重，以获得更合适的深层特征，因此深度学习算法能够很好地适应了信号的非线性和复杂性。与传统的特征提取方法相比，深度学习方法可以从信号中提取更深层、更具分辨性的信息用于分类任务。同时，深度学习技术也被广泛应用于医学领域。一般来说，上述卷积神经网络(cnn)具有提取深度特征，具有良好的癫痫检测性能。然而，大多数工作忽略了来自脑电图信号的不同视角中所包含的信息。
3.为了充分利用原始脑电图信号，癫痫发作需要采用多视角学习进行检测。多视角模型具有良好的特征提取能力，可以为分类任务提取和融合最相关的信息。然而，多视角特征与分类任务之间的关系通常是复杂和不可知的。随着视角数量的增加，参数的数量也大大增加，这增加了模型的大小和训练时间。知识蒸馏(kd)是一种模型压缩方法，它可以将模型压缩成一个更紧凑的模型，紧凑模型具有更低的内存需求和计算时间。kd的实现过程是在教师模型的监督下训练学生模型。应用知识蒸馏证明seizurenet可以有效地提高紧凑网络的性能。也就是说，采用多视角学习的方式可使模型获得更为丰富的多视角特征，而应用知识蒸馏能够减少特征提取网络的可训练参数量以降低模型训练成本。
4.然而，结合多视角学习和知识蒸馏的模型仍然具有一定的缺陷。具体而言，多视角学习虽然能够提取到更为丰富的特征，但是存在数据预处理过程复杂、深度特征提取网络通道数增加以及模型训练成本相较于单个视角的模型增加的缺陷；知识蒸馏虽然可降低模型训练参数量并且提高模型性能，但是其效果受到模型结构、数据集及应用场景的影响，并不稳定。此外，虽然可通过微调能以降低实际医疗场景中学生模型的训练成本，可教师模型的训练也需要额外的训练成本，同时教师模型结构的选择也会影响知识蒸馏的效果。


技术实现要素：

5.为解决现有模型的训练成本高、参数量大以及知识蒸馏提升效果不稳定等问题，本发明设计了基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型，即基于注意力机制和自蒸馏的多通道癫痫检测模型。总的来说，基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型通过注意力机制融合多通道深度特征，不仅利用自蒸馏方法在训练模型的同时将深层网络学习到的知识传递给浅层网络，为确保知识更有效地传递，还引入了基于响应的知识蒸馏和互信息，能够更好地将深层网络学习到的知识传递给浅层网络，最终实现更高效的多通道癫痫检测。
6.为实现上述目的，本发明提出了基于“挤压-激励”机制的多通道自蒸馏癫痫检测
模型，包括多通道卷积神经网络模块、注意力模块、自蒸馏模块和分类器模块；
7.所述多通道卷积神经网络模块提取到的深度特征表示如下：
8.x
deep
＝δ(ω*x+b)
ꢀꢀꢀꢀꢀꢀ
(1)；
9.其中，δ表示激活函数，ω表示卷积核，x为模型输入数据，b表示偏置，ω和b被设置为随机初始值；
10.所述注意力模块用于捕获多通道深度特征中的空间相关性并将信息处理过程分为嵌入全局信息过程和自适应校准过程，所述嵌入全局信息过程和自适应校准过程分别表示如下：
[0011][0012]
s＝f
ex
(z,w)＝σ(g(z,w))＝σ(w2δ(w1z))
ꢀꢀꢀꢀꢀ
(3)；
[0013]
其中，zc为嵌入全局信息的深度特征，s为经过自适应调整后得到的深度特征，σ表示sigmoid激活函数，δ表示relu激活函数，并且
[0014]
所述relu激活函数前后设置了两个全连接层以形成门控机制并使注意力模块的最终输出表示如下：
[0015]
x
fuse
＝f
scale
(uc,sc)＝uc·
scꢀꢀꢀꢀꢀꢀ
(4)；
[0016]
其中，f
scale
表示特征图uc和sc进行逐通道相乘操作，x
fuse
表示注意力模块最终输出的自适应融合深度特征；
[0017]
所述自蒸馏模块的目标函数的数学表达式如下：
[0018]
l＝αl
hard
(p,y)+(1-α)l
soft
(e,ei)+i(e,ei)
ꢀꢀꢀꢀꢀ
(5)；
[0019]
其中，p是模型的最终预测，y是数据集的真实标签，l
hard
是使用真实标签的硬损失，l
soft
是使用每个通道子分类器逻辑单元输出的知识蒸馏损失，α是平衡软损失和硬损失的超参数；
[0020]
所述自蒸馏模块的使用真实标签的硬损失l
hard
以及使用每个通道子分类器逻辑单元输出的知识蒸馏损失l
soft
的数学表达式分别如下：
[0021][0022][0023][0024][0025]
其中，c表示通道数，m为通道总数，vi是模型深层最终的的逻辑单元输出，zi是模型前层多通道特征提取网络子分类器的逻辑单元输出，t是温度系数，n是总的真实标签数量，是模型在温度系数为t的情况下对标签为第i类的预测值，是前层深度提取网络的子分类器在温度系数为t的情况下对标签为第i类的预测值；
[0026]
所述分类器模块由四层全连接层组成且最后经过softmax层得到最终预测结果。
[0027]
作为优选，在所述注意力模块之中，第二个全连接层维度大于第一个全连接层。
[0028]
作为优选，模型采用互信息进行特征提取器的训练。
[0029]
更进一步的，所述互信息的损失项的数学表达式如下：
[0030][0031]
其中，i(
·
)是两个随机变量的互信息，e是模型最终的逻辑单元输出，ei是第i个通道的特征提取网络子分类器的逻辑单元输出。
[0032]
作为优选，在所述分类器模块之中，四层全连接层的大小分别为256，64，32。
[0033]
本发明的有益效果：
[0034]
基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型由多通道深度特征提取网络模块、注意力模块、多通道自蒸馏框架和分类器模块四个部分组成。本模型将原始eeg信号作为模型的输入，利用多通道卷积神经网络模块提取到包含不同信息的深度特征，通过注意力模块自适应融合来自两个通道的深度特征并在特征空间中形成更具有可分性的空间，提高模型推理的准确率。此外，自蒸馏机制将模型深层学习到的知识传递给浅层，这加快了模型收敛并提高了拟合能力。本发明还引入基于响应的知识蒸馏进行知识的传递。同时，为了更好地传递知识，又引入互信息，缩小前层网络与深层网络的差距。
[0035]
与教师-学生模式的知识蒸馏相比，自蒸馏在不需要单独引入教师模型的前提下，将深层网络的知识有效地传递给浅层网络，提高了模型的性能。同时也不会受到教师模型性能的影响，保证了知识传递的稳定性，提高了模型的泛化能力。
[0036]
综上所述，本发明提出的基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型具有以下特点：
[0037]
(1)本发明提出的模型可通过多通道卷积神经网络提取对原始eeg信号进行卷积操作，提取深度特征，并通过注意力模块自适应融合深度特征，在新的特征空间中形成更可分辨的深度特征，有效提高了自动检测癫痫的准确率。
[0038]
(2)本发明所提出的结合多通道卷积神经网络和互信息的自蒸馏与传统的教师-学生模式的知识蒸馏相比，不需要引入单独的教师模型，可通过中间层子分类器的逻辑单元输出将模型深层网络学习到的知识传递给浅层网络，有效提高了模型自动检测癫痫的准确率。同时，基于响应的知识蒸馏和互信息的引入有效地将深层网络学习到的知识传递给浅层网络。
[0039]
(3)本发明提出的模型在bonn癫痫数据集上的实验结果表明，该模型在不同评价标准上优于最先进的方法。
[0040]
本发明的特征及优点将通过实施例结合附图进行详细说明。
【附图说明】
[0041]
图1是基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型的网络结构图；
[0042]
图2是互信息；
[0043]
图3是训练过程中正确率曲线；
[0044]
图4是训练过程中损失曲线。
【具体实施方式】
[0045]
实施例一、基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型的模型架构、实现过程和算法流程：
[0046]
1.基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型的模型架构：
[0047]
本发明专注于深层网络中逻辑单元输出包含的暗知识并分别传递给两个通道的浅层网络，提出基于“挤压-激励”机制的自适应多通道自蒸馏癫痫检测模块，包括多通道卷积神经网络模块、注意力模块、自蒸馏模块和分类器模块。如图1所示，本发明将原始eeg数据xi＝(x1,x2,
…
,xn)
t
作为模型的输入，通过逐层卷积和池化操作得到多通道深度特征。子分类器的引入使得中间层能够通过全连接层获得逻辑单元输出ei＝(e1,e2)
t
。引入温度系数t通过基于响应的知识蒸馏传递深层网络逻辑单元中包含的暗知识。注意力模块的引入使得通过卷积和池化操作获得的多通道深度特征在新的特征空间中生成更具表征能力的深度特征。
[0048]
2.基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型的实现过程：
[0049]
卷积神经网络被广泛应用于提取输入信号的深度特征，本发明采用一维卷积神经网络作为模型的多通道深度特征提取器并将提取到的深度特征表示如下：
[0050]
x
deep
＝δ(ω*x+b)
ꢀꢀꢀꢀꢀꢀꢀ
(1)；
[0051]
其中，δ表示激活函数，ω表示卷积核，x为模型输入数据，b表示偏置，ω和b被设置为随机初始值。
[0052]
为了充分利用两个通道的卷积神经网络获得的深度特征，提高模型对信息的敏感程度，降低信息冗余度，本发明提出了基于“挤压-激励”机制的注意力模块以捕获多通道深度特征中的空间相关性。若卷积神经网络中使用的是局部感受野，那么得到特征无法利用该感受野的上下文信息，为缓解通道依赖性问题，本发明将信息处理过程分为嵌入全局信息(即“挤压”过程)和自适应校准(即“激励”过程)。
[0053]
为了充分利用每个通道的深度特征所包含的信息，缓解通道依赖性问题，通过全局平均池化来压缩全局空间信息。假设输入的深度特征为uc，特征图大小为h
×
w，嵌入全局信息的过程可表示如下：
[0054][0055]
其中，zc为嵌入全局信息的深度特征。
[0056]
经过“挤压”操作后得到的深度特征嵌入了丰富的空间信息，能够有效缓解通道依赖性问题。为了进一步充分利用这些聚合的信息，捕获通道间空间依赖关系，对深度特征进行自适应校准，本发明通过应用sigmoid激活函数以提高注意力模块的非线性表征能力且“激励”过程表示如下：
[0057]
s＝f
ex
(z,w)＝σ(g(z,w))＝σ(w2δ(w1z))
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)；
[0058]
其中，s为经过自适应调整后得到的深度特征，σ表示sigmoid激活函数，δ表示relu激活函数，并且
[0059]
为了降低注意力模块复杂度并且提高模型泛化能力，本发明在relu激活函数前后设置了两个全连接层，且第二个全连接层维度大于第一个全连接层，从而形成门控机制。注意力模块的最终输出可表示如下：
[0060]
x
fuse
＝f
scale
(uc,sc)＝uc·
scꢀꢀꢀꢀꢀꢀ
(4)；
[0061]
其中，f
scale
表示特征图uc和sc进行逐通道相乘操作，x
fuse
表示注意力模块最终输出的自适应融合深度特征。
[0062]
知识蒸馏通常选择缩小模型与目标分布的交叉熵损失来提高模型的性能，并且能够提高泛化性能、缓解过拟合现象。本发明结合知识蒸馏和互信息设计了一个新的目标函数，数学表达式如下：
[0063]
l＝αl
hard
(p,y+(1-α)l
soft
(e,ei)+i(e,ei)
ꢀꢀꢀꢀ
(5)；
[0064]
其中，p是模型的最终预测，y是数据集的真实标签，l
hard
是使用真实标签的硬损失，l
soft
是使用每个通道子分类器逻辑单元输出的知识蒸馏损失，α是平衡软损失和硬损失的超参数。
[0065]
本发明采用交叉熵损失函数作为硬损失，数学表达式如下：
[0066][0067]
其中，c表示通道数，m为通道总数。
[0068]
本发明采用基于响应的知识蒸馏将模型深层网络最终的逻辑单元输出中包含的信息传递给浅层的逻辑单元，提高模型的性能，同时通过浅层网络的子分类器获得各个通道深度特征提取网络的逻辑单元输出，数学表达式如下：
[0069][0070][0071][0072]
其中，vi是模型深层最终的的逻辑单元输出，zi是模型前层多通道特征提取网络子分类器的逻辑单元输出，t是温度系数，n是总的真实标签数量，是模型在温度系数为t的情况下对标签为第i类的预测值，是前层深度提取网络的子分类器在温度系数为t的情况下对标签为第i类的预测值。
[0073]
近期许多无监督和自监督表征学习用到互信息(mutual information)进行特征提取器的训练。为了保证知识有效传递，本技术在引入知识蒸馏的情况下，同时引入互信息，希望通过最大化深层网络的逻辑单元输出和浅层网络子分类器的逻辑单元输出的互信息，提高模型学习知识的效率，同时提高模型性能。如图2所示，互信息可以用来度量两个变量的依赖程度且损失项的数学表达式如下：
[0074][0075]
其中，i(
·
)是两个随机变量的互信息，e是模型最终的逻辑单元输出，ei是第i个通道的特征提取网络子分类器的逻辑单元输出。
[0076]
模型的分类器由四层全连接层组成，大小分别为256，64，32。最后经过softmax层得到最终预测结果。
[0077]
3.基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型的算法流程：
[0078]
基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型的算法流程如下表1所示：
[0079][0080][0081]
表1基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型的算法流程
[0082]
实施例二、基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型的的实验与分析：
[0083]
1.数据集：
[0084]
本实施例实验所用的eeg信号实验数据来自德国波恩大学癫痫研究中心数据库，经预处理后公开发布在uci数据库。如表2所示，数据集分为a、b、c、d和e五个组，每个组包含100个单通道采样率为173.6hz的eeg信号，采样时间为23.6s，包含4097个采样点。其中d、e两组采集的是5个健康志愿者的eeg信号，a、b和c组采集的是癫痫患者的eeg信号，a组是在5名癫痫患者癫痫发作期致痫灶内域采集到的eeg数据，b组是在5名癫痫患者癫痫发作间歇期致痫灶对侧域采集到的eeg数据，c组是在5名癫痫患者癫痫未发作期间致痫灶内域采集到的eeg数据；d组是在志愿者闭眼状态下所采集到的信号，e组是在志愿者睁眼状态下所采集到的信号。
[0085][0086]
表2 bonn癫痫数据集描述
[0087]
为验证模型在不同实验条件下的表现，将bonn数据集进一步划分为四个实验数据集。如表3所示，dataset1-dataset3包含了癫痫患者在不同状态下的eeg信号，dataset4则按照癫痫患者与健康志愿者不同发作期的eeg信号进行划分。
[0088][0089]
表3实验数据集描述
[0090]
2.实验设置：
[0091]
算法的实验环境：geforce rtx 2070 super with 8g ram，amd ryzen 5 3600 3.6ghz and 32g ram，the 64-bit microsoft windows 10。编程环境：python3.6.1，pytorch v1.6。
[0092]
在本实施例中，我们以准确率、敏感度、特异度和f1-score来评价模型的性能。这三个指标可以表示如下：
[0093]
[0094][0095][0096][0097]
其中，tp为真阳性，表示癫痫段正确检测到的癫痫段数；fn为假阴性，表示癫痫段错误检测到的非癫痫段数；tn为真阴性，表示非癫痫段正确检测到的非癫痫段数；fp为假阳性，表示非癫痫段错误检测到的癫痫段数。
[0098]
在本实施例中，采用十折交叉验证方法寻找最优参数，将数据集分成十个子集，其中九个用作训练模型，剩下一个用作测试模型性能，重复执行十次。
[0099]
3.实验结果：
[0100]
本实施例通过十折交叉验证对模型进行训练，训练过程中正确率和损失变化如图3和图4所示。从图3和图4中可以看出，训练刚开始模型的损失较高、准确率较低，随着训练次数的增加，损失降低，模型准确率提升。本实施例将得到的实验结果与近期在bonn数据集上应用的机器学习和深度学习方法进行了对比。如表4所示，本实施例总结了所提出方法和其他方法的实验结果，最好的结果用粗体进行标记。所有数据子集的平均准确率、灵敏度、特异性和f1-socre分别为99.35
±
0.76％，99.25
±
0.73％，99.35
±
1.03％，99.35
±
0.76％(在表中，na表示“不适用”，说明该数据未用于本研究)。此外，在表4中，组1为《epileptic seizuredetectionusingmultiwavelettransformbasedapproximateentropyand artificialneuralnetworks》中提出的方法，组2为《onlineseizurepredictionusing anadaptivelearningapproach》中提出的方法，组3为《epilepticseizure classificationofeegtime-seriesusingrationaldiscreteshort-timefouriertransform》中提出的方法，组4为《automaticepilepticseizuredetectionbasedonempirical modedecompositionanddeepneuralnetwork》中提出的方法，组5为本发明的检测方法。
[0101][0102]
表4在bonn数据集上现有癫痫发作检测方法的分类性能对比
[0103][0104]
表5不同特征融合方法的分类性能对比
[0105]
基于“挤压-激励”机制的注意力模块能够自适应融合深度特征，为了验证注意力模块的有效性，本实施例将获得的多通道深度特征进行相加和拼接，并进行对比。实验结果如表6所示，在本实施例所提出的方法中加法的性能好于拼接，同时注意力模块的表现由于加法和拼接，在准确率、灵敏度、特异性和f1-score均取得最佳效果。实验结果表明，基于“挤压-激励”机制的注意力模块能够自适应融合多通道深度特征，在新的特征空间形成更有利于模型进行分类识别的深度特征。
[0106][0107]
表6不同特征融合方式在bonn数据集上的分类性能
[0108]
为了验证自蒸馏的引入能够有效地将模型深层网络学习到的知识有效地传递给浅层网络，本实施例在经过划分后的四个数据集上进行实验，将使用知识蒸馏和不使用知识蒸馏的情况下模型的性能进行对比。如表7所示，在dateset1和dataset3上，使用知识蒸馏时模型的准确率、灵敏度、特异性和f1-score均优于不使用知识蒸馏时的表现；在dataset2和dataset4上，除灵敏度外，准确率、特异性和f1-score均优于不使用知识蒸馏时的表现。实验结果表明，自蒸馏的应用能有效地将模型深层网络学习到的知识通过逻辑单元输出传递给浅层网络，有效地提高了模型的性能。
[0109][0110]
表7知识蒸馏对模型分类性能的影响
[0111]
为进一步验证得到的深度特征具备可靠的分类能力，本实施例与五种不同的机器学习算法分类器进行对比，分别为支持向量机(support vector machine，svm)、随机森林(random forest，fr)、决策树(decision tree，dt)、k近邻(k-nearest neighbors，knn)和朴素贝叶斯(naive bayes，nb)。实验结果如表8至表10所示，在划分的四个数据集中，本实施例所提出的方法在准确率、灵敏度、特异性和f1-score的表现均优于其他五个分类器。因此，本发明所提出的模型能有效提取到深度特征中的信息并具有可靠的分类能力。
[0112][0113][0114]
表8不同分类器在dataset1上的分类性能
[0115][0116]
表9不同分类器在dataset2上的分类性能
[0117][0118]
表10不同分类器在dataset3上的分类性能
[0119]
本实施例采用基于响应的知识蒸馏方式，使模型深层网络学习到的知识通过逻辑单元输出传递给浅层网络，多通道浅层网络的逻辑单元输出通过两个子分类器获得，子分
类器的性能表现如表11至表15所示。实验数据表明，模型最终输出的预测在准确率、灵敏度、特异性和f1-score的表现均优于两个子分类器。此外，知识蒸馏的引入可以在提高模型最终预测结果的性能的同时提高中间层的子分类器的性能，而两个通道的子分类器(c1，c2)具有比较接近的表现。
[0120][0121]
表11不同分类器在dataset4上的分类性能
[0122][0123]
表12子分类器在dataset1上的分类性能
[0124][0125][0126]
表13子分类器在dataset2上的分类性能
[0127][0128]
表14子分类器在dataset3上的分类性能
[0129][0130]
表15子分类器在dataset4上的分类性能
[0131]
上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。

技术特征：
1.基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型，其特征在于：包括多通道卷积神经网络模块、注意力模块、自蒸馏模块和分类器模块；所述多通道卷积神经网络模块提取到的深度特征表示如下：x
deep
＝δ(ω*x+b)
ꢀꢀꢀ
(1)；其中，δ表示激活函数，ω表示卷积核，x为模型输入数据，b表示偏置，ω和b被设置为随机初始值；所述注意力模块用于捕获多通道深度特征中的空间相关性并将信息处理过程分为嵌入全局信息过程和自适应校准过程，所述嵌入全局信息过程和自适应校准过程分别表示如下：s＝f
ex
(z，w)＝σ(g(z，w))＝σ(w2δ(w1z))
ꢀꢀꢀꢀ
(3)；其中，z
c
为嵌入全局信息的深度特征，s为经过自适应调整后得到的深度特征，σ表示sigmoid激活函数，δ表示relu激活函数，并月所述relu激活函数前后设置了两个全连接层以形成门控机制并使注意力模块的最终输出表示如下：x
fuse
＝f
scale
(u
c
，s
c
)＝u
c
·
s
c
ꢀꢀꢀꢀ
(4)；其中，f
scale
表示特征图u
c
和s
c
进行逐通道相乘操作，x
fuse
表示注意力模块最终输出的自适应融合深度特征；所述自蒸馏模块的目标函数的数学表达式如下：l＝αl
hard
(p，y)+(1-α)l
soft
(e，e
i
)+i(e，e
i
)
ꢀꢀꢀꢀ
(5)；其中，p是模型的最终预测，y是数据集的真实标签，l
hard
是使用真实标签的硬损失，l
soft
是使用每个通道子分类器逻辑单元输出的知识蒸馏损失，α是平衡软损失和硬损失的超参数；所述自蒸馏模块的使用真实标签的硬损失l
hard
以及使用每个通道子分类器逻辑单元输出的知识蒸馏损失l
soft
的数学表达式分别如下：的数学表达式分别如下：的数学表达式分别如下：的数学表达式分别如下：其中，c表示通道数，m为通道总数，v
i
是模型深层最终的的逻辑单元输出，z
i
是模型前层多通道特征提取网络子分类器的逻辑单元输出，t是温度系数，n是总的真实标签数量，是模型在温度系数为t的情况下对标签为第i类的预测值，是前层深度提取网络的子分类
器在温度系数为t的情况下对标签为第i类的预测值；所述分类器模块由四层全连接层组成且最后经过softmax层得到最终预测结果。2.如权利要求1所述的基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型，其特征在于：在所述注意力模块之中，第二个全连接层维度大于第一个全连接层。3.如权利要求1所述的基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型，其特征在于：模型采用互信息进行特征提取器的训练。4.如权利要求3所述的基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型，其特征在于：所述互信息的损失项的数学表达式如下：其中，i(
·
)是两个随机变量的互信息，e是模型最终的逻辑单元输出，e
i
是第i个通道的特征提取网络子分类器的逻辑单元输出。5.如权利要求1所述的基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型，其特征在于：在所述分类器模块之中，四层全连接层的大小分别为256，64，32。

技术总结
本发明公开了基于“挤压-激励”机制的多通道自蒸馏癫痫检测模型，包括包括多通道卷积神经网络模块、注意力模块、自蒸馏模块和分类器模块。本模型将原始EEG信号作为模型的输入，利用多通道卷积神经网络模块提取到包含不同信息的深度特征，通过注意力模块自适应融合来自两个通道的深度特征并在特征空间中形成更具有可分性的空间，提高模型推理的准确率。此外，自蒸馏机制将模型深层学习到的知识传递给浅层，这加快了模型收敛并提高了拟合能力。本发明还引入基于响应的知识蒸馏进行知识的传递。同时，为了更好地传递知识，又引入互信息，缩小前层网络与深层网络的差距。前层网络与深层网络的差距。前层网络与深层网络的差距。


技术研发人员：蒋云良 张雄涛 王铭辰 楼俊钢 魏玉震
受保护的技术使用者：湖州师范学院
技术研发日：2023.06.09
技术公布日：2023/10/15