一种基于时序特征图与注意力机制的心电图分类方法和装置

1.本发明涉及一种心电图分类技术，尤其涉及一种基于时序特征图与注意力机制的心电图分类方法和装置，属于图像分类技术领域。


背景技术：

2.目前，心电图分类已成为临床医学中一个非常重要的诊断手段。然而，由于心电信号具有较强的非平稳性和非线性性，在分类过程中存在着一系列的技术难点。
3.在现有技术中，已有相关研究采用小波变换对心电信号进行特征提取，再使用传统分类算法进行分类。例如，pan等人提出了一种基于小波变换和支持向量机的心电信号分类方法，该方法使用小波变换对心电信号进行特征提取，再使用支持向量机对特征进行分类。chen等人提出了一种基于小波变换和卷积神经网络的心电信号分类方法，该方法使用小波变换对心电信号进行特征提取，再使用卷积神经网络对特征进行分类。虽然这些方法已经取得了一定的分类效果，但是存在特征提取效果不够好和分类器的鲁棒性不够强等问题。


技术实现要素：

4.本发明的目的在于：针对现有技术的不足，现提出一种基于时序特征图与注意力机制的心电图分类方法和装置，将小波变换和注意力机制相结合，通过对心电信号中的不同频段进行特征提取，并采用多头自注意力机制对不同特征进行加权，进一步优化分类效果。
5.本发明的技术方案如下：
6.本发明公开一种基于时序特征图与注意力机制的心电图分类方法，具体操作步骤如下：
7.步骤一：基于小波变换方法将心电信号的时频特征编码为二维时序特征图；
8.步骤二：基于五个cnn block串行的特征提取模块提取出信号的时频特征；
9.步骤三：基于transformer编码模块中的多头自注意力机制对提取出的时频特征进行加权处理；
10.步骤四：基于分类模块中的全局池化层以及softmax线性分类器对不同心电信号进行分类，得到最终的输出结果。
11.进一步地，所述小波变换方法计算公式如下：
[0012][0013]
其中，为母小波函数，a为尺度数，b为平移数。
[0014]
进一步地，所述特征提取模块是由五个cnn block组成，每个cnn block是由卷积层、最大池化和非线性激活函数组成，前四个cnn block对特征图维度进行缩减，最后一个cnn block加强通道之间的信息融合，生成一个包含所有输入图像信息的低维度特征向量，
并调整通道数量为满足后续模块的使用。
[0015]
进一步地，所述特征提取模块计算公式为：
[0016]
o＝relu(bn(c1(m(in)))+bn(c3(in)))
[0017]
其中in为输入特征，o为输出特征，函数c1和函数c3分别表示为1
×
1卷积和3
×
3卷积，函数bn表示批归一化，relu为激活函数，m为最大池化。
[0018]
进一步地，所述多头自注意力机制为transformer编码模块中的组成部分，所述transformer编码模块由十二个transformer encoder模块组成，每个transformer encoder模块都进行多头自注意力运算。
[0019]
进一步地，所述多头自注意力机制计算公式为：
[0020]
multihead(q,k,v)＝concact(head1,head2,...,headi)wo[0021]
其中，multihead(q,k,v)为多头注意力的输出矩阵，wo表示输出层的权重矩阵，headi计算公式如下：
[0022]
headi＝attention(qi,ki,vi),qi＝qw
iq
,ki＝kw
ik
,vi＝vw
iv
[0023]
其中，q为查询向量，k为键向量，v为值向量，w
iq
,w
ik
,w
iv
分别表示第i个头注意力机制的权重矩阵。
[0024]
进一步地，所述步骤四中，具体步骤为：通过多个卷积层和池化层进行特征提取和降维，最后将得到的特征输入全连接层和softmax层，完成对心电信号特征的分类。
[0025]
本发明还公开了一种基于时序特征图与注意力机制的心电图分类装置，包括：
[0026]
转换编码模块：用于将心电信号的时频特征编码为二维时序特征图；
[0027]
特征提取模块：所述特征提取模块由五个cnn block组成，每个cnn block是由卷积层、最大池化和非线性激活函数组成，用于对心电信号中的不同频段进行特征提取；
[0028]
transformer编码模块：所述transformer编码模块由十二个transformer encoder模块组成，每个transformer encoder模块都进行多头自注意力运算，用于在序列数据中建立全局关联，并通过对序列中每个元素的加权聚合得到表示序列的向量；
[0029]
分类模块：通过全局池化层以及softmax线性分类器对不同心电信号进行分类，得到最终的输出结果。
[0030]
与现有的技术相比本发明的有益效果是：
[0031]
1、本发明采用小波变换和注意力机制相结合的方式，充分利用小波变换编码心电信号中的重要特征，并通过注意力机制对特征进行加权处理，以进一步提高分类的准确性和可靠性；采用基于小波变换和注意力机制的特征提取方法，具有较好的可拓展性和普适性，可以应用于不同类型的心电信号分类问题，具有更广阔的应用前景。
[0032]
2、本发明采用基于卷积神经网络的分类器，通过多个卷积层和池化层进行特征提取和降维，最后将得到的特征输入全连接层和softmax层，实现对心电信号的分类。相比传统的分类器，基于卷积神经网络的分类器具有更好的特征提取能力和分类性能。
[0033]
3、本发明通过使用多个注意力头，使得网络可以学习到不同方面的特征和关系，从而更好地捕捉数据中的不同信息。还可以让模型在不同的关注点上进行注意力计算，从而减少对单个注意力头的过度依赖，从而提高模型的鲁棒性。
附图说明
[0034]
图1为本发明的方法模型总体结构图；
[0035]
图2为本发明的特征提取模块网络结构图；
[0036]
图3为本发明的cnn block结构图；
[0037]
图4为本发明的自注意力机制结构图；
[0038]
图5为本发明的多头自注意力机制结构图.
具体实施方式
[0039]
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0040]
下面结合实施例对本发明的技术方案做进一步的详细描述。
[0041]
如图1所示，本发明公开一种基于时序特征图与注意力机制的心电图分类方法，具体操作步骤如下：
[0042]
步骤一：基于小波变换方法将心电信号的时频特征编码为二维时序特征图；
[0043]
步骤二：基于五个cnn block串行的特征提取模块提取出信号的时频特征；
[0044]
步骤三：基于transformer编码模块中的多头自注意力机制对提取出的时频特征进行加权处理；
[0045]
步骤四：基于分类模块中的全局池化层以及softmax线性分类器对不同心电信号进行分类，得到最终的输出结果。
[0046]
本发明为基于小波变换和注意力机制相结合的心电图分类方法，该方法首先用小波变换方法将心电信号转换为二维图像，然后再进行特征提取和分类。模型主要由特征提取模块、transformer编码模块和分类模块三部分组成。其中特征提取模块是由五个cnn block串行连接而成。transformer编码模块是网络的主要部分，由十二个transformer encoder模块组成，每个transformer encoder模块都进行多头自注意力运算。最终通过全局池化层以及softmax线性分类器对不同心电信号进行分类，得到最终的输出结果。
[0047]
在心电图分类中，小波变换可以将心电信号的时频特征编码为二维时序特征图，改变了特征的表示方式，免去复杂的预处理流程。这些特征可以作为分类器的输入，通过卷积神经网络进行分类和识别。同时，由于小波变换具有良好的局部性，可以对信号的局部特征进行分析，使得心电图分类更加准确和可靠。小波变换的计算如下所示：
[0048][0049]
其中，为母小波函数，a为尺度数，b为平移数。
[0050]
传统的特征提取过程，如最大池化和平均池化会损失掉过多的图像的语义信息。
对于心电图像而言，丢失掉过多的图像语义信息是不利于提高分类的效果的。因此，如图2所示，本发明参考传统的特征提取方式，设计了一种既能够对图像进行特征提取又不至于损失过多的图像语义信息的特征提取模块，特征提取模块是由五个cnn block组成，每个cnn block是由卷积层、最大池化和非线性激活函数组成。
[0051]
如图3所示，前四个cnn block起到对特征图维度缩减的作用，最后一个cnn block加强通道之间的信息融合，生成一个包含所有输入图像信息的低维度特征向量，并调整通道数量为满足后续模块的使用，计算公式如下：
[0052]
o＝relu(bn(c1(m(in)))+bn(c3(in)))
[0053]
其中in为输入特征，o为输出特征，函数c1和函数c3分别表示为1
×
1卷积和3
×
3卷积，函数bn表示批归一化，relu为激活函数，m为最大池化。
[0054]
自注意力机制(self-attention mechanism，sam)是transformer模型中的核心组成部分，用于在序列数据中建立全局关联，并通过对序列中每个元素的加权聚合得到表示序列的向量。在自然语言处理中，序列数据可以是文本中的单词或字符，而在图像处理中，序列数据可以是图像中的像素或区域。
[0055]
如图4所示，自注意力机制基本思想是通过对序列中所有元素之间的相似性进行建模，来计算每个元素对于序列中其他元素的重要性，并通过加权聚合得到一个全局表示。具体来说，对于一个输入序列x＝[x1,x2,...,xn]，可以通过自注意力机制得到一个输出序列y＝[y1,y2,...,yn]，其中每个元素yi是对所有元素的加权和，xi经过线性变换得到三个向量q,k,v，分别被称为查询向量q、键向量k和值向量v，用于计算每个元素与其他元素之间的相似度和权重。计算公式如下：
[0056]
q＝wqx,k＝wkx,v＝wvx
[0057]
然后通过点积(dot-product)或缩放点积(scaled dot-product)的方式计算元素之间的相似度和权重，计算公式如下：
[0058][0059]
其中，为缩放因子，softmax函数用于计算每个元素的权重，得到一个n维的向量，将该向量与值向量v相乘并加和，得到元素x的表示向量y。
[0060]
自注意力机制能够充分利用输入序列中的所有信息，对于任意两个输入位置之间的相关性都进行了考虑和建模，提升了模型的表达能力。此外，还能够提供可解释性强的信息，因为它能够将模型在处理过程中关注的位置进行可视化，从而帮助理解模型的决策过程，因而对图像分类任务极为重要。
[0061]
如果仅用边的自注意力机制得到的结果难免过于单一，难以应对复杂的实际应用环境。如图5所示，通过多头自注意力机制(multi-head self-attention，mhsa)，可以引入多组查询、键和值，从而能够同时关注输入信息的不同方面，如局部细节和全局结构等，更好地捕捉输入信息的特征，提高模型的表现力。计算公式如下：
[0062]
multihead(q,k,v)＝concact(head1,head2,...,headi)wo[0063]
其中，multihead(q,k,v)为多头注意力的输出矩阵，wo表示输出层的权重矩阵，headi计算公式如下：
[0064]
headi＝attention(qi,ki,vi),qi＝qw
iq
,ki＝kw
ik
,vi＝vw
iv
[0065]
其中，q为查询向量，k为键向量，v为值向量，w
iq
,w
ik
,w
iv
分别表示第i个头注意力机制的权重矩阵。
[0066]
总的来说，多头自注意力机制通过使用多个注意力头，使得网络可以学习到不同方面的特征和关系，从而更好地捕捉数据中的不同信息。还可以让模型在不同的关注点上进行注意力计算，从而减少对单个注意力头的过度依赖，从而提高模型的鲁棒性。
[0067]
本发明还公开了一种基于时序特征图与注意力机制的心电图分类装置，包括：
[0068]
转换编码模块，用于将心电信号的时频特征编码为二维时序特征图；
[0069]
特征提取模块，所述特征提取模块由五个cnn block组成，每个cnn block是由卷积层、最大池化和非线性激活函数组成，用于对心电信号中的不同频段进行特征提取；
[0070]
transformer编码模块，所述transformer编码模块由十二个transformer encoder模块组成，每个transformer encoder模块都进行多头自注意力运算，用于在序列数据中建立全局关联，并通过对序列中每个元素的加权聚合得到表示序列的向量；
[0071]
分类模块，通过全局池化层以及softmax线性分类器对不同心电信号进行分类，得到最终的输出结果。
[0072]
本技术的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。

技术特征：
1.一种基于时序特征图与注意力机制的心电图分类方法，其特征在于，具体操作步骤如下：步骤一：基于小波变换方法将心电信号的时频特征编码为二维时序特征图；步骤二：基于五个cnn block串行的特征提取模块提取出信号的时频特征；步骤三：基于transformer编码模块中的多头自注意力机制对提取出的时频特征进行加权处理；步骤四：基于分类模块中的全局池化层以及softmax线性分类器对不同心电信号进行分类，得到最终的输出结果。2.根据权利要求1所述的一种基于时序特征图与注意力机制的心电图分类方法，其特征在于，所述小波变换方法计算公式如下：其中，为母小波函数，a为尺度数，b为平移数。3.根据权利要求1所述的一种基于时序特征图与注意力机制的心电图分类方法，其特征在于，所述特征提取模块是由五个cnn block组成，每个cnn block是由卷积层、最大池化和非线性激活函数组成，前四个cnn block对特征图维度进行缩减，最后一个cnn block加强通道之间的信息融合，生成一个包含所有输入图像信息的低维度特征向量，并调整通道数量为满足后续模块的使用。4.根据权利要求3所述的一种基于时序特征图与注意力机制的心电图分类方法，其特征在于，所述特征提取模块的计算公式为：o＝relu(bn(c1(m(in)))+bn(c3(in)))其中in为输入特征，o为输出特征，函数c1和函数c3分别表示为1
×
1卷积和3
×
3卷积，函数bn表示批归一化，relu为激活函数，m为最大池化。5.根据权利要求1所述的一种基于时序特征图与注意力机制的心电图分类方法，其特征在于，所述多头自注意力机制为transformer编码模块中的组成部分，所述transformer编码模块由十二个transformer encoder模块组成，每个transformer encoder模块都进行多头自注意力运算。6.根据权利要求5所述的一种基于时序特征图与注意力机制的心电图分类方法，其特征在于，所述多头自注意力机制的计算公式为：multihead(q,k,v)＝concact(head1,head2,...,head
i
)w
o
其中，multihead(q,k,v)为多头注意力的输出矩阵，w
o
表示输出层的权重矩阵，head
i
计算公式如下：head
i
＝attention(q
i
,k
i
,v
i
),q
i
＝qw
iq
,k
i
＝kw
ik
,v
i
＝vw
iv
其中，q为查询向量，k为键向量，v为值向量，w
iq
,w
ik
,w
iv
分别表示第i个头注意力机制的权重矩阵。7.根据权利要求1所述的一种基于时序特征图与注意力机制的心电图分类方法，其特征在于，所述步骤四中，具体步骤为：通过多个卷积层和池化层进行特征提取和降维，最后将得到的特征输入全连接层和softmax层，完成对心电信号特征的分类。
8.一种基于时序特征图与注意力机制的心电图分类装置，其特征在于，包括：转换编码模块，用于将心电信号的时频特征编码为二维时序特征图；特征提取模块，所述特征提取模块由五个cnn block组成，每个cnn block是由卷积层、最大池化和非线性激活函数组成，用于对心电信号中的不同频段进行特征提取；transformer编码模块，所述transformer编码模块由十二个transformer encoder模块组成，每个transformer encoder模块都进行多头自注意力运算，用于在序列数据中建立全局关联，并通过对序列中每个元素的加权聚合得到表示序列的向量；分类模块，通过全局池化层以及softmax线性分类器对不同心电信号进行分类，得到最终的输出结果。

技术总结
本发明公开一种基于时序特征图与注意力机制的心电图分类方法和装置，该方法具体操作步骤为：步骤一：基于小波变换方法将心电信号的时频特征编码为二维时序特征图；步骤二：基于五个CNN Block串行的特征提取模块提取出信号的时频特征；步骤三：基于Transformer编码模块中的多头自注意力机制对提取出的时频特征进行加权处理；步骤四：基于分类模块中的全局池化层以及Softmax线性分类器对不同心电信号进行分类，得到最终的输出结果。本发明采用小波变换和注意力机制相结合的方式，充分利用小波变换提取心电信号中的重要特征，并通过注意力机制对特征进行加权处理，以进一步提高分类的准确性和可靠性。的准确性和可靠性。的准确性和可靠性。


技术研发人员：李浩 邱晨阳 祁超群 李波 陈亦敏 李信衍
受保护的技术使用者：云南大学
技术研发日：2023.04.11
技术公布日：2023/7/25