基于图像识别技术的异常脑电波识别以及归类方法与流程

1.本发明属于脑电波数据处理及存储技术领域，具体涉及基于图像识别技术的异常脑电波识别以及归类方法。


背景技术：

2.脑电波（electroencephalogram,eeg）是一种使用电生理指标记录大脑活动的方法，大脑在活动时，大量神经元同步发生的突触后电位经总和后形成的。它记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。2020年3月30日，美国加州大学旧金山分校的科研团队使用深度神经网络实现了将脑电波翻译成为英文句子。脑电波是一些自发的有节律的神经电活动，其频率变动范围在每秒1－30次之间的，可划分为四个波段，即δ（0.5－3hz）、θ（4－7hz）、α（8－13hz）、β（14－30hz）。除此之外，在觉醒并专注于某一事时，常可见一种频率较β波更高的γ波，其频率为30~80hz，波幅范围不定；而在睡眠时还可出现另一些波形较为特殊的正常脑电波，如驼峰波、σ波、λ波、κ-复合波、μ波等。将不同频率的脑电波反映出来的脑电图作为人工智能系统的输入，可以反映大脑的异常放电等情况，从而为疾病诊断奠定基础，可以用于诊断的疾病包括癫痫、抑郁症、多动症等等。
3.传统的基于脑电波的诊断过程是，首先对被测试人员进行24小时脑电采集，选择特定的脑电片段，由领域专家对生成的脑电波进行人工标注，基于这些标注数据集训练脑电波分类模型，在诊疗过程中将待处理图像输入该分类模型，判断是否存在异常脑电波。然而该方法存在异常脑电波图像库创建周期长、效率低、成本较高等问题。


技术实现要素：

4.本发明的目的在于提供基于图像识别技术的异常脑电波识别以及归类方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明采用了如下技术方案：基于图像识别技术的异常脑电波识别以及归类方法，包括以下步骤：s1、脑电波采集，利用无侵入式脑电波采集设备获取即时脑电，经过傅里叶变换等生成脑电波实时图像；s2、脑电波图像识别，该实时图像通过总线设备传输到图像计算模块，计算与该实时图像相关的一组语义相似脑电波图像；s3、脑电波图像选择，该组相似图像传回给操作员进行异常脑电波辅助选择，其中部分图像被选择加入待匹配图像集合；s4、异常脑电波识别与归类，重复步骤s1-s3，建立最终待匹配图像集合，操作员根据选择的若干相似图像，依据领域知识直接对脑电波实时图像识别，或者对该脑电波实时图像重新进行归类，打标签以后存入脑电波图像库。
6.优选的，所述上述s2中图像计算模块计算与实时图像相关的一组语义相似脑电波
图像，具体步骤如下：s2.1、向量化脑电波实时图像，以一维矩阵输入到图像计算模块；s2.2、图像计算模块从预训练的神经网络参数中恢复深度神经网络；s2.3、将深度神经网络迁移到脑电波图像领域；s2.4、以图找图一，根据深度神经网络计算与当前实时图像相关的一组图像。
7.优选的，所述步骤s4中重复计算以建立最终待匹配图像集合过程，包括如下步骤：s4.1、以图找图二，根据深度神经网络计算与当前实时图像相关的一组图像n张（n》》m），其中m表示操作员手工选择的相似图像，m》=1；s4.2、图像推荐过程需要对n张图像中每一张图像与集合p间的距离，最后根据距离的升序，把相似度最高的m张图像排在最前面，为了衡量n张图像中的第i张图像ni与待审查图像集合p={p1,p2,p3,
…
,p
t
} （t≥1）的距离，定义ni到集合p的平均距离d如下： （1）其中，‖n
i，
p
t
‖表示多维向量ni与p
t
之间的距离，当t=1的时候，表示计算的是待筛选图像与操作选的待比较图像；s4.3、图像推荐过程的终止条件，当相似度累积距离满足指定的阈值q，则推荐系统终止推荐相似的图像，假定推荐系统第m次推荐，则当次推荐的实际距离为：
ꢀꢀꢀ
(2)基于公式（2），我们计算推荐系统的累计距离s为：s=
ꢀꢀ
（3）相似度累积距离s大于等于指定的阈值q，则可以终止算法推荐过程，或者也可以由操作员手工终止推荐过程，阈值q是超参数，根据不同应用领域的不同，可以设定不同的超参数。
8.优选的，所述步骤s1中脑电波采集由脑电波采集模块完成，所述步骤s2中脑电波图像识别由图像计算模块完成，所述步骤s4中脑电波图像库由异常脑电波存储模块进行存储，所述步骤s3和步骤s4中相似脑电波图像由相似度展示模块供操作员控制。
9.本发明的技术效果和优点：利用基于图像识别技术，及时将待分类的图像进行计算，获取一组高相似度的图像，由操作员人工介入，实现图像评估识别或者重新标注，本发明专利与传统方法相比，通过迭代式的推荐高相似度图像，为领域专家的人工决策提供决策依据，减少决策的难度，提升决策的效率。
附图说明
10.图1为本发明流程示意图；图2为本发明基于图像识别技术的两阶段的图像推荐过程流程示意图；图3为本发明逻辑示意图；
图4为异常脑电波示意图。
具体实施方式
11.下面将结合本发明实施例中的附图1-图4，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
12.参照图1，基于图像识别技术的异常脑电波识别以及归类方法，包括以下步骤：s1、脑电波采集，利用无侵入式脑电波采集设备获取即时脑电，经过傅里叶变换等生成脑电波实时图像；s2、脑电波图像识别，该实时图像通过总线设备传输到图像计算模块，计算与该实时图像相关的一组语义相似脑电波图像，具体步骤如下：s2.1、向量化脑电波实时图像，以一维矩阵输入到图像计算模块；s2.2、图像计算模块从预训练的神经网络参数中恢复深度神经网络；s2.3、将深度神经网络迁移到脑电波图像领域；s2.4、以图找图一，根据深度神经网络计算与当前实时图像相关的一组图像；s3、脑电波图像选择，该组相似图像传回给操作员进行异常脑电波辅助选择，其中部分图像被选择加入待匹配图像集合；s4、异常脑电波识别与归类，重复步骤s1-s3，建立最终待匹配图像集合，操作员根据选择的若干相似图像，依据领域知识直接对脑电波实时图像识别，或者对该脑电波实时图像重新进行归类，打标签以后存入脑电波图像库，具体包括如下步骤：s4.1、以图找图二，根据深度神经网络计算与当前实时图像相关的一组图像n张（n》》m），其中m表示操作员手工选择的相似图像，m》=1；s4.2、如图2，基于图像识别技术的两阶段的图像推荐过程所示，需要对这n张图像中每一张图像就是与集合p间的距离，最后根据距离的升序，把相似度最高的m张图像排在最前面。在这个过程中，我们要解决的重要问题就是计算n张图像到集合p的距离。为了衡量n张图像中的第i张图像ni与待审查图像集合p={p1,p2,p3,
…
,p
t
} （t≥1）的距离，定义ni到集合p的平均距离d如下： （1）其中，‖n
i，
p
t
‖表示多维向量ni与p
t
之间的距离，具体的计算方式可以采用欧式距离等多种计算方法。当t=1的时候，表示计算的是待筛选图像与操作选的待比较图像；s4.3、图像推荐过程的终止条件，我们直观的认为，在辅助操作员的相似度推荐算法中，比如采用深度神经网络等，随着操作员的介入，集合p中的相似图像不断增多，推荐算法提供的相似图像应该具有更弱的相关性。我们参考强化学习的损失函数计算方式，设计递减的相似度累积距离函数，当相似度累积距离满足指定的阈值q，则推荐系统终止推荐相
似的图像。假定推荐系统第m次推荐，则当次推荐的实际距离为：
ꢀꢀꢀ
(2)基于公式（2），我们计算推荐系统的累计距离s为：s=
ꢀꢀꢀ
（3）相似度累积距离s大于等于指定的阈值q，则可以终止算法推荐过程，或者也可以由审查员手工终止推荐过程。阈值q是超参数，根据不同应用领域的不同，可以设定不同的超参数。
13.参照图3，该基于图像识别技术的异常脑电波识别以及归类方法需要由一系列的脑电波采集模块、图像计算模块、异常脑电波存储模块、空间距离计算模块和相似度展示模块等组成。无侵入式脑电波采集设备为自行开发的脑电波采集装置，其通过总线与图像计算模块相连接，可以实现实时的脑电波传输，在无侵入式的脑电波采集设备中，集成了常见的数据预处理算法，比如傅里叶变换等，图像计算模块读取采集设备传入的脑电波信号，在输入层将其转换为一维向量，在该模块内部通过前向传播获取脑电波信号的特征向量表示，通过与异常脑电波存储模块中对应的特征向量比较获取相似的一组图像，该组相似的图像通过视频接口传送给相似度展示模块，该模块可以使用一块高清晰的4k屏幕来实现，操作员选择部分图像，加入待比较相似图像集合，通过迭代的方式扩充该集合，直到空间距离计算模块判断超过阈值，则终止，操作员基于最终版的待比较图像集合进行人工识别，如果是新的异常类别，则手工标注，标注完成的图像持久化存储到异常脑电波存储模块。
14.基于该设备结构，我们提供一个示例如下所示。
15.1、无侵入式的脑电波采集设备实时采集实验人员的脑电波信号，预处理完成以后，输出为脑电波图像，如图4。
16.该图展示的是患者为典型失神发作情况下的脑电波，从该脑电波我们可以清楚看到，发作期的脑电波具有有规律的波动特征，这种波动特征是我们后面进行基于图像处理技术分析的基础。
17.2、该实时图像通过总线设备传输到图像相似度计算模块，计算与该实时图像相关的一组语义相似脑电波图像。完成该相似性计算的过程需要实现深度神经网络的领域迁移，其具体的计算过程为：2.1、图像相似度计算模块从预训练的神经网络参数中恢复深度神经网络；2.2、将深度神经网络迁移到脑电波图像领域，图像相似度计算模块从异常脑电波存储模块读取已经标记的脑电波图像信息，将这些标注数据在深度神经网络中前向传播，获取深度神经网络的微调；2.3、向量化无侵入式的脑电波采集设备输出的脑电波实时图像，以一维矩阵输入到图像计算模块；2.4、将该图像在深度神经网络中进行前向传播，获取特征向量表示，其表示方法为深度神经网络的倒数第二层的一维数据；2.5、将脑电波图像的特征向量与异常脑电波存储模块中的其他图像进行比较，比较方法是余弦夹角，夹角越小，说明相似度越高，从而实现以图找图，根据深度神经网络计
算与当前实时图像相关的一组图像。
18.2.6、将与该实时图像相关的一组语义相似脑电波图像通过总线传递给相似图像展示模块；3、该组相似图像传回给操作员进行异常脑电波辅助选择，其中部分图像被选择加入待匹配图像集合；4、重复以上过程，建立最终待匹配图像集合，操作员根据选择的若干相似图像，依据领域知识直接对脑电波实时图像识别，或者对该脑电波实时图像重新进行归类，打标签以后存入脑电波图像库。该过程中，距离的阈值为20。
19.本发明设计创新主要是重复计算以建立最终待匹配图像集合并最终进行识别与归类，该方法在异常图像数据集创建过程的创新为，对待分类的图像进行推荐的时候，推荐的是一组图片，这组图片与待分类图像有着语义上的相似性，但是往往无法直接为分类提供决策，扩充的相似图片需要领域专家介入才能最终确定其类别，并随之扩充了异常图像库，进而降低决策的难度，提升决策的效率。
20.最后应说明的是：以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于图像识别技术的异常脑电波识别以及归类方法，其特征在于，包括以下步骤：s1、脑电波采集，利用无侵入式脑电波采集设备获取即时脑电，经过傅里叶变换等生成脑电波实时图像；s2、脑电波图像识别，该实时图像通过总线设备传输到图像计算模块，计算与该实时图像相关的一组语义相似脑电波图像；s3、脑电波图像选择，该组相似图像传回给操作员进行异常脑电波辅助选择，其中部分图像被选择加入待匹配图像集合；s4、异常脑电波识别与归类，重复步骤s1-s3，建立最终待匹配图像集合，操作员根据选择的若干相似图像，依据领域知识直接对脑电波实时图像识别，或者对该脑电波实时图像重新进行归类，打标签以后存入脑电波图像库。2.根据权利要求1所述的基于图像识别技术的异常脑电波识别以及归类方法，其特征在于：所述上述s2中图像计算模块计算与实时图像相关的一组语义相似脑电波图像，具体步骤如下：s2.1、向量化脑电波实时图像，以一维矩阵输入到图像计算模块；s2.2、图像计算模块从预训练的神经网络参数中恢复深度神经网络；s2.3、将深度神经网络迁移到脑电波图像领域；s2.4、以图找图一，根据深度神经网络计算与当前实时图像相关的一组图像。3.根据权利要求2所述的基于图像识别技术的异常脑电波识别以及归类方法，其特征在于：所述步骤s4中重复计算以建立最终待匹配图像集合过程，包括如下步骤：s4.1、以图找图二，根据深度神经网络计算与当前实时图像相关的一组图像n张（n>>m），其中m表示操作员手工选择的相似图像，m>=1；s4.2、图像推荐过程需要对n张图像中每一张图像与集合p间的距离，最后根据距离的升序，把相似度最高的m张图像排在最前面，为了衡量n张图像中的第i张图像n
i
与待审查图像集合p={p1,p2,p3,
…
,p
t
} （t≥1）的距离，定义n
i
到集合p的平均距离d如下：
ꢀꢀ
（1）其中，‖n
i，
p
t
‖表示多维向量n
i
与p
t
之间的距离，当t=1的时候，表示计算的是待筛选图像与操作选的待比较图像；s4.3、图像推荐过程的终止条件，当相似度累积距离满足指定的阈值q，则推荐系统终止推荐相似的图像，假定推荐系统第m次推荐，则当次推荐的实际距离为：
ꢀꢀꢀꢀꢀ
(2)基于公式（2），我们计算推荐系统的累计距离s为：s=（3）相似度累积距离s大于等于指定的阈值q，则可以终止算法推荐过程，或者也可以由操作员手工终止推荐过程，阈值q是超参数，根据不同应用领域的不同，可以设定不同的超参数。
4.根据权利要求1所述的基于图像识别技术的异常脑电波识别以及归类方法，其特征在于：所述步骤s1中脑电波采集由脑电波采集模块完成，所述步骤s2中脑电波图像识别由图像计算模块完成，所述步骤s4中脑电波图像库由异常脑电波存储模块进行存储，所述步骤s3和步骤s4中相似脑电波图像由相似度展示模块供操作员控制。

技术总结
本发明公开了基于图像识别技术的异常脑电波识别以及归类方法，包括以下步骤：S1、脑电波采集，利用无侵入式脑电波采集设备获取即时脑电，生成脑电波实时图像；S2、脑电波图像识别，该实时图像传输到图像计算模块，计算与该实时图像相关的一组语义相似脑电波图像；S3、脑电波图像选择，该组相似图像传回给操作员进行异常脑电波辅助选择，其中部分图像被选择加入待匹配图像集合；S4、异常脑电波识别与归类，重复步骤S1-S3，建立最终待匹配图像集合，操作员根据选择的若干相似图像，对脑电波实时图像识别，或者对该脑电波实时图像重新进行归类，打标签以后存入脑电波图像库，通过迭代式的推荐高相似度图像，为人工决策提供决策依据，提升决策的效率。升决策的效率。升决策的效率。


技术研发人员：曲豫宾 李芳 李玲
受保护的技术使用者：南通联拓信息科技有限公司
技术研发日：2023.09.04
技术公布日：2023/10/8