基于图神经网络的头戴式脑体作业能力评估设备及方法与流程

1.本发明涉及人体信号获取及处理技术领域，尤其涉及基于图神经网络的头戴式脑体作业能力评估设备及方法。


背景技术：

2.从事高危行业的工作人员在经过一段时间的工作后，需要对其注意力水平和专业能力执行状况进行评估，判断其是否适合继续工作，保证人员和工程的安全稳定。在该领域现在普遍采用的方法是主观自我评价和心率呼吸等方法综合判定，具有数据比较主观，科学性差的问题。
3.而部分采用监测仪器的例如：cn201510650413.9 公开了便携式人体信号监测装置与人体信号监测方法，其包括：主监测组件和从监测组件。主监测组件包括第一监测电极、用于采集第一监测电极的监测信号的第一电极连接部、信号处理电路板以及用于向信号处理电路板供电的第一电源部件，其中第一电极连接部连接于信号处理电路板；从监测组件包括第二监测电极、用于采集第二监测电极的监测信号的第二电极连接部、第二电源部件；连接线缆用于连接主监测组件和从监测组件，以连通第一电源部件和第二电源部件，以及第二监测电极和信号处理电路板，信号处理电路板对第一监测电极的监测信号和对第二监测电极的监测信号进行处理和/或传输，从而持续进行人体信号监测。
4.cn200980158116.5 公开了使用光学信号判断人体状态与动作的系统以及判断人体状态的方法，其包括光学信号发送模块，被配置以产生并输出光学信号；光学信号传输模块，其可贴附至人体的一区域上并包括包含至少一切口部分的光学信号传输路径；以及人体状态分析模块，被配置以通过基于在至少一光学信号传输路径的至少一切口部分的间隙计算至少一光学信号传输路径上变化的光学传输率，判断人体状态的变化。在此，在至少一光学传输路径的至少一切口部分的间隙可依据人体区域的周围的变化而变化。
5.可知，现有技术存在以下缺点：1、未考虑多个指标间的关联关系、无法发觉潜在信息，评估精度较差；2、只是通过几个指标简单的评估，没有对工作人员的真实状况做进一步的信息采集和处理，指导意义较小。


技术实现要素：

6.为解决上述问题，本发明提供一种基于图神经网络的头戴式脑体作业能力评估设备及方法，可对被测者的多个生理指标进行精准的检测，然后依靠卷积图神经网络对数据处理得出被测者的评估结果，提高检测的准确度和可靠性。
7.为实现上述目的，本发明提供了基于图神经网络的头戴式脑体作业能力评估设备，包括用于采集多种生理数据的采集模块、与采集模块相连的adc转换模块和与adc转换模块相连的主控模块以及电源模块，主控模块上搭载有用于输入多种生理数据后输出评估结果的卷积图神经网络模型，卷积图神经网络模型以gcn网络和metalearning为框架。
8.优选的，adc转换模块包括依次连接的差分放大器、积分放大器和数字滤波器；差分放大器，用于对由采集模块采集的电压信号进行一级放大；积分放大器，用于通过改变积分时间，实现250sps到16ksps的分段式采样率；数字滤波器，用于对特定频率滤波后输出最终ad转换结果。
9.优选的，主控模块采用arm cortex-m4f 32位架构微处理器，搭配rtos操作系统；主控模块上还集成有蓝牙通信接口、wifi通信接口和4g无线通信接口，主控模块与上位机相通讯。
10.优选的，采集模块包括用于提取δ波、θ波、α波、β波和γ波五种脑电成分的五通道电极；生理数据包括人体心率、血氧、心率变异性和脑电特征。
11.优选的，采集模块还包括集成有660nm和880nm双波段的生物光学传感器，用于采集双波段ppg数据。
12.优选的，电源模块包括依次连接的电源、充放电管理模块和稳压输出模块，电源还与电源保护模块相连；电源采用锂电池，用于提供3.7v电压；充放电管理模块，用于锂电池正反接保护、充电状态的指示；稳压输出模块，用于将锂电池提供的3.7v电压转换成3.3v电压供给主控模块。
13.基于图神经网络的头戴式脑体作业能力评估设备的方法，包括以下步骤：s1、通过采集模块采集人体的多种生理数据并经adc转换模块后输入主控模块；s2、对生理数据构建图结构数据包；s3、将构建的图结构数据包输入卷积图神经网络模型处理后得到脑体作业分类评估结果。
14.优选的，步骤s2具体包括以下步骤：s21、利用五通道电极提取δ波、θ波、α波、β波和γ波五种脑电成分；s22、采用主成分分析和独立成分分析抑制运动噪声；s23、对五种脑电成分信号和生物光学传感器采集的ppg数据进行时域、频域分析，采用morlet小波变换进行特征提取，获取低频到高频多特征数据，生成数据向量；s24、根据步骤s23所述的数据向量构建图结构数据包。
15.步骤s22所述的主成分分析算法包括以下步骤：第一步、数据预处理：去除生理数据中的直流分量，并进行标准化；第二步、协方差矩阵：对脑电成分信号数据和ppg数据构建协方差矩阵，以描述不同信号的相关性：假设有m个样本和n个特征，将预处理后的数据表示为一个m
×
n的脑电数据矩阵x，计算协方差矩阵c：；式中，表示x的转置；第三步、特征值分解：对协方差矩阵进行特征值分解和特征向量，构成主成分矩阵v；
第四步、对不同信号选取对应维度n进行重建，重建信号：；步骤 s22 所述的独立成分分析算法包括以下步骤：第一步、构建混合模型：将预处理后的脑电成分信号表示为线性组合的形式：；式中，是观测信号矩阵，其大小为 h
×
t，h 表示通道数，t表示时间点数；是混合矩阵，其大小为 h
×
m，m 表示源信号的数量；是源信号矩阵，其大小为 m
×
t；第二步、ica求解：对混合模型进行独立成分分析，得到分离矩阵 和分离信号矩阵 ：；其中，分离矩阵的大小为h
×
n；分离信号矩阵的大小为m
×
t；第三步、成分选择：确定脑电信号和噪声成分；第四步、噪声去除：将被确定为噪声的成分从分离信号矩阵中去除，得到修复后的信号矩阵：；式中，是去除噪声成分后的分离矩阵，其大小为，表示剩余的脑电信号成分数量；第五步、重构信号：将修复后的信号矩阵 进行逆变换，得到重构的脑电信号矩阵：；式中，是重构的脑电信号矩阵，其大小为 。
16.优选的，步骤s3具体包括以下步骤：s31、利用公开数据集对卷积图神经网络模型预训练，以个人的脑体作业能力分类为网络模型的任务，实现对脑体作业能力的评分训练；s32、将由步骤s2获得的图结构数据包输入训练完毕的卷积图神经网络模型中，输出脑体作业分类评估结果。
17.本发明具有以下有益效果：1、通过使用头戴式设备评估高危作业人群工作状态的方法，能实时、高效并且准确的给出被测者的状态结果；2、通过使用卷积图神经网络对头戴式设备采集的数据进行多模态处理，能够挖掘多个指标数据间的关联关系，并得出最后的被测者的状态，从而提高检测精度；
3、设备电路采用低功耗、柔性fpc（flexible printed circuit），以及轻量化设计，满足穿戴的续航和舒适性的要求；4、对设备配备多种电极，用户可根据不同的环境采用不同的电极，以满足不同场景的需要。
18.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
19.图1为本发明的基于图神经网络的头戴式脑体作业能力评估设备的原理框图；图2为本发明的基于图神经网络的头戴式脑体作业能力评估设备的电路原理图；图3为本发明的基于图神经网络的头戴式脑体作业能力评估设备的方法的卷积图神经网络模型图；图4为本发明的基于图神经网络的头戴式脑体作业能力评估设备的方法的流程图；图5为本发明的基于图神经网络的头戴式脑体作业能力评估设备的方法的图结构数据包示意图。
具体实施方式
20.为了使本发明实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明实施例，并不用于限定本发明实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
21.需要说明的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
22.相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
23.在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
24.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
25.如图1-图3所示，基于图神经网络的头戴式脑体作业能力评估设备，包括用于采集
多种生理数据的采集模块、与采集模块相连的adc转换模块和与adc转换模块相连的主控模块以及电源模块，主控模块上搭载有用于输入多种生理数据后输出评估结果的卷积图神经网络模型，卷积图神经网络模型以gcn网络和metalearning为框架。优选的，主控模块上还集成有蓝牙通信接口、wifi通信接口和4g无线通信接口，拥有丰富的外设接口，可以根据不同的使用场景更改不同的配置。高度集成化下只占用极小体积的bga(ball grid array)封装适用于穿戴设备，主控模块与上位机相通讯。本实施例中，主控模块将adc采集的数据通过蓝牙传输给上位机。在工作时间里，高精度adc转换模块将采集的电压信号转换成数字量按约定的协议传给主控模块，主控模块使用无线通信将数字量打包给上位机。
26.其中，adc转换模块包括依次连接的差分放大器、积分放大器和数字滤波器；差分放大器，用于对由采集模块采集的电压信号进行一级放大；积分放大器，用于通过改变积分时间，实现250sps到16ksps的分段式采样率；数字滤波器，用于对特定频率滤波后输出最终ad转换结果，其通过调整和抽取，在分辨率和采样速率之间权衡，以期获得高质量的数据采样，每个通道上都集成有三阶sinc滤波器。
27.优选的，主控模块采用arm cortex-m4f 32位架构微处理器，搭配rtos操作系统，使用嵌入式技术可以最大程度减小功耗，可以在睡眠模式和启动模式下切换延长使用时间。
28.优选的，采集模块包括用于提取δ波、θ波、α波、β波和γ波五种脑电成分的五通道电极；生理数据包括人体心率、血氧、心率变异性和脑电特征。优选的，采集模块还包括集成有660nm和880nm双波段的生物光学传感器，用于采集双波段ppg数据。为了适应不同场景的采集需求，配备了多种电极，用户可根据不同场景适配不同的电极达到理想的检测精度和准确度。
29.优选的，电源模块包括依次连接的电源、充放电管理模块和稳压输出模块，电源还与电源保护模块相连，电源保护电路防止电源在使用过程中出现过载、短路、过压、欠压、过流等严重危害电池使用安全的现象；电源采用锂电池，用于提供3.7v电压，且以480mah的电能可支持系统长时间运行；充放电管理模块，用于锂电池正反接保护、充电状态的指示，其还可提供最高500ma的可编程充电电流以及在1个小时内将电池充满等功能；稳压输出模块，采样高精度ldo（low dropout regulator）芯片用于将锂电池提供的3.7v电压转换成3.3v电压供给主控模块，可实现2%的精度输出，噪声可控制在8uvrms以内，电压随温度的变化幅度仅在0.3%以内，可以最大提供2w的功耗。从而可实现type-c充电、稳定电压输出、提供电量信息的功能。
30.如图4和图5所示，基于图神经网络的头戴式脑体作业能力评估设备的方法，包括以下步骤：s1、通过采集模块采集人体的多种生理数据并经adc转换模块后输入主控模块；s2、人体生理数据比如心率、血氧、心率变异性和脑电特征等参数之间存在非欧式空间的拓扑关系，即普通机器学习方法或者深度学习网络无法达到理想的评估效果。因此对生理数据构建图结构数据包；s3、将构建的图结构数据包输入卷积图神经网络模型处理后得到脑体作业分类评估结果。
31.优选的，步骤s2具体包括以下步骤：
s21、利用五通道电极提取δ波、θ波、α波、β波和γ波五种脑电成分；其中，δ波：0.3-3.5hz代表了睡眠、疲劳，潜意识状态；θ波：4-7.5hz代表了困倦、深度放松、潜意识状态；α波：8-13hz代表了清醒、安静，是学习与思考的最佳状态；β波：14-30hz代表了思维活动、忙碌、紧张；γ波：30-80hz代表了高级认知活动，神经元兴奋性增高的表现；s22、采用主成分分析和独立成分分析抑制运动噪声；步骤s22所述的主成分分析算法包括以下步骤：第一步、数据预处理：去除生理数据中的直流分量，并进行标准化；第二步、协方差矩阵：对脑电成分信号数据和ppg数据构建协方差矩阵，以描述不同信号的相关性：假设有m个样本和n个特征（即电极通道），将预处理后的数据表示为一个m
×
n的脑电数据矩阵x，计算协方差矩阵c：；式中，表示x的转置；第三步、特征值分解：对协方差矩阵进行特征值分解和特征向量，构成主成分矩阵v；第四步、对不同信号选取对应维度n进行重建，重建信号：；步骤s22所述的独立成分分析算法包括以下步骤：第一步、构建混合模型：将预处理后的脑电成分信号表示为线性组合的形式：；式中，是观测信号矩阵，其大小为h
×
t，h表示通道数，t表示时间点数；是混合矩阵，其大小为h
×
m，m表示源信号（即脑电信号成分）的数量；是源信号矩阵，其大小为 m
×
t；第二步、ica求解：对混合模型进行独立成分分析，得到分离矩阵 和分离信号矩阵 ：；其中，分离矩阵的大小为h
×
n；分离信号矩阵的大小为m
×
t；第三步、成分选择：确定脑电信号和噪声成分；第四步、噪声去除：将被确定为噪声的成分从分离信号矩阵中去除，得到修复后的信号矩阵：；
式中，是去除噪声成分后的分离矩阵，其大小为，表示剩余的脑电信号成分数量；第五步、重构信号：将修复后的信号矩阵 进行逆变换，得到重构的脑电信号矩阵：；式中，是重构的脑电信号矩阵，其大小为 。
32.s23、对五种脑电成分信号和生物光学传感器采集的ppg数据进行时域、频域分析，采用morlet小波变换进行特征提取，获取低频到高频多特征数据如，等，生成数据向量；s24、根据步骤s23所述的数据向量构建图结构数据包。
33.优选的，步骤s3具体包括以下步骤：s31、利用公开数据集对卷积图神经网络模型预训练，以个人的脑体作业能力分类为网络模型的任务，实现对脑体作业能力的评分训练；s32、将由步骤s2获得的图结构数据包输入训练完毕的卷积图神经网络模型中，输出脑体作业分类评估结果（评分在0~1之间，且评分越高，作业能力越强；评分越低越疲劳）。
34.实施例在本实施例中，邀请3名志愿者作为日常驾驶员采集数据：3名志愿者从上午八点钟以后，以两个小时为一个周期，志愿者在这两个小时内模拟驾驶60分钟，然后休息60分钟，整个过程中佩戴本发明所述的基于图神经网络的头戴式脑体作业能力评估设备收集数据。同时邀请3名志愿者作为长时间驾驶员采集数据：志愿者在某一时刻中完成3小时的模拟驾驶，全程佩戴本发明所述的基于图神经网络的头戴式脑体作业能力评估设备采集数据。
35.日常驾驶员测试组在午后和夜间驾驶时，本发明所述的基于图神经网络的头戴式脑体作业能力评估设备输出结果平均在0.8以上，与志愿者描述状态相符合。长时间驾驶员测试组中，本发明所述的基于图神经网络的头戴式脑体作业能力评估设备的输出结果整体上随时间增加而上升，尤其在最后一个小时模拟驾驶中输出结果均值低于0.7，与志愿者状态描述相符合，从而证明了本发明的准确性。
36.因此，本发明采用上述基于图神经网络的头戴式脑体作业能力评估设备及方法，相比于现有技术，利用图神经网络能够有效处理数据间的拓扑关系，捕捉潜在的信息关联，得到更好的结果，从而能够更加有效精确的评估高危作业人员的工作状态是否适合继续工作；同时设备续航优越、穿戴舒适，并且多电极适应不同场景，应用范围广。
37.最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

技术特征：
1.基于图神经网络的头戴式脑体作业能力评估设备，其特征在于：包括用于采集多种生理数据的采集模块、与采集模块相连的adc转换模块和与adc转换模块相连的主控模块以及电源模块，主控模块上搭载有用于输入多种生理数据后输出评估结果的卷积图神经网络模型，卷积图神经网络模型以gcn网络和metalearning为框架。2.根据权利要求1所述的基于图神经网络的头戴式脑体作业能力评估设备，其特征在于：adc转换模块包括依次连接的差分放大器、积分放大器和数字滤波器；差分放大器，用于对由采集模块采集的电压信号进行一级放大；积分放大器，用于通过改变积分时间，实现250sps到16ksps的分段式采样率；数字滤波器，用于对特定频率滤波后输出最终ad转换结果。3.根据权利要求1所述的基于图神经网络的头戴式脑体作业能力评估设备，其特征在于：主控模块采用arm cortex-m4f 32位架构微处理器，搭配rtos操作系统；主控模块上还集成有蓝牙通信接口、wifi通信接口和4g无线通信接口，主控模块与上位机相通讯。4.根据权利要求1所述的基于图神经网络的头戴式脑体作业能力评估设备，其特征在于：采集模块包括用于提取δ波、θ波、α波、β波和γ波五种脑电成分的五通道电极；生理数据包括人体心率、血氧、心率变异性和脑电特征。5.根据权利要求4所述的基于图神经网络的头戴式脑体作业能力评估设备，其特征在于：采集模块还包括集成有660nm和880nm双波段的生物光学传感器，用于采集双波段ppg数据。6.根据权利要求1所述的基于图神经网络的头戴式脑体作业能力评估设备，其特征在于：电源模块包括依次连接的电源、充放电管理模块和稳压输出模块，电源还与电源保护模块相连；电源采用锂电池，用于提供3.7v电压；充放电管理模块，用于锂电池正反接保护、充电状态的指示；稳压输出模块，用于将锂电池提供的3.7v电压转换成3.3v电压供给主控模块。7.如上述权利要求1-6任一项所述的基于图神经网络的头戴式脑体作业能力评估设备的方法，其特征在于：包括以下步骤：s1、通过采集模块采集人体的多种生理数据并经adc转换模块后输入主控模块；s2、对生理数据构建图结构数据包；s3、将构建的图结构数据包输入卷积图神经网络模型处理后得到脑体作业分类评估结果。8.根据权利要求7所述的基于图神经网络的头戴式脑体作业能力评估设备的方法，其特征在于：步骤s2具体包括以下步骤：s21、利用五通道电极提取δ波、θ波、α波、β波和γ波五种脑电成分；s22、采用主成分分析和独立成分分析抑制运动噪声；s23、对五种脑电成分信号和生物光学传感器采集的ppg数据进行时域、频域分析，采用morlet小波变换进行特征提取，获取低频到高频多特征数据，生成数据向量；s24、根据步骤s23所述的数据向量构建图结构数据包。9.根据权利要求8所述的基于图神经网络的头戴式脑体作业能力评估设备的方法，其
特征在于：步骤s22所述的主成分分析算法包括以下步骤：第一步、数据预处理：去除生理数据中的直流分量，并进行标准化；第二步、协方差矩阵：对脑电成分信号数据和ppg数据构建协方差矩阵，以描述不同信号的相关性：假设有m个样本和n个特征，将预处理后的数据表示为一个m
×
n的脑电数据矩阵x，计算协方差矩阵c：；式中，表示x的转置；第三步、特征值分解：对协方差矩阵进行特征值分解和特征向量，构成主成分矩阵v；第四步、对不同信号选取对应维度n进行重建，重建信号：；步骤s22所述的独立成分分析算法包括以下步骤：第一步、构建混合模型：将预处理后的脑电成分信号表示为线性组合的形式：；式中，是观测信号矩阵，其大小为h
×
t，h表示通道数，t表示时间点数；是混合矩阵，其大小为h
×
m，m表示源信号的数量；是源信号矩阵，其大小为 m
×
t；第二步、ica 求解：对混合模型进行独立成分分析，得到分离矩阵和分离信号矩阵：；其中，分离矩阵的大小为 h
×
n；分离信号矩阵的大小为 m
×
t；第三步、成分选择：确定脑电信号和噪声成分；第四步、噪声去除：将被确定为噪声的成分从分离信号矩阵中去除，得到修复后的信号矩阵：；式中，是去除噪声成分后的分离矩阵，其大小为 ，表示剩余的脑电信号成分数量；第五步、重构信号：将修复后的信号矩阵进行逆变换，得到重构的脑电信号矩阵：；式中，是重构的脑电信号矩阵，其大小为 。10.根据权利要求7所述的基于图神经网络的头戴式脑体作业能力评估设备的方法，其特征在于：步骤s3具体包括以下步骤：
s31、利用公开数据集对卷积图神经网络模型预训练，以个人的脑体作业能力分类为网络模型的任务，实现对脑体作业能力的评分训练；s32、将由步骤s2获得的图结构数据包输入训练完毕的卷积图神经网络模型中，输出脑体作业分类评估结果。

技术总结
本发明公开了基于图神经网络的头戴式脑体作业能力评估设备及方法，属于人体信号获取及处理领域，包括用于采集多种生理数据的采集模块、与采集模块相连的ADC转换模块和与ADC转换模块相连的主控模块以及电源模块，主控模块上搭载有用于输入多种生理数据后输出评估结果的卷积图神经网络模型，卷积图神经网络模型以GCN网络和Metalearning为框架。本发明采用上述基于图神经网络的头戴式脑体作业能力评估设备及方法，可对被测者的多个生理指标进行精准的检测，然后依靠卷积图神经网络对数据处理得出被测者的评估结果，提高检测的准确度和可靠性。可靠性。可靠性。


技术研发人员：刘一村 卢一 李俊杰 刘钟泽 潘小涛
受保护的技术使用者：北京九叁有方物联网科技有限公司
技术研发日：2023.08.03
技术公布日：2023/9/6