睡眠阶段检测方法及其检测模型的训练方法、电子设备与流程

1.本技术实施例涉及睡眠检测技术领域，特别涉及一种睡眠阶段检测方法及其检测模型的训练方法、电子设备。


背景技术：

2.随着人们生活水平的提高，生活节奏的变快，导致现在人们的工作压力随之加大，从而导致大部分人存在睡眠障碍问题。睡眠质量不良的征兆往往不易察觉，必须由各项检测仪器观察与睡眠阶段改变有相关性的生理数值的变化来推估睡眠状态，从而评估睡眠质量。
3.为了监测人体的睡眠，目前比较常用的睡眠检测算法中，通常以人体睡眠时的心电图信号，基于心电图信号计算得到多个特征值，如心率变异性的时域和频域参数等，再基于上述特征值的参数变化判断睡眠阶段，这种睡眠检测方法中仅仅以几个特征值的参数变化作为判断依据，容错性较差，且在实际应用中，数据传输存在丢失时，对于睡眠阶段判断较为不准确。


技术实现要素：

4.本技术实施例的目的是提供一种睡眠阶段检测方法及其检测模型的训练方法、电子设备，训练出的睡眠检测模型能提高睡眠阶段判断的准确性。
5.第一方面，本技术实施例提供一种睡眠阶段检测模型的训练方法，该训练方法包括：获取多个睡眠数据，其中，各所述睡眠数据标注有真实睡眠阶段类别；对各所述睡眠数据进行处理，得到各所述睡眠数据对应的训练特征值和训练图像信息；将各所述训练特征值输入至预设模型中的第一特征提取模块进行特征提取，得到各所述睡眠数据对应的特征向量；将各所述训练图像信息和各所述特征向量对应输入至所述预设模型中的第二特征提取模块进行特征融合提取，得到各所述睡眠数据对应的融合特征；根据所述融合特征对所述预设模型进行迭代训练，直至达到预设条件，得到所述睡眠阶段检测模型。
6.在一些实施例中，所述根据所述融合特征对所述预设模型进行迭代训练，直至达到预设条件，得到所述睡眠阶段检测模型，包括：将各所述融合特征输入至所述预设模型中的分类模块，得到各所述睡眠数据对应的预测睡眠阶段类别；根据各所述预测睡眠阶段类别和各所述真实睡眠阶段类别之间的损失，迭代调节所述预设模型的参数，直至达到所述预设条件，得到所述睡眠阶段检测模型。
7.在一些实施例中，所述第二特征提取模块包括m个级联的子模块，各所述子模块包括依次连接的特征提取子模块和融合子模块；第m个所述特征提取子模块用于对所述训练图像信息或第(m-1)个融合特征图进行特征提取，输出第m个特征图；第m个所述融合子模块用于对第m个所述特征图和所述特征向量进行特征融合提取，输出第m个所述融合特征图；其中，1≤m≤m，所述融合特征为第m个所述融合特征图。
8.在一些实施例中，第m个所述融合子模块采用以下公式输出第m个所述融合特征图
in(vm，f)：
[0009][0010]
其中，f为所述特征向量，vm为第m个所述特征图，μ(vm)为第m个所述特征图的均值特征，σ(vm)为第m个所述特征图的方差特征，β(
·
)为第m个所述融合子模块中的第一全连接层，γ(
·
)为第m个所述融合子模块中的第二全连接层。
[0011]
在一些实施例中，所述第一特征提取模块包括多层感知机，所述特征提取子模块包括依次连接的卷积层、激活函数层和实例归一化层，所述分类模块包括依次连接的第三全连接层和softmax函数层。
[0012]
在一些实施例中，所述根据各所述预测睡眠阶段类别和各所述真实睡眠阶段类别之间的损失，迭代调节所述预设模型的参数，直至达到所述预设条件，得到所述睡眠阶段检测模型，包括：依据权重交叉熵损失函数得到所述损失，并采用adam算法对所述预设模型进行迭代训练，直至所述预设模型收敛或达到预设迭代次数，得到所述睡眠阶段检测模型。
[0013]
在一些实施例中，所述损失loss通过以下公式计算得到：
[0014][0015]
其中，
[0016][0017]
n为所述睡眠数据的个数，yi表示第i个所述睡眠数据的真实睡眠阶段类别，表示第i个所述睡眠数据的预测睡眠阶段类别。
[0018]
在一些实施例中，所述获取多个睡眠数据，包括：获取心电图信号数据；对所述心电图信号数据进行数据分割，得到多个所述睡眠数据。
[0019]
在一些实施例中，所述训练特征值为各所述睡眠数据对应的心跳间距的标准差、相邻心跳间距差值序列的平方根、相邻心跳间距差值序列的标准差、相邻心跳间距差值差异大于50ms的数量、所述数量占所有心跳间距的百分比中的至少一种。
[0020]
在一些实施例中，所述对各所述睡眠数据进行处理，得到各所述睡眠数据对应的训练图像信息，包括：将各所述睡眠数据分别进行归一化处理，得到归一化处理后的各所述睡眠数据；将归一化处理后的各所述睡眠数据映射到极坐标系上，得到各所述睡眠数据对应的映射数据；依据各所述映射数据通过格拉姆角场得到各所述训练图像信息。
[0021]
第二方面，本技术实施例提供一种睡眠阶段检测方法，该睡眠阶段检测方法包括：获取测试睡眠数据；对所述测试睡眠数据进行处理，得到所述测试睡眠数据对应的测试特征值和测试图像信息；将所述测试特征值和所述测试图像信息输入至睡眠阶段检测模型，输出睡眠阶段类别，其中，所述睡眠阶段检测模型是采用如第一方面任意一项实施例所述的训练方法训练得到的。
[0022]
第三方面，本技术实施例还提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上第一方面任意一项实施例所述的方法。
[0023]
第四方面，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上第一方面任意一项实施例所述的方法。
[0024]
第五方面，本技术实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如上第一方面任意一项实施例所述的方法。
[0025]
与现有技术相比，本技术的有益效果是：区别于现有技术的情况，本技术实施例提供一种睡眠阶段检测方法及其检测模型的训练方法、电子设备，该训练方法包括：获取多个睡眠数据，其中，各睡眠数据标注有真实睡眠阶段类别；对各睡眠数据进行处理，得到各睡眠数据对应的训练特征值和训练图像信息；将各训练特征值输入至预设模型中的第一特征提取模块进行特征提取，得到各睡眠数据对应的特征向量；将各训练图像信息和各特征向量对应输入至预设模型中的第二特征提取模块进行特征融合提取，得到各睡眠数据对应的融合特征；根据融合特征对预设模型进行迭代训练，直至达到预设条件，得到睡眠阶段检测模型。在该训练方法中，对睡眠数据处理得到训练特征值和训练图像信息，并利用训练特征值和训练图像信息得到融合特征，利用融合特征训练得到睡眠阶段检测模型，使睡眠阶段检测模型能学习睡眠阶段中特征值和图像信息的结合特征，使其更好的关注一段时间内睡眠特征的全局性，降低因数据丢失所带来的影响，从而提高睡眠检测的准确性和容错性。
附图说明
[0026]
一个或多个实施例中通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件/模块和步骤表示为类似的元件/模块和步骤，除非有特别申明，附图中的图不构成比例限制。
[0027]
图1是本技术实施例提供的一种睡眠阶段检测系统的应用场景示意图；
[0028]
图2是本技术实施例提供的一种电子设备的结构示意图；
[0029]
图3是本技术实施例提供的另一种电子设备的结构示意图；
[0030]
图4是本技术实施例提供的一种睡眠阶段检测模型的训练方法的流程示意图；
[0031]
图5是本技术实施例提供的一种图4中步骤s50的流程示意图；
[0032]
图6是本技术实施例提供的一种第二特征提取模块的结构示意图；
[0033]
图7是本技术实施例提供的一种图5中步骤s52的流程示意图；
[0034]
图8是本技术实施例提供的一种图4中步骤s10的流程示意图；
[0035]
图9是本技术实施例提供的一种图4中步骤s20的流程示意图；
[0036]
图10是本技术实施例提供的一种睡眠阶段检测方法的流程示意图。
具体实施方式
[0037]
下面结合具体实施例对本技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本技术，但不以任何形式限制本技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进。这些都属于本技术的保护范围。
[0038]
为了便于理解本技术，下面结合附图和具体实施例，对本技术进行更详细的说明。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本技术。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0039]
需要说明的是，如果不冲突，本技术实施例中的各个特征可以相互结合，均在本技术的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，但是在某些情况下，可以以不同于装置中的模块划分。此外，本文所采用的“第一”、“第二”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。
[0040]
目前，在睡眠阶段检测算法中，通常基于睡眠中的心电图信号为基础，计算出心率变异性的时域和频域参数，根据自律神经系统的变化与心率变异性的关联性，判断人体的睡眠阶段，从而实现睡眠质量监测的居家化。这类算法以监督式倒传递类预设模型为核心，通过不同的特征值，进行5个睡眠阶段的辨别。然而，这类算法根据几个特征值的参数变化作为判断的依据，容错性较差，且准确性较差。
[0041]
为了解决上述技术问题，本技术实施例提供一种睡眠阶段检测方法及其检测模型的训练方法、电子设备，该训练方法中，在得到睡眠数据后，如心电图信号，会依据睡眠数据对应的特征值和图像信息训练检测模型，这样，睡眠阶段检测模型能学习睡眠阶段中特征值和图像信息的结合特征，使睡眠阶段检测模型更好的关注一段时间内睡眠特征的全局性，使模型能够学习能更清楚地表达决定睡眠状态的特征，且能降低因数据丢失所带来的影响，从而能提高检测模型的检测准确性和容错性。
[0042]
下面说明本技术实施例提供的用于训练睡眠阶段检测模型或用于睡眠阶段检测的电子设备的示例性应用，可以理解的是，电子设备既可以训练睡眠阶段检测模型，也可以采用该睡眠阶段检测模型进行睡眠阶段检测。
[0043]
本技术一些实施例提供的电子设备可以是服务器，例如部署在云端的服务器。当服务器用于训练睡眠检测模型时，根据其他设备或者本领域技术人员提供的训练数据和预设模型，采用该训练数据对预设模型进行迭代训练，确定最终的模型参数，从而分类器配置该最终的模型参数，即可得到睡眠检测模型。当服务器用于睡眠检测时，调用内置的睡眠检测模型，对睡眠检测设备提供的测试睡眠数据，进行相应的计算处理，得到对应的睡眠阶段。
[0044]
本技术另一些实施例提供的电子设备还可以是笔记本电脑、台式计算机或移动设备等各种类型的终端。当终端用于训练睡眠检测模型时，本领域技术人员将准备好的训练数据输入终端，并在终端上设计预设模型，终端采用该训练数据对预设模型进行迭代训练，确定最终的模型参数，从而预设模型配置该最终的模型参数，即可得到睡眠检测模型。当终端用于睡眠检测时，对测试睡眠数据进行相应的处理，得到测试特征值和测试图像信息，然后，调用内置的睡眠检测模型对测试特征值和测试图像信息进行相应的计算处理，得到睡眠阶段。
[0045]
作为示例，参见图1，图1是本技术实施例提供的睡眠阶段检测系统的应用场景示意图。终端10通过网络连接服务器20，其中，网络可以是广域网或者局域网，又或者是二者的组合。
[0046]
终端10可以被用来获取训练数据和构建预设模型，例如，本领域技术人员在终端
上下载准备好的训练数据，以及，搭建预设模型的模型结构。其中，训练数据包括若干个睡眠数据。可以理解的是，终端10也可以被用来获取用于训练或用于测试的睡眠数据，例如，心电图信号采集设备将采集到的用于训练或用于测试的睡眠数据发送给终端10，从而，终端10获取到用于训练或用于测试的睡眠数据。在一些实施例中，终端10可以与心电图信号采集设备集成在一起。
[0047]
在一些实施例中，终端10本地执行本技术实施例提供的睡眠阶段模型的训练方法来完成采用训练数据对设计好的模型进行训练，确定最终的模型参数，从而预设模型配置该最终的模型参数，即可得到睡眠阶段检测模型。在一些实施例中，终端10也可以通过网络向服务器20发送本领域技术人员在终端上存储的训练数据和构建好的预设模型，服务器20接收该训练数据和预设模型，采用训练数据对预设模型进行训练，确定最终的模型参数，然后将该最终的模型参数发送给终端10，终端10保存该最终的模型参数，使得预设模型配置该最终的模型参数，即可得到睡眠阶段检测模型。
[0048]
下面说明本技术实施例中电子设备的结构，本技术实施例还提供了一种电子设备，请参见图2，其示出了能够执行本技术描述的睡眠阶段检测模型的训练方法和睡眠阶段检测方法的电子设备的硬件结构。所述电子设备可以是图1所示的终端。
[0049]
该电子设备包括：至少一个处理器11；以及，与至少一个处理器11通信连接的存储器12，图2中以一个处理器11为例。存储器12存储有可被至少一个处理器11执行的指令，指令被至少一个处理器11执行，以使至少一个处理器11能够执行本技术描述的睡眠阶段检测模型的训练方法和睡眠阶段检测方法。处理器11和存储器12可以通过总线或者其他方式连接，图2中以通过总线连接为例。
[0050]
处理器11可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(dsp，digital signal processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
[0051]
存储器12包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，read only memory)，易失性存储器可以是随机存取存储器(ram，random access memory)。本技术实施例描述的存储器12旨在包括任意适合类型的存储器。存储器12可选地包括在物理位置上远离处理器11的一个或多个存储设备。
[0052]
如，存储器12可为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施例中描述的睡眠阶段检测模型的训练方法和睡眠阶段检测方法方法对应的程序指令/模块。处理器11通过运行存储在存储器12中的非易失性软件程序、指令以及模块，从而执行各种功能应用以及数据处理，实现本技术描述的睡眠阶段检测模型的训练方法和睡眠阶段检测方法。
[0053]
存储器12可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器12可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在其中一些实施例中，存储器12可选包括相对于处理器11远程设置的存储器，这些远程存储器可以通过网络连接至电
子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。一个或者多个模块存储在存储器12中，当被一个或者多个处理器11执行时，可执行本技术描述的睡眠阶段检测模型的训练方法和睡眠阶段检测方法。
[0054]
上述电子设备可执行本技术实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本技术实施例所提供的方法。
[0055]
在其中一些实施例中，请参阅图3，电子设备10还包括至少一个网络接口13和用户接口14。电子设备10中的各个组件通过总线系统15耦合在一起。可理解，总线系统15用于实现这些组件之间的连接通信。总线系统15除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统15。
[0056]
用户接口14包括使得能够呈现媒体内容的一个或多个输出装置141，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口14还包括一个或多个输入装置142，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头，其他输入按钮和控件。
[0057]
在一些实施例中，存储器12能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
[0058]
操作系统121，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。
[0059]
网络通信模块122，用于经由一个或多个(有线或无线)网络接口13到达其他计算设备，示例性的网络接口13包括:蓝牙、无线相容性认证(wifi)，和通用串行总线(usb，universal serial bus)等。
[0060]
显示模块123，用于经由一个或多个与用户接口14相关联的输出装置141(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)。
[0061]
输入处理模块124，用于对一个或多个来自一个或多个输入装置142之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
[0062]
根据上文可以理解，本技术实施例提供的训练睡眠阶段检测模型的方法可以由各种类型具有处理能力的电子设备实施，例如由电子设备的处理器实施执行或由其它具有计算处理能力的设备实施执行等。其它具有计算处理能力的设备可以是与电子设备通信连接的智能终端或服务器等。
[0063]
下面结合本技术实施例提供的电子设备的示例性应用和实施，说明本技术实施例提供的训练睡眠阶段检测模型的方法。可以理解的是，该训练方法的执行主体可以是电子设备的一个或多个处理器。
[0064]
第一方面，本技术实施例提供一种睡眠阶段检测模型的训练方法，请参阅图4，该训练方法包括：
[0065]
步骤s10：获取多个睡眠数据，其中，各睡眠数据标注有真实睡眠阶段类别。
[0066]
各睡眠数据可以由体征测量设备获取的相同时长的睡眠体征信息。具体的，可以是由心电图测量设备获取的相同时长的心电图信号数据，如可以为一个和/或若干个人在睡觉过程中的心电图信号数据，或可以是脑电图测量设备获取的相同时长的脑电图信号数据，如可以为一个和/或若干个人在睡觉过程中的脑电图信号数据，这样睡眠数据能体现人
体的睡眠阶段的特征。实际应用中，睡眠体征数据还可以为肌电图信号数据、眼动图信号数据、胸式和腹式呼吸张力图信号数据、鼻及口通气量信号数据、体位体动信号数据、血氧饱和度信号数据等可用于体现人体睡眠阶段特征的数据。
[0067]
需要说明的是，每一睡眠数据均对应一个睡眠阶段；睡眠阶段包括入睡期、浅睡期、熟睡期、深睡期、快速眼动期，各睡眠数据可由专业医师标注真实的睡眠阶段，从而方便后续标注真实睡眠阶段类别。其具体的标注类别的编码方式可参照现有技术，在此不进行详细介绍。
[0068]
步骤s20：对各睡眠数据进行处理，得到各睡眠数据对应的训练特征值和训练图像信息。
[0069]
在得到各睡眠数据后，可进行预处理，得到各睡眠数据对应的训练特征值。预处理是指对各睡眠数据进行清理、转化等操作得到训练特征值，从而可删除重复数据、去除不相干或错误的数据、过滤噪声数据等，后续有利于模型学习。
[0070]
示例性的，对心电图信号数据进行计算得到训练特征值，训练特征值可以为心跳间距的标准差sdnn，相邻心跳间距差值序列的平方根rmssd，相邻心跳间距差值序列的标准差sdsd，相邻心跳间距差值差异大于50ms的数量nn50，数量nn50占所有心跳间距的百分比pnn50中的至少一种，其具体计算过程可参照现有技术，在此不再详细介绍。另外，将睡眠数据转成训练图像信息，使训练图像信息可以体现睡眠数据对应的图像特征。
[0071]
步骤s30：将各训练特征值输入至预设模型中的第一特征提取模块进行特征提取，得到各睡眠数据对应的特征向量。
[0072]
具体的，将n个睡眠数据对应得到的各个训练特征值输入至第一特征提取模块后，第一特征提取模块可输出n个特征向量f。
[0073]
例如，第一特征提取模块包括多层感知机。多层感知机包括输入层、多层隐含层以及输出层，其中输入层包括多个神经单元，如150个，隐含层包括多个神经单元，输出层包括多个神经单元，如512。若输入层为向量x，则隐藏层的输出为f(w1x+b1)，w1是权重、也为连接系数，b1是偏量，函数f可以是常用的sigmoid函数或者tanh函数。此时隐含层到输出层可以看成是一种特征映射，例如可将5个训练特征值映射为1*512大小的特征向量f，若用x1表示隐藏层的输出f(w1x+b1)，则多层感知机的网络结构公式表示如下：
[0074][0075]
其中，g为softmax激活函数，h表示隐含层个数，wh为第h个隐含层的权重，bh为第h个隐含层的偏量，x表示输入的特征向量，w1为输入层的权重，b1为输入层的偏量，s(
·
)表示激活函数。实际应用中，第一特征提取模块还可以采用其他合适的可以提取特征向量的模型。
[0076]
步骤s40：将各训练图像信息和各特征向量对应输入至预设模型中的第二特征提取模块进行特征融合提取，得到各睡眠数据对应的融合特征。
[0077]
具体的，融合特征为融合特征图，该融合特征图融合了训练图像信息和特征向量的特征信息。第二特征提取模块可以为卷积融合神经网络，其可将训练图像信息进行特征提取，得到特征图，再利用该特征图和特征向量进行融合得到融合特征图。
[0078]
步骤s50：根据融合特征对预设模型进行迭代训练，直至达到预设条件，得到睡眠
阶段检测模型。
[0079]
将各融合特征作为训练集，对预设模型进行训练，不断调整预设模型的参数，最终达到预设条件，如预设模型收敛或预设模型输出的预测睡眠阶段类别越来越接近真实睡眠阶段类别，此时将该参数作为模型参数，从而得到睡眠阶段检测模型。
[0080]
在本技术实施例提供的训练方法中，对睡眠数据处理得到训练特征值和训练图像信息，通过第一特征提取模块得到特征向量，然后在第二特征提取模块中，将训练图像信息和特征向量进行特征融合，从而使睡眠阶段检测模型能学习睡眠阶段中更具代表性的结合特征，可提高睡眠阶段检测模型检测睡眠阶段时的准确定和稳定性。且该训练方法中，将数值转化为图像信息，该图像信息为二维图像信息，每一像素点包含了不同时刻之间的特征值的联系，使训练得到的睡眠阶段检测模型更好的关注一段时间内睡眠特征的全局性，另外，相比于只关注特征值的睡眠阶段检测模型，本实施例中将特征值转化为图像信息后，可关注一段时间内特征值之间的联系，降低某一时刻的特征值丢失时对检测的影响，从而提高训练得到的睡眠检测的准确性和容错性。
[0081]
在其中一些实施例中，请参阅图5，步骤s50包括：
[0082]
步骤s51：将各融合特征输入至预设模型中的分类模块，得到各睡眠数据对应的预测睡眠阶段类别。
[0083]
具体的，分类模块包括依次连接的第三全连接层和softmax函数层。将该融合特征图输入至第三全连接层和softmax函数层进行分类计算后，可输出对应的预测睡眠阶段类别。
[0084]
步骤s52：根据各预测睡眠阶段类别和各真实睡眠阶段类别之间的损失，迭代调节预设模型的参数，直至达到预设条件，得到睡眠阶段检测模型。
[0085]
最后，在损失函数的约束下，对预设模型进行训练，不断调整预设模型的参数，使预设模型输出的预测睡眠阶段类别越来越接近真实睡眠阶段类别，从而得到睡眠阶段检测模型。例如当由损失函数计算的损失在一定范围内波动或达到某一值时，预设模型收敛，将收敛时的参数作为模型参数，得到睡眠阶段检测模型。
[0086]
在其中一些实施例中，第二特征提取模块包括m个级联的子模块，各子模块包括依次连接的特征提取子模块和融合子模块。第m个特征提取子模块用于对训练图像信息或第(m-1)个融合特征图进行特征提取，输出第m个特征图。第m个融合子模块用于对第m个特征图和特征向量进行特征融合提取，输出第m个融合特征图。其中，1≤m≤m，融合特征为第m个融合特征图。
[0087]
在该第二特征提取模块中，第1个子模块至第m个子模块顺序依次连接。第m个子模块是指所有子模块依次连接中的处于第m个的一个子模块，第m个特征提取子模块为第m个子模块内的特征提取子模块，第m个融合子模块为第m个子模块内的融合子模块。
[0088]
示例性的，m可以为5个，请参阅图6，m个级联的子模块分别为子模块1、子模块2、子模块3、子模块4和子模块5，其中，子模块1中的特征提取子模块用于对训练图像信息进行特征提取，输出第1个特征图至子模块1中的融合子模块；子模块1中的融合子模块用于对第1个特征图和特征向量进行特征融合提取，输出第1个融合特征图至子模块2中的特征提取子模块；子模块2中的特征提取子模块用于对第1个融合特征图进行特征提取，输出第2个特征图至子模块2中的融合子模块；子模块2中的融合子模块用于对第2个特征图和特征向量进
行特征融合提取，输出第2个融合特征图至子模块3中的特征提取子模块；子模块3中的特征提取子模块用于对第2个融合特征图进行特征提取，输出第3个特征图至子模块3中的融合子模块；子模块3中的融合子模块用于对第3个特征图和特征向量进行特征融合提取，输出第3个融合特征图至子模块4中的特征提取子模块；子模块4中的特征提取子模块用于对第3个融合特征图进行特征提取，输出第4个特征图至子模块4中的融合子模块；子模块4中的融合子模块用于对第4个特征图和特征向量进行特征融合提取，输出第4个融合特征图至子模块5中的特征提取子模块；子模块5中的特征提取子模块用于对第4个融合特征图进行特征提取，输出第5个特征图至子模块5中的融合子模块；子模块5中的融合子模块用于对第5个特征图和特征向量进行特征融合提取，输出第5个融合特征图至分类模块。
[0089]
在本实施例中，通过第二特征提取模块，可将训练图像信息和特征向量进行特征融合，得到融合特征图。
[0090]
具体的，在其中一些实施例中，特征提取子模块包括依次连接的卷积层、激活函数层和实例归一化层，如特征提取子模块可采用以下公式得到第m+1个特征图v
m+1
：
[0091]vm+1
＝in(σ(∑m(fm*w
m+1
)+b
m+1
))；
[0092]
其中，fm表示输入至第m+1个特征提取子模块的训练图像信息或融合特征图，v
m+1
表示第m+1个特征图，w
m+1
表示第m+1个特征提取子模块的卷积核，b
m+1
表示第m+1个特征提取子模块的偏置项，σ(
·
)表示relu激活函数，in表示实例归一化。
[0093]
其中，每个特征提取子模块的卷积核的大小可设置为3
×
3，有助于减小特征图融合后的混叠效应。另外，由于下采样和上采样会带来信息损失，可采用均步长卷积进行卷积运算，例如步长均为2。对于图6所示的实施例中，子模块1至子模块5中的特征提取子模块中的卷积核数可分别设置为16、32、64、128、256，这样，每一个子模块输出的融合特征图尺度不同，从而使最终输出较小尺度的融合特征图，如该第二特征提取模块最终输出的融合特征图尺度可为5*5*256，以便于后续计算。实际应用中，该特征提取子模块可根据实际需要进行设置，只要能输出特征图即可。
[0094]
在其中一些实施例中，第m个融合子模块采用以下公式输出第m个融合特征图in(vm，f)：
[0095][0096]
其中，f为特征向量，vm为第m个特征图，μ(vm)为第m个特征图的均值特征，σ(vm)为第m个特征图的方差特征，β(
·
)为第m个融合子模块中的第一全连接层，γ(
·
)为第m个融合子模块中的第二全连接层。
[0097]
第一全连接层和第二全连接层代表不同的映射关系，其分别可将特征向量映射得到与第m个特征图相同尺度的映射向量，以便与不同尺度的特征图进行融合，从而得到第m个融合特征图。在本实施例中，通过上述公式可将特征图和特征向量进行特征融合，得到融合特征图。
[0098]
在其中一些实施例中，请参阅图7，步骤s52包括：
[0099]
步骤s521：依据权重交叉熵损失函数得到损失，并采用adam算法对预设模型进行迭代训练，直至预设模型收敛或达到预设迭代次数，得到睡眠阶段检测模型。
[0100]
其中，在使用adam算法进行优化时，迭代次数可设置为10万次，初始化学习率可设
置为0.001，权重衰减可设置为0.0005，每1000次迭代，学习率衰减为原来的1/10。在本实施例中，通过adam算法训练模型可得到预设模型中的各项参数，从而得到睡眠阶段检测模型。
[0101]
另外，在对不同的睡眠阶段进行分类识别时，由于不同阶段的睡眠数据存在严重不均衡的情况，而在本实施例中，依据权重交叉熵损失函数计算损失，赋予不同睡眠阶段不同的权重，从而解决上述问题，提高得到的睡眠阶段检测模型检测的准确度。
[0102]
在其中一些实施例中，所述损失loss通过以下公式计算得到：
[0103][0104]
其中，
[0105][0106]
n为睡眠数据的个数，yi表示第i个睡眠数据的真实睡眠阶段类别，表示第i个睡眠数据的预测睡眠阶段类别。
[0107]
在本实施例中，通过上述公式构建权重交叉熵损失函数，对不同睡眠阶段的数据赋予不同的权重，提升后续得到的睡眠阶段检测模型检测的准确度。
[0108]
在其中一些实施例中，请参阅图8，获取多个睡眠数据，包括：
[0109]
步骤s11：获取心电图信号数据；
[0110]
步骤s12：对心电图信号数据进行数据分割，得到多个睡眠数据。
[0111]
具体的，采用心电图测量设备采集一个或若干个人在睡觉过程中的连续的心电图信号数据，心电图测量设备采集到这些连续的心电图信号数据后，将连续的心电图信号数据发送至电子设备(例如电脑或服务器)。对于一个人的连续的心电图信号数据，可按照预设时长对该心电图信号数据进行分割，如预设时长为30s，则按照30s进行分割，从而得到多个时长为30s的心电图信号数据，即为多个睡眠数据，且将多组睡眠数据按照睡眠阶段进行归类，以便后续进行标注。
[0112]
在实施例中，预先对心电图信号数据进行处理，方便后续计算。
[0113]
在其中一些实施例中，请参阅图9，步骤s20包括：
[0114]
步骤s21：将各睡眠数据分别进行归一化处理，得到归一化处理后的各睡眠数据。
[0115]
对于一个睡眠数据，如30s的心电图信号数据，其包含n个实值观测值的时间序列数据x＝x1，x2，
…
，xb，其中，n与心电图信号采样频率有关。具体可通过以下公式对一个睡眠数据内的时间序列数据进行归一化方法处理：
[0116][0117]
通过上述运算，归一化后的各睡眠数据的范围为区间[-1,1]。
[0118]
步骤s22：将归一化处理后的各睡眠数据映射到极坐标系上，得到各睡眠数据对应的映射数据。
[0119]
由于归一化处理后的睡眠数据与余弦函数的范围相同，因此可通过以下公式对归一化后的睡眠数据进行处理：
[0120][0121]
其中，ti表示时间步长，n是一个常数因子，用于规范极坐标系的跨度，φ为映射数据。通过上式可将归一化处理后的数据转为角余弦，并将时间步长视为半径，从而得到映射数据。
[0122]
步骤s23：依据各映射数据通过格拉姆角场得到各训练图像信息。
[0123]
接着，归一化处理后的睡眠数据映射到极坐标系后，通过下式的格拉姆角场得到训练图像信息g：
[0124][0125]
在本实施例中，采用格拉姆角场将缩放后的一维时间序列数据从直角坐标转换到极坐标，通过利用角度透视并考虑每个点之间的三角和，以识别不同时间间隔内的时间相关性，将时间序列转成二维的训练图像信息，以便于后续在预设模型上识别及处理，从而使后续在训练睡眠阶段检测模型时可使其关注睡眠数据的图像特征。
[0126]
第二方面，本技术实施例提供一种睡眠阶段检测方法，请参阅图10，该睡眠阶段检测方法包括：
[0127]
步骤s100：获取测试睡眠数据。
[0128]
测试睡眠数据可以为30s的心电图信号数据，可以理解的是，该测试睡眠数据是心电图测量设备在实际应用场景中采集得到的心电图信号数据。心电图测量设备将测试睡眠数据发送给终端，从而，终端获取到测试心电图信号数据。该具体获取方式可以参照训练实施例中的步骤s10，在此不再重复赘述。
[0129]
步骤s200：对测试睡眠数据进行处理，得到测试睡眠数据对应的测试特征值和测试图像信息。
[0130]
该具体处理方式可以参照训练实施例中的步骤s20，在此不再重复赘述。
[0131]
步骤s300：将测试特征值和测试图像信息输入至睡眠阶段检测模型，输出睡眠阶段类别，其中，睡眠阶段检测模型是采用如第一方面任意一项实施例的训练方法训练得到的。
[0132]
终端内置有睡眠阶段检测应用程序，睡眠阶段检测模型封装于该睡眠阶段应用程序中，调用睡眠阶段模型对前述测试睡眠数据进行睡眠阶段检测，经过一系列的计算处理后，输出预测睡眠阶段类别。可以理解的是，该睡眠阶段检测模型是通过上述实施例中训练睡眠阶段检测模型的方法训练得到，与上述实施例中睡眠阶段检测模型具有相同的结构和功能，在此不再一一赘述。
[0133]
本技术实施例还提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上实施例中描述的睡眠阶段检测模型的训练方法和睡眠阶段检测方法。该计算机可读存储介质可以是存储介质可以是fram、rom、prom、eprom、ee prom、闪存、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。可执行指令可以
采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
[0134]
本技术实施例还提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行以上实施例中描述的睡眠阶段检测模型的训练方法和睡眠阶段检测方法。
[0135]
需要说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0136]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用至少一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0137]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；在本技术的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本技术的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。

技术特征：
1.一种睡眠阶段检测模型的训练方法，其特征在于，包括：获取多个睡眠数据，其中，各所述睡眠数据标注有真实睡眠阶段类别；对各所述睡眠数据进行处理，得到各所述睡眠数据对应的训练特征值和训练图像信息；将各所述训练特征值输入至预设模型中的第一特征提取模块进行特征提取，得到各所述睡眠数据对应的特征向量；将各所述训练图像信息和各所述特征向量对应输入至所述预设模型中的第二特征提取模块进行特征融合提取，得到各所述睡眠数据对应的融合特征；根据所述融合特征对所述预设模型进行迭代训练，直至达到预设条件，得到所述睡眠阶段检测模型。2.根据权利要求1所述的训练方法，其特征在于，所述根据所述融合特征对所述预设模型进行迭代训练，直至达到预设条件，得到所述睡眠阶段检测模型，包括：将各所述融合特征输入至所述预设模型中的分类模块，得到各所述睡眠数据对应的预测睡眠阶段类别；根据各所述预测睡眠阶段类别和各所述真实睡眠阶段类别之间的损失，迭代调节所述预设模型的参数，直至达到所述预设条件，得到所述睡眠阶段检测模型。3.根据权利要求2所述的训练方法，其特征在于，所述第二特征提取模块包括m个级联的子模块，各所述子模块包括依次连接的特征提取子模块和融合子模块；第m个所述特征提取子模块用于对所述训练图像信息或第(m-1)个融合特征图进行特征提取，输出第m个特征图；第m个所述融合子模块用于对第m个所述特征图和所述特征向量进行特征融合提取，输出第m个所述融合特征图；其中，1≤m≤m，所述融合特征为第m个所述融合特征图。4.根据权利要求3所述的训练方法，其特征在于，第m个所述融合子模块采用以下公式输出第m个所述融合特征图in
m
，f：其中，f为所述特征向量，v
m
为第m个所述特征图，μ(v
m
)为第m个所述特征图的均值特征，σ(v
m
)为第m个所述特征图的方差特征，β(
·
)为第m个所述融合子模块中的第一全连接层，γ(
·
)为第m个所述融合子模块中的第二全连接层。5.根据权利要求3或4所述的训练方法，其特征在于，所述第一特征提取模块包括多层感知机，所述特征提取子模块包括依次连接的卷积层、激活函数层和实例归一化层，所述分类模块包括依次连接的第三全连接层和softmax函数层。6.根据权利要求2-4任意一项所述的训练方法，其特征在于，所述根据各所述预测睡眠阶段类别和各所述真实睡眠阶段类别之间的损失，迭代调节所述预设模型的参数，直至达到所述预设条件，得到所述睡眠阶段检测模型，包括：依据权重交叉熵损失函数得到所述损失，并采用adam算法对所述预设模型进行迭代训练，直至所述预设模型收敛或达到预设迭代次数，得到所述睡眠阶段检测模型。7.根据权利要求6所述的训练方法，其特征在于，所述损失loss通过以下公式计算得
到：其中，n为所述睡眠数据的个数，y
i
表示第i个所述睡眠数据的真实睡眠阶段类别，表示第i个所述睡眠数据的预测睡眠阶段类别。8.根据权利要求1-4任意一项所述的训练方法，其特征在于，所述获取多个睡眠数据，包括：获取心电图信号数据；对所述心电图信号数据进行数据分割，得到多个所述睡眠数据。9.根据权利要求8所述的训练方法，其特征在于，所述训练特征值为各所述睡眠数据对应的心跳间距的标准差、相邻心跳间距差值序列的平方根、相邻心跳间距差值序列的标准差、相邻心跳间距差值差异大于50ms的数量、所述数量占所有心跳间距的百分比中的至少一种。10.根据权利要求8所述的训练方法，其特征在于，所述对各所述睡眠数据进行处理，得到各所述睡眠数据对应的训练图像信息，包括：将各所述睡眠数据分别进行归一化处理，得到归一化处理后的各所述睡眠数据；将归一化处理后的各所述睡眠数据映射到极坐标系上，得到各所述睡眠数据对应的映射数据；依据各所述映射数据通过格拉姆角场得到各所述训练图像信息。11.一种睡眠阶段检测方法，其特征在于，包括：获取测试睡眠数据；对所述测试睡眠数据进行处理，得到所述测试睡眠数据对应的测试特征值和测试图像信息；将所述测试特征值和所述测试图像信息输入至睡眠阶段检测模型，输出睡眠阶段类别，其中，所述睡眠阶段检测模型是采用如权利要求1-10任意一项所述的训练方法训练得到的。12.一种电子设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-11任意一项所述的方法。13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-11任意一项所述的方法。

技术总结
本申请提供一种睡眠阶段检测方法及其检测模型的训练方法、电子设备，该训练方法包括获取多个睡眠数据，各睡眠数据标注有真实睡眠阶段类别；对各睡眠数据进行处理，得到各睡眠数据对应的训练特征值和训练图像信息；将各训练特征值和各训练图像信息进行特征融合提取，得到各睡眠数据对应的融合特征；根据融合特征对预设模型进行迭代训练，直至达到预设条件，得到睡眠阶段检测模型。在该训练方法中，使用训练特征值和训练图像信息得到融合特征训练得到睡眠阶段检测模型，使睡眠阶段检测模型能学习睡眠阶段中特征值和图像信息的结合特征，使其更好的关注一段时间内睡眠特征的全局性，降低因数据丢失所带来的影响，从而提高睡眠检测的准确性和容错性。测的准确性和容错性。测的准确性和容错性。


技术研发人员：陈仿雄
受保护的技术使用者：深圳数联天下智能科技有限公司
技术研发日：2023.05.19
技术公布日：2023/9/6