非接触式心率变异性检测方法及系统

1.本发明涉及心率变异性检测技术领域，具体涉及一种非接触式心率变异性检测方法及系统。


背景技术：

2.非接触式心率变异性检测技术主要是基于面部成像式光电容积描记信号(image photoplethysmography，ippg)进行的，通过分析预先获取的ippg信号相关指标，从而得到非接触式心率变异性检测的结果。
3.现有的心率变异性检测方法(例如，ica、chrom等)是基于信号处理的方法进行的，此类方法是基于一定的假设或者模型所提出的，其聚焦于特定场景中，针对噪声特征进行ippg信号的去噪，从而提高心率变异性提取精度；同时，现有的非接触式心率变异性检测方法主要考虑的是ippg信号整体趋势的拟合；且现有非接触式心率变异性检测方法主要提取的是rr间期均值、sdnn、pnn50等时域指标。
4.然而，现实场景中，ippg信号所涉及的噪声复杂程度远远超过预设情况，现有的非接触式心率变异性检测方法的检测模型简单、泛化性差，容易缺乏对重要信息的关注，导致心率变异性指标精度差；另外，ippg信号中波峰位置、间隔等属性，在心率变异性指标的计算中具有关键影响，现有技术仅考虑ippg信号整体趋势拟合的做法，会导致心率变异性检测结果偏离实际值；此外，相比于rr间期均值、sdnn、pnn50等时域指标，lf、hf、lf/hf等频域指标在特定场景中更具有重要价值，现有技术在提取心率变异性时仅考虑ippg信号的时域指标，会因为指标不全面造成非接触式心率变异性检测精度较低。


技术实现要素：

5.(一)解决的技术问题
6.针对现有技术的不足，本发明提供了一种非接触式心率变异性检测方法及系统，解决了现有非接触式心率变异性检测方法存在检测精度低的问题。
7.(二)技术方案
8.为实现以上目的，本发明通过以下技术方案予以实现：
9.第一方面，本发明首先提出了一种非接触式心率变异性检测方法，所述方法包括：
10.基于获取的感兴趣区域构建所有感兴趣区域的融合时空图；
11.将所述融合时空图输入心率变异性检测模型中进行降噪处理，以获取降噪后ippg信号；所述心率变异性检测模型基于条件生成对抗网络构建，且所述心率变异性检测模型还包括：对所述融合时空图中时域信号和频域信号分别进行判别的第一判别器和第二判别器；
12.对所述降噪后ippg信号进行时域分析、频域分析以及非线性分析，以实现非接触式心率变异性检测。
13.优选的，所述基于获取的感兴趣区域构建所有感兴趣区域的融合时空图包括：
14.s11、利用面部特征点定位和人脸检测算法从获取的原始面部视频中检测人脸，并定位和分割出感兴趣区域；
15.s12、基于每个所述感兴趣区域构建时空图；
16.s13、对每个所述时空图进行滤波；
17.s14、将滤波后的所有所述时空图进行融合得到融合时空图。
18.优选的，所述第一判别器的输入为金标准ppg信号和ippg信号的时域信号；所述第二判别器的输入为金标准ppg信号对应的频域信号和ippg信号的时域信号对应的频域信号；所述第一判别器和所述第二判别器的输出值表示判别器认为输入是真实数据的概率值。
19.优选的，所述条件生成对抗网络中生成器的损失函数lg为：
20.lg＝αl
p
+βli[0021][0022][0023]
其中，l
p
表示x
g,f
和x
c,f
之间的负pearson相关损失；li表示整个ippg信号的波峰损失函数；xc表示金标准ppg信号；xg表示ippg信号的时域信号；x
c,f
、x
g,f
分别表示xc、xg对应的频域信号；α和β分别表示l
p
和li的权重系数；pcor()函数表示皮尔逊相关；li表示ippg第i个波峰与对应的ppg信号中波峰之间的位置误差，x表示波峰总数量；gi表示第i个波峰的位置；ci表示第i个波峰在金标准ppg信号中与gi对应的波峰位置；表示第i个波峰与前一波峰之间的间隔；c
i-1ci
表示在金标准中对应的间隔为；表示第i个波峰与后一波峰之间的间隔；表示在金标准中对应的间隔。
[0024]
优选的，所述方法还包括：
[0025]
将所述时域分析的结果、频域分析的结果以及非线性分析的结果进行可视化展示。
[0026]
第二方面，本发明一种非接触式心率变异性检测系统，所述系统包括：
[0027]
融合时空图获取模块，用于基于获取的感兴趣区域构建所有感兴趣区域的融合时空图；
[0028]
ippg信号降噪模块，用于将所述融合时空图输入心率变异性检测模型中进行降噪处理，以获取降噪后ippg信号；所述心率变异性检测模型基于条件生成对抗网络构建，且所述心率变异性检测模型还包括：对所述融合时空图中时域信号和频域信号分别进行判别的第一判别器和第二判别器；
[0029]
心率变异性分析模块，用于对所述降噪后ippg信号进行时域分析、频域分析以及非线性分析，以实现非接触式心率变异性检测。
[0030]
优选的，所述融合时空图获取模块基于获取的感兴趣区域构建所有感兴趣区域的融合时空图包括：
[0031]
s11、利用面部特征点定位和人脸检测算法从获取的原始面部视频中检测人脸，并定位和分割出感兴趣区域；
[0032]
s12、基于每个所述感兴趣区域构建时空图；
[0033]
s13、对每个所述时空图进行滤波；
[0034]
s14、将滤波后的所有所述时空图进行融合得到融合时空图。
[0035]
优选的，所述第一判别器的输入为金标准ppg信号和ippg信号的时域信号；所述第二判别器的输入为金标准ppg信号对应的频域信号和ippg信号的时域信号对应的频域信号；所述第一判别器和所述第二判别器的输出值表示判别器认为输入是真实数据的概率值。
[0036]
优选的，所述所述条件生成对抗网络中生成器的损失函数lg为：
[0037]
lg＝αl
p
+βli[0038]
l
p
＝1-pcor(xc,xg)+1-pcor(x
c,f
,x
g,f
)
[0039][0040][0041]
其中，l
p
表示x
g,f
和x
c,f
之间的负pearson相关损失；li表示整个ippg信号的波峰损失函数；xc表示金标准ppg信号；xg表示ippg信号的时域信号；x
c,f
、x
g,f
分别表示xc、xg对应的频域信号；α和β分别表示l
p
和li的权重系数；pcor()函数表示皮尔逊相关；li表示ippg第i个波峰与对应的ppg信号中波峰之间的位置误差，x表示波峰总数量；gi表示第i个波峰的位置；ci表示第i个波峰在金标准ppg信号中与gi对应的波峰位置；表示第i个波峰与前一波峰之间的间隔；c
i-1ci
表示在金标准中对应的间隔为；表示第i个波峰与后一波峰之间的间隔；表示在金标准中对应的间隔。
[0042]
优选的，所述系统还包括：
[0043]
分析结果展示模块，用于将所述时域分析的结果、频域分析的结果以及非线性分析的结果进行可视化展示。
[0044]
(三)有益效果
[0045]
本发明提供了一种非接触式心率变异性检测方法及系统。与现有技术相比，具备以下有益效果：
[0046]
1、本发明基于获取的roi构建所有roi的融合时空图；然后将融合时空图输入到基于条件生成对抗网络构建且包括双判别器的心率变异性检测模型中进行降噪处理，以获取降噪后ippg信号；最后基于降噪后ippg信号进行非接触式心率变异性检测。本发明针对噪声复杂程度远远超过预设情况的ippg信号可实现准确还原，从而获取高精度的心率变异性检测和估计结果。
[0047]
2、本发明中的心率变异性检测模型dd-cgan，通过设计双判别器分别对生成的时域信号和频域信号的真实性进行判别，使得生成器能够更好的学习金标准的时频特征；同时本发明还构造了可同步考虑信号整体趋势和局部特征的损失函数，提高了还原出的(即降噪后的)ippg信号的精度，辅助提升了非接触式心率变异性检测结果的精度。
[0048]
3、本发明相比于现有非接触式心率变异性检测技术只提取rr间期均值、sdnn、pnn50等时域指标，还新增了lf、hf、lf/hf等频域指标，提取的心率变异性指标更全面，可应用于后续心血管疾病的监测、治疗，疲劳识别，认知功能评估等各种场景中，该方法的泛化性和鲁棒性更好。
附图说明
[0049]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0050]
图1为本发明一种非接触式心率变异性检测方法的流程图；
[0051]
图2为本发明实施例中生成器g的网络结构图；
[0052]
图3为本发明实施例中第一、二判别器的网络结构图；
[0053]
图4为本发明实施例中利用心率变异性检测模型进行数据处理的流程图；
[0054]
图5为本发明实施例中心率变异性指标可视化展示的示意图。
具体实施方式
[0055]
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
本技术实施例通过提供一种非接触式心率变异性检测方法及系统，解决了现有非接触式心率变异性检测方法存在检测精度低的问题，实现了基于精准的心率变异性估计结果为用户提供准确、快速、鲁棒的健康检测服务的目的。
[0057]
本技术实施例中的技术方案为解决上述技术问题，总体思路如下：
[0058]
为了解决现有非接触式心率变异性检测方法由于模型简单以及缺乏对重要信息的关注，同时由于提取的心率变异性指标不全面等多方面因素，而导致心率变异性指标精度差的问题，本技术的技术方案提出了一种非接触式心率变异性监测方法及系统，其构建了一个全新的包含双判别器的心率变异性监测网络，设置了两个判别器分别关注于时频信号和频域信号，还设置了同时关注于整体趋势和局部特征的损失函数，实现了对ippg信号的准确还原，其获取的心率变异性估计结果更精准。本技术的技术方案可以广泛应用于疫情防控、患者监护、应激救援、航天航海等情境下，为用户提供准确、快速、鲁棒的健康检测服务。
[0059]
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
[0060]
心率变异性是指连续心跳间隔序列之间的时间变化。非接触式心率变异性检测技术主要是基于面部成像式光电容积描记信号(ippg)进行的。当外界光照射到面部皮肤组织后，由于人体心脏收缩导致面部血管中血容量增加，造成更多的光被血液吸收，反射光强减弱，因此面部图像中roi的像素值减小；而当血液通过静脉网络流回心脏时，面部血管中的
血容量减少，光吸收减弱，面部图像中像素值增加。基于此现象和原理，可借助面部可见光视频中roi的像素值的变化描记心动周期，形成ippg信号，然后通过识别ippg信号中每个波峰的位置，计算相邻波峰之间的时间间隔获取单个心跳周期的时间长度，再计算连续心跳周期之间的时间变化便可得到心率变异性时域指标，然后使用傅里叶变化对ippg信号进行时频转换，计算心率变异性的频域指标。最后通过分析ippg信号的时域指标、频域指标等指标，即可得到非接触式心率变异性检测结果。
[0061]
本技术基于上述理论和构思，提出以下技术方案。
[0062]
实施例1：
[0063]
第一方面，本发明首先提出了一种非接触式心率变异性检测方法，参见图1，该方法包括：
[0064]
s1、基于获取的感兴趣区域构建所有感兴趣区域的融合时空图；
[0065]
s2、将所述融合时空图输入心率变异性检测模型中进行降噪处理，以获取降噪后ippg信号；所述心率变异性检测模型基于条件生成对抗网络构建，且所述心率变异性检测模型还包括：对所述融合时空图中时域信号和频域信号分别进行判别的第一判别器和第二判别器；
[0066]
s3、对所述降噪后ippg信号进行时域分析、频域分析以及非线性分析，以实现非接触式心率变异性检测。
[0067]
可见，本实施例基于获取的roi构建所有roi的融合时空图；然后将融合时空图输入到基于条件生成对抗网络构建且包括双判别器的心率变异性检测模型中进行降噪处理，以获取降噪后ippg信号；最后基于降噪后ippg信号进行非接触式心率变异性检测。本实施例针对噪声复杂程度远远超过预设情况的ippg信号可实现准确还原，从而获取高精度的心率变异性检测和估计结果。
[0068]
下面结合附图1-5，以及对s1-s3具体步骤的解释，来详细说明本发明一个实施例的实现过程。本实施例提出的一种非接触式心率变异性检测方法具体实现过程包括：
[0069]
s1、基于获取的感兴趣区域构建所有感兴趣区域的融合时空图。
[0070]
s11、利用面部特征点定位和人脸检测算法从获取的原始面部视频中检测人脸，并定位和分割出感兴趣区域。
[0071]
通过面部视频采集装置采集受试者面部视频。具体的，面部视频采集装置包含一个可见光摄像头，其用于采集受试者面部可见光图像，并将获取的实时视频帧传输至特定位置等待后续处理。
[0072]
对获取的原始面部视频中包含的背景环境噪声以及面部刚性运动引起的运动噪声进行去噪，并从原始图像中分割出前额和鼻子区域作为提取图像光电容积脉搏波描记(image photoplethysmography，ippg)信号的感兴趣区域(region of interest，roi)。具体的：
[0073]
首先，利用面部特征点定位和人脸检测算法从原始面部视频序列中检测人脸，并定位roi。然后，利用dlib库集成的基于集成回归树的面部特征点定位模型，对面部81个特征点的坐标进行检测。为了避免眼睛、嘴巴等部位的非刚性运动(眨眼和面部表情等)对ippg信号提取的影响，同时考虑前额和鼻子区域包含更多的ippg信息，因此本实施例中选择前额和鼻子这两个区域作为提取ippg信号的roi。
[0074]
s12、基于每个所述感兴趣区域构建时空图。
[0075]
针对心率变异性可能会在很长一段时间内发生多次大幅变化的特性，本实施例为了在每个短时间间隔信号中提取更多特征，从而提高非接触式心率变异性检测的整体性能，对于较长的视频序列，首先，将其划分为m个包含t帧的视频子片段，其中，t的设置可根据相机帧率和设备性能综合考虑，通常设置t为128-250之间的整数。然后，将检测到前额和鼻子对应的roi分别调整为h
roi1
×wroi1
和h
roi2
×wroi2
大小，对于每一帧图像，提取的像素总数n＝h
roi1
×wroi1
+h
roi2
×wroi2
。为了充分利用时域信息，根据每个视频子片段个数构造m个时空子块。具体的，将一个t帧的特定roi序列划分为n个子区域，接着对每个子区域的像素值进行平均化，对于第m个roi，使用pr(m,i,t)代表第t帧中第i个子区域在红色通道中的平均像素值，同理使用pg(m,i,t)和pb(m,i,t)分别表示绿色和蓝色通道的平均像素值，则可以将第m个roi中第i个子区域在rgb颜色空间中的红色、绿色通道以及蓝色通道的连续信号确定为如下：
[0076]rmi
＝{pb(m,i,1),
…
,pr(m,i,t),
…
,pb(m,i,t)}
[0077]gmi
＝{pg(m,i,1),
…
,pg(m,i,t),
…
,pg(m,i,t)}
[0078]bmi
＝{pb(m,i,1),
…
,pb(m,i,t),
…
,pb(m,i,t)}
[0079]
其中，m＝0或1，0表示前额roi，1对应鼻子roi；i＝0,1,
…
,n。
[0080]
s13、对每个所述时空图进行滤波。
[0081]
由于人类正常的心率(heart rate，hr)为45-200bpm，相应的频带为0.75-3.33hz，首先使用快速傅里叶变换(fast fourier transform，fft)将每个时域信号r
mi
,g
mi
,b
mi
变换到频域，然后利用带通滤波器将频率值在0.75-3.33hz之间内的数据保留，并对0.75-3.33hz之外的数据值归零。本实施例通过这种方式对上述获取的每个前额roi和每个鼻子roi的时空图进行过滤，一方面可以消除噪声频率，另一方面可以提取对心率变异性分析有用的频域信息。再接着通过反傅里叶变换(inverse fast fourier transform，ifft)将频域信号转化回时域信号。为了最大限度提取ippg信号，使用roi的r
mi
、g
mi
、b
mi
信息，构建尺寸为n
×
t
×
3的时空图。
[0082]
s14、将滤波后的所有所述时空图进行融合得到融合时空图。
[0083]
将前额区域和鼻子区域的时空图进行融合。考虑到前额区域和鼻子区域尺度不同，构建时空图时，本实施例统一将前额和鼻子区域划分为n个子区域，前额和鼻子区域均可获得尺寸为n
×
t
×
3的时空图，然后按行进行拼接，获取尺寸为2n
×
t
×
3的时空图，拼接后的时空图将用作hrv(heart rate variability)检测网络的输入。
[0084]
s2、将所述融合时空图输入心率变异性检测模型中进行降噪处理，以获取降噪后ippg信号；所述心率变异性检测模型基于条件生成对抗网络构建，且所述心率变异性检测模型还包括：对所述融合时空图中时域信号和频域信号分别进行判别的第一判别器和第二判别器。
[0085]
构建基于条件生成对抗网络cgan的ippg信号的提取网络——心率变异性检测模型(即hrv(heart rate variability)检测网络)，该模型由生成器g和双判别器d1和d2组成，双判别器分别用于判别时域信号和频域信号的真实性，从而提高生成器还原的ippg信号的精度。
[0086]
由于ippg信号的提取本质上可以看作是一个生成问题，且ippg信号具有时域和频
域两方面重要的属性，因此，本实施例为了基于ippg信号实现hrv的精准检测，基于条件生成对抗网络(cgan)构造了包含第一判别器和第二判别器的双判别器的心率变异性检测模型(即dd-cgan)，以实现ippg信号的降噪。双判别器分别用于判别时域信号和频域信号的真实性，从而提高生成器还原的ippg信号的精度。
[0087]
在本实施例中，dd-cgan包括生成器g和第一判别器d1和第二判别器d2。具体的，如图2所示，生成器g由4个“convblock”块和4个“upblock”块组成，其中，每个convblock包含两个卷积层，每个卷积层后面进行批标准化(bn)操作，在最后一层进行整流线性单元(relu)启动操作；每个upblock由一个转置卷积和两个卷积层组成，每个卷积层后面进行了批标准化(bn)操作，在最后一层进行了整流线性单元(relu)启动操作。生成器g的输入为面部视频预处理后得到的融合时空图，生成器的输出为还原(提取)得到的ippg信号xg(xg为时序信号)。同时为了提高生成器的效能，使生成器学习金标准ppg信号(xc)的时频特征。此外，由于ippg信号具有时域和频域两方面重要属性，在本实施例中，设置两个判别器分别对时域信号xg以及xg对应的频域信号x
g,f
进行判别。第一判别器d1和第二判别器d2具有相同的结构，具体结构如图3所示，d1和d2均由5个“convblock”、全局平均池化层以及两个全连接层组成。第一判别器d1的输入为xc和xg，第二判别器d2的输入为xc对应的频域信号x
c,f
以及x
g,f
。第一判别器d1和第二判别器d2的输出值表示判别器认为输入是真实数据的概率。
[0088]
此外，现有心率变异性检测方法大多只考虑波形整体趋势拟合效果，极少关注波峰位置、间距等局部特征。而波峰位置、间隔等局部特征属性在心率变异性指标的计算中具有关键影响，现有技术不关注这些会导致心率变异性检测结果偏离实际值。基于此，本实施例提出的心率变异性检测模型，同时还设置了信号整体趋势和局部特征的损失函数。具体而言：
[0089]
针对ippg信号的还原只需要关注它的周期性，因此计算xg和金标准xc之间的负pearson相关损失，使生成器学习xc的时频特征，同样进行x
g,f
和x
c,f
之间的负pearson相关损失计算：
[0090]
l
p
＝1-pcor(x
x
,xg)+1-pcor(x
c,f
,x
g,f
)
[0091]
其中，pcor()表示皮尔逊相关。
[0092]
考虑到波峰位置、间距等在hrv检测中具有十分重要的作用，本实施例设计了关注ippg信号局部特征的损失函数。具体而言，定义每个波峰由三个属性组成：第i个波峰的位置gi；并且在金标准ppg信号中与之对应的波峰位置为ci；与前一波峰之间的间隔，即第i-1个波峰和第i个波峰之间的间隔在金标准与之对应的间隔为与后一波峰之间的间隔，即第i个波峰和第i+1个波峰之间的间隔在金标准中与之对应的间隔为基于此，则整个ippg信号的波峰损失函数用公式可表示为：
[0093][0094][0095]
其中，li表示整个ippg信号的波峰损失函数；li表示ippg第i个波峰与对应的ppg信号中波峰之间的位置误差；x表示波峰总数量。
[0096]
因此生成器的损失函数可用公式表示为：
[0097]
lg＝αl
p
+βli[0098]
双判别器的损失函数参考segan设计，具体如下：
[0099][0100][0101]
基于上述构建好的心率变异性检测模型，将上述s1中的融合时空图输入心率变异性检测模型中进行降噪处理，以获取降噪后ippg信号，具体流程可参见图4。经过降噪后，可以获得高精度的ippg信号用于后续分析。
[0102]
s3、对所述降噪后ippg信号进行时域分析、频域分析以及非线性分析，以实现非接触式心率变异性检测。
[0103]
经过降噪并还原出高精度的ippg信号后，对ippg信号进行时域分析、频域分析以及非线性分析，获取心率变异性的时域、频域以及非线性指标，实现多参数检测。
[0104]
1)降噪后ippg信号中hrv时域指标计算。使用dd-cgan获取高精度ippg时域信号后，利用如下计算公式获取均值(mean)、总体标准差(sdnn)、差值均方标准差(rmssd)以及相邻间期差值》50ms的百分比(p
50
)。同时获取三角指数和tinn。具体的，
[0105][0106][0107][0108][0109]
其中，p表示时域信号中波峰所在位置；ppi表示两个相邻波峰之间的间隔时间长度；n表示所有波峰的数量；nn
50
表示两个相邻波峰间隔之间时间差值大于50ms的波峰间隔数量；totalnn表示所有波峰间隔的数量。
[0110]
三角指数：rr间期总个数除以rr间期直方图的高度。
[0111]
tinn：利用最小方差法求出全部rr间期的直方图的近似三角形底边的宽度。
[0112]
2)降噪后ippg信号中频域分析。使用傅里叶变换将获得的高精度ippg时域信号转换为频域信号，从频域信号中选取0.04-0.15hz范围内的低频指标lf，选取0.15-0.4hz范围内的高频指标hf，最后获取低频指标和高频指标之间的比值lf/hf。
[0113]
lf＝fft(xg){0.04《fft(xg)《0.15}
[0114]
hf＝fft(xg){0.15《fft(xg)《0.4}
[0115]
3)获取降噪后ippg信号中非线性指标。对于一段连续的波峰间隔，将第i个心跳间隔作为横坐标，第(i+1)个心跳间隔作为纵坐标，在二维平面可以画出一个类似椭圆的图形，椭圆的中心位于(x轴心跳间隔平均值，y轴心跳间隔平均值)确定的坐标点，该椭圆的半长轴sd1和半短轴sd2即为心率变异性的非线性指标。
[0116]
基于对降噪后高精度的ippg信号的时域指标、频域指标，以及非线性指标的分析，实现多参数检测，即可获得高精度的非接触式心率变异性检测的结果。
[0117]
此外，为了在实际应用时更便捷和直观的展示非接触式心率变异性检测的结果，本实施例一种非接触式心率变异性检测方法还包括：
[0118]
s4、将所述时域分析的结果、频域分析的结果以及非线性分析的结果进行可视化展示。
[0119]
将s3步骤中获取的sdnn、tinn、pnn
50
、rmssd、lf、hf等心率变异性指标实时传输至展示界面用于数据的实时显示，具体如图5所示，以便于用户或者相关医护人员便捷、直观地获取到相关信息。
[0120]
至此，则完成了本实施例一种非接触式心率变异性检测方法的全部流程。
[0121]
实施例2：
[0122]
第二方面，本发明还提供了一种非接触式心率变异性检测系统，该系统包括：
[0123]
融合时空图获取模块，用于基于获取的感兴趣区域构建所有感兴趣区域的融合时空图；
[0124]
ippg信号降噪模块，用于将所述融合时空图输入心率变异性检测模型中进行降噪处理，以获取降噪后ippg信号；所述心率变异性检测模型基于条件生成对抗网络构建，且所述心率变异性检测模型还包括：对所述融合时空图中时域信号和频域信号分别进行判别的第一判别器和第二判别器；
[0125]
心率变异性分析模块，用于对所述降噪后ippg信号进行时域分析、频域分析以及非线性分析，以实现非接触式心率变异性检测。
[0126]
可选的，所述融合时空图获取模块基于获取的感兴趣区域构建所有感兴趣区域的融合时空图包括：
[0127]
s11、利用面部特征点定位和人脸检测算法从获取的原始面部视频中检测人脸，并定位和分割出感兴趣区域；
[0128]
s12、基于每个所述感兴趣区域构建时空图；
[0129]
s13、对每个所述时空图进行滤波；
[0130]
s14、将滤波后的所有所述时空图进行融合得到融合时空图。
[0131]
可选的，所述第一判别器的输入为金标准ppg信号和ippg信号的时域信号；所述第二判别器的输入为金标准ppg信号对应的频域信号和ippg信号的时域信号对应的频域信号；所述第一判别器和所述第二判别器的输出值表示判别器认为输入是真实数据的概率值。
[0132]
可选的，所述所述条件生成对抗网络中生成器的损失函数lg为：
[0133]
lg＝αl
p
+βli[0134]
l
p
＝1-pcor(x
x
,xg)+1-pcor(x
c,f
,x
g,f
)
[0135][0136][0137]
其中，l
p
表示x
g,f
和x
c,f
之间的负pearson相关损失；li表示整个ippg信号的波峰损失函数；xc表示金标准ppg信号；xg表示ippg信号的时域信号；x
c,f
、x
g,f
分别表示xc、xg对应的频域信号；α和β分别表示l
p
和li的权重系数；pcor()函数表示皮尔逊相关；li表示ippg第i个波峰与对应的ppg信号中波峰之间的位置误差，x表示波峰总数量；gi表示第i个波峰的位置；ci表示第i个波峰在金标准ppg信号中与gi对应的波峰位置；表示第i个波峰与前一波峰之间的间隔；c
i-1ci
表示在金标准中对应的间隔为；表示第i个波峰与后一波峰之间的间隔；表示在金标准中对应的间隔。
[0138]
可选的，所述系统还包括：
[0139]
分析结果展示模块，用于将所述时域分析的结果、频域分析的结果以及非线性分析的结果进行可视化展示。
[0140]
可理解的是，本发明实施例提供的非接触式心率变异性检测系统与上述非接触式心率变异性检测方法相对应，其有关内容的解释、举例、有益效果等部分可以参照非接触式心率变异性检测方法中的相应内容，此处不再赘述。
[0141]
综上所述，与现有技术相比，具备以下有益效果：
[0142]
1、本发明基于获取的roi构建所有roi的融合时空图；然后将融合时空图输入到基于条件生成对抗网络构建且包括双判别器的心率变异性检测模型中进行降噪处理，以获取降噪后ippg信号；最后基于降噪后ippg信号进行非接触式心率变异性检测。本发明针对噪声复杂程度远远超过预设情况的ippg信号可实现准确还原，从而获取高精度的心率变异性检测和估计结果。
[0143]
2、本发明中的心率变异性检测模型dd-cgan，通过设计双判别器分别对生成的时域信号和频域信号的真实性进行判别，使得生成器能够更好的学习金标准的时频特征；同时本发明还构造了可同步考虑信号整体趋势和局部特征的损失函数，提高了还原出的(即降噪后的)ippg信号的精度，辅助提升了非接触式心率变异性检测结果的精度。
[0144]
3、本发明相比于现有非接触式心率变异性检测技术只提取rr间期均值、sdnn、pnn50等时域指标，还新增了lf、hf、lf/hf等频域指标，提取的心率变异性指标更全面，可应用于后续心血管疾病的监测、治疗，疲劳识别，认知功能评估等各种场景中，该方法的泛化性和鲁棒性更好。
[0145]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0146]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种非接触式心率变异性检测方法，其特征在于，所述方法包括：基于获取的感兴趣区域构建所有感兴趣区域的融合时空图；将所述融合时空图输入心率变异性检测模型中进行降噪处理，以获取降噪后ippg信号；所述心率变异性检测模型基于条件生成对抗网络构建，且所述心率变异性检测模型还包括：对所述融合时空图中时域信号和频域信号分别进行判别的第一判别器和第二判别器；对所述降噪后ippg信号进行时域分析、频域分析以及非线性分析，以实现非接触式心率变异性检测。2.如权利要求1所述的方法，其特征在于，所述基于获取的感兴趣区域构建所有感兴趣区域的融合时空图包括：s11、利用面部特征点定位和人脸检测算法从获取的原始面部视频中检测人脸，并定位和分割出感兴趣区域；s12、基于每个所述感兴趣区域构建时空图；s13、对每个所述时空图进行滤波；s14、将滤波后的所有所述时空图进行融合得到融合时空图。3.如权利要求1所述的方法，其特征在于，所述第一判别器的输入为金标准ppg信号和ippg信号的时域信号；所述第二判别器的输入为金标准ppg信号对应的频域信号和ippg信号的时域信号对应的频域信号；所述第一判别器和所述第二判别器的输出值表示判别器认为输入是真实数据的概率值。4.如权利要求1所述的方法，其特征在于，所述条件生成对抗网络中生成器的损失函数l
g
为：l
g
＝αl
p
+βl
i
l
p
＝1-pcor(x
c
,x
g
)+1-pcor(x
c,
,x
g,f
))其中，l
p
表示x
g,
和x
c,
之间的负pearson相关损失；l
i
表示整个ippg信号的波峰损失函数；x
c
表示金标准ppg信号；x
g
表示ippg信号的时域信号；x
c,
、x
g,
分别表示x
c
、x
g
对应的频域信号；α和β分别表示l
p
和l
i
的权重系数；pcor()函数表示皮尔逊相关；l
i
表示ippg第i个波峰与对应的ppg信号中波峰之间的位置误差，x表示波峰总数量；g
i
表示第i个波峰的位置；c
i
表示第i个波峰在金标准ppg信号中与g
i
对应的波峰位置；表示第i个波峰与前一波峰之间的间隔；c
i-1
c
i
表示在金标准中对应的间隔为；表示第i个波峰与后一波峰之间的间隔；表示在金标准中对应的间隔。5.如权利要求1所述的方法，其特征在于，所述方法还包括：将所述时域分析的结果、频域分析的结果以及非线性分析的结果进行可视化展示。6.一种非接触式心率变异性检测系统，其特征在于，所述系统包括：融合时空图获取模块，用于基于获取的感兴趣区域构建所有感兴趣区域的融合时空
图；ippg信号降噪模块，用于将所述融合时空图输入心率变异性检测模型中进行降噪处理，以获取降噪后ippg信号；所述心率变异性检测模型基于条件生成对抗网络构建，且所述心率变异性检测模型还包括：对所述融合时空图中时域信号和频域信号分别进行判别的第一判别器和第二判别器；心率变异性分析模块，用于对所述降噪后ippg信号进行时域分析、频域分析以及非线性分析，以实现非接触式心率变异性检测。7.如权利要求6所述的系统，其特征在于，所述融合时空图获取模块基于获取的感兴趣区域构建所有感兴趣区域的融合时空图包括：s11、利用面部特征点定位和人脸检测算法从获取的原始面部视频中检测人脸，并定位和分割出感兴趣区域；s12、基于每个所述感兴趣区域构建时空图；s13、对每个所述时空图进行滤波；s14、将滤波后的所有所述时空图进行融合得到融合时空图。8.如权利要求6所述的系统，其特征在于，所述第一判别器的输入为金标准ppg信号和ippg信号的时域信号；所述第二判别器的输入为金标准ppg信号对应的频域信号和ippg信号的时域信号对应的频域信号；所述第一判别器和所述第二判别器的输出值表示判别器认为输入是真实数据的概率值。9.如权利要求6所述的系统，其特征在于，所述所述条件生成对抗网络中生成器的损失函数l
g
为：l
g
＝αl
p
+βl
i
l
p
＝1-pcor(x
c
,x
g
)+1-pcor(x
c,
,x
g,f
))其中，l
p
表示x
g,
和x
c,
之间的负pearson相关损失；l
i
表示整个ippg信号的波峰损失函数；x
c
表示金标准ppg信号；x
g
表示ippg信号的时域信号；x
c,
、x
g,
分别表示x
c
、x
g
对应的频域信号；α和β分别表示l
p
和l
i
的权重系数；pcor()函数表示皮尔逊相关；l
i
表示ippg第i个波峰与对应的ppg信号中波峰之间的位置误差，x表示波峰总数量；g
i
表示第i个波峰的位置；c
i
表示第i个波峰在金标准ppg信号中与g
i
对应的波峰位置；表示第i个波峰与前一波峰之间的间隔；c
i-1
c
i
表示在金标准中对应的间隔为；表示第i个波峰与后一波峰之间的间隔；表示在金标准中对应的间隔。10.如权利要求6所述的系统，其特征在于，所述系统还包括：分析结果展示模块，用于将所述时域分析的结果、频域分析的结果以及非线性分析的结果进行可视化展示。

技术总结
本发明提供一种非接触式心率变异性检测方法及系统，涉及心率变异性检测技术领域。本发明基于获取的ROI构建所有ROI的融合时空图；然后将融合时空图输入到基于条件生成对抗网络构建且包括双判别器的心率变异性检测模型中进行降噪处理，以获取降噪后iPPG信号；最后基于降噪后iPPG信号进行非接触式心率变异性检测。本发明针对噪声复杂程度远远超过预料情况之外的iPPG信号可实现准确还原，从而获取高精度的心率变异性检测和估计结果。精度的心率变异性检测和估计结果。精度的心率变异性检测和估计结果。


技术研发人员：丁帅 杨宇 宋程 莫海淼 秦玉婷
受保护的技术使用者：合肥工业大学
技术研发日：2023.05.06
技术公布日：2023/8/9