一种从视频中连续监测心率的多光谱成像方法、装置及终端与流程

1.本发明涉及非接触式心率测量技术领域，特别涉及一种从视频中连续监测心率的多光谱成像方法、装置及终端。


背景技术：

2.基于摄像头（camera）的视频感知技术已被用于非接触生命体征监测及健康监测。该技术通过采用图像/信号处理算法从一段包含连续帧的视频图像中提取人体生理信号，包括心率，心率变异性，呼吸率，血氧饱和度，血压等。其中，心率对监测心血管系统，自主神经系统，睡眠分析等有重要意义。目前，摄像头监测心率的方式主要通过非接触光电容积脉搏波（remote photoplethsmography，简称为remote-ppg）实现，其核心技术原理已用于可穿戴的专业医疗设备（如手指血氧仪-finger oximeter）监测心率、呼吸率和血氧饱和度等生理指标。而多光谱光电容积脉搏波（multi-wavelength ppg）的基础作用尤为重要，可同时监测不同波段下的脉搏波信号（ppg）。
3.而不同波段的脉搏波能反映出不同的人体生理特征，如绿光波段的心率信号最强；红外波段对血氧（blood oxygen saturation）的变化最为敏感。不同波段信号（如蓝光和红外光）之间的信号相位差可计算脉搏波的传输时间（pulsetransit time）和血压。因此，在多个波段下（可见光和红外光）下同时摄取ppg信号有重要的医学意义和应用价值。此外，多光谱ppg（可见光和红外光）不仅增加了可测量的生理信号，而且增加了单个信号监测的鲁棒性，如通过多通道融合降噪的信号处理方法。但是，多光谱ppg在摄像头上的应用却大多局限在可见光或近红外波段，因为目前商用的，同时包括可见光和近红外的摄像头并不常见。因此，若想在单枚摄像头上实现7天/24小时的连续心率监测，需拓展目前的rgb摄像头的光学器件和算法实现方案，才能使其既能在白天环境（rgb波段）和夜晚环境（nir波段）下稳定地监测心率。


技术实现要素：

4.本发明的目的在于提供一种从视频中连续监测心率的多光谱成像方法、装置及终端，以解决上述背景技术中提到的问题。
5.为了达成上述目的，本发明的解决方案为：一种从视频中连续监测心率的多光谱成像方法，包括：s1、根据待监测者所处的监测环境自动获取待监测环境下的光照强度，根据获取的待监测环境的光照强度自动切换滤光，并在两个图像采集通道中选定其中一个图像采集通道，实时采集并获取环境视频图像；s2、对获取的环境视频图像进行提取分析，根据分析的连续的视频图像画面提取波段信号，根据提取的波段信号在单个或多个光谱脉搏波生物特征标签中自动切换相应的脉搏波生物特征标签，提取该光谱区间下的脉搏波；s3、根据提取的脉搏波信号计算该时间段内待监测者的心率值，并将心率值连同
脉搏波进行输出，完成心率监测。
6.优选的，所述图像采集通道可以为单波段图像采集通道或多波段图像采集通道。
7.优选的，所述光照强度充足时，选用多波段图像采集通道获取环境视频图像，所述多波段图像采集通道为rgb图像采集通道；所述光照强度不足时，选用单波段图像采集通道获取环境视频图像，所述单波段图像采集通道为nir图像采集通道。
8.优选的，所述nir图像采集通道在对环境图像进行采集时，需要补入红外led光源。
9.一种从视频中连续监测心率的多光谱成像装置，其特征在于，包括：图像采集模块，用于采集并获取环境视频图像；光照强度感应模块，用于感应待监测者所处监测环境下的光照强度；触发模块，在光照强度感应模块分析出环境图像中的像素光强不足时，自动切换滤光并补入红外led光源；视频处理模块，用于处理获取的连续视频图像；脉搏波提取模块，用于提取脉搏波信号；心率计算模块，用于将监测的脉搏波信号计算成心率值。
10.优选的，所述脉搏波提取模块在提取脉搏波信号前，需要根据波段信号自动切换单个或多个光谱脉搏波生物特征标签。
11.优选的，所述成像设备还包括isp视频处理模块，用于视频图像的自动白平衡、debayer、降噪、色彩空间校正、图像增加（锐化）、图像压缩处理，并最终生成isp视频编码，再对编码进行转化，输出成视频图像。
12.一种从视频中连续监测心率的多光谱成像终端，其特征在于，包括摄像头、rgb传感器、nir传感器、ir-cut filter、光照强度传感器、红外led补光灯、处理器和存储器；所述摄像头用于拍摄环境视频图像；所述rgb传感器和nir传感器分别用于获取拍摄环境中的多波段信号和单波段信号；所述ir-cut filter与rgb传感器和nir传感器配合使用，用于自动切换摄像头滤光；所述光照强度传感器用于感应环境光照强度；所述红外led补光灯与nir传感器配合使用，在拍摄环境只有单波段信号使进行补光；所述处理器用于处理摄像头、rgb传感器、nir传感器和光照强度传感器获取的图像和信号，并控制ir-cut filter自动切换和红外led补光灯的启闭；所述存储器用于存储摄像头、rgb传感器、nir传感器和光照强度传感器获取的图像数据和信号数据。
13.优选的，所述终端还包括与摄像头有线或无线连接的显示器；所述显示器包含ui显示界面，用于显示监测完成后的心率值和脉搏波信号。
14.本发明对照现有技术的有益效果是：本发明通过在单枚摄像头中搭载rgb传感器和nir传感器，并采用ir-cut filter自动切换的方式来实现rgb传感器和nir传感器可见光波段和近红外波段的交替互换，使单枚摄像头可以在一套算法下实现两种环境光下的多光谱脉搏波信号提取和心率监测，从而使单枚摄像头能够直接实现7天/24小时的连续心率监测。
附图说明
15.图1为本发明的方法流程图；图2为本发明的成像设备结构框图。
具体实施方式
16.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
17.实施例一：如图1-2所示，一种从视频中连续监测心率的多光谱成像方法，包括：s1、根据待监测者所处的监测环境自动获取待监测环境下的光照强度，根据获取的待监测环境的光照强度自动切换滤光，并在两个图像采集通道中选定其中一个图像采集通道，实时采集并获取环境视频图像；本实施例中，所述图像采集通道可以为单波段图像采集通道或多波段图像采集通道，其中，图像采集通道可以根据实际的监测环境和监测需求选用单波段图像采集通道或多波段图像采集通道，使得采集的图像在复杂环境下更加鲁棒，减少干扰因素；本实施例中，所述光照强度充足时，选用多波段图像采集通道获取环境视频图像，所述多波段图像采集通道为rgb图像采集通道；所述光照强度不足时，选用单波段图像采集通道获取环境视频图像，所述单波段图像采集通道为nir图像采集通道；本实施例中，所述nir图像采集通道在对环境图像进行采集时，需要补入红外led光源；其中，rgb图像采集通道可以作为多波段图像采集通道，在光照强度充足时通过红绿蓝三个波段获取更加清晰的图像；而nir图像采集通道可以作为单波段图像采集通道，在光照强度不足时可以配合自动切换的滤光和补入的红外led光源，对监测环境进行补光，将rgb波段的监测移至近红外波段，从而减少环境干扰，确保图像的准确采集，且不会对受监测者造成视觉上的干扰；s2、对获取的环境视频图像进行提取分析，根据分析的连续的视频图像画面提取波段信号，根据提取的波段信号在单个或多个光谱脉搏波生物特征标签中自动切换相应的脉搏波生物特征标签，提取该光谱区间下的脉搏波；其中，通过视频图像画面中的波段的特征向量来切换脉搏波生物特征标签，使得当前场景是rgb图像采集通道采集的rgb可见光场景时，使用可见光下的“rgb多光谱脉搏波特征标签”对脉搏波信号进行提取，并在当前场景是nir图像采集通道采集的nir夜视场景时，使用近红外下的“nir多光谱脉搏波特征标签”对脉搏波信号进行提取，有效确保了图像采集通道在白天和夜间都可以精准获取画面中待监测者的脉搏波信号数据，进而为获取待监测者的心率打好基础；s3、根据提取的脉搏波信号计算该时间段内待监测者的心率值，并将心率值连同脉搏波进行输出，完成心率监测；其中，根据脉搏波信号计算待监测者的心率值时，算法也可以根据图像采集通道的种类进行针对性地调整，即算法可以基于可见光rgb信号的心率计算方法，也可以基于近红外nir信号的心率算法，且算法具体将采用“基于脉搏波多光谱生物特征标签”的最小二乘法回归算法，因此，只需要切换对应不同波段的脉搏波生物特征标签即可完成在不同光谱区间下的脉搏波提取，例如，从rgb波段的特征向量[0.3, 0.7, 0.5]切换到nir波段的特征向量[1, 1, 1]（以单通道940 nm为例）。该方法可在白天和黑夜灵活切换，根据环境的特点自适应地调整心率监测的波段及相对应算法，可以对待监测者（如婴幼儿、老人或疾病患者）进行7天/24小时的连续监测；本实施例中，所述最小二乘法回归算法的公式为p=v
·
（c
·
ct）-1
·
c，其中：p是多光谱信号融合后的一维信号，v是ppg生物特征标签（即rgb波段的特征向量或nir波段的特
征向量），c是输入的多光谱信号；该公式可以根据环境光亮选择合适的ppg生物特征标签带入并进行计算，通过将多光谱光学信号投影到设定的生物标签上，进行多光谱信号融合，可以有效去除干扰噪声；本实施例中，所述脉搏波信号在提取时，提取的信号包含图像数据（即像素阵列图），该数据一般是从人体脸部区域的皮肤像素上提取的，保证了提取信号的准确度；作为本发明一个优选的实施例，还包括一种从视频中连续监测心率的多光谱成像装置，包括：图像采集模块，用于采集并获取环境视频图像；光照强度感应模块，用于感应待监测者所处监测环境下的光照强度；触发模块，在光照强度感应模块分析出环境图像中的像素光强不足时，自动切换滤光并补入红外led光源；视频处理模块，用于处理获取的连续视频图像；本实施例中，所述视频处理模块为isp视频处理模块，用于视频图像的自动白平衡、debayer、降噪、色彩空间校正、图像增加（锐化）、图像压缩处理，并最终生成isp视频编码，再对编码进行转化，输出成视频图像；其中，isp视频处理模块，可以对获取的视频图像进行初步处理，提高视频图像画面的画质，从而提高脉搏波信号提取的精确度；脉搏波提取模块，用于提取脉搏波信号；本实施例中，所述脉搏波提取模块在提取脉搏波信号前，需要根据波段信号自动切换单个或多个光谱脉搏波生物特征标签；心率计算模块，用于将监测的脉搏波信号计算成心率值；本实施例中，所述心率计算模块将监测的脉搏波信号计算成心率值时，采用的方法为频谱法或ibi法；在频谱法中，脉搏波信号通过fft转化到频域，计算其频谱并选择频谱的峰值作为心率；在ibi法中，利用峰值检测器监测时间信号的多个峰值，计算峰值间的距离，计算ibi；上述两种方法均为现有技术，因此不再过多叙述；作为本发明一个优选的实施例，还包括一种从视频中连续监测心率的多光谱成像终端，包括、rgb传感器、nir传感器、ir-cut filter、光照强度传感器、红外led补光灯、处理器和存储器；所述摄像头用于拍摄环境视频图像；所述rgb传感器和nir传感器分别用于获取拍摄环境中的多波段信号和单波段信号；所述ir-cut filter与rgb传感器和nir传感器配合使用，用于自动切换摄像头滤光；所述光照强度传感器用于感应环境光照强度；所述红外led补光灯与nir传感器配合使用，在拍摄环境只有单波段信号使进行补光；所述处理器用于处理摄像头、rgb传感器、nir传感器和光照强度传感器获取的图像和信号，并控制ir-cutfilter自动切换和红外led补光灯的启闭；所述存储器用于存储摄像头、rgb传感器、nir传感器和光照强度传感器获取的图像数据和信号数据；其中，rgb传感器和nir传感器使摄像机可以在白天和夜间两种模式下分别获取拍摄环境中的多波段信号和单波段信号；光照强度传感器可以感应环境光照强度；ir-cut filter可以在环境光照强度足够时，通过ir-cut的红外截止/吸收滤光片工作，使红外光线被截止/吸收，从而使得rgb图像采集通道获取的环境视频图像可以还原真实色彩，并在图环境光照强度不足时（即当前场景为夜视场景时），自动移除ir-cutfilter，即使ir-cut的红外截止/吸收滤光片自动移开，全透光谱滤光片开始工作，使nir图像采集通道获取的环境视频图像可以充分利用到所有光线，从而大大提高了低照性能；红外led补光灯可以在环境光照强度不足时（即当前场景为夜视场景
时）进行补光，减少环境干扰；本实施例中，所述终端还包括与摄像头有线或无线连接的显示器；所述显示器包含ui显示界面，用于显示监测完成后的心率值和脉搏波信号；其中，显示器可以显示监测的心率值和脉搏波信号，使监测人员可以清楚得知被监测者的心率状态；综上，本发明所提供的一种从视频中连续监测心率的多光谱成像方法、装置及终端，通过在单枚摄像头中搭载rgb传感器和nir传感器，并采用ir-cut filter自动切换的方式来实现rgb传感器和nir传感器可见光波段和近红外波段的交替互换，使单枚摄像头可以在一套算法下实现两种环境光下的多光谱脉搏波信号提取和心率监测，从而使单枚摄像头能够直接实现7天/24小时的连续心率监测。
[0018]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
[0019]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种从视频中连续监测心率的多光谱成像方法，其特征在于，包括：s1、根据待监测者所处的监测环境自动获取待监测环境下的光照强度，根据获取的待监测环境的光照强度自动切换滤光，并在两个图像采集通道中选定其中一个图像采集通道，实时采集并获取环境视频图像；s2、对获取的环境视频图像进行提取分析，根据分析的连续的视频图像画面提取波段信号，根据提取的波段信号在单个或多个光谱脉搏波生物特征标签中自动切换相应的脉搏波生物特征标签，提取该光谱区间下的脉搏波；s3、根据提取的脉搏波信号计算该时间段内待监测者的心率值，并将心率值连同脉搏波进行输出，完成心率监测。2.如权利要求1所述的一种从视频中连续监测心率的多光谱成像方法，其特征在于：所述图像采集通道可以为单波段图像采集通道或多波段图像采集通道。3.如权利要求2所述的一种从视频中连续监测心率的多光谱成像方法，其特征在于：所述光照强度充足时，选用多波段图像采集通道获取环境视频图像，所述多波段图像采集通道为rgb图像采集通道；所述光照强度不足时，选用单波段图像采集通道获取环境视频图像，所述单波段图像采集通道为nir图像采集通道。4.如权利要求3所述的一种从视频中连续监测心率的多光谱成像方法，其特征在于：所述nir图像采集通道在对环境图像进行采集时，需要补入红外led光源。5.一种从视频中连续监测心率的多光谱成像装置，其特征在于，包括：图像采集模块，用于采集并获取环境视频图像；光照强度感应模块，用于感应待监测者所处监测环境下的光照强度；触发模块，在光照强度感应模块分析出环境图像中的像素光强不足时，自动切换滤光并补入红外led光源；视频处理模块，用于处理获取的连续视频图像；脉搏波提取模块，用于提取视频处理模块处理后的连续视频图像中的脉搏波信号；心率计算模块，用于将监测的脉搏波信号计算成心率值。6.如权利要求5所述的一种从视频中连续监测心率的多光谱成像装置，其特征在于：所述脉搏波提取模块在提取脉搏波信号前，需要根据波段信号自动切换单个或多个光谱脉搏波生物特征标签。7.如权利要求5所述的一种从视频中连续监测心率的多光谱成像装置，其特征在于：所述视频处理模块为isp视频处理模块，用于视频图像的自动白平衡、debayer、降噪、色彩空间校正、图像增加（锐化）、图像压缩处理，并最终生成isp视频编码，再对编码进行转化，输出成视频图像。8.一种从视频中连续监测心率的多光谱成像终端，其特征在于，包括摄像头、rgb传感器、nir传感器、ir-cut filter、光照强度传感器、红外led补光灯、处理器和存储器；所述摄像头用于拍摄环境视频图像；所述rgb传感器和nir传感器分别用于获取拍摄环境中的多波段信号和单波段信号；所述ir-cut filter与rgb传感器和nir传感器配合使用，用于自动切换摄像头滤光；所述光照强度传感器用于感应环境光照强度；所述红外led补光灯与nir传感器配合使用，在拍摄环境只有单波段信号使进行补光；所述处理器用于处理摄像头、rgb传感器、nir传感器和光照强度传感器获取的图像和信号，并控制ir-cut filter自动切换
和红外led补光灯的启闭；所述存储器用于存储摄像头、rgb传感器、nir传感器和光照强度传感器获取的图像数据和信号数据。9.如权利要求8所述的一种从视频中连续监测心率的多光谱成像终端，其特征在于：还包括与摄像头有线或无线连接的显示器；所述显示器包含ui显示界面，用于显示监测完成后的心率值和脉搏波信号。

技术总结
本发明公开了一种从视频中连续监测心率的多光谱成像方法、装置及终端，其方法包括：S1、根据待监测者所处的监测环境自动获环境光照强度，根据光照强度自动切换滤光，并选定一个图像采集通道，实时采集环境视频图像；S2、对环境视频图像进行提取分析，根据提取的波段信号自动切换脉搏波生物特征标签，提取脉搏波；S3、根据脉搏波信号计算待监测者的心率值。本发明通过在单枚摄像头中搭载RGB传感器和NIR传感器，并采用IR-cut filter自动切换的方式来实现RGB传感器和NIR传感器可见光波段和近红外波段的交替互换，使单枚摄像头可以在一套算法下实现两种环境光下的多光谱脉搏波信号提取和心率监测，从而使单枚摄像头能够直接实现7天/24小时的连续心率监测。现7天/24小时的连续心率监测。现7天/24小时的连续心率监测。


技术研发人员：王文锦 徐永
受保护的技术使用者：深圳市爱贝宝移动互联科技有限公司
技术研发日：2023.02.22
技术公布日：2023/7/20