一种基于头部动作的视觉刺激反应监测方法及智能终端

1.本发明涉及领域，具体涉及一种基于头部动作的视觉刺激反应监测方法及智能终端。


背景技术：

2.在心理学与神经科学研究、婴幼儿研究等领域，视觉刺激的反应监测有广泛的应用。在临床研究领域，对于视觉刺激的反应可用于眼科疾病以及大脑和神经障碍的诊断，例如自闭症和帕金森病等，还可提供一些疾病的早期征兆信息，如阿尔茨海默症、帕金森等。具体的参数数据令疾病或康复进展的研究得以客观量化。
3.目前对于用户在电脑或移动设备前收到的视觉刺激反应的监测，主要采用的是眼动追踪的方法，通过监测用户在阅读过程或完成任务过程中的眼球运动情况，分析用户的认知功能状态。但用于眼动分析的眼动仪成本较高，携带较为不便。另外，通过自带的单个摄像头，完成眼动分析的方法能够在一定程度上代替眼动仪，但是对于摄像头采集图像或视频的清晰度和分辨率有较高的要求。同时，无法适应逆光、强光等光线条件较差的情况，以及拍摄过程中眼睛部分没有拍全的情况；而且对认知功能评估有较高需求的老年人群体，眼睛睁开幅度普遍较年轻人小，都使得基于单个摄像头的眼动追踪实现困难，难以实现视觉刺激反应的监测。
4.因此，现有技术还有待于改进和发展。


技术实现要素：

5.本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于头部动作的视觉刺激反应监测方法及智能终端，旨在解决现有技术中眼动检测实现成本较高，以及基于单个摄像头的眼动追踪实现困难，难以实现视觉刺激反应的监测的问题。
6.本发明解决技术问题所采用的技术方案如下：
7.第一方面，本发明提供一种基于头部动作的视觉刺激反应监测方法，其中，所述方法包括：
8.获取包含头部影像的图像或视频数据；
9.将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框；
10.将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标；
11.根据所述头部关键点位置坐标，得到视觉刺激方向和视觉刺激反应。
12.在一种实现方式中，所述将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框，包括：
13.将所述头部图像数据输入到头部检测网络模型进行训练，得到检测结果；
14.对所述检测结果进行非极大抑制后处理操作，得到所述头部检测矩形框。
15.在一种实现方式中，所述头部检测网络模型为mobilefacenet模型；其中，所述mobilefacenet模型包括第一可分离卷积模块和第二可分离卷积模块；所述第一可分离卷积模块包括一个5
×
5的卷积核，用于网络浅层；所述第二可分离卷积模块包括两个5
×
5的卷积核，用于网络深层。
16.在一种实现方式中，所述将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标，包括：
17.将所述头部检测矩形框中的头部图像输入到所述mobilemeshnet网络模型；其中，所述mobilemeshnet网络模型包括2d卷积层和残差模块；所述残差模块包括2个3
×
3的2d卷积层；所述2d卷积层的卷积核大小为3
×
3；
18.采用下采样的残差模块训练所述头部图像，得到关键点特征之间的依赖关系；
19.根据所述关键点特征之间的依赖关系，并采用卷积层-残差模块-卷积层的头部对所述头部图像进行解码，得到所述头部关键点位置坐标。
20.在一种实现方式中，所述根据所述头部关键点位置坐标，得到视觉刺激方向和视觉刺激反应，包括：
21.根据所述头部关键点位置坐标，得到头部位置、头部各特征点坐标、头部各特征点相对深度估计；
22.根据所述头部位置、头部各特征点坐标、头部各特征点相对深度估计，得到头部动作参数；
23.根据所述头部动作参数，得到视觉刺激方向和视觉刺激反应。
24.在一种实现方式中，所述头部动作参数，包括头部朝向，头部转动方向，头部转动速度，头部移动方向，头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度以及反应时间；
25.在一种实现方式中，所述根据所述头部动作参数，得到视觉刺激方向和视觉刺激反应，包括：根据所述头部转动方向、头部转动速度、头部移动方向、头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度，得到所述视觉刺激反应；
26.根据所述头部朝向，到所述视觉刺激方向；
27.根据所述头部转动速度、头部移动方向、头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度，得到所述视觉刺激反应。
28.第二方面，本发明实施例还提供一种基于头部动作的视觉刺激反应监测装置，其中，所述装置包括：
29.影像获取模块，用于获取包含头部影像的图像或视频数据；
30.头部检测矩形框获取模块，用于将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框；
31.头部关键点位置坐标获取模块，用于将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标；
32.视觉刺激反应获取模块，用于根据所述头部转动方向、头部转动速度、头部移动方向、头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度，得到所述视觉刺激反应。
33.第三方面，本发明实施例还提供一种智能终端，其中，所述智能终端包括存储器、
处理器及存储在所述存储器中并可在所述处理器上运行的基于头部动作的视觉刺激反应监测程序，所述处理器执行所述基于头部动作的视觉刺激反应监测程序时，实现如以上任一项所述的基于头部动作的视觉刺激反应监测方法的步骤。
34.第四方面，本发明实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有基于头部动作的视觉刺激反应监测程序，所述基于头部动作的视觉刺激反应监测程序被处理器执行时，实现如以上任一项所述的基于头部动作的视觉刺激反应监测方法的步骤。
35.有益效果：与现有技术相比，本发明提供了一种基于头部动作的视觉刺激反应监测方法及智能终端。首先，获取包含头部影像的图像或视频数据，实现在跨平台设备和网络上，利用其自带的摄像头实现对头动行为的监测，对硬件设备要求低。然后，将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框，实现通过神经网络模型智能检测头部图像所在的矩形框。接着，将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标，通过基于深度学习的头部特征点定位追踪方法，降低了环境的要求，增加了视觉刺激反应监测的泛用性。最后，根据所述头部关键点位置坐标，得到视觉刺激方向和视觉刺激反应，可结合简单测试任务监测头动参数，根据头动参数评估被试的认知状态。
附图说明
36.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1是本发明实施例提供的基于头部动作的视觉刺激反应监测方法流程示意图。
38.图2是本发明实施例提供的分离卷积的模块示意图。
39.图3是本发明实施例提供的mobilefacenet网络结构示意图。
40.图4是本发明实施例提供的mobilemeshnet网络结构示意图。
41.图5是本发明实施例提供的基于头部动作的视觉刺激反应监测装置的原理框图。
42.图6是本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
43.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
44.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措
辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
45.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
46.在心理学与神经科学研究、婴幼儿研究等领域，视觉刺激的反应监测有广泛的应用。在临床研究领域，对于视觉刺激的反应可用于眼科疾病以及大脑和神经障碍的诊断，例如自闭症和帕金森病等，还可提供一些疾病的早期征兆信息，如阿尔茨海默症、帕金森等。对于用户视觉信息的监测方案，目前最常采用的方法都是眼动追踪。但眼动仪造价较高，且在一些极端情况下，由于眼睛特征难以捕捉，导致无法准确识别视觉刺激的反应。
47.目前，头部动作与眼球运动的相关性已经得到了验证，frank等设计了阅读实验，使用红外瞳孔和头部追踪器监测头部和眼球运动，证明了了头部和眼球运动系统是一个高度耦合但极其灵活的系统。因此，本发明提出的头部动作监测能够有效的作为眼动追踪的替代，实现视觉刺激反应的监测，进行一系列人机交互，实现心理状态和认知状态的评估。本发明可在跨平台设备上实现，依据一些认知心理学方法的简单测试，在主动提供刺激的情况下，对被试的头动行为进行分析。在各应用场景下，不仅成本低廉，而且操作更简便。
48.示例性方法
49.本实施例提供一种基于头部动作的视觉刺激反应监测方法。如图1所示，所述方法包括如下步骤：
50.步骤s100、获取包含头部影像的图像或视频数据；
51.具体地，本实施例利用摄像头获取包含头部影像的图像或视频。摄像头可为具备远程操控和传输能力的网络摄像头、本地摄像设备或者医学影像采集设备。图像中应含有完整的头部影像，在视频数据中，提取含有完整的头部影像的每一帧影像作为素材。若头部影像缺失超过缺损阈值，应对此图像或此帧视频数据做丢弃处理。在本实施例中，缺损阈值设为70％。
52.步骤s200、将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框；
53.具体地，在本实施例中对于采集到的图像或视频数据，我们将进行一个头部的检测。通过神经网络的监测模型对输入的图像或视频数据进行训练，以智能地提取出头部检测矩形框。头部检测矩形框是一个矩形的图像数据，且内含完整的头部图像。通过头部检测矩形框可进一步对头部图像进行定位和分析。
54.在一种实现方式中，本实施例所述步骤s200包括如下步骤：
55.步骤s201、将所述头部图像数据输入到头部检测网络模型进行训练，得到检测结果；所述头部检测网络模型为mobilefacenet模型；其中，所述mobilefacenet模型包括第一可分离卷积模块和第二可分离卷积模块；所述第一可分离卷积模块包括一个5
×
5的卷积核，用于网络浅层；所述第二可分离卷积模块包括两个5
×
5的卷积核，用于网络深层。
56.步骤s202、对所述检测结果进行非极大抑制后处理操作，得到所述头部检测矩形框。
57.具体地，本实施例提出头部检测解决方案mobilefacenet，如图2所示。它是基于mobilenet改进优化的、专门为移动终端推理量身定制的轻量级且性能良好的头部检测器。该检测器的超实时性能使其能够应用于任何需要准确的头部感兴趣区域作为下一步头部关键点估计任务模型的输入的实时取景器。在图2中，左侧为单层的faceblock，右侧为设计的一个先升后降的双层的doublefaceblock。我们使用5
×
5的卷积核以增加网络感受野大小同时减少网络深度，优化实时推理速度。
58.其中，faceblock适用于网络浅层，doublefaceblock适用于网络深层。我们将优化后的深度分离卷积模块配置在ssd检测网络中。另一方面，相比于ssd检测模型，本实施例采取的模型是两个特征维度(16*16，8*8)的特征进行anchor的学习，模型更轻量化，候选框也会更少，对于gpu会有更少的运算，我们使用6个8
×
8的特征图来替换原来分别为2个2
×
2，4
×
4，8
×
8的特征图，以此改进默认的anchor机制，具体的网络架构如下图3所示。在图3中，模型的骨干网络由深度可分离卷积模块faceblock和doublefaceblock堆叠而来，由最后两个输出端进行候选框提出。
59.步骤s300、将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标；
60.具体地，本实施例采用深度学习模型，即头部关键点定位模型来推断三维头部表面，只需将头部检测矩形框作为输入，而不需要专用的深度传感器。采用头部关键点定位模型与头部变换模块捆绑在一起，建立了一个度量三维空间，并使用头部标志屏幕位置来估计该空间内的头部变换。
61.在一种实现方式中，本实施例所述步骤s300包括如下步骤：
62.步骤s301、将所述头部检测矩形框中的头部图像输入到所述mobilemeshnet网络模型；其中，所述mobilemeshnet网络模型包括2d卷积层和残差模块；所述残差模块包括2个3
×
3的2d卷积层；所述2d卷积层的卷积核大小为3
×
3；
63.步骤s302、采用下采样的残差模块训练所述头部图像，得到关键点特征之间的依赖关系；
64.步骤s303、根据所述关键点特征之间的依赖关系，并采用卷积层-残差模块-卷积层的头部对所述头部图像进行解码，得到所述头部关键点位置坐标。
65.具体地，本实施例采用深度学习模型来推断三维头部表面，只需将在摄像头捕捉到的头部作为输入，而不需要专用的深度传感器。采用mobilemeshnet与头部变换模块捆绑在一起，建立了一个度量三维空间，并使用头部标志屏幕位置来估计该空间内的头部变换。具体来说，我们将头部检测模型的检测到的头部作为输入，通过回归预测近似三维表面的三维头部关键点模型。mobilemeshnet在网络的输入使用了更多的下采样，将大部分计算专用于其浅层部分，使得神经元感受野开始覆盖输入图像的大面积相对较早，更能捕捉到不同关键点的位置信息和相对位置关系，仅在网络的最后几层转换为坐标。
66.具体地，在图4中，mobilemeshnet网络采取不对称的网络结构，骨干网络使用更多下采样的残差模块，捕捉关键点特征之间的依赖关系，再由卷积层-残差模块-卷积层的头部进行解码头部关键点位置坐标。模型输入为mobilefacenet的头部检测矩形框中的头部图像，输出头部关键点位置坐标。其中，对于2d卷积层(convolutional2dlayer，conv2d)的卷积核kernel大小为3
×
3，步长stride设置为1，填充padding大小设置为1；残差模块为标
准的残差模块，由2个3
×
3卷积层conv2d堆叠而成，实现y＝f(x)+的残差学习；连接上的最大值池化(maxpooling2dlayer，maxpool2d)，池化大小设置为2
×
2。
67.步骤s400、根据所述头部关键点位置坐标，得到视觉刺激方向和视觉刺激反应。
68.具体地，本实施例结合简单测试任务对被试施加刺激，监测被试对刺激做出反应时的头部影像，就可以得到头部关键点位置坐标，通过对头部关键点位置坐标的变化进行计算，就可以推测出表示头部运动的参数值，从而得到被试者的的认知状态，即视觉刺激方向和视觉刺激反应。
69.举例说明，当被试者第一次测试时头部关键点位置坐标在0.01秒内从(x1,y1,z1)移动到(x2,y2,z2)，相对于被试者第二次测试时的头部关键点位置坐标在0.1秒内从(x1,y1,z1)移动到(x2,y2,z2)，就可以推断出两次视觉刺激方向相同，但视觉刺激反应不同，第一次测试的视觉刺激反应较强。
70.在一种实现方式中，本实施例所述步骤s400包括如下步骤：
71.步骤s401、根据所述头部关键点位置坐标，得到头部位置、头部各特征点坐标、头部各特征点相对深度估计；
72.步骤s402、根据所述头部位置、头部各特征点坐标、头部各特征点相对深度估计，得到头部动作参数；所述头部动作参数，包括头部朝向，头部转动方向，头部转动速度，头部移动方向，头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度以及反应时间。
73.步骤s403、根据所述头部动作参数，得到视觉刺激方向和视觉刺激反应。
74.具体地，当外部发生可视刺激时，眼动会追随目标移动，同时带动头部向特定的方向偏移。头部移动的轨迹，可通过头部朝向，头部转动方向，头部转动速度，头部移动方向，头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度以及反应时间来判断，通过头部移动的轨迹就能判断出被测试者当前的眼动追随情况，从而在没有眼动仪支持的环境中，通过监测头部运动就可以了解被试者的视觉刺激方向和视觉刺激反应。
75.具体地，本实施例通过头部关键点位置坐标就能确定头部的形态估计。通过头部关键点坐标，准确定位出头部位置、头部各特征点坐标、头部各特征点相对深度估计，根据上诉参数分析头部动作，包括当前头部朝向，头部转动方向，头部转动速度，头部移动方向，头部移动速度，头部运动轨迹，头部运动轨迹面积，头部运动加速度以及反应时间等。具体的计算方法如下：
76.头部朝向为
77.头部移动速度为
78.头部移动加速度为
79.头部移动方向为
80.头部转动方向为
81.头部转动速度为
82.其中，为头部中心到鼻尖的向量横坐标，为纵坐标和垂直坐标，x0为头部中心点的横坐标，y0、z0为纵坐标和垂直坐标，为xoy平面上，头部中心到鼻尖的斜率，k0为原始状态，k1为新状态，δt为间隔时间。
83.具体地，在图像或视频质量较差的情况下无法准确追踪眼动，本实施例中的方法仍能获取头部的运动状态，从而保持较高的准确度，鲁棒性高，对硬件设备要求低，摆脱了以往方法中需要红外或高清摄像头的要求，仅需对被试的头动行为进行分析就可实现对视觉刺激方向和视觉刺激反应的检测。
84.在一种实现方式中，本实施例所述步骤s403包括如下步骤：
85.步骤s4031、根据所述头部朝向，到所述视觉刺激方向；
86.步骤s4032、根据所述头部转动方向、头部转动速度、头部移动方向、头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度，得到所述视觉刺激反应。
87.具体地，当对被试者的可视刺激发生时，头部朝向和视线注视的方向是同向的，所以通过头部朝向即推断视觉刺激方向。同时，头部转动方向、头部转动速度反映了被试者在面对视觉刺激时头部转动的快慢，可以反映被试者的头部局部反应速度。头部移动方向、头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度反映了被试者躯体的移动轨迹和速度，也可以推断被试视觉刺激变化造成的反应。
88.需要注意的是，为了让本实施例中的方法能够在跨平台设备和网络中运行，本实施例采用tensorflow.js将深度学习模型转成模型结构的json文件和模型权重的bin文件，支持模型在浏览器等跨平台设备和网络能够在线运行，让眼球追踪分析迁移到web浏览器可扩展的平台上，以能够在移动终端运行，积极推动头动追踪在线、实时的发展。
89.示例性装置
90.如图5中所示，本实施例还提供一种基于头部动作的视觉刺激反应监测装置，所述装置包括：
91.影像获取模块10，用于获取包含头部影像的图像或视频数据；
92.头部检测矩形框获取模块20，用于将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框；
93.头部关键点位置坐标获取模块30，用于将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标；
94.视觉刺激反应获取模块40，用于根据所述头部关键点位置坐标，得到视觉刺激方向和视觉刺激反应。
95.在一种实现方式中，所述头部检测矩形框获取模块20包括：
96.第一训练获取单元，用于将所述头部图像数据输入到头部检测网络模型进行训练，得到检测结果；所述头部检测网络模型为mobilefacenet模型；其中，所述mobilefacenet模型包括第一可分离卷积模块和第二可分离卷积模块；所述第一可分离卷积模块包括一个5
×
5的卷积核，用于网络浅层；所述第二可分离卷积模块包括两个5
×
5的卷积核，用于网络深层。
97.头部检测矩形框获取单元，用于对所述检测结果进行非极大抑制后处理操作，得到所述头部检测矩形框。
98.在一种实现方式中，所述头部关键点位置坐标获取模块30包括：
99.第二训练获取单元，用于将所述头部检测矩形框中的头部图像输入到所述mobilemeshnet网络模型；其中，所述mobilemeshnet网络模型包括2d卷积层和残差模块；所述残差模块包括2个3
×
3的2d卷积层；所述2d卷积层的卷积核大小为3
×
3；
100.依赖关系获取单元，用于采用下采样的残差模块训练所述头部图像，得到关键点特征之间的依赖关系；
101.头部关键点位置坐标获取单元，用于根据所述关键点特征之间的依赖关系，并采用卷积层-残差模块-卷积层的头部对所述头部图像进行解码，得到所述头部关键点位置坐标。
102.在一种实现方式中，所述视觉刺激反应获取模块40包括：
103.头部坐标获取单元，用于根据所述头部关键点位置坐标，得到头部位置、头部各特征点坐标、头部各特征点相对深度估计；
104.头部动作参数获取单元，用于根据所述头部位置、头部各特征点坐标、头部各特征点相对深度估计，得到头部动作参数；所述头部动作参数，包括头部朝向，头部转动方向，头部转动速度，头部移动方向，头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度以及反应时间。
105.视觉刺激方向和视觉刺激反应获取单元，用于根据所述头部动作参数，得到视觉刺激方向和视觉刺激反应。
106.在一种实现方式中，本实施例所述视觉刺激方向和视觉刺激反应获取单元，包括：
107.视觉刺激方向获取子单元，用于根据所述头部朝向，到所述视觉刺激方向；
108.视觉刺激反应获取子单元，用于根据所述头部转动方向、头部转动速度、头部移动方向、头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度，得到所述视觉刺激反应。
109.基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图6所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于头部动作的视觉刺激反应监测方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的温度传感器是预先在智能终端内部设置，用于检测内部设备的运行温度。
110.本领域技术人员可以理解，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
111.在一个实施例中，提供了一种智能终端，智能终端包括存储器、处理器及存储在存储器中并可在处理器上运行的基于头部动作的视觉刺激反应监测程序，处理器执行基于头部动作的视觉刺激反应监测程序时，实现如下操作指令：
112.获取包含头部影像的图像或视频数据；
113.将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框；
114.将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标；
115.根据所述头部关键点位置坐标，得到视觉刺激方向和视觉刺激反应。
116.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、运营数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双运营数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
117.综上，本发明公开了一种基于头部动作的视觉刺激反应监测方法，所述方法包括：获取包含头部影像的图像或视频数据；将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框；将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标；根据所述头部关键点位置坐标，得到视觉刺激方向和视觉刺激反应。本发明结合简单测试任务对被试施加刺激，监测头动参数，根据头动参数评估被试的认知状态，通过基于深度学习的头部特征点定位追踪方法，降低了环境的要求，增加了视觉刺激反应监测的泛用性。
118.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种基于头部动作的视觉刺激反应监测方法，其特征在于，所述方法包括：获取包含头部影像的图像或视频数据；将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框；将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标；根据所述头部关键点位置坐标，得到视觉刺激方向和视觉刺激反应。2.根据权利要求1所述的基于头部动作的视觉刺激反应监测方法，其特征在于，所述将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框，包括：将所述头部图像数据输入到头部检测网络模型进行训练，得到检测结果；对所述检测结果进行非极大抑制后处理操作，得到所述头部检测矩形框。3.根据权利要求2所述的基于头部动作的视觉刺激反应监测方法，其特征在于，所述头部检测网络模型为mobilefacenet模型；其中，所述mobilefacenet模型包括第一可分离卷积模块和第二可分离卷积模块；所述第一可分离卷积模块包括一个5
×
5的卷积核，用于网络浅层；所述第二可分离卷积模块包括两个5
×
5的卷积核，用于网络深层。4.根据权利要求1所述的基于头部动作的视觉刺激反应监测方法，其特征在于，所述将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标，包括：将所述头部检测矩形框中的头部图像输入到所述mobilemeshnet网络模型；其中，所述mobilemeshnet网络模型包括2d卷积层和残差模块；所述残差模块包括2个3
×
3的2d卷积层；所述2d卷积层的卷积核大小为3
×
3；采用下采样的残差模块训练所述头部图像，得到关键点特征之间的依赖关系；根据所述关键点特征之间的依赖关系，并采用卷积层-残差模块-卷积层的头部对所述头部图像进行解码，得到所述头部关键点位置坐标。5.根据权利要求1所述的基于头部动作的视觉刺激反应监测方法，其特征在于，所述根据所述头部关键点位置坐标，得到视觉刺激方向和视觉刺激反应，包括：根据所述头部关键点位置坐标，得到头部位置、头部各特征点坐标、头部各特征点相对深度估计；根据所述头部位置、头部各特征点坐标、头部各特征点相对深度估计，得到头部动作参数；根据所述头部动作参数，得到视觉刺激方向和视觉刺激反应。6.根据权利要求5所述的基于头部动作的视觉刺激反应监测方法，其特征在于，所述头部动作参数，包括头部朝向，头部转动方向，头部转动速度，头部移动方向，头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度以及反应时间。7.根据权利要求6所述的基于头部动作的视觉刺激反应监测方法，其特征在于，所述根据所述头部动作参数，得到视觉刺激方向和视觉刺激反应，包括：根据所述头部朝向，到所述视觉刺激方向；根据所述头部转动方向、头部转动速度、头部移动方向、头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度，得到所述视觉刺激反应。8.一种基于头部动作的视觉刺激反应监测装置，其特征在于，所述装置包括：
影像获取模块，用于获取包含头部影像的图像或视频数据；头部检测矩形框获取模块，用于将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框；头部关键点位置坐标获取模块，用于将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标；视觉刺激反应获取模块，用于根据所述头部关键点位置坐标，得到视觉刺激方向和视觉刺激反应。9.一种智能终端，其特征在于，所述智能终端包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于头部动作的视觉刺激反应监测程序，所述处理器执行所述基于头部动作的视觉刺激反应监测程序时，实现如权利要求1-7任一项所述的基于头部动作的视觉刺激反应监测方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于头部动作的视觉刺激反应监测程序，所述基于头部动作的视觉刺激反应监测程序被处理器执行时，实现如权利要求1-7任一项所述的基于头部动作的视觉刺激反应监测方法的步骤。

技术总结
本发明公开了一种基于头部动作的视觉刺激反应监测方法，所述方法包括：获取包含头部影像的图像或视频数据；将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框；将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标；根据所述头部关键点位置坐标，得到视觉刺激方向和视觉刺激反应。本发明结合简单测试任务对被试施加刺激，监测头动参数，根据头动参数评估被试的认知状态，通过基于深度学习的头部特征点定位追踪方法，降低了硬件的要求，增加了视觉刺激反应监测的泛用性。加了视觉刺激反应监测的泛用性。加了视觉刺激反应监测的泛用性。


技术研发人员：周永进 蔡思瑾 刘彦杰
受保护的技术使用者：深圳大学
技术研发日：2023.03.31
技术公布日：2023/7/25