基于人脸识别的学生课程推荐方法、装置及设备

1.本发明涉及人脸识别技术领域，尤其涉及一种基于人脸识别的学生课程推荐方法、装置及设备。


背景技术：

2.目前，在线学习成为了很多用户(如学生等)获取更多知识的学习方式之一。在线学习时，用户需登录在线学习平台，之后在线学习平台基于用户的购买课程记录和历史学习记录来确定用户本次在线学习可选择的课程。
3.但是，通过上述历史学习记录和购买课程记录来综合确定每一次学生登录在线学习平台后待推荐的课程数据，不能有效结合学生对课程的当前掌握程度以及学习过程中的各种动态反馈(如学习过程存在困难听不懂的情况等)来推荐学习课程数据，使得在线学习平台的学习课程推荐数据准确度较低。


技术实现要素：

4.本发明实施例提供了一种基于人脸识别的学生课程推荐方法、装置、计算机设备及介质，旨在解决现有技术中每次学生登录在线学习平台后，其基于用户的购买课程记录和历史学习记录来确定学生本次在线学习可选择的课程，不能有效结合学生对课程的当前掌握程度以及学习过程中的各种动态反馈，使得在线学习平台的学习课程推荐数据准确度较低的问题。
5.第一方面，本发明实施例提供了一种基于人脸识别的学生课程推荐方法，其包括：
6.响应于课程推荐指令，获取与所述课程推荐指令对应的学生人脸图像及当前学习课程信息；
7.获取预先训练的人脸识别模型，将所述学生人脸图像输入至所述人脸识别模型，得到第一识别结果；
8.获取与所述第一识别结果对应的学生历史学习视频数据；
9.获取预先训练的微表情识别模型，将所述学生历史学习视频数据中选中的若干张学生历史学习视频图像输入至所述微表情识别模型，得到第二识别结果；
10.基于所述当前学习课程信息、所述第二识别结果、及预设的微表情-推荐课程映射关系，确定与所述学生人脸图像对应的候选推荐课程数据集；
11.获取与所述学生历史学习视频数据对应的课程学习轨迹数据，基于所述课程学习轨迹数据和所述候选推荐课程数据集确定最终推荐课程数据集。
12.第二方面，本发明实施例还提供了一种基于人脸识别的学生课程推荐装置，其包括：
13.人脸图像信息获取单元，用于响应于课程推荐指令，获取与所述课程推荐指令对应的学生人脸图像及当前学习课程信息；
14.人脸识别单元，用于获取预先训练的人脸识别模型，将所述学生人脸图像输入至
所述人脸识别模型，得到第一识别结果；
15.目标视频数据获取单元，用于获取与所述第一识别结果对应的学生历史学习视频数据；
16.微表情识别单元，用于获取预先训练的微表情识别模型，将所述学生历史学习视频数据中选中的若干张学生历史学习视频图像输入至所述微表情识别模型，得到第二识别结果；
17.候选课程数据获取单元，用于基于所述当前学习课程信息、所述第二识别结果、及预设的微表情-推荐课程映射关系，确定与所述学生人脸图像对应的候选推荐课程数据集；
18.最终课程数据获取单元，用于获取与所述学生历史学习视频数据对应的课程学习轨迹数据，基于所述课程学习轨迹数据和所述候选推荐课程数据集确定最终推荐课程数据集。
19.第三方面，本发明实施例还提供了一种应计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
20.第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述第一方面所述的方法。
21.本发明实施例提供了一种基于人脸识别的学生课程推荐方法、装置及设备，方法包括：响应于课程推荐指令，获取与课程推荐指令对应的学生人脸图像及当前学习课程信息；获取预先训练的人脸识别模型，将学生人脸图像输入至人脸识别模型，得到第一识别结果；获取与第一识别结果对应的学生历史学习视频数据；获取预先训练的微表情识别模型，将学生历史学习视频数据中选中的若干张学生历史学习视频图像输入至微表情识别模型，得到第二识别结果；基于当前学习课程信息、第二识别结果、及预设的微表情-推荐课程映射关系，确定与学生人脸图像对应的候选推荐课程数据集；获取与学生历史学习视频数据对应的课程学习轨迹数据，基于课程学习轨迹数据和候选推荐课程数据集确定最终推荐课程数据集。本发明实施例可以基于用户学习过程中录制的学习视频进行表情识别和微表情识别，以及用户的课程学习轨迹数据来多维度共同确定更加准确且符合用户学习进度的最终推荐课程数据集。
附图说明
22.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明实施例提供的基于人脸识别的学生课程推荐方法的应用场景示意图；
24.图2为本发明实施例提供的基于人脸识别的学生课程推荐方法的流程示意图；
25.图3为本发明实施例提供的基于人脸识别的学生课程推荐装置的示意性框图；
26.图4为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
29.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
30.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
31.本发明实施例提供了一种基于人脸识别的学生课程推荐方法、装置、计算机设备及介质。本发明实施例中的基于人脸识别的学生课程推荐方法应用于服务器，服务器中设置有一个或多个处理器、存储器，以及一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行以实现基于人脸识别的学生课程推荐方法。
32.如图1所示，图1为本发明实施例基于人脸识别的学生课程推荐方法的场景示意图，本发明实施例中基于人脸识别的学生课程推荐场景中包括服务器10和若干个用户终端20，其中服务器10中集成有基于人脸识别的学生课程推荐装置，运行基于人脸识别的学生课程推荐方法对应的存储介质，以执行基于人脸识别的学生课程推荐方法的步骤。
33.可以理解的是，图1所示基于人脸识别的学生课程推荐方法的具体应用场景中的服务器10，或者服务器10中包含的装置并不构成对本发明实施例的限制，即基于人脸识别的学生课程推荐方法的具体应用场景中包含的设备数量、设备种类，或者各个设备中包含的装置数量、装置种类不影响本发明实施例中技术方案整体实现，均可以算作本发明实施例要求保护技术方案的等效替换或衍生。
34.本发明实施例中服务器10主要用于：响应于课程推荐指令，获取与所述课程推荐指令对应的学生人脸图像及当前学习课程信息；获取预先训练的人脸识别模型，将所述学生人脸图像输入至所述人脸识别模型，得到第一识别结果；获取与所述第一识别结果对应的学生历史学习视频数据；获取预先训练的微表情识别模型，将所述学生历史学习视频数据中选中的若干张学生历史学习视频图像输入至所述微表情识别模型，得到第二识别结果；基于所述当前学习课程信息、所述第二识别结果、及预设的微表情-推荐课程映射关系，确定与所述学生人脸图像对应的候选推荐课程数据集；获取与所述学生历史学习视频数据对应的课程学习轨迹数据，基于所述课程学习轨迹数据和所述候选推荐课程数据集确定最终推荐课程数据集。
35.本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本发明方案一种应用场景，并不构成对本发明方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的服务器10或用户终端20，或者服务器10的网络连接关系，例如图1中仅示出1个服务器10，可以理解的，该基于人脸识别的学生课程推荐方法的具体应用场景还可以包括
一个或多个其他服务器10，具体此处不作限定；该服务器10中还可以包括存储器。
36.图2是本发明实施例提供的基于人脸识别的学生课程推荐方法的流程示意图。如图2所示，该方法包括以下步骤s110-s160。
37.s110、响应于课程推荐指令，获取与所述课程推荐指令对应的学生人脸图像及当前学习课程信息。
38.在本实施例中，以服务器为执行主体描述技术方案。服务器为在线学习平台对应的后台服务器，在服务器中存储有海量的学习视频数据。当学生用户使用用户终端在输入了登录账号和密码且成功登录服务器对应的在线学习平台后，可以主动操作触发产生课程推荐指令，如在在线学习平台的首页有一个课程推荐的虚拟操作按钮，学生用户按下该课程推荐的虚拟操作按钮后可以产生课程推荐指令。服务器还可以基于学生用户的每一次成功登录来自动产生课程推荐指令，即学生用户使用用户终端在输入了登录账号和密码且成功登录服务器对应的在线学习平台后动产生课程推荐指令。
39.例如，本技术以一个学生用户a登录在线学习平台为例，当服务器获取到与学生用户a登录在线学习平台这一操作对应产生的课程推荐指令后，则由服务器进一步获取到学生用户a对应的学生人脸图像及当前学习课程信息。即当服务器中检测到了课程推荐指令后，会向学生用户a使用的用户终端发送一个用户头像采集指令。在用户接收该用户头像采集指令且授权允许采集后，则由用户终端采集到学生用户的学生人脸图像，并且由用户终端上传到服务器。而且学生用户a进入在线学习平台后，服务器也能实时获取到用户当前点击打开学习的课程名称以作为当前学习课程信息，或者是服务器也能获取到学生用户a最近一次完成在线学习所学习课程对应的课程名称作为当前学习课程信息。在服务器中获取到了学生人脸图像及当前学习课程信息，可以其作为后续获取用户的学生人脸图像及当前学习课程信息的部分参考数据。
40.s120、获取预先训练的人脸识别模型，将所述学生人脸图像输入至所述人脸识别模型，得到第一识别结果。
41.在本实施例中，由于在服务器中存储了预先完成训练的人脸识别模型，故可以在获取到了所述学生人脸图像后，将其输入至所述人脸识别模型进行人脸识别，得到第一识别结果。可见，基于人脸识别的方式，可以快速确定用户身份。
42.例如，仍参考上述示例，学生用户a在登录了在线学习平台后，服务器可以基于用户的账号信息获取到当前用户身份信息(如用户姓名、用户唯一身份标识号等)后，将当前用户身份信息与基于人脸识别得到的第一识别结果进行比对。若当前用户身份信息和第一识别结果均对应同一用户，则表示是学生用户a本人登录了在线学习平台进行在线学习，并非他人(如学生用户b等)登录了学生用户a的账号后进行在线学习。在确认了是学生用户a本人登录进行在线学习后，即可针对学生用户a进一步的进行课程推荐。
43.在一实施例中，步骤s120包括：
44.将所述学生人脸图像输入至所述人脸识别模型所对应卷积神经网络进行特征提取，得到学生人脸特征；
45.基于所述学生人脸特征与预设人脸特征库中各人脸特征的特征相似度，确定与所述学生人脸特征具有最大特征相似度的目标人脸特征；
46.获取所述目标人脸特征对应的用户身份信息，以作为所述第一识别结果。
47.在本实施例中，服务器中采用卷积神经网络作为人脸识别模型，当将所述学生人脸图像输入至卷积神经网络时，可以基于卷积神经网络的卷积层和池化层进依次进行卷积处理和池化处理后，得到与所述学生人脸图像对应的学生人脸特征。
48.由于在服务器中还存储有预设人脸特征库，故此时可以计算学生人脸特征与预设人脸特征库中各人脸特征的特征相似度，如计算学生人脸特征与预设人脸特征库中各人脸特征的余弦相似度以作为特征相似度。在获取到学生人脸特征与预设人脸特征库中各人脸特征的特征相似度后，选取预设人脸特征库中与所述学生人脸特征具有最大特征相似度的目标人脸特征。由于预设人脸特征库中各人脸特征的用户身份信息是已知的，故在获取了目标人脸特征后，以目标人脸特征对应的用户身份信息作为所述第一识别结果即可。可见，基于上述方式能快速进行人脸识别以准确获取到用户身份信息。
49.s130、获取与所述第一识别结果对应的学生历史学习视频数据。
50.在本实施例中，由于在服务器中存储了大量用户在学习过程中对准用户录制的学习视频数据，故在获取到了所述第一识别结果后，可以其为筛选条件获取到服务器所存储的学生历史学习视频数据。其中，为了降低服务器中的数据存储数据量，可以针对每一个学习用户仅存储最近一个月内的学习视频数据。
51.在一实施例中，步骤s130包括：
52.获取当前系统时间，根据预设统计时长和所述当前系统时间确定历史数据获取时间区间；其中，所述历史数据获取时间区间为[当前系统时间-预设统计时长,当前系统时间)；
[0053]
在本地存储区域获取视频数据采集时间位于所述历史数据获取时间区间、且所对应采集用户的身份信息与所述第一识别结果相同的历史视频数据，以组成所述学生历史学习视频数据。
[0054]
在本实施例中，服务器在获取所述学生历史学习视频数据时，具体是先获取当前系统时间，并且同时获取预设统计时长。之后以当前系统时间-预设统计时长为历史数据获取时间区间的起始时间，且以当前系统时间为历史数据获取时间区间的终止时间获取历史数据获取时间区间，以历史数据获取时间区间和第一识别结果共同组成的筛选条件在服务器的本地存储区域(如服务器的硬盘)中筛选获取视频数据采集时间位于所述历史数据获取时间区间、且所对应采集用户的身份信息与所述第一识别结果相同的历史视频数据，以组成所述学生历史学习视频数据。可见，基于上述方式能精确筛选到学生历史学习视频数据。
[0055]
其中，所述预设统计时长一般是小于服务器中针对用户视频存储的最大持续时长(如上述示例中的1个月)，也就是所述学生历史学习视频数据也是基于服务器中确实有效存储的视频数据进行筛选。
[0056]
s140、获取预先训练的微表情识别模型，将所述学生历史学习视频数据中选中的若干张学生历史学习视频图像输入至所述微表情识别模型，得到第二识别结果。
[0057]
在本实施例中，仍然参考上述示例，当在服务器中筛选得到了学生用户a的所述学生历史学习视频数据后，可以进行视频拆分得到多张学生历史学习视频图像。例如，所述学生历史学习视频数据对应了用户在近15天内的学习视频数据，针对每一天的学习视频数据随机筛选出3张学生历史学习视频图像，最终由45张学生历史学习视频图像作为筛选结果
并输入至所述微表情识别模型，得到第二识别结果。
[0058]
其中，所述采用的微表情识别模型为acnn(即带有注意力机制的卷积神经网络)和bi-lstm(即双向长短期记忆网络)的综合模型。将上述示例中获取到的45张学生历史学习视频图像作为筛选结果并输入至acnn模型和bi-lstm模型，即可得到45张学生历史学习视频图像分别对应的微表情识别结果。之后，对45张学生历史学习视频图像分别对应的微表情识别结果进行综合分析，可以得到一个最终的第二识别结果。
[0059]
在一实施例中，步骤s140包括：
[0060]
将所述学生历史学习视频数据中选中的若干张学生历史学习视频图像分别输入至所述微表情识别模型，得到若干张学生历史学习视频图像分别对应的微表情识别结果；
[0061]
以若干张学生历史学习视频图像分别对应的微表情识别结果中出现频率最高的微表情识别结果作为所述第二识别结果。
[0062]
在本实施例中，在具体基于若干张学生历史学习视频图像分别对应的微表情识别结果最终确定第二识别结果时，是以若干张学生历史学习视频图像分别对应的微表情识别结果中出现频率最高的微表情识别结果作为所述第二识别结果。例如，有20张学生历史学习视频图像对应的微表情识别结果为愉悦、有13张学生历史学习视频图像对应的微表情识别结果为疑惑、有12张学生历史学习视频图像对应的微表情识别结果为正常表情，其中出现频率最高的微表情识别结果是愉悦，此时以愉悦作为所述第二识别结果。从而实现了对若干张学生历史学习视频图像分别对应的微表情识别结果进行综合分析，最终得到一个准确客观的第二识别结果。
[0063]
s150、基于所述当前学习课程信息、所述第二识别结果、及预设的微表情-推荐课程映射关系，确定与所述学生人脸图像对应的候选推荐课程数据集。
[0064]
在本实施例中，让参考上述示例，当服务器中确定了学生用户a的第一识别结果和第二识别结果后，还能结合本地预先存储的微表情-推荐课程映射关系，确定所述学生人脸图像对应的候选推荐课程数据集。
[0065]
例如，学生用户a的当前学习课程信息为课程b1，第一识别结果对应学生用户a，且第二识别结果对应愉悦，则表示学生用户a在学习课程b1时是愉悦的心情，这也说明学生用户a在学习课程b1时是听懂了课程并且不存在知识点的理解障碍。为了进一步结合学习课程b1向学生用户a推荐下一步学习的课程，此时可以先由微表情-推荐课程映射关系和第二识别结果获取待推荐课程的难度等级，然后再结合待推荐课程的难度等级和课程b1推荐与课程b1相关的关联课程(如课程b1的基础学习课程b1a、基础学习课程b1b和基础学习课程b1c，或课程b1的进阶学习课程b1d和进阶学习课程b1e)确定进阶学习课程b1d。可见，基于多维度参数分析得到的候选推荐课程数据集，能更适合于用户进一步学习。
[0066]
在一实施例中，步骤s150包括：
[0067]
获取所述当前学习课程信息对应的当前课程名称；
[0068]
基于所述当前课程名称及所述第二识别结果确定初始候选推荐课程数据集；
[0069]
基于所述第二识别结果及所述微表情-推荐课程映射关系在所述初始候选推荐课程数据集中确定所述候选推荐课程数据集。
[0070]
在本实施例中，由于之前已获取到所述当前学习课程信息对应的当前课程名称，此时先结合所述当前课程名称(如上述示例中的课程b1)及所述第二识别结果(如上述示例
中的愉悦)确定初始候选推荐课程数据集，例如初始候选推荐课程数据集为课程b1的进阶学习课程b1d(具有进阶难度等级一)和进阶学习课程b1e(具有进阶难度等级二)、进阶学习课程b1f(具有进阶难度等级一)。
[0071]
之后，由于基于所述第二识别结果及所述微表情-推荐课程映射关系还能确定推荐课程难度等级，例如所述第二识别结果为愉悦时在及所述微表情-推荐课程映射关系查询到愉悦对应进阶难度等级一，所述第二识别结果为高兴时在及所述微表情-推荐课程映射关系查询到高兴对应进阶难度等级二。当所述第二识别结果为愉悦时，则基于微表情-推荐课程映射关系确定应进阶难度等级一，此时在初始候选推荐课程数据集筛选具有进阶难度等级一的进阶学习课程b1d和进阶学习课程b1f组成所述候选推荐课程数据集。可见，基于上述筛选方式，充分考虑到了学生用户在学习过程中理解知识点产生的微表情来确定下一步的课程学习难度及具体的推荐课程，所得到的候选推荐课程数据集更加具有参考性和客观性。
[0072]
在一实施例中，所述基于所述当前课程名称及所述第二识别结果确定初始候选推荐课程数据集，包括：
[0073]
若确定所述第二识别结果为正向性微表情识别结果，则获取与所述当前课程名称对应的进阶课程数据集，以组成所述初始候选推荐课程数据集；
[0074]
若确定所述第二识别结果为中性微表情识别结果，则获取与所述当前课程名称对应的同阶课程数据集，以组成所述初始候选推荐课程数据集；
[0075]
若确定所述第二识别结果为负向性微表情识别结果，则获取与所述当前课程名称对应的降阶课程数据集，以组成所述初始候选推荐课程数据集；
[0076]
所述基于所述第二识别结果及所述微表情-推荐课程映射关系在所述初始候选推荐课程数据集中确定所述候选推荐课程数据集，包括：
[0077]
若所述微表情-推荐课程映射关系中存在有与所述第二识别结果相同的目标微表情，获取所述目标微表情对应的目标推荐课程难度等级；
[0078]
在所述初始候选推荐课程数据集中获取具有所述目标推荐课程难度等级的初始候选推荐课程数据，以组成所述候选推荐课程数据集。
[0079]
在本实施例中，服务器在具体基于所述当前课程名称及所述第二识别结果确定初始候选推荐课程数据集时，需要进一步判断所述第二识别结果是正向性、中性或是负向性的微表情识别结果。例如高兴、愉悦是正向性微表情识别结果，正常是中性微表情识别结果，沮丧、厌恶是负向性微表情识别结果。当确定了第二识别结果的正向性、中性或是负向性后，即可确定对学生用户是推荐进阶课程数据集、同阶课程数据集还是降阶课程数据集以作为定所述候选推荐课程数据集。
[0080]
而且，在确定了始候选推荐课程数据集后，还能从微表情-推荐课程映射关系中确定与所述第二识别结果相同的目标微表情，并以所述目标微表情对应的目标推荐课程难度等级在所述初始候选推荐课程数据集中获取具有所述目标推荐课程难度等级的初始候选推荐课程数据，以组成所述候选推荐课程数据集，如上述示例中在初始候选推荐课程数据集筛选具有进阶难度等级一的进阶学习课程b1d和进阶学习课程b1f组成所述候选推荐课程数据集。可见，基于上述筛选方式，充分考虑到了学生用户在学习过程中理解知识点产生的微表情的正负向性和微表情映射关系比对结果，确定的课程学习难度及具体的推荐课程
更加准确客观。
[0081]
s160、获取与所述学生历史学习视频数据对应的课程学习轨迹数据，基于所述课程学习轨迹数据和所述候选推荐课程数据集确定最终推荐课程数据集。
[0082]
在本实施例中，继续参考上述示例，由于在服务器中针对学生用户a还存储了其历史学习各种知识点后分析得到的课程学习轨迹数据，例如课程c2-课程d3-课程b1可以视为一个课程学习轨迹数据，故在得到了学生用户a的课程学习轨迹数据和所述候选推荐课程数据集后还能综合分析得到学生用户a的最终推荐课程数据集。
[0083]
在一实施例中，步骤s160包括：
[0084]
获取所述候选推荐课程数据集中各候选推荐课程数据与所述课程学习轨迹数据的关联度；
[0085]
获取与所述课程学习轨迹数据具有最大关联度的候选推荐课程数据组成所述最终推荐课程数据集。
[0086]
在本实施例中，在基于所述课程学习轨迹数据和所述候选推荐课程数据集确定最终推荐课程数据集时，具体是先获取所述候选推荐课程数据集中各候选推荐课程数据与所述课程学习轨迹数据的关联度。例如进阶学习课程b1d和进阶学习课程b1f组成所述候选推荐课程数据集，进阶学习课程b1d与课程c2-课程d3-课程b1中的关联度为0.9(例如计算进阶学习课程b1d与课程c2-课程d3-课程b1这一课程学习轨迹数据的关联度时，分别计算进阶学习课程b1d对应的课程名称特征向量分别上述3个课程名称特征向量的余弦相似度后进行求和，得到进阶学习课程b1f与课程c2-课程d3-课程b1这一课程学习轨迹数据的关联度)，进阶学习课程b1d与课程c2-课程d3-课程b1中的关联度为0.8，此时以进阶学习课程b1d这一与所述课程学习轨迹数据具有最大关联度的候选推荐课程数据组成所述最终推荐课程数据集，并最终推荐给学生用户a进行下一步的进阶学习。
[0087]
可见，实施该方法的实施例可以基于用户学习过程中录制的学习视频进行表情识别和微表情识别，以及用户的课程学习轨迹数据来多维度共同确定更加准确且符合用户学习进度的最终推荐课程数据集。
[0088]
图3是本发明实施例提供的一种基于人脸识别的学生课程推荐装置的示意性框图。如图3所示，对应于以上基于人脸识别的学生课程推荐方法，本发明还提供一种基于人脸识别的学生课程推荐装置100。该基于人脸识别的学生课程推荐装置100包括用于执行上述基于人脸识别的学生课程推荐方法的单元。请参阅图3，该基于人脸识别的学生课程推荐装置100包括：人脸图像信息获取单元110、人脸识别单元120、目标视频数据获取单元130、微表情识别单元140、候选课程数据获取单元150和最终课程数据获取单元160。
[0089]
人脸图像信息获取单元110，用于响应于课程推荐指令，获取与所述课程推荐指令对应的学生人脸图像及当前学习课程信息。
[0090]
在本实施例中，以服务器为执行主体描述技术方案。服务器为在线学习平台对应的后台服务器，在服务器中存储有海量的学习视频数据。当学生用户使用用户终端在输入了登录账号和密码且成功登录服务器对应的在线学习平台后，可以主动操作触发产生课程推荐指令，如在在线学习平台的首页有一个课程推荐的虚拟操作按钮，学生用户按下该课程推荐的虚拟操作按钮后可以产生课程推荐指令。服务器还可以基于学生用户的每一次成功登录来自动产生课程推荐指令，即学生用户使用用户终端在输入了登录账号和密码且成
功登录服务器对应的在线学习平台后动产生课程推荐指令。
[0091]
例如，本技术以一个学生用户a登录在线学习平台为例，当服务器获取到与学生用户a登录在线学习平台这一操作对应产生的课程推荐指令后，则由服务器进一步获取到学生用户a对应的学生人脸图像及当前学习课程信息。即当服务器中检测到了课程推荐指令后，会向学生用户a使用的用户终端发送一个用户头像采集指令。在用户接收该用户头像采集指令且授权允许采集后，则由用户终端采集到学生用户的学生人脸图像，并且由用户终端上传到服务器。而且学生用户a进入在线学习平台后，服务器也能实时获取到用户当前点击打开学习的课程名称以作为当前学习课程信息，或者是服务器也能获取到学生用户a最近一次完成在线学习所学习课程对应的课程名称作为当前学习课程信息。在服务器中获取到了学生人脸图像及当前学习课程信息，可以其作为后续获取用户的学生人脸图像及当前学习课程信息的部分参考数据。
[0092]
人脸识别单元120，用于获取预先训练的人脸识别模型，将所述学生人脸图像输入至所述人脸识别模型，得到第一识别结果。
[0093]
在本实施例中，由于在服务器中存储了预先完成训练的人脸识别模型，故可以在获取到了所述学生人脸图像后，将其输入至所述人脸识别模型进行人脸识别，得到第一识别结果。可见，基于人脸识别的方式，可以快速确定用户身份。
[0094]
例如，仍参考上述示例，学生用户a在登录了在线学习平台后，服务器可以基于用户的账号信息获取到当前用户身份信息(如用户姓名、用户唯一身份标识号等)后，将当前用户身份信息与基于人脸识别得到的第一识别结果进行比对。若当前用户身份信息和第一识别结果均对应同一用户，则表示是学生用户a本人登录了在线学习平台进行在线学习，并非他人(如学生用户b等)登录了学生用户a的账号后进行在线学习。在确认了是学生用户a本人登录进行在线学习后，即可针对学生用户a进一步的进行课程推荐。
[0095]
在一实施例中，人脸识别单元120具体用于：
[0096]
将所述学生人脸图像输入至所述人脸识别模型所对应卷积神经网络进行特征提取，得到学生人脸特征；
[0097]
基于所述学生人脸特征与预设人脸特征库中各人脸特征的特征相似度，确定与所述学生人脸特征具有最大特征相似度的目标人脸特征；
[0098]
获取所述目标人脸特征对应的用户身份信息，以作为所述第一识别结果。
[0099]
在本实施例中，服务器中采用卷积神经网络作为人脸识别模型，当将所述学生人脸图像输入至卷积神经网络时，可以基于卷积神经网络的卷积层和池化层进依次进行卷积处理和池化处理后，得到与所述学生人脸图像对应的学生人脸特征。
[0100]
由于在服务器中还存储有预设人脸特征库，故此时可以计算学生人脸特征与预设人脸特征库中各人脸特征的特征相似度，如计算学生人脸特征与预设人脸特征库中各人脸特征的余弦相似度以作为特征相似度。在获取到学生人脸特征与预设人脸特征库中各人脸特征的特征相似度后，选取预设人脸特征库中与所述学生人脸特征具有最大特征相似度的目标人脸特征。由于预设人脸特征库中各人脸特征的用户身份信息是已知的，故在获取了目标人脸特征后，以目标人脸特征对应的用户身份信息作为所述第一识别结果即可。可见，基于上述方式能快速进行人脸识别以准确获取到用户身份信息。
[0101]
目标视频数据获取单元130，用于获取与所述第一识别结果对应的学生历史学习
视频数据。
[0102]
在本实施例中，由于在服务器中存储了大量用户在学习过程中对准用户录制的学习视频数据，故在获取到了所述第一识别结果后，可以其为筛选条件获取到服务器所存储的学生历史学习视频数据。其中，为了降低服务器中的数据存储数据量，可以针对每一个学习用户仅存储最近一个月内的学习视频数据。
[0103]
在一实施例中，目标视频数据获取单元130具体用于：
[0104]
获取当前系统时间，根据预设统计时长和所述当前系统时间确定历史数据获取时间区间；其中，所述历史数据获取时间区间为[当前系统时间-预设统计时长,当前系统时间)；
[0105]
在本地存储区域获取视频数据采集时间位于所述历史数据获取时间区间、且所对应采集用户的身份信息与所述第一识别结果相同的历史视频数据，以组成所述学生历史学习视频数据。
[0106]
在本实施例中，服务器在获取所述学生历史学习视频数据时，具体是先获取当前系统时间，并且同时获取预设统计时长。之后以当前系统时间-预设统计时长为历史数据获取时间区间的起始时间，且以当前系统时间为历史数据获取时间区间的终止时间获取历史数据获取时间区间，以历史数据获取时间区间和第一识别结果共同组成的筛选条件在服务器的本地存储区域(如服务器的硬盘)中筛选获取视频数据采集时间位于所述历史数据获取时间区间、且所对应采集用户的身份信息与所述第一识别结果相同的历史视频数据，以组成所述学生历史学习视频数据。可见，基于上述方式能精确筛选到学生历史学习视频数据。
[0107]
其中，所述预设统计时长一般是小于服务器中针对用户视频存储的最大持续时长(如上述示例中的1个月)，也就是所述学生历史学习视频数据也是基于服务器中确实有效存储的视频数据进行筛选。
[0108]
微表情识别单元140，用于获取预先训练的微表情识别模型，将所述学生历史学习视频数据中选中的若干张学生历史学习视频图像输入至所述微表情识别模型，得到第二识别结果。
[0109]
在本实施例中，仍然参考上述示例，当在服务器中筛选得到了学生用户a的所述学生历史学习视频数据后，可以进行视频拆分得到多张学生历史学习视频图像。例如，所述学生历史学习视频数据对应了用户在近15天内的学习视频数据，针对每一天的学习视频数据随机筛选出3张学生历史学习视频图像，最终由45张学生历史学习视频图像作为筛选结果并输入至所述微表情识别模型，得到第二识别结果。
[0110]
其中，所述采用的微表情识别模型为acnn(即带有注意力机制的卷积神经网络)和bi-lstm(即双向长短期记忆网络)的综合模型。将上述示例中获取到的45张学生历史学习视频图像作为筛选结果并输入至acnn模型和bi-lstm模型，即可得到45张学生历史学习视频图像分别对应的微表情识别结果。之后，对45张学生历史学习视频图像分别对应的微表情识别结果进行综合分析，可以得到一个最终的第二识别结果。
[0111]
在一实施例中，微表情识别单元140具体用于：
[0112]
将所述学生历史学习视频数据中选中的若干张学生历史学习视频图像分别输入至所述微表情识别模型，得到若干张学生历史学习视频图像分别对应的微表情识别结果；
[0113]
以若干张学生历史学习视频图像分别对应的微表情识别结果中出现频率最高的微表情识别结果作为所述第二识别结果。
[0114]
在本实施例中，在具体基于若干张学生历史学习视频图像分别对应的微表情识别结果最终确定第二识别结果时，是以若干张学生历史学习视频图像分别对应的微表情识别结果中出现频率最高的微表情识别结果作为所述第二识别结果。例如，有20张学生历史学习视频图像对应的微表情识别结果为愉悦、有13张学生历史学习视频图像对应的微表情识别结果为疑惑、有12张学生历史学习视频图像对应的微表情识别结果为正常表情，其中出现频率最高的微表情识别结果是愉悦，此时以愉悦作为所述第二识别结果。从而实现了对若干张学生历史学习视频图像分别对应的微表情识别结果进行综合分析，最终得到一个准确客观的第二识别结果。
[0115]
候选课程数据获取单元150，用于基于所述当前学习课程信息、所述第二识别结果、及预设的微表情-推荐课程映射关系，确定与所述学生人脸图像对应的候选推荐课程数据集。
[0116]
在本实施例中，让参考上述示例，当服务器中确定了学生用户a的第一识别结果和第二识别结果后，还能结合本地预先存储的微表情-推荐课程映射关系，确定所述学生人脸图像对应的候选推荐课程数据集。
[0117]
例如，学生用户a的当前学习课程信息为课程b1，第一识别结果对应学生用户a，且第二识别结果对应愉悦，则表示学生用户a在学习课程b1时是愉悦的心情，这也说明学生用户a在学习课程b1时是听懂了课程并且不存在知识点的理解障碍。为了进一步结合学习课程b1向学生用户a推荐下一步学习的课程，此时可以先由微表情-推荐课程映射关系和第二识别结果获取待推荐课程的难度等级，然后再结合待推荐课程的难度等级和课程b1推荐与课程b1相关的关联课程(如课程b1的基础学习课程b1a、基础学习课程b1b和基础学习课程b1c，或课程b1的进阶学习课程b1d和进阶学习课程b1e)确定进阶学习课程b1d。可见，基于多维度参数分析得到的候选推荐课程数据集，能更适合于用户进一步学习。
[0118]
在一实施例中，候选课程数据获取单元150具体用于：
[0119]
获取所述当前学习课程信息对应的当前课程名称；
[0120]
基于所述当前课程名称及所述第二识别结果确定初始候选推荐课程数据集；
[0121]
基于所述第二识别结果及所述微表情-推荐课程映射关系在所述初始候选推荐课程数据集中确定所述候选推荐课程数据集。
[0122]
在本实施例中，由于之前已获取到所述当前学习课程信息对应的当前课程名称，此时先结合所述当前课程名称(如上述示例中的课程b1)及所述第二识别结果(如上述示例中的愉悦)确定初始候选推荐课程数据集，例如初始候选推荐课程数据集为课程b1的进阶学习课程b1d(具有进阶难度等级一)和进阶学习课程b1e(具有进阶难度等级二)、进阶学习课程b1f(具有进阶难度等级一)。
[0123]
之后，由于基于所述第二识别结果及所述微表情-推荐课程映射关系还能确定推荐课程难度等级，例如所述第二识别结果为愉悦时在及所述微表情-推荐课程映射关系查询到愉悦对应进阶难度等级一，所述第二识别结果为高兴时在及所述微表情-推荐课程映射关系查询到高兴对应进阶难度等级二。当所述第二识别结果为愉悦时，则基于微表情-推荐课程映射关系确定应进阶难度等级一，此时在初始候选推荐课程数据集筛选具有进阶难
度等级一的进阶学习课程b1d和进阶学习课程b1f组成所述候选推荐课程数据集。可见，基于上述筛选方式，充分考虑到了学生用户在学习过程中理解知识点产生的微表情来确定下一步的课程学习难度及具体的推荐课程，所得到的候选推荐课程数据集更加具有参考性和客观性。
[0124]
在一实施例中，所述基于所述当前课程名称及所述第二识别结果确定初始候选推荐课程数据集，包括：
[0125]
若确定所述第二识别结果为正向性微表情识别结果，则获取与所述当前课程名称对应的进阶课程数据集，以组成所述初始候选推荐课程数据集；
[0126]
若确定所述第二识别结果为中性微表情识别结果，则获取与所述当前课程名称对应的同阶课程数据集，以组成所述初始候选推荐课程数据集；
[0127]
若确定所述第二识别结果为负向性微表情识别结果，则获取与所述当前课程名称对应的降阶课程数据集，以组成所述初始候选推荐课程数据集；
[0128]
所述基于所述第二识别结果及所述微表情-推荐课程映射关系在所述初始候选推荐课程数据集中确定所述候选推荐课程数据集，包括：
[0129]
若所述微表情-推荐课程映射关系中存在有与所述第二识别结果相同的目标微表情，获取所述目标微表情对应的目标推荐课程难度等级；
[0130]
在所述初始候选推荐课程数据集中获取具有所述目标推荐课程难度等级的初始候选推荐课程数据，以组成所述候选推荐课程数据集。
[0131]
在本实施例中，服务器在具体基于所述当前课程名称及所述第二识别结果确定初始候选推荐课程数据集时，需要进一步判断所述第二识别结果是正向性、中性或是负向性的微表情识别结果。例如高兴、愉悦是正向性微表情识别结果，正常是中性微表情识别结果，沮丧、厌恶是负向性微表情识别结果。当确定了第二识别结果的正向性、中性或是负向性后，即可确定对学生用户是推荐进阶课程数据集、同阶课程数据集还是降阶课程数据集以作为定所述候选推荐课程数据集。
[0132]
而且，在确定了始候选推荐课程数据集后，还能从微表情-推荐课程映射关系中确定与所述第二识别结果相同的目标微表情，并以所述目标微表情对应的目标推荐课程难度等级在所述初始候选推荐课程数据集中获取具有所述目标推荐课程难度等级的初始候选推荐课程数据，以组成所述候选推荐课程数据集，如上述示例中在初始候选推荐课程数据集筛选具有进阶难度等级一的进阶学习课程b1d和进阶学习课程b1f组成所述候选推荐课程数据集。可见，基于上述筛选方式，充分考虑到了学生用户在学习过程中理解知识点产生的微表情的正负向性和微表情映射关系比对结果，确定的课程学习难度及具体的推荐课程更加准确客观。
[0133]
最终课程数据获取单元160，用于获取与所述学生历史学习视频数据对应的课程学习轨迹数据，基于所述课程学习轨迹数据和所述候选推荐课程数据集确定最终推荐课程数据集。
[0134]
在本实施例中，继续参考上述示例，由于在服务器中针对学生用户a还存储了其历史学习各种知识点后分析得到的课程学习轨迹数据，例如课程c2-课程d3-课程b1可以视为一个课程学习轨迹数据，故在得到了学生用户a的课程学习轨迹数据和所述候选推荐课程数据集后还能综合分析得到学生用户a的最终推荐课程数据集。
[0135]
在一实施例中，最终课程数据获取单元160具体用于：
[0136]
获取所述候选推荐课程数据集中各候选推荐课程数据与所述课程学习轨迹数据的关联度；
[0137]
获取与所述课程学习轨迹数据具有最大关联度的候选推荐课程数据组成所述最终推荐课程数据集。
[0138]
在本实施例中，在基于所述课程学习轨迹数据和所述候选推荐课程数据集确定最终推荐课程数据集时，具体是先获取所述候选推荐课程数据集中各候选推荐课程数据与所述课程学习轨迹数据的关联度。例如进阶学习课程b1d和进阶学习课程b1f组成所述候选推荐课程数据集，进阶学习课程b1d与课程c2-课程d3-课程b1中的关联度为0.9(例如计算进阶学习课程b1d与课程c2-课程d3-课程b1这一课程学习轨迹数据的关联度时，分别计算进阶学习课程b1d对应的课程名称特征向量分别上述3个课程名称特征向量的余弦相似度后进行求和，得到进阶学习课程b1f与课程c2-课程d3-课程b1这一课程学习轨迹数据的关联度)，进阶学习课程b1d与课程c2-课程d3-课程b1中的关联度为0.8，此时以进阶学习课程b1d这一与所述课程学习轨迹数据具有最大关联度的候选推荐课程数据组成所述最终推荐课程数据集，并最终推荐给学生用户a进行下一步的进阶学习。
[0139]
可见，实施该装置的实施例可以基于用户学习过程中录制的学习视频进行表情识别和微表情识别，以及用户的课程学习轨迹数据来多维度共同确定更加准确且符合用户学习进度的最终推荐课程数据集。
[0140]
上述基于人脸识别的学生课程推荐装置可以实现为一种计算机程序的形式，该计算机程序可以在如图4所示的基于人脸识别的学生课程推荐设备上运行。
[0141]
请参阅图4，图4是本发明实施例提供的一种计算机设备的示意性框图。该计算机设备集成了本发明实施例所提供的任一种基于人脸识别的学生课程推荐装置。
[0142]
参阅图4，该计算机设备包括通过系统总线401连接的处理器402、存储器和网络接口405，其中，存储器可以包括存储介质403和内存储器404。
[0143]
该存储介质403可存储操作系统4031和计算机程序4032。该计算机程序4032包括程序指令，该程序指令被执行时，可使得处理器402执行一种基于人脸识别的学生课程推荐方法。
[0144]
该处理器402用于提供计算和控制能力，以支撑整个计算机设备的运行。
[0145]
该内存储器404为存储介质403中的计算机程序4032的运行提供环境，该计算机程序4032被处理器402执行时，可使得处理器402执行上述的基于人脸识别的学生课程推荐方法。
[0146]
该网络接口405用于与其它设备进行网络通信。本领域技术人员可以理解，图4中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0147]
其中，所述处理器402用于运行存储在存储器中的计算机程序4032，以实现如下步骤：
[0148]
响应于课程推荐指令，获取与所述课程推荐指令对应的学生人脸图像及当前学习课程信息；
[0149]
获取预先训练的人脸识别模型，将所述学生人脸图像输入至所述人脸识别模型，得到第一识别结果；
[0150]
获取与所述第一识别结果对应的学生历史学习视频数据；
[0151]
获取预先训练的微表情识别模型，将所述学生历史学习视频数据中选中的若干张学生历史学习视频图像输入至所述微表情识别模型，得到第二识别结果；
[0152]
基于所述当前学习课程信息、所述第二识别结果、及预设的微表情-推荐课程映射关系，确定与所述学生人脸图像对应的候选推荐课程数据集；
[0153]
获取与所述学生历史学习视频数据对应的课程学习轨迹数据，基于所述课程学习轨迹数据和所述候选推荐课程数据集确定最终推荐课程数据集。
[0154]
应当理解，在本发明实施例中，处理器402可以是中央处理单元(central processingunit，cpu)，该处理器402还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecific integratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0155]
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
[0156]
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质，该计算机可读存储介质为非易失性存储介质或非易失性存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤：
[0157]
响应于课程推荐指令，获取与所述课程推荐指令对应的学生人脸图像及当前学习课程信息；
[0158]
获取预先训练的人脸识别模型，将所述学生人脸图像输入至所述人脸识别模型，得到第一识别结果；
[0159]
获取与所述第一识别结果对应的学生历史学习视频数据；
[0160]
获取预先训练的微表情识别模型，将所述学生历史学习视频数据中选中的若干张学生历史学习视频图像输入至所述微表情识别模型，得到第二识别结果；
[0161]
基于所述当前学习课程信息、所述第二识别结果、及预设的微表情-推荐课程映射关系，确定与所述学生人脸图像对应的候选推荐课程数据集；
[0162]
获取与所述学生历史学习视频数据对应的课程学习轨迹数据，基于所述课程学习轨迹数据和所述候选推荐课程数据集确定最终推荐课程数据集。
[0163]
所述存储介质可以是u盘、移动硬盘、只读存储器(read-onlymemory，rom)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
[0164]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专
业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0165]
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0166]
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
[0167]
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
[0168]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种基于人脸识别的学生课程推荐方法，其特征在于，包括：响应于课程推荐指令，获取与所述课程推荐指令对应的学生人脸图像及当前学习课程信息；获取预先训练的人脸识别模型，将所述学生人脸图像输入至所述人脸识别模型，得到第一识别结果；获取与所述第一识别结果对应的学生历史学习视频数据；获取预先训练的微表情识别模型，将所述学生历史学习视频数据中选中的若干张学生历史学习视频图像输入至所述微表情识别模型，得到第二识别结果；基于所述当前学习课程信息、所述第二识别结果、及预设的微表情-推荐课程映射关系，确定与所述学生人脸图像对应的候选推荐课程数据集；获取与所述学生历史学习视频数据对应的课程学习轨迹数据，基于所述课程学习轨迹数据和所述候选推荐课程数据集确定最终推荐课程数据集。2.根据权利要求1所述的方法，其特征在于，所述将所述学生人脸图像输入至所述人脸识别模型，得到第一识别结果，包括：将所述学生人脸图像输入至所述人脸识别模型所对应卷积神经网络进行特征提取，得到学生人脸特征；基于所述学生人脸特征与预设人脸特征库中各人脸特征的特征相似度，确定与所述学生人脸特征具有最大特征相似度的目标人脸特征；获取所述目标人脸特征对应的用户身份信息，以作为所述第一识别结果。3.根据权利要求1所述的方法，其特征在于，所述获取与所述第一识别结果对应的学生历史学习视频数据，包括：获取当前系统时间，根据预设统计时长和所述当前系统时间确定历史数据获取时间区间；其中，所述历史数据获取时间区间为[当前系统时间-预设统计时长,当前系统时间)；在本地存储区域获取视频数据采集时间位于所述历史数据获取时间区间、且所对应采集用户的身份信息与所述第一识别结果相同的历史视频数据，以组成所述学生历史学习视频数据。4.根据权利要求1所述的方法，其特征在于，所述将所述学生历史学习视频数据中选中的若干张学生历史学习视频图像输入至所述微表情识别模型，得到第二识别结果，包括：将所述学生历史学习视频数据中选中的若干张学生历史学习视频图像分别输入至所述微表情识别模型，得到若干张学生历史学习视频图像分别对应的微表情识别结果；以若干张学生历史学习视频图像分别对应的微表情识别结果中出现频率最高的微表情识别结果作为所述第二识别结果。5.根据权利要求1所述的方法，其特征在于，所述基于所述当前学习课程信息、所述第二识别结果、及预设的微表情-推荐课程映射关系，确定与所述学生人脸图像对应的候选推荐课程数据集，包括：获取所述当前学习课程信息对应的当前课程名称；基于所述当前课程名称及所述第二识别结果确定初始候选推荐课程数据集；基于所述第二识别结果及所述微表情-推荐课程映射关系在所述初始候选推荐课程数据集中确定所述候选推荐课程数据集。
6.根据权利要求5所述的方法，其特征在于，所述基于所述当前课程名称及所述第二识别结果确定初始候选推荐课程数据集，包括：若确定所述第二识别结果为正向性微表情识别结果，则获取与所述当前课程名称对应的进阶课程数据集，以组成所述初始候选推荐课程数据集；若确定所述第二识别结果为中性微表情识别结果，则获取与所述当前课程名称对应的同阶课程数据集，以组成所述初始候选推荐课程数据集；若确定所述第二识别结果为负向性微表情识别结果，则获取与所述当前课程名称对应的降阶课程数据集，以组成所述初始候选推荐课程数据集；所述基于所述第二识别结果及所述微表情-推荐课程映射关系在所述初始候选推荐课程数据集中确定所述候选推荐课程数据集，包括：若所述微表情-推荐课程映射关系中存在有与所述第二识别结果相同的目标微表情，获取所述目标微表情对应的目标推荐课程难度等级；在所述初始候选推荐课程数据集中获取具有所述目标推荐课程难度等级的初始候选推荐课程数据，以组成所述候选推荐课程数据集。7.根据权利要求1所述的方法，其特征在于，所述获取与所述学生历史学习视频数据对应的课程学习轨迹数据，基于所述课程学习轨迹数据和所述候选推荐课程数据集确定最终推荐课程数据集，包括：获取所述候选推荐课程数据集中各候选推荐课程数据与所述课程学习轨迹数据的关联度；获取与所述课程学习轨迹数据具有最大关联度的候选推荐课程数据组成所述最终推荐课程数据集。8.一种基于人脸识别的学生课程推荐装置，其特征在于，包括：人脸图像信息获取单元，用于响应于课程推荐指令，获取与所述课程推荐指令对应的学生人脸图像及当前学习课程信息；人脸识别单元，用于获取预先训练的人脸识别模型，将所述学生人脸图像输入至所述人脸识别模型，得到第一识别结果；目标视频数据获取单元，用于获取与所述第一识别结果对应的学生历史学习视频数据；微表情识别单元，用于获取预先训练的微表情识别模型，将所述学生历史学习视频数据中选中的若干张学生历史学习视频图像输入至所述微表情识别模型，得到第二识别结果；候选课程数据获取单元，用于基于所述当前学习课程信息、所述第二识别结果、及预设的微表情-推荐课程映射关系，确定与所述学生人脸图像对应的候选推荐课程数据集；最终课程数据获取单元，用于获取与所述学生历史学习视频数据对应的课程学习轨迹数据，基于所述课程学习轨迹数据和所述候选推荐课程数据集确定最终推荐课程数据集。9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的基于人脸识别的学生课程推荐方法。10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计
算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-7中任一项所述的基于人脸识别的学生课程推荐方法。

技术总结
本发明公开了基于人脸识别的学生课程推荐方法、装置及设备，方法包括：获取学生人脸图像及当前学习课程信息；将学生人脸图像输入至人脸识别模型，得到第一识别结果；获取与其对应的学生历史学习视频数据；将其中选中的若干张学生历史学习视频图像输入至微表情识别模型，得到第二识别结果；基于当前学习课程信息、第二识别结果及微表情-推荐课程映射关系，确定候选推荐课程数据集；获取课程学习轨迹数据，基于其和候选推荐课程数据集确定最终推荐课程数据集。本发明实施例可以基于用户学习过程中录制的学习视频进行表情识别和微表情识别，以及用户的课程学习轨迹数据来多维度共同确定更加准确且符合用户学习进度的最终推荐课程数据集。课程数据集。课程数据集。


技术研发人员：王斌 叶育民 卢志海 董加敏
受保护的技术使用者：广东工贸职业技术学院
技术研发日：2023.05.11
技术公布日：2023/8/9