一种用于英语教学的智能型英语教学系统

1.本发明涉及教育教学技术领域，特别是涉及一种用于英语教学的智能型英语教学系统。


背景技术：

2.英语是联合国，欧洲联盟以及许多其他世界和区域国际组织的官方语言之一。随着国际间交流的发展，英语学习的重要性也逐渐凸显。
3.随着英语教学水平及学生英语水平的不断提高，对英语教学有了新的要求，在这种情况下，有多媒体技术和网络技术支持的计算机辅助的英语教学迅速发展，这种教学方式旨在将传统课堂教学与现代信息技术结合起来，实行网络课程和传统课堂的优势互补。
4.但是，目前的英语计算机辅助教学存在着种种问题，利用网络课程和考核测试进行过程中仅能通过视频画面人工核查每个学生的动态，在这种情况下影响教师的教学质量，且无法完全且精准地监控每一个学生的听课情况。


技术实现要素：

5.为了克服现有技术的不足，本发明的目的是提供一种用于英语教学的智能型英语教学系统。
6.为实现上述目的，本发明提供了如下方案：一种用于英语教学的智能型英语教学系统，包括：学生端、教师端、通信模块和云平台；所述学生端和所述教师端均通过所述通信模块与所述云平台连接；所述学生端和所述教师端通过云平台实现音视频的实时分享和交流；所述云平台中内置有训练好的图像检测模型和音频检测模型；所述图像检测模型用于将获取到的所述学生端的视频图像信息进行识别，得到人脸朝向信息，并根据所述人脸朝向信息进行预警分析，得到预警结果，并将所述预警结果发送至所述教师端；所述音频检测模型用于将获取到的所述学生端的口语音频信息进行信号预处理，并基于英语口语数据库对预处理后的音频信息进行比对，得到相似度信息，并将所述相似度信息发送至所述教师端。
7.优选地，所述图像检测模型包括：图像获取单元，用于获取各个所述学生端实时上传的所述视频图像信息；图像识别单元，用于根据所述视频图像信息进行图像分析，得到面部信息和摄像头位置信息；角度计算单元，用于根据所述面部信息和所述摄像头位置信息分别确定面部朝向角和摄像头光轴角，并以所述摄像头光轴角为基准，根据所述面部朝向角确定偏离角度；预警判断单元，用于判断所述偏离角度是否大于角度阈值，若是，则生成所述预警结果，并发送至所述教师端。
8.优选地，所述音频检测模型包括：声音处理单元，用于对所述口语音频信息进行预处理，得到声音识别信息；所述预处理包括降噪、转化、特征提取、噪声压制和识别；样本提取单元，用于根据预设的题目信息和训练文本对所述英语口语数据库进行样本提取，得到样本识别信息；声音比对单元，用于根据所述声音识别信息和所述样本识别信息进行音频特征比对，并根据比对的结果进行相似度评分计算，得到所述相似度信息。
9.优选地，所述学生端中设置有声音采集模块、图像采集模块、显示模块、语音模块和答题模块；所述云平台中设置有推送模块、图像分析模块、检测模块和视频数据库；所述视频数据库中存储有所述教师端上传的教学视频，并通过所述推送模块将教学视频推送给所述学生端；所述显示模块用于播放所述教学视频，所述语音模块用于播放和上传音频；所述分析模块用于统计所述所述学生端已看过的教学视频，分析教学视频的知识点，并从试题数据库中抽取对应所述知识点的试题，并通过推送模块发送给学生端，所述答题模块为交互式输入设备，用于显示试题，并供所述学生端输入答案；所述答题模块还用于将所述学生端输入的答案通过所述通信模块发送给所述云平台；所述检测模块用于将接收到的答案与标准答案比对，判断答题是否正确。
10.优选地，所述云平台中还设置有错题分类模块与错题数据库，所述检测模块用于将所述学生端答错的试题发送给错题分类模块；所述错题分类模块用于将将错题存储到所述错题数据库中。
11.优选地，所述错题分类模块还用于统计所述错题数据库中错题的知识点范围，并判断使用者错误率最高的知识点，并将统计结果发送给分析模块，所述分析模块还用于根据错题知识点，从视频数据库中选取对应知识点的教学视频，通过推送模块发送给所述学生端。
12.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种用于英语教学的智能型英语教学系统，包括：学生端、教师端、通信模块和云平台；所述学生端和所述教师端均通过所述通信模块与所述云平台连接；所述学生端和所述教师端通过云平台实现音视频的实时分享和交流；所述云平台中内置有训练好的图像检测模型和音频检测模型；所述图像检测模型用于将获取到的所述学生端的视频图像信息进行识别，得到人脸朝向信息，并根据所述人脸朝向信息进行预警分析，得到预警结果，并将所述预警结果发送至所述教师端；所述音频检测模型用于将获取到的所述学生端的口语音频信息进行信号预处理，并基于英语口语数据库对预处理后的音频信息进行比对，得到相似度信息，并将所述相似度信息发送至所述教师端。本发明通过云平台自动的对学生端用户进行图像识别，能够智能化分析学生端用户的学习状态，并将相关检测结果和预警信息发送给教师端用户，并通过音频检测对学生端用户的口语进行识别，避免了教师端用户需要逐一进行审核，降低了教师端的工作量，提高了教师的教学质量，且能够精准地监控每一个学生端用户的听课情况。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所
需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
14.图1为本发明实施例提供的系统结构连接图。
具体实施方式
15.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
16.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
17.本技术的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤、过程、方法等没有限定于已列出的步骤，而是可选地还包括没有列出的步骤，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤元。
18.本发明的目的是提供一种用于英语教学的智能型英语教学系统，能够智能化分析学生端用户的学习状态，并将相关检测结果和预警信息发送给教师端用户，并通过音频检测对学生端用户的口语进行识别，避免了教师端用户需要逐一进行审核，降低了教师端的工作量，提高了教师的教学质量，且能够精准地监控每一个学生端用户的听课情况。
19.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
20.图1为本发明实施例提供的系统结构连接图，如图1所示，本发明提供了一种用于英语教学的智能型英语教学系统，包括：学生端、教师端、通信模块和云平台；所述学生端和所述教师端均通过所述通信模块与所述云平台连接；所述学生端和所述教师端通过云平台实现音视频的实时分享和交流；所述云平台中内置有训练好的图像检测模型和音频检测模型；所述图像检测模型用于将获取到的所述学生端的视频图像信息进行识别，得到人脸朝向信息，并根据所述人脸朝向信息进行预警分析，得到预警结果，并将所述预警结果发送至所述教师端；所述音频检测模型用于将获取到的所述学生端的口语音频信息进行信号预处理，并基于英语口语数据库对预处理后的音频信息进行比对，得到相似度信息，并将所述相似度信息发送至所述教师端。
21.具体的，本实施例中的学生端和教师端可以内嵌在移动端，其形式可以为小程序和其他应用软件。所述移动端包括手机、优选地，所述图像检测模型包括：图像获取单元，用于获取各个所述学生端实时上传的所述视频图像信息；
图像识别单元，用于根据所述视频图像信息进行图像分析，得到面部信息和摄像头位置信息；角度计算单元，用于根据所述面部信息和所述摄像头位置信息分别确定面部朝向角和摄像头光轴角，并以所述摄像头光轴角为基准，根据所述面部朝向角确定偏离角度；预警判断单元，用于判断所述偏离角度是否大于角度阈值，若是，则生成所述预警结果，并发送至所述教师端。
22.本实施例中，考虑到在听课和测试过程正常进行的情况下，学生应该专注于自己的屏幕和书本，不会转头看两侧或者其他高低的角度。而需要进行开小差、作弊和其他动作时，会向左、向右或者以其他角度转头进行动作，捕捉到这个面部朝向的改变，就是可以作为潜在的异常行为通知教师端用户。
23.进一步地，本实施例中的图像检测模型中的各个单元组成了分析算法，所述分析算法包括以下步骤：s1、通过学生端调用摄像模块来拍摄用于的面部图像；拍摄过程为定期采集应试者的面部图像，因为摄像模块的位置针对学生端用户，可以清晰获取应试者的面部图像。
24.s2、分析学生端用户的面部朝向θ，当应试者面部的朝向与所述摄像模块光轴平行时θ为零；s3、当面部朝向θ的绝对值大于角度阈值k，则可以判断出学生端用户处于异常状态。
25.更进一步地，考虑到学生端用户偶尔会出现的异常状态，本实施例中的图像检测模型中还内置有计时模块，所述计时模块用于采集所述学生端用户保持大于角度阈值k的时长和频率，并根据该时长和频率与预设时长及预设频率进行比较，并根据比较结果辅助进行预警分析，以保证预警结果的准确。
26.优选地，所述音频检测模型包括：声音处理单元，用于对所述口语音频信息进行预处理，得到声音识别信息；所述预处理包括降噪、转化、特征提取、噪声压制和识别；样本提取单元，用于根据预设的题目信息和训练文本对所述英语口语数据库进行样本提取，得到样本识别信息；声音比对单元，用于根据所述声音识别信息和所述样本识别信息进行音频特征比对，并根据比对的结果进行相似度评分计算，得到所述相似度信息。
27.具体的，本实施例中的声音处理单元能够对实时获取的用户声音或已存储的其它声音进行噪声抑制，获得降噪后的声音信息；声音处理单元采用了谱去除法和/或学习同定法和/或降噪自动编码器至少之一进行噪声抑制。
28.可选地，本实施例中的声音处理单元中能够将声音信息进行拉普拉斯变换，得到拉普拉斯频谱信息。
29.进一步地，本实施例中的声音处理单元还能够将得到的拉普拉斯频谱信息进行二维傅里叶变换，得到拉普拉斯变换声音信息数据波数谱特征。
30.更进一步地，本实施例中的声音处理单元还能根据所述拉普拉斯变换声音信息数据波数谱，截取至少5个时间切片的滤波因子组合成滤波团；将时间切片的信息数据进行二维傅里叶变换，得到滤波信息数据波数谱，利用滤波信息数据波数谱对整段录音的声音数
据波数谱进行环境噪音压制，并将环境噪音压制后的声音数据作为待识别的声音信息。
31.优选地，所述学生端中设置有声音采集模块、图像采集模块、显示模块、语音模块和答题模块；所述云平台中设置有推送模块、图像分析模块、检测模块和视频数据库；所述视频数据库中存储有所述教师端上传的教学视频，并通过所述推送模块将教学视频推送给所述学生端；所述显示模块用于播放所述教学视频，所述语音模块用于播放和上传音频；所述分析模块用于统计所述所述学生端已看过的教学视频，分析教学视频的知识点，并从试题数据库中抽取对应所述知识点的试题，并通过推送模块发送给学生端，所述答题模块为交互式输入设备，用于显示试题，并供所述学生端输入答案；所述答题模块还用于将所述学生端输入的答案通过所述通信模块发送给所述云平台；所述检测模块用于将接收到的答案与标准答案比对，判断答题是否正确。
32.具体的，所述云平台中还设置有文字分析模块、翻译模块、声音合成模块、标准发音数据库，所述文字分析模块分析接收到的文字特征值，提取出文字内容，并将文字内容发送给翻译模块和声音合成模块，翻译模块将文字内容翻译成为其他语言，所述声音合成模块根据文字内容，从标准发音数据库中查找对应的字词发音，并合成成为整段文字内容的声音，云平台将翻译文字与读音传输给学生端，学生端用户就能够在拍摄图像后，得到图像上文字的翻译与发音。
33.优选地，所述云平台中还设置有错题分类模块与错题数据库，所述检测模块用于将所述学生端答错的试题发送给错题分类模块；所述错题分类模块用于将将错题存储到所述错题数据库中。
34.具体的，本实施例中的通信模块可以为4g、5g、wifi和蓝牙模块中的任一种。本发明不对通信模块的型号和形式进行限制，其能够完成无线和/或有线信号传输即可。
35.优选地，所述错题分类模块还用于统计所述错题数据库中错题的知识点范围，并判断使用者错误率最高的知识点，并将统计结果发送给分析模块，所述分析模块还用于根据错题知识点，从视频数据库中选取对应知识点的教学视频，通过推送模块发送给所述学生端。
36.本发明的有益效果如下：本发明通过云平台自动的对学生端用户进行图像识别，能够智能化分析学生端用户的学习状态，并将相关检测结果和预警信息发送给教师端用户，并通过音频检测对学生端用户的口语进行识别，避免了教师端用户需要逐一进行审核，降低了教师端的工作量，提高了教师的教学质量，且能够精准地监控每一个学生端用户的听课情况。
37.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
38.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种用于英语教学的智能型英语教学系统，其特征在于，包括：学生端、教师端、通信模块和云平台；所述学生端和所述教师端均通过所述通信模块与所述云平台连接；所述学生端和所述教师端通过云平台实现音视频的实时分享和交流；所述云平台中内置有训练好的图像检测模型和音频检测模型；所述图像检测模型用于将获取到的所述学生端的视频图像信息进行识别，得到人脸朝向信息，并根据所述人脸朝向信息进行预警分析，得到预警结果，并将所述预警结果发送至所述教师端；所述音频检测模型用于将获取到的所述学生端的口语音频信息进行信号预处理，并基于英语口语数据库对预处理后的音频信息进行比对，得到相似度信息，并将所述相似度信息发送至所述教师端。2.根据权利要求1所述的用于英语教学的智能型英语教学系统，其特征在于，所述图像检测模型包括：图像获取单元，用于获取各个所述学生端实时上传的所述视频图像信息；图像识别单元，用于根据所述视频图像信息进行图像分析，得到面部信息和摄像头位置信息；角度计算单元，用于根据所述面部信息和所述摄像头位置信息分别确定面部朝向角和摄像头光轴角，并以所述摄像头光轴角为基准，根据所述面部朝向角确定偏离角度；预警判断单元，用于判断所述偏离角度是否大于角度阈值，若是，则生成所述预警结果，并发送至所述教师端。3.根据权利要求1所述的用于英语教学的智能型英语教学系统，其特征在于，所述音频检测模型包括：声音处理单元，用于对所述口语音频信息进行预处理，得到声音识别信息；所述预处理包括降噪、转化、特征提取、噪声压制和识别；样本提取单元，用于根据预设的题目信息和训练文本对所述英语口语数据库进行样本提取，得到样本识别信息；声音比对单元，用于根据所述声音识别信息和所述样本识别信息进行音频特征比对，并根据比对的结果进行相似度评分计算，得到所述相似度信息。4.根据权利要求1所述的用于英语教学的智能型英语教学系统，其特征在于，所述学生端中设置有声音采集模块、图像采集模块、显示模块、语音模块和答题模块；所述云平台中设置有推送模块、图像分析模块、检测模块和视频数据库；所述视频数据库中存储有所述教师端上传的教学视频，并通过所述推送模块将教学视频推送给所述学生端；所述显示模块用于播放所述教学视频，所述语音模块用于播放和上传音频；所述分析模块用于统计所述所述学生端已看过的教学视频，分析教学视频的知识点，并从试题数据库中抽取对应所述知识点的试题，并通过推送模块发送给学生端，所述答题模块为交互式输入设备，用于显示试题，并供所述学生端输入答案；所述答题模块还用于将所述学生端输入的答案通过所述通信模块发送给所述云平台；所述检测模块用于将接收到的答案与标准答案比对，判断答题是否正确。5.根据权利要求4所述的用于英语教学的智能型英语教学系统，其特征在于，所述云平台中还设置有错题分类模块与错题数据库，所述检测模块用于将所述学生端答错的试题发
送给错题分类模块；所述错题分类模块用于将将错题存储到所述错题数据库中。6.根据权利要求5所述的用于英语教学的智能型英语教学系统，其特征在于，所述错题分类模块还用于统计所述错题数据库中错题的知识点范围，并判断使用者错误率最高的知识点，并将统计结果发送给分析模块，所述分析模块还用于根据错题知识点，从视频数据库中选取对应知识点的教学视频，通过推送模块发送给所述学生端。

技术总结
本发明提供了一种用于英语教学的智能型英语教学系统，其中学生端和教师端均通过通信模块与云平台连接；学生端和教师端通过云平台实现音视频的实时分享和交流；云平台中内置有训练好的图像检测模型和音频检测模型；图像检测模型用于将获取到的学生端的视频图像信息进行识别，得到人脸朝向信息，并根据人脸朝向信息进行预警分析，得到预警结果，并将预警结果发送至教师端；音频检测模型用于将获取到的学生端的口语音频信息进行信号预处理，并基于英语口语数据库对预处理后的音频信息进行比对，得到相似度信息，并将相似度信息发送至教师端。本发明能够降低了教师端的工作量，提高了教师的教学质量，且能够精准地监控每一个学生端用户的听课情况。生端用户的听课情况。生端用户的听课情况。


技术研发人员：王明琪 赵佳 李冰 李宁 宋玉芳 张力 董博 史颖
受保护的技术使用者：秦皇岛职业技术学院
技术研发日：2023.03.07
技术公布日：2023/7/19