一种基于物联网智慧教室的师生互动检测方法与流程

1.本发明涉及信息技术领域，尤其涉及一种基于物联网智慧教室的师生互动检测方法。


背景技术：

2.师生互动是上课时老师为增加课堂气氛常用的一种方式，通常是老师先发起，之后老师邀请同学与自己合作实现某一教学目的，做出某种东西，解出哪一道题，或是协助老师完成某个事情。但是在日常课堂教学过程中时常会有师生互动不均匀的现象，比如老师邀请学生互动的时候，总是选择那些互动过的学生，忽略了另外那些参与互动的学生和不参与互动的学生；而学生在老师发起互动时，不参与互动的学生有一些是真的不想参与互动，而有一些则是其他原因不参与互动，老师强行与不想参与互动的学生形成互动有时还可能会导致学生日后的互动倾向性降低；因此，设计一种能提高学生互动倾向性的师生互动均衡方法具有很重要的现实意义及理论研究价值；


技术实现要素：

3.本发明提供了一种基于物联网智慧教室的师生互动检测方法，主要包括：
4.根据课堂上互动的视觉和听觉信息获取师生互动信息；根据学生的互动信息得到学生的学习能力；基于学生学习能力和学习评价判断学生互动行为程度，具体包括：判断学生互动行为程度；根据参与互动学生的学习能力值和学生互动行为程度判断老师的互动倾向，所述根据参与互动学生的学习能力值和学生互动行为程度判断老师的互动倾向，具体包括：判断老师的互动倾向，根据老师的互动倾向判断老师是否需要与学习能力不同的学生进行互动；根据学生互动时的体征状态和主动互动占比预测学生互动类型，具体包括：判断学生互动类型；通过学生的互动内容判断学生不爱互动的原因，所述通过学生的互动内容判断学生不爱互动的原因，具体包括：基于学生互动类型和互动内容，获取学生互动音频内容，根据学生互动音频内容，计算老师与学生的互动内容文本相似度和学生互动内容的情感分析，构建学生互动完成度模型，判断学生不爱互动的原因；基于师生的互动信息，获得学生对不同互动方式的倾向程度，具体包括：基于学生对不同互动方式的倾向程度，判断学生是否更加倾向于一种互动类型；基于学生的互动行为建立学生互动积极性评估模型，获取学生在不同互动方式下互动倾向的变化；根据学生在不同互动下的不同互动倾向变化，判断适合学生的互动方式，包括：获取老师进行适合学生的互动方式后学生的互动倾向变化。
5.进一步可选地，所述根据课堂上互动的视觉和听觉信息获取师生互动信息包括：
6.其中师生信息通过学校校务管理系统获取；基于机器学习的有监督模式识别方法构建师生互动的识别模型，使用大量师生之间互动的动作信息和音频信息来模型进行训练，师生互动的识别模型根据师生之间的互动信息判断教师发起互动的方式；在获得校方及师生授权同意之后，通过教室内多个角度的摄像头采用人脸识别的方法实时采集教室内
师生的实时身份信息并获取师生互动时的动作信息；在获得校方及师生授权同意之后，通过教室内的音频拾取装置获取师生互动时的音频信息；将动作信息和音频信息传输至师生互动的识别模型中，师生互动的识别模型判定此次互动的方式；根据实时身份信息和互动方式统计课堂中教师发起互动的方式以及学生参与互动的次数和互动时间并存入师生互动信息数据库中。
7.进一步可选地，所述根据学生的互动信息得到学生的学习能力包括：
8.学生的信息包括：平时成绩、作业完成程度；平时成绩由学校教务系统录入；作业完成程度通过老师对学生作业的统计获得；首先基于学生的平时成绩和作业完成程度构建学生学习能力评估模型m＝a*(n-s)+b*h,其中a、b分别为成绩和作业完成度的权重，s为学生成绩的排名,n为班级人数，h为平时作业的完成程度；基于学生学习能力评估模型进行评估，m值越大，则表示学生的学习能力越强。
9.进一步可选地，所述基于学生学习能力和学习评价判断学生互动行为程度包括：
10.学校定期设置师生交流会；师生交流会是指老师与每位学生深入交流学习和课堂互动的有关信息；老师根据交流的内容填写学生的学生评价；根据学生的学习能力和学习评价判断学生互动行为程度；包括：判断学生互动行为程度；
11.所述判断学生互动行为程度，具体包括：
12.学生评价包括课堂互动行为、互动表现、学生成绩。学生成绩为学生在班级的成绩排名。互动行为程度有三种，分别是不愿互动、一般、愿意主动互动。互动表现主要针对互动行为程度为不愿互动的学生，分析学生不愿互动的缘由。
13.进一步可选地，所述根据参与互动学生的学习能力值和学生互动行为程度判断老师的互动倾向包括：
14.统计与老师互动的学生的学习能力值和学生互动行为程度；统计老师与学生互动次数总和；并根据学生的学习能力值和学生互动行为程度构建模型计算老师对不同类型学生的互动的倾向程度；通过老师的互动的倾向程度判断老师是否有对某一类型的学生有的互动倾向；包括：判断老师的互动倾向；根据老师的互动倾向判断老师是否需要与学习能力不同的学生进行互动；
15.所述判断老师的互动倾向，具体包括：
16.通过教室内的高清摄像头，统计每次师生互动的对象。基于每一次师生的互动记录老师与不同学生的互动次数。统计老师与学生互动次数总和。根据老师对学生的评价进行分类排名，将评价中互动行为程度相同的学生根据学生学习能力进行排名。基于与老师互动的学生的学习能力值和学生与老师的互动次数构建教师互动倾向模型x＝(c1*m1+c2*m2+...+cn*mn)/(c1+c2+...+cn),其中n代表班级中有n位同学，c1代表输入学生的学习能力值中学习能力排名第一学生与老师的互动次数，m1是通过学生学习能力评估模型计算出这个学生的学习能力值，c2是输入学生的学习能力值中学习能力排名第二的学生与老师的互动次数，m2是通过学生学习能力评估模型计算出这个学生的学习能力值,以此类推计算输入的中所有与老师互动的学生的学习能力平均值；依据学生互动行为程度将学生分成三类；分别将互动行为程度相同的学生的学习能力值和学生与老师的互动次数输入至教师互动倾向模型x中计算学习能力平均值；根据教师互动倾向模型计算老师互动的学生的学习能力平均值。
17.所述根据老师的互动倾向判断老师是否需要与学习能力不同的学生进行互动，具体包括：
18.定义学习能力值在班级在一定阈值之前的的学生为优秀学生。计算学生评价中互动行为程度为愿意主动互动且班级排名在一定阈值之前的学生学习能力值平均值a。将与老师互动的互动行为程度为愿意主动的学生学习能力平均值s与a作比较,若老师互动的学生学习能力s平均值大于班级排名在一定阈值之前的学生学习能力值a，则认为老师偏向于与优秀的学生互动，系统提醒老师与其他愿意互动但是成绩中下水平的学生互动。若老师互动的互动行为程度为愿意主动的学生学习能力平均值s小于班级排名在一定阈值之前的学生学习能力值a，则认为老师的互动倾向比较平均。
19.进一步可选地，所述根据学生互动时的体征状态和主动互动占比预测学生互动类型包括：
20.学生的互动类型分为积极主动型、正常被动型、消极被动型；其中积极主动型定义为学生愿意积极主动与老师互动，正常被动型指学生不反感与老师互动，但是不会主动与老师互动，消极被动型则是学生不愿甚至害怕与老师互动；将学生互动时的音频信息和动作信息输入识别模型判断学生是否主动发起互动，并根据学生的紧张程度和主动发起互动占总互动次数的比例来判断学生的互动类型；包括：判断学生互动类型；
21.所述判断学生互动类型，具体包括：
22.通过教室内多个角度的摄像头采用人脸识别的方法实时采集教室内师生的实时身份信息并获取师生互动时的动作信息。通过教室内的音频拾取装置获取师生互动时的音频信息。将动作信息和音频信息传输至师生互动的识别模型中分析判断学生是否主动发起互动。在课堂互动时，分别通过摄像头和红外传感器采集包含有学生的视频信息和学生的热点区域图，获取学生在互动时身体体温的变化。对采集到的视频信息和采集到的热点区域图进行识别得到被检测学生的人体特征数据。基于学生人体特征数据构建紧张程度模型n＝t,t为学生互动时体温和互动前的体温的差值。使用学生体温的变化值计算学生本次互动的紧张程度。基于学生主动互动次数和互动是否紧张和紧张程度建立预设学生互动类型分析模型，学生互动类型分析模型根据学生主动互动次数与总互动次数的比值、学生互动是否紧张和紧张程度来判断学生的互动类型。统计学生主动发起互动的次数和总互动次数，设定若学生主动发起互动的次数与学生总互动次数的比例大于一定的阈值，互动类型分析模型会判断这个学生的互动类型为积极主动型。基于学生每次互动是否紧张和紧张程度在互动类型分析模型计算出学生的紧张度，若紧张度低于一定的阈值，且学生主动发起互动的次数与学生总互动次数的比例小于一定阈值，则互动类型分析模型判定学生互动类型为正常被动型，反之紧张度高于一定阈值且学生主动发起互动的次数与学生总互动次数的比例小于一定的阈值，则互动类型分析模型判定学生互动类型为消极被动型。
23.进一步可选地，所述通过学生的互动内容判断学生不爱互动的原因包括：
24.获取消极被动类型的学生的师生互动音频信息；将老师与学生的音频信息分别处理生成互动音频内容；将老师与学生的互动音频内容进行文本相似度处理，判断老师与学生的互动音频内容是否相似；对学生的互动音频内容进行情感分析；最后根据文本相似度和情感分析结果以及学生学习成绩判断学生不爱互动的缘由；包括：基于学生互动类型和互动内容，获取学生互动音频内容；根据学生互动音频内容，计算老师与学生的互动内容文
本相似度和学生互动内容的情感分析；构建学生互动完成度模型，判断学生不爱互动的原因；
25.所述基于学生互动类型和互动内容，获取学生互动音频内容，具体包括：
26.基于学生互动行为分析，筛选出消极被动类型的学生信息。使用音频拾取设备获取消极被动类型学生在互动时老师与学生的互动音频信息将音频拾取设备获取的音频进行预处理处理。提取并识别老师和学生的互动音频内容，分别生成老师和学生的互动音频内容。
27.所述根据学生互动音频内容，计算老师与学生的互动内容文本相似度和学生互动内容的情感分析，具体包括：
28.将老师与学生互动音频内容输入n—gram模型对学生互动音频进行中文分词。使用word2vec模型对分词后的文本分别进行文本向量化，得到各词语的向量化表示。对向量的每个维度进行加权相加，形成文本向量，进而可利用余弦距离计算文本的相似度。逐个遍历分词后的语句中的词语与bosonnlp情感词典进行比对。如果词语命中词典，则进行相应权重的处理。正面词权重为加法，负面词权重为减法，否定词权重取相反数，程度副词权重则和它修饰的词语权重相乘，求和得到这段互动内容文本的情感权重值。
29.所述构建学生互动完成度模型，判断学生不爱互动的原因，具体包括：
30.基于学生互动内容文本相似度和学生互动内容的情感分析以及学生成绩排名构建学生互动完成度模型k＝l*m*(t-s),其中l为学生互动内容文本相似度，若相似度高于一定阈值则l取值为1，否则l取值为0，m为学生互动内容的情感分析权重值，若权重值为非负数则m取值为1,否则m取值为-1，t为班级总人数+1，s为学生学习成绩排名。基于学生互动完成度模型判断学生不爱互动的缘由。若k的值为0，则认为学生不爱互动的缘由之一是不了解互动的内容。若k的值小于0，则认为学生不爱互动的缘由之一是对互动的积极性低。若k的绝对值小于一定阈值，则认为学生不爱互动的缘由之一是学习能力较弱。若k的绝对值大于一定阈值，则认为学生不爱互动的缘由之一是社交能力较弱。
31.进一步可选地，所述基于师生的互动信息，获得学生对不同互动方式的倾向程度包括：
32.从师生信息数据库中获取师生信息；将学生每次互动中老师发起互动方式和本次互动时间作为每一次互动标记标签；将不同的互动标记标签按照互动方式进行分类；将不同互动方式的互动标记标签中的互动时间进行求和得到学生的对这种互动方式的倾向程度；包括：基于学生对不同互动方式的倾向程度，判断学生是否更加倾向于一种互动类型；
33.所述基于学生对不同互动方式的倾向程度，判断学生是否更加倾向于一种互动类型，具体包括：
34.基于学生的不同互动方式的不同的倾向程度，对倾向程度数据进行处理后获得标准数据。基于标准数据进行分析并采用特征提取器提取学生互动倾向的特征。基于所提取的互动倾向特征采用分类器确定学生的互动是否过于倾向一个互动类型。
35.进一步可选地，所述基于学生的互动行为建立学生互动积极性评估模型，获取学生在不同互动方式下互动倾向的变化包括：
36.通过教室内的高清摄像头，统计每次师生互动的主动发起方；在课堂互动时，分别通过摄像头和红外传感器采集包含有学生的视频信息和学生的热点区域图，获取学生在互
动时身体体温的变化；基于紧张程度模型和学生在互动时身体体温的变化计算学生本次互动的紧张程度；建立学生互动积极性评估模型，e＝q1*c-q2*t-q3*n+m,其中e为学生互动积极程度，
37.q1、q2、q3为不同权重值，c为学生主动发起互动的次数，t为互动时是否紧张，紧张和不紧张和放松的值分别为1、0、-1，n为学生本次互动的紧张程度，m为常数；统计每次互动后学生的互动信息，并更新学生的互动积极程度；若在进行不同互动方式后学生的互动积极程度发生变化，则说明此次互动对学生的互动倾向产生了变化。
38.进一步可选地，所述根据学生在不同互动下的不同互动倾向变化，判断适合学生的互动方式包括：
39.根据学生互动积极性的评估模型，统计每次互动的信息；以每位同学最近十次的互动积极性为基础，统计学生在每种互动方式下较上一次的积极性的变化值；将每种互动方式下的积极性变化值相加后，得出不同互动方式对学生互动积极性的影响；包括：获取老师进行适合学生的互动方式后学生的互动倾向变化；
40.所述获取老师进行适合学生的互动方式后学生的互动倾向变化，具体包括：
41.老师在课上对学生采取适合学生的互动方式。根据学生互动积极性的评估模型，计算学生在老师采取合适互动方式后的五次互动的积极性评估值。根据最后五次的学生积极性评估值，判断学生的互动倾向变化。
42.本发明实施例提供的技术方案可以包括以下有益效果：
43.本发明设计了一种能提高学生互动倾向性的师生互动均衡方法，调整老师的互动倾向，提示老师选择在自己互动倾向之外的学生形成互动，对于不参与互动的学生，通过调整互动方法来改变学生的互动倾向性，以此来提高学生的互动倾向性。
附图说明
44.图1为本发明的一种基于物联网智慧教室的师生互动检测方法的流程图。
45.图2为本发明的一种基于物联网智慧教室的师生互动检测方法的又一流程图。
具体实施方式
46.为进一步了解本发明的内容，结合附图及实施例对本发明作详细描述。下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
47.本实施例一种基于物联网智慧教室的师生互动检测方法具体可以包括：
48.步骤101，根据课堂上互动的视觉和听觉信息获取师生互动信息。
49.其中师生信息通过学校校务管理系统获取。基于机器学习的有监督模式识别方法构建师生互动的识别模型，使用大量师生之间互动的动作信息和音频信息来模型进行训练，师生互动的识别模型根据师生之间的互动信息判断教师发起互动的方式。在获得校方及师生授权同意之后，通过教室内多个角度的摄像头采用人脸识别的方法实时采集教室内师生的实时身份信息并获取师生互动时的动作信息。在获得校方及师生授权同意之后，通过教室内的音频拾取装置获取师生互动时的音频信息。将动作信息和音频信息传输至师生
互动的识别模型中，师生互动的识别模型判定此次互动的方式。根据实时身份信息和互动方式统计课堂中教师发起互动的方式以及学生参与互动的次数和互动时间并存入师生互动信息数据库中。例如要统计某个老师和学生的互动方式，首先通过摄像头识别出老师和学生在课堂的身份信息。然后将摄像头的图像信息和音频拾取装置记录的音频信息经过师生互动的识别模型处理判断此次教师发起互动的方式并根据互动的学生对象信息加以记录。同时此次教师发起互动的类型和次数将会被记录在该学生的互动信息记录中。
50.步骤102，根据学生的互动信息得到学生的学习能力。
51.学生的信息包括：平时成绩、作业完成程度。平时成绩由学校教务系统录入。作业完成程度通过老师对学生作业的统计获得。首先基于学生的平时成绩和作业完成程度构建学生学习能力评估模型m＝a*(n-s)+b*h,其中a、b分别为成绩和作业完成度的权重，s为学生成绩的排名,n为班级人数，h为平时作业的完成程度。基于学生学习能力评估模型进行评估，m值越大，则表示学生的学习能力越强。例如一个班共有50个人，有a、b、c三名学生他们的排名分别为2、10、38，平时作业的完成度分别为1、0.95、0.7。a的权重为1，b的权重为10.则通过模型计算得出a、b、c三位学生的学习能力分别为59、49.5、19。则表明a的学习能力最强。
52.步骤103，基于学生学习能力和学习评价判断学生互动行为程度。
53.学校定期设置师生交流会。师生交流会是指老师与每位学生深入交流学习和课堂互动的有关信息。老师根据交流的内容填写学生的学生评价。根据学生的学习能力和学习评价判断学生互动行为程度。
54.判断学生互动行为程度。
55.学生评价包括课堂互动行为、互动表现、学生成绩。学生成绩为学生在班级的成绩排名。互动行为程度有三种，分别是不愿互动、一般、愿意主动互动。互动表现主要针对互动行为程度为不愿互动的学生，分析学生不愿互动的缘由。例如在一次学校组织的师生交流会中，老师与学生交流之后，分析出该学生有不愿互动的倾向，并且通过进一步交流得知他不爱互动的原因是害怕在众人面前发言。那么老师在学生评价中对该学生的评价就可以是：互动行为程度：不愿互动、互动表现：内向，并录入学生成绩排名。
56.步骤104，根据参与互动学生的学习能力值和学生互动行为程度判断老师的互动倾向。
57.统计与老师互动的学生的学习能力值和学生互动行为程度。统计老师与学生互动次数总和。并根据学生的学习能力值和学生互动行为程度构建模型计算老师对不同类型学生的互动的倾向程度。通过老师的互动的倾向程度判断老师是否有对某一类型的学生有的互动倾向。
58.判断老师的互动倾向。
59.通过教室内的高清摄像头，统计每次师生互动的对象；基于每一次师生的互动记录老师与不同学生的互动次数；统计老师与学生互动次数总和；根据老师对学生的评价进行分类排名，将评价中互动行为程度相同的学生根据学生学习能力进行排名；基于与老师互动的学生的学习能力值和学生与老师的互动次数构建教师互动倾向模型x＝(c1*m1+c2*m2+...+cn*mn)/(c1+c2+...+cn),其中n代表班级中有n位同学，c1代表输入学生的学习能力值中学习能力排名第一学生与老师的互动次数，m1是通过学生学习能力评估模型计算出这
个学生的学习能力值，c2是输入学生的学习能力值中学习能力排名第二的学生与老师的互动次数，m2是通过学生学习能力评估模型计算出这个学生的学习能力值,以此类推计算输入的中所有与老师互动的学生的学习能力平均值；依据学生互动行为程度将学生分成三类；分别将互动行为程度相同的学生的学习能力值和学生与老师的互动次数输入至教师互动倾向模型x中计算学习能力平均值；根据教师互动倾向模型计算老师互动的学生的学习能力平均值。例如老师总共互动次数为10次，其中与a学生互动2次、b学生互动3次，c学生互动4次，d学生互动1次，其中a、b、c、d学生的学习能力值分别为50、55、35、20。其中a、b、c、d的互动行为程度分别为愿意主动互动、一般、不愿互动、愿意主动互动。计算出老师互动的学生不同互动行为程度的学习能力平均值分别为：愿意主动互动：(2*50+1*20)/(2+1)＝40、一般：(3*55)/3＝55、不愿主动互动：4*35/4＝35。根据该平均值的大小与班级内不同互动倾向的学生学习能力平均值作比较就可以判断老师的互动倾向是否于学生的学习能力有关。
60.根据老师的互动倾向判断老师是否需要与学习能力不同的学生进行互动。
61.定义学习能力值在班级在一定阈值之前的的学生为优秀学生。计算学生评价中互动行为程度为愿意主动互动且班级排名在一定阈值之前的学生学习能力值平均值a。将与老师互动的互动行为程度为愿意主动的学生学习能力平均值s与a作比较,若老师互动的学生学习能力s平均值大于班级排名在一定阈值之前的学生学习能力值a，则认为老师偏向于与优秀的学生互动，系统提醒老师与其他愿意互动但是成绩中下水平的学生互动。若老师互动的互动行为程度为愿意主动的学生学习能力平均值s小于班级排名在一定阈值之前的学生学习能力值a，则认为老师的互动倾向比较平均。例如老师总共互动次数为10次，其中与a学生互动2次、b学生互动1次，c学生互动4次，d学生互动3次，其中a、b、c、d学生的学习能力值分别为50、20、35、55，且a、b、c、d均为愿意主动互动的学生。计算出老师互动的学生的学习能力平均值为(2*50+1*20+35*4+55*3)/10等于42.5。班级中愿意主动互动且排名在前25％的学生学习能力值为38。此时老师互动的学生学习能力平均值大于班级排名在前25％之前的学生学习能力值，系统会排定老师倾向于与优秀学生互动，此时会提醒老师与其他愿意互动但是成绩中下水平的学生互动。
62.步骤105，根据学生互动时的体征状态和主动互动占比预测学生互动类型。
63.学生的互动类型分为积极主动型、正常被动型、消极被动型。其中积极主动型定义为学生愿意积极主动与老师互动，正常被动型指学生不反感与老师互动，但是不会主动与老师互动，消极被动型则是学生不愿甚至害怕与老师互动。将学生互动时的音频信息和动作信息输入识别模型判断学生是否主动发起互动，并根据学生的紧张程度和主动发起互动占总互动次数的比例来判断学生的互动类型。
64.判断学生互动类型。
65.通过教室内多个角度的摄像头采用人脸识别的方法实时采集教室内师生的实时身份信息并获取师生互动时的动作信息。通过教室内的音频拾取装置获取师生互动时的音频信息。将动作信息和音频信息传输至师生互动的识别模型中分析判断学生是否主动发起互动。在课堂互动时，分别通过摄像头和红外传感器采集包含有学生的视频信息和学生的热点区域图，获取学生在互动时身体体温的变化。对采集到的视频信息和采集到的热点区域图进行识别得到被检测学生的人体特征数据。基于学生人体特征数据构建紧张程度模型
n＝t,t为学生互动时体温和互动前的体温的差值。使用学生体温的变化值计算学生本次互动的紧张程度。基于学生主动互动次数和互动是否紧张和紧张程度建立预设学生互动类型分析模型，学生互动类型分析模型根据学生主动互动次数与总互动次数的比值、学生互动是否紧张和紧张程度来判断学生的互动类型。统计学生主动发起互动的次数和总互动次数，设定若学生主动发起互动的次数与学生总互动次数的比例大于一定的阈值，互动类型分析模型会判断这个学生的互动类型为积极主动型。基于学生每次互动是否紧张和紧张程度在互动类型分析模型计算出学生的紧张度，若紧张度低于一定的阈值，且学生主动发起互动的次数与学生总互动次数的比例小于一定阈值，则互动类型分析模型判定学生互动类型为正常被动型，反之紧张度高于一定阈值且学生主动发起互动的次数与学生总互动次数的比例小于一定的阈值，则互动类型分析模型判定学生互动类型为消极被动型。统计学生主动发起互动的次数和该学生总共的互动次数。学生主动发起互动的次数与学生总互动次数的比例大于一定阈值(如30％)，则认为该学生的互动类型为积极主动型。每次互动的信息将通过摄像头和红外传感器进行采集。红外传感器采集学生的互动前后体温变化，研究表明人在紧张时体温会升高，若学生体温变化超过0.2度，则认为学生互动过程的表现为紧张。采集的信息用于判断本次互动学生的主动性和紧张程度。若此次互动是学生主动发起且互动时学生情绪轻松愉快，那么将会降低该学生在学生互动类型分析模型中的紧张度。通过不断记录数据来增加模型的判断可靠性。最终根据所述模型判断出每个学生的互动类型。
66.步骤106，通过学生的互动内容判断学生不爱互动的原因。
67.获取消极被动类型的学生的师生互动音频信息。将老师与学生的音频信息分别处理生成互动音频内容。将老师与学生的互动音频内容进行文本相似度处理，判断老师与学生的互动音频内容是否相似。对学生的互动音频内容进行情感分析。最后根据文本相似度和情感分析结果以及学生学习成绩判断学生不爱互动的缘由。
68.基于学生互动类型和互动内容，获取学生互动音频内容。
69.基于学生互动行为分析，筛选出消极被动类型的学生信息。使用音频拾取设备获取消极被动类型学生在互动时老师与学生的互动音频信息将音频拾取设备获取的音频进行预处理处理。提取并识别老师和学生的互动音频内容，分别生成老师和学生的互动音频内容在消极被动类型的学生互动时，使用音频拾取设备记录师生的互动音频。将互动音频进行处理并提取出师生的互动音频内容。
70.根据学生互动音频内容，计算老师与学生的互动内容文本相似度和学生互动内容的情感分析。
71.将老师与学生互动音频内容输入n—gram模型对学生互动音频进行中文分词。使用word2vec模型对分词后的文本分别进行文本向量化，得到各词语的向量化表示。对向量的每个维度进行加权相加，形成文本向量，进而可利用余弦距离计算文本的相似度。逐个遍历分词后的语句中的词语与bosonnlp情感词典进行比对。如果词语命中词典，则进行相应权重的处理。正面词权重为加法，负面词权重为减法，否定词权重取相反数，程度副词权重则和它修饰的词语权重相乘，求和得到这段互动内容文本的情感权重值。将师生的音频内容输入n—gram模型进行中文分词，将分词后的文本进行文本向量化并加权相加的得到文本向量，将文本向量进行余弦距离计算文本相似度。对互动音频内容分词后的文本进行情
感分析得到情感权重值。
72.构建学生互动完成度模型，判断学生不爱互动的原因。
73.基于学生互动内容文本相似度和学生互动内容的情感分析以及学生成绩排名构建学生互动完成度模型k＝l*m*(t-s),其中l为学生互动内容文本相似度，若相似度高于一定阈值则l取值为1，否则l取值为0，m为学生互动内容的情感分析权重值，若权重值为非负数则m取值为1,否则m取值为-1，t为班级总人数+1，s为学生学习成绩排名。基于学生互动完成度模型判断学生不爱互动的缘由。若k的值为0，则认为学生不爱互动的缘由之一是不了解互动的内容。若k的值小于0，则认为学生不爱互动的缘由之一是对互动的积极性低。若k的绝对值小于一定阈值，则认为学生不爱互动的缘由之一是学习能力较弱。若k的绝对值大于一定阈值，则认为学生不爱互动的缘由之一是社交能力较弱。学生互动内容文本相似度和学生互动内容的情感分析以及学生成绩排名通过学生互动完成度模型计算学生互动完成度k。根据k的值判断学生不爱互动的原因。
74.步骤107，基于师生的互动信息，获得学生对不同互动方式的倾向程度。
75.从师生信息数据库中获取师生信息。将学生每次互动中老师发起互动方式和本次互动时间作为每一次互动标记标签。将不同的互动标记标签按照互动方式进行分类。将不同互动方式的互动标记标签中的互动时间进行求和得到学生的对这种互动方式的倾向程度。例如，上课互动的方式有：提问法、活动法、游戏法。老师与每位学生的互动记录和本次互动的时间将会记录下来，并进行标记。将该学生不同方式的标记分别计算出学生对于不同互动方式的倾向程度。互动类型倾向值即为该学生对互动不同程度倾向。
76.基于学生对不同互动方式的倾向程度，判断学生是否更加倾向于一种互动类型。
77.基于学生的不同互动方式的不同的倾向程度，对倾向程度数据进行处理后获得标准数据。基于标准数据进行分析并采用特征提取器提取学生互动倾向的特征。基于所提取的互动倾向特征采用分类器确定学生的互动是否过于倾向一个互动类型。例如，上课互动的方式有：提问法、活动法、游戏法。经过模型统计学生所述的互动倾向值分别为60、80、70。采用分类器对学生互动倾向进行预测。本例中学生的倾向值比较平均，因此该学生不会被判定为是过于倾向某个互动类型的学生。如果该学生的互动倾向值为100、5、10。由于该学生的提问法的互动倾向值远高于其他互动类型。数据通过分类器后系统则会判断学生过于倾向于提问法。
78.步骤108，基于学生的互动行为建立学生互动积极性评估模型，获取学生在不同互动方式下互动倾向的变化。
79.通过教室内的高清摄像头，统计每次师生互动的主动发起方；在课堂互动时，分别通过摄像头和红外传感器采集包含有学生的视频信息和学生的热点区域图，获取学生在互动时身体体温的变化；基于紧张程度模型和学生在互动时身体体温的变化计算学生本次互动的紧张程度；建立学生互动积极性评估模型，e＝q1*c-q2*t-q3*n+m,其中e为学生互动积极程度，
80.q1、q2、q3为不同权重值，c为学生主动发起互动的次数，t为互动时是否紧张，紧张和不紧张和放松的值分别为1、0、-1，n为学生本次互动的紧张程度，m为常数；统计每次互动后学生的互动信息，并更新学生的互动积极程度；若在进行不同互动方式后学生的互动积极程度发生变化，则说明此次互动对学生的互动倾向产生了变化。例如：某位学生在上一次
的互动积极程度为1*0-0.5*1-0.5*0.9+1.1等于0.15。在一次互动中，老师采用活动法的互动方式与该学生进行活动。该学生互动时虽然还是紧张但是紧张程度明显下降。那么该学生此次互动积极程度为1*0-0.5*1-0.5*0.3+1.1等于0.45，与上次相比互动积极程度有所提高。那么就认为该学生在活动法的互动方式下互动倾向发生了改变。
81.步骤109，根据学生在不同互动下的不同互动倾向变化，判断适合学生的互动方式。
82.根据学生互动积极性的评估模型，统计每次互动的信息。以每位同学最近十次的互动积极性为基础，统计学生在每种互动方式下较上一次的积极性的变化值。将每种互动方式下的积极性变化值相加后，得出不同互动方式对学生互动积极性的影响。例如：某位学生的近十次互动中的互动积极性分别是
83.0.3、0.5、0.1、0.8、1.2、0.6、0.55、0.35、0.45、0.75。该学生近十次的互动方式分别为：提问法、活动法、提问法、游戏法、游戏法、提问法、活动法、活动法、提问法、游戏法。则每种互动方法的提高值分别为：提问法：-0.4-0.6+0.1等于-0.9，活动法：0.3-0.05-0.2等于0.05，游戏法：0.7+0.3等于1。汇总所有方法对学生积极性的影响，判断出最适合该学生的互动方式是游戏法。
84.获取老师进行适合学生的互动方式后学生的互动倾向变化。
85.老师在课上对学生采取适合学生的互动方式。根据学生互动积极性的评估模型，计算学生在老师采取合适互动方式后的五次互动的积极性评估值。根据最后五次的学生积极性评估值，判断学生的互动倾向变化。例如老师在刻意采用适合学生的互动方式后，会持续记录学生在之后的五次互动信息，并使用上述学生互动积极性评估模型计算学生的每次互动积极性评估值。计算这五次的互动积极性评估值的平均值，并计算学生在老师采取合适的互动方式前的互动积极性评估值的平均值，将前后的平均值进行比较。若改变后的积极性平均值高于改变前的积极性平均值，则判断学生的互动倾向提高了。反之则是互动积极性降低。
86.另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

技术特征：
1.一种基于物联网智慧教室的师生互动检测方法，其特征在于，所述方法包括：根据课堂上互动的视觉和听觉信息获取师生互动信息；根据学生的互动信息得到学生的学习能力；基于学生学习能力和学习评价判断学生互动行为程度，具体包括：判断学生互动行为程度；根据参与互动学生的学习能力值和学生互动行为程度判断老师的互动倾向，所述根据参与互动学生的学习能力值和学生互动行为程度判断老师的互动倾向，具体包括：判断老师的互动倾向，根据老师的互动倾向判断老师是否需要与学习能力不同的学生进行互动；根据学生互动时的体征状态和主动互动占比预测学生互动类型，具体包括：判断学生互动类型；通过学生的互动内容判断学生不爱互动的原因，所述通过学生的互动内容判断学生不爱互动的原因，具体包括：基于学生互动类型和互动内容，获取学生互动音频内容，根据学生互动音频内容，计算老师与学生的互动内容文本相似度和学生互动内容的情感分析，构建学生互动完成度模型，判断学生不爱互动的原因；基于师生的互动信息，获得学生对不同互动方式的倾向程度，具体包括：基于学生对不同互动方式的倾向程度，判断学生是否更加倾向于一种互动类型；基于学生的互动行为建立学生互动积极性评估模型，获取学生在不同互动方式下互动倾向的变化；根据学生在不同互动下的不同互动倾向变化，判断适合学生的互动方式，包括：获取老师进行适合学生的互动方式后学生的互动倾向变化。2.根据权利要求1所述的方法，其中，所述根据课堂上互动的视觉和听觉信息获取师生互动信息，包括:其中师生信息通过学校校务管理系统获取；基于机器学习的有监督模式识别方法构建师生互动的识别模型，使用大量师生之间互动的动作信息和音频信息来模型进行训练，师生互动的识别模型根据师生之间的互动信息判断教师发起互动的方式；在获得校方及师生授权同意之后，通过教室内多个角度的摄像头采用人脸识别的方法实时采集教室内师生的实时身份信息并获取师生互动时的动作信息；在获得校方及师生授权同意之后，通过教室内的音频拾取装置获取师生互动时的音频信息；将动作信息和音频信息传输至师生互动的识别模型中，师生互动的识别模型判定此次互动的方式；根据实时身份信息和互动方式统计课堂中教师发起互动的方式以及学生参与互动的次数和互动时间并存入师生互动信息数据库中。3.根据权利要求1所述的方法，其中，所述根据学生的互动信息得到学生的学习能力，包括:学生的信息包括：平时成绩、作业完成程度；平时成绩由学校教务系统录入；作业完成程度通过老师对学生作业的统计获得；首先基于学生的平时成绩和作业完成程度构建学生学习能力评估模型m＝a*(n-s)+b*h,其中a、b分别为成绩和作业完成度的权重，s为学生成绩的排名,n为班级人数，h为平时作业的完成程度；基于学生学习能力评估模型进行评估，m值越大，则表示学生的学习能力越强。4.根据权利要求1所述的方法，其中，所述基于学生学习能力和学习评价判断学生互动行为程度，包括:学校定期设置师生交流会；师生交流会是指老师与每位学生深入交流学习和课堂互动的有关信息；老师根据交流的内容填写学生的学生评价；根据学生的学习能力和学习评价判断学生互动行为程度；包括：判断学生互动行为程度；
所述判断学生互动行为程度，具体包括:学生评价包括课堂互动行为、互动表现、学生成绩；学生成绩为学生在班级的成绩排名；互动行为程度有三种，分别是不愿互动、一般、愿意主动互动；互动表现主要针对互动行为程度为不愿互动的学生，分析学生不愿互动的缘由。5.根据权利要求1所述的方法，其中，所述根据参与互动学生的学习能力值和学生互动行为程度判断老师的互动倾向，包括:统计与老师互动的学生的学习能力值和学生互动行为程度；统计老师与学生互动次数总和；并根据学生的学习能力值和学生互动行为程度构建模型计算老师对不同类型学生的互动的倾向程度；通过老师的互动的倾向程度判断老师是否有对某一类型的学生有的互动倾向；包括：判断老师的互动倾向；根据老师的互动倾向判断老师是否需要与学习能力不同的学生进行互动；所述判断老师的互动倾向，具体包括:通过教室内的高清摄像头，统计每次师生互动的对象；基于每一次师生的互动记录老师与不同学生的互动次数；统计老师与学生互动次数总和；根据老师对学生的评价进行分类排名，将评价中互动行为程度相同的学生根据学生学习能力进行排名；基于与老师互动的学生的学习能力值和学生与老师的互动次数构建教师互动倾向模型x＝(c1*m1+c2*m2+...+c
n
*m
n
)/(c1+c2+...+c
n
),其中n代表班级中有n位同学，c1代表输入学生的学习能力值中学习能力排名第一学生与老师的互动次数，m1是通过学生学习能力评估模型计算出这个学生的学习能力值，c2是输入学生的学习能力值中学习能力排名第二的学生与老师的互动次数，m2是通过学生学习能力评估模型计算出这个学生的学习能力值,以此类推计算输入的中所有与老师互动的学生的学习能力平均值；依据学生互动行为程度将学生分成三类；分别将互动行为程度相同的学生的学习能力值和学生与老师的互动次数输入至教师互动倾向模型x中计算学习能力平均值；根据教师互动倾向模型计算老师互动的学生的学习能力平均值；所述根据老师的互动倾向判断老师是否需要与学习能力不同的学生进行互动，具体包括:定义学习能力值在班级在一定阈值之前的的学生为优秀学生；计算学生评价中互动行为程度为愿意主动互动且班级排名在一定阈值之前的学生学习能力值平均值a；将与老师互动的互动行为程度为愿意主动的学生学习能力平均值s与a作比较,若老师互动的学生学习能力s平均值大于班级排名在一定阈值之前的学生学习能力值a，则认为老师偏向于与优秀的学生互动，系统提醒老师与其他愿意互动但是成绩中下水平的学生互动；若老师互动的互动行为程度为愿意主动的学生学习能力平均值s小于班级排名在一定阈值之前的学生学习能力值a，则认为老师的互动倾向比较平均。6.根据权利要求1所述的方法，其中，所述根据学生互动时的体征状态和主动互动占比预测学生互动类型，包括:学生的互动类型分为积极主动型、正常被动型、消极被动型；其中积极主动型定义为学生愿意积极主动与老师互动，正常被动型指学生不反感与老师互动，但是不会主动与老师互动，消极被动型则是学生不愿甚至害怕与老师互动；将学生互动时的音频信息和动作信息输入识别模型判断学生是否主动发起互动，并根据学生的紧张程度和主动发起互动占总
互动次数的比例来判断学生的互动类型；包括：判断学生互动类型；所述判断学生互动类型，具体包括:通过教室内多个角度的摄像头采用人脸识别的方法实时采集教室内师生的实时身份信息并获取师生互动时的动作信息；通过教室内的音频拾取装置获取师生互动时的音频信息；将动作信息和音频信息传输至师生互动的识别模型中分析判断学生是否主动发起互动；在课堂互动时，分别通过摄像头和红外传感器采集包含有学生的视频信息和学生的热点区域图，获取学生在互动时身体体温的变化；对采集到的视频信息和采集到的热点区域图进行识别得到被检测学生的人体特征数据；基于学生人体特征数据构建紧张程度模型n＝t,t为学生互动时体温和互动前的体温的差值；使用学生体温的变化值计算学生本次互动的紧张程度；基于学生主动互动次数和互动是否紧张和紧张程度建立预设学生互动类型分析模型，学生互动类型分析模型根据学生主动互动次数与总互动次数的比值、学生互动是否紧张和紧张程度来判断学生的互动类型；统计学生主动发起互动的次数和总互动次数，设定若学生主动发起互动的次数与学生总互动次数的比例大于一定的阈值，互动类型分析模型会判断这个学生的互动类型为积极主动型；基于学生每次互动是否紧张和紧张程度在互动类型分析模型计算出学生的紧张度，若紧张度低于一定的阈值，且学生主动发起互动的次数与学生总互动次数的比例小于一定阈值，则互动类型分析模型判定学生互动类型为正常被动型，反之紧张度高于一定阈值且学生主动发起互动的次数与学生总互动次数的比例小于一定的阈值，则互动类型分析模型判定学生互动类型为消极被动型。7.根据权利要求1所述的方法，其中，所述通过学生的互动内容判断学生不爱互动的原因，包括:获取消极被动类型的学生的师生互动音频信息；将老师与学生的音频信息分别处理生成互动音频内容；将老师与学生的互动音频内容进行文本相似度处理，判断老师与学生的互动音频内容是否相似；对学生的互动音频内容进行情感分析；最后根据文本相似度和情感分析结果以及学生学习成绩判断学生不爱互动的缘由；包括：基于学生互动类型和互动内容，获取学生互动音频内容；根据学生互动音频内容，计算老师与学生的互动内容文本相似度和学生互动内容的情感分析；构建学生互动完成度模型，判断学生不爱互动的原因；所述基于学生互动类型和互动内容，获取学生互动音频内容，具体包括:基于学生互动行为分析，筛选出消极被动类型的学生信息；使用音频拾取设备获取消极被动类型学生在互动时老师与学生的互动音频信息将音频拾取设备获取的音频进行预处理处理；提取并识别老师和学生的互动音频内容，分别生成老师和学生的互动音频内容；所述根据学生互动音频内容，计算老师与学生的互动内容文本相似度和学生互动内容的情感分析，具体包括:将老师与学生互动音频内容输入n—gram模型对学生互动音频进行中文分词；使用word2vec模型对分词后的文本分别进行文本向量化，得到各词语的向量化表示；对向量的每个维度进行加权相加，形成文本向量，进而可利用余弦距离计算文本的相似度；逐个遍历分词后的语句中的词语与bosonnlp情感词典进行比对；如果词语命中词典，则进行相应权重的处理；正面词权重为加法，负面词权重为减法，否定词权重取相反数，程度副词权重则和它修饰的词语权重相乘，求和得到这段互动内容文本的情感权重值；所述构建学生互动完成度模型，判断学生不爱互动的原因，具体包括:
基于学生互动内容文本相似度和学生互动内容的情感分析以及学生成绩排名构建学生互动完成度模型k＝l*m*(t-s),其中l为学生互动内容文本相似度，若相似度高于一定阈值则l取值为1，否则l取值为0，m为学生互动内容的情感分析权重值，若权重值为非负数则m取值为1,否则m取值为-1，t为班级总人数+1，s为学生学习成绩排名；基于学生互动完成度模型判断学生不爱互动的缘由；若k的值为0，则认为学生不爱互动的缘由之一是不了解互动的内容；若k的值小于0，则认为学生不爱互动的缘由之一是对互动的积极性低；若k的绝对值小于一定阈值，则认为学生不爱互动的缘由之一是学习能力较弱；若k的绝对值大于一定阈值，则认为学生不爱互动的缘由之一是社交能力较弱。8.根据权利要求1所述的方法，其中，所述基于师生的互动信息，获得学生对不同互动方式的倾向程度，包括:从师生信息数据库中获取师生信息；将学生每次互动中老师发起互动方式和本次互动时间作为每一次互动标记标签；将不同的互动标记标签按照互动方式进行分类；将不同互动方式的互动标记标签中的互动时间进行求和得到学生的对这种互动方式的倾向程度；包括：基于学生对不同互动方式的倾向程度，判断学生是否更加倾向于一种互动类型；所述基于学生对不同互动方式的倾向程度，判断学生是否更加倾向于一种互动类型，具体包括:基于学生的不同互动方式的不同的倾向程度，对倾向程度数据进行处理后获得标准数据；基于标准数据进行分析并采用特征提取器提取学生互动倾向的特征；基于所提取的互动倾向特征采用分类器确定学生的互动是否过于倾向一个互动类型。9.根据权利要求1所述的方法，其中，所述基于学生的互动行为建立学生互动积极性评估模型，获取学生在不同互动方式下互动倾向的变化，包括:通过教室内的高清摄像头，统计每次师生互动的主动发起方；在课堂互动时，分别通过摄像头和红外传感器采集包含有学生的视频信息和学生的热点区域图，获取学生在互动时身体体温的变化；基于紧张程度模型和学生在互动时身体体温的变化计算学生本次互动的紧张程度；建立学生互动积极性评估模型，e＝q1*c-q2*t-q3*n+m,其中e为学生互动积极程度，q1、q2、q3为不同权重值，c为学生主动发起互动的次数，t为互动时是否紧张，紧张和不紧张和放松的值分别为1、0、-1，n为学生本次互动的紧张程度，m为常数；统计每次互动后学生的互动信息，并更新学生的互动积极程度；若在进行不同互动方式后学生的互动积极程度发生变化，则说明此次互动对学生的互动倾向产生了变化。10.根据权利要求1所述的方法，其中，所述根据学生在不同互动下的不同互动倾向变化，判断适合学生的互动方式，包括:根据学生互动积极性的评估模型，统计每次互动的信息；以每位同学最近十次的互动积极性为基础，统计学生在每种互动方式下较上一次的积极性的变化值；将每种互动方式下的积极性变化值相加后，得出不同互动方式对学生互动积极性的影响；包括：获取老师进行适合学生的互动方式后学生的互动倾向变化；所述获取老师进行适合学生的互动方式后学生的互动倾向变化，具体包括:老师在课上对学生采取适合学生的互动方式；根据学生互动积极性的评估模型，计算学生在老师采取合适互动方式后的五次互动的积极性评估值；根据最后五次的学生积极性评估值，判断学生的互动倾向变化。

技术总结
本申请提供一种基于物联网智慧教室的师生互动检测方法，包括：根据课堂上互动的视觉和听觉信息获取师生互动信息；根据学生的互动信息得到学生的学习能力；基于学生学习能力和学习评价判断学生互动行为程度；根据参与互动学生的学习能力值和学生互动行为程度判断老师的互动倾向；根据学生互动时的体征状态和主动互动占比预测学生互动类型；通过学生的互动内容判断学生不爱互动的原因；基于师生的互动信息，获得学生对不同互动方式的倾向程度；基于学生的互动行为建立学生互动积极性评估模型，获取学生在不同互动方式下互动倾向的变化。化。化。


技术研发人员：李岳学
受保护的技术使用者：广东悦学科技有限公司
技术研发日：2023.04.06
技术公布日：2023/8/14