一种基于移动终端的疲劳使用预警方法及设备与流程

1.本技术涉及计算机技术领域，尤其涉及一种基于移动终端的疲劳使用预警方法及设备。


背景技术：

2.现有技术中，现有的大部分应用程序app功能，因为权限问题，只有在用户打开app的情况下，手机才能有识别人脸特征的行为。大多属于用户的主动行为，现把功能集成于手机自身的操作系统中，只需用户同意打开功能，就可以进行系统主动干预，达到提醒的目的。且增加多维参数后，可达到精确识别的目的。
3.现如今，通过人脸识别来判断一个人是否处于困乏状态已经在车机上得到广泛应用，手机上应用较少，主要原因有交通事故已被公认为当今世界危害人类生命安全的第一大公害，过劳死、疲劳驾驶等时有发生，因此，在车机上生产出此功能，但手机却没有这样明显的需求。加之，车机在驾驶时，其它功能使用相对较少，车机系统相对于手机而言，能提供给此功能的系统资源要多。相对车机而言，占用资源较少，且针对手机使用时常日益趋增的今天，能够有一个小而精的系统功能。
4.因手机的普及和使用频率过高，导致用户在使用手机过程中，用眼过度且不自知的情况大有发生，如何更好地控制用户合理健康的使用手机成为当前业界主要研究的课题。


技术实现要素：

5.本技术的一个目的是提供一种基于移动终端的疲劳使用预警方法及设备，通过可提醒或可控制的系统级行为，增强移动终端的系统功能，确保对用户当前是否处于用眼过度情况的快速识别和有效地对疲劳使用移动终端的使用用户进行提醒或强制限制行为，不仅起到了对使用用户的疲劳使用预警，还能限制使用行为，更一步确保使用用户的用眼健康和安全。
6.根据本技术的一个方面，提供了一种基于移动终端的疲劳使用预警方法，其中，该方法包括：
7.当所述移动终端的屏幕处于运行状态时，周期性地采集使用用户的用户脸部图像；
8.基于周期性采集的所述使用用户的用户脸部图像，确定所述使用用户对应的用户困乏权值；
9.若所述用户困乏权值大于第一疲劳权值阈值，则以弹框的形式在所述屏幕中进行预警提示，并限制所述使用用户对所述移动终端的使用行为；
10.若所述用户困乏权值大于第二疲劳权值阈值且小于等于所述第一疲劳权值阈值，则以语音的形式对所述使用用户进行疲劳提醒。
11.进一步地，上述方法中，以弹框的形式在所述屏幕中进行预警提示，并限制所述使
用用户对所述移动终端的使用行为，包括：
12.以弹框的形式在所述屏幕中进行预警提示；
13.检测所述使用用户当前是否对所述移动终端存在持续性操作；
14.若是，则在操作次数达到预设限定次数时，限制所述使用用户对所述移动终端的使用行为；
15.若否，则直接限制所述使用用户对所述移动终端的使用行为。
16.进一步地，上述方法中，所述基于周期性采集的所述使用用户的用户脸部图像，确定所述使用用户对应的用户困乏权值，包括：
17.对周期性采集的所述使用用户的用户脸部图像中的每张所述用户脸部图像依序分别进行人脸特征识别、眼部数据识别及人脸表情识别，得到所述使用用户对应的每张所述用户脸部图像对应的用户索引标识、眼睛长宽比ear值及表情识别结果；
18.基于周期性采集的所述使用用户对应的每张所述用户脸部图像对应的眼睛长宽比ear值和表情识别结果，确定所述使用用户对应的疲劳反馈结果；
19.基于所述用户索引标识获取所述使用用户对应的初始疲劳权值或历史疲劳权值；
20.基于所述使用用户对应的疲劳反馈结果，对所述使用用户对应的初始疲劳权值或历史疲劳权值进行更新，得到所述使用用户对应的用户困乏权值。
21.进一步地，上述方法中，所述基于周期性采集的所述使用用户对应的每张所述用户脸部图像对应的眼睛长宽比ear值和表情识别结果，确定所述使用用户对应的疲劳反馈结果，包括：
22.统计周期性采集的所述使用用户对应的每张所述用户脸部图像对应的眼睛长宽比ear值，绘制变化曲度，计算所述使用用户对应的第一疲劳值；
23.统计周期性采集的所述使用用户对应的每张所述用户脸部图像对应的表情识别结果，识别出所述使用用户的疲劳趋向以得到使用用户对应的第二疲劳值；
24.基于所述使用用户对应的所述第一疲劳值和所述第二疲劳值，得到所述使用用户对应的疲劳反馈结果。
25.进一步地，上述方法中，，所述方法还包括：
26.在远程字典服务redis数据库中创建用户信息表和用户数据表；
27.其中，所述用户信息表包括使用所述移动终端的各用户的索引标识及其对应的脸部特征和累计困乏权值；
28.所述用户数据表包括使用所述移动终端的各用户的索引标识及其在不同时间点对应的眼睛长宽比ear值和人脸表情。
29.根据本技术的另一个方面，还提供了一种非易失性存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述一种基于移动终端的疲劳使用预警方法。
30.根据本技术的另一个方面，还提供了一种基于移动终端的疲劳使用预警设备，其中，该设备包括：
31.一个或多个处理器；
32.计算机可读介质，用于存储一个或多个计算机可读指令，
33.当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个
或多个处理器实现如上述一种基于移动终端的疲劳使用预警方法。
34.与现有技术相比，本技术通过当所述移动终端的屏幕处于运行状态时，周期性地采集使用用户的用户脸部图像；基于周期性采集的所述使用用户的用户脸部图像，确定所述使用用户对应的用户困乏权值；若所述用户困乏权值大于第一疲劳权值阈值，则以弹框的形式在所述屏幕中进行预警提示，并限制所述使用用户对所述移动终端的使用行为；若所述用户困乏权值大于第二疲劳权值阈值且小于等于所述第一疲劳权值阈值，则以语音的形式对所述使用用户进行疲劳提醒。使得通过可提醒或可控制的系统级行为，增强移动终端的系统功能，确保对用户当前是否处于用眼过度情况的快速识别和有效地对疲劳使用移动终端的使用用户进行提醒或强制限制行为，不仅起到了对使用用户的疲劳使用预警，还能限制使用行为，更一步确保使用用户的用眼健康和安全。
附图说明
35.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
36.图1示出根据本技术一个方面的一种基于移动终端的疲劳使用预警方法的流程示意图；
37.图2示出根据本技术一个方面的一种基于移动终端的疲劳使用预警方法中的系统程序设置流程图；
38.图3示出根据本技术一个方面的一种基于移动终端的疲劳使用预警方法中的图片抓取流程图；
39.图4示出根据本技术一个方面的一种基于移动终端的疲劳使用预警方法中的疲劳行为的判断流程图；
40.图5示出根据本技术一个方面的一种基于移动终端的疲劳使用预警方法中的图片分析流程图；
41.图6示出根据本技术一个方面的一种基于移动终端的疲劳使用预警方法中的疲劳权值运算与数据存储流程图。
42.附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
43.下面结合附图对本技术作进一步详细描述。
44.在本技术一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
45.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
46.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除
可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
47.在本技术的一个方面提出了一种基于移动终端的疲劳使用预警方法，该方法适用于用户使用的移动终端，该移动终端包括但不限于具有摄像头和可操作屏幕的智能手机、智能手表、平板电脑及车载设备等可移动的终端，在该移动终端的系统级功能中，新增对使用所述移动终端的用户进行疲劳使用预警的功能，确保将疲劳使用预警功能结合至移动终端的自身操作系统的系统级功能中。其中，该方法包括步骤s11、步骤s12、步骤s13和步骤s14，其中，具体包括如下步骤：
48.步骤s11，当所述移动终端的屏幕处于运行状态时，周期性地采集使用用户的用户脸部图像；
49.步骤s12，基于周期性采集的所述使用用户的用户脸部图像，确定所述使用用户对应的用户困乏权值；
50.步骤s13，若所述用户困乏权值大于第一疲劳权值阈值，则以弹框的形式在所述屏幕中进行预警提示，并限制所述使用用户对所述移动终端的使用行为；在此，所述弹框的形式包括但不限于弹窗、浮窗等任何在屏幕上进行呈现的形式。
51.步骤s14，若所述用户困乏权值大于第二疲劳权值阈值且小于等于所述第一疲劳权值阈值，则以语音的形式对所述使用用户进行疲劳提醒。
52.通过上述步骤s11至步骤s14，在使用用户使用移动终端，即移动终端的屏幕处于运行状态时，通过可提醒或可控制的系统级行为，增强移动终端的系统功能，确保对用户当前是否处于用眼过度情况的快速识别和有效地对疲劳使用移动终端的使用用户进行提醒或强制限制行为，不仅起到了对使用用户的疲劳使用预警，还能限制使用行为，更一步确保使用用户的用眼健康和安全。
53.在所述步骤s11之前，本技术的一个方面提出了一种基于移动终端的疲劳使用预警方法还需要实现如图2所示的系统程序设置。首先，在所述移动终端的功能允许下，设置对所述移动终端的屏幕的运行状态和使用情况进行定时检查的时长，即对应步骤s11中的周期性地采集使用用户的用户脸部图像的周期；为了考虑到使用移动终端的使用用户对移动终端的使用控制和意愿，还需要在是否允许移动终端直接进入强制限制使用用户的使用行为的强制模式，在该强制模式中，使用用户只能使用移动终端的通话功能，当然，图2中优选的移动终端为手机，仅为本技术的一个优选实施例；进一步地，为了避免用户疲劳使用移动终端对眼睛造成的伤害，对用户进行疲劳使用的强制提醒需要设置一个最大次数，即预设限定次数，以免用户一直持续疲劳使用移动终端。
54.如图3所示，在步骤s11中，需要打开移动终端的监拍功能，以监测所述移动终端的屏幕是否处于运行状态，在此所述移动终端的屏幕的运行状态包括但不限于屏幕点亮、对屏幕的操作、屏幕的切换及屏幕的播放等。当监测到移动终端的屏幕处于运行状态时，通过移动终端的摄像头或相机等硬件拍摄设备来采集当前使用移动终端的使用用户的用户脸部图像，并将用户脸部图像发送至图片分析模块处进行图片分析；在当前次采集了使用用户的用户脸部图像后，等待一个预置的周期后，再次采集使用用户的用户脸部图像，实现对
使用移动终端的使用用户的用户脸部图像的周期性获取。
55.如图4所示，在本实施例中，对使用移动终端的使用用户进行行为判断的过程中，首先从远程字典服务redis数据库中抓取所有使用用户的用户信息表，该用户信息表包括使用所述移动终端的各用户的索引标识及其对应的脸部特征和累计困乏权值，比如，当移动终端的屏幕处于运行状态的过程中，对周期性采集的使用用户的用户脸部图像进行分析后，得到的该使用用户对应的用户困乏权值时，需要判断该使用用户的用户困乏权值(对应图4中的用户权值)是否大于第一疲劳权值阈值(即对应图4中的严重疲劳权值)，若是，则以弹框的形式在所述屏幕中进行预警提示，即提醒使用用户该移动终端即将进入强制模式，并在进入强制模式时限制所述使用用户对所述移动终端的使用行为；若否，则继续判断该使用用户的用户困乏权值(对应图4中的用户权值)是否大于第二疲劳权值阈值，其中，所述第一疲劳权值阈值大于所述第二疲劳权值阈值，若是，则调用语音模块以语音的形式对所述使用用户进行疲劳提醒，若否，则可以继续等待下一周期到来时获取并判断所述使用用户的使用行为是否属于疲劳使用的行为。
56.接着本技术的上述实施例，所述步骤s13中的以弹框的形式在所述屏幕中进行预警提示，并限制所述使用用户对所述移动终端的使用行为，具体包括：
57.以弹框的形式在所述屏幕中进行预警提示；
58.检测所述使用用户当前是否对所述移动终端存在持续性操作；
59.若是，则在操作次数达到预设限定次数时，限制所述使用用户对所述移动终端的使用行为；
60.若否，则直接限制所述使用用户对所述移动终端的使用行为。
61.在图4中，若所述使用用户的用户困乏权值大于第一疲劳权值阈值时，以弹框的形式在所述屏幕中进行预警提示，即提醒使用用户该移动终端即将进入强制模式；为了避免使用用户当前正在进行移动终端的持续性操作被突然中断，在进入强制模式限制使用用户的使用行为前，还需要检测所述使用用户当前是否对所述移动终端存在持续性操作，若否，则可以直接限制所述使用用户对所述移动终端的使用行为；若是，则不直接立马限制所述使用用户对移动终端的使用行为，而是允许使用用户在事先设定的预设限定次数内进行移动终端的操作，但若该使用用户的操作次数达到所述预设限定次数时，则需要进入限制所述使用用户对所述移动终端的使用行为，实现了对使用用户对移动终端的限制使用行为的过渡，不仅提高用户的体验度，还确保用户对使用行为进行限制的接受度。
62.进一步地，为了考虑到使用移动终端的使用用户对移动终端的使用控制和意愿，还需要在是否允许移动终端直接进入强制限制使用用户的使用行为的强制模式，那么在使用用户的用户困乏权值大于第一疲劳权值阈值时，进入强制限制的强制模式之前，需要判断移动终端是否给予了允许进入强制模式的权限，若允许了可以直接进入强制模式，则直接以弹框的形式在所述屏幕中进行预警提示，即提醒使用用户该移动终端即将进入强制模式，并在进入强制模式时限制所述使用用户对所述移动终端的使用行为；若未允许，则调用语音模块以语音的形式对所述使用用户进行疲劳提醒。
63.接着本技术的上述实施例，本技术的一个方面提出了一种基于移动终端的疲劳使用预警方法还包括：
64.在远程字典服务redis数据库中创建用户信息表和用户数据表；该用户信息表用
于区别当前使用用户的身份，该用户信息表的存储字段分别包括：使用所述移动终端的各用户的索引标识(key)及其对应的脸部特征(用于区别用户)和累计困乏权值；所述用户数据表包括使用所述移动终端的各用户的索引标识及其在不同时间点对应的眼睛长宽比ear值和人脸表情，即用户数据表的存储字段分别为：索引标识(key)、眼睛长宽比ear值和人脸表情，实现对关于使用用户的用户信息表和用户数据表的创建和存储。在此，通过使用redis数据库，增加对用户信息表和用户数据表等数据存取的速度。因为对ear值和表情识别算法的精简，从时间上，减少存取数据的量，也不会对系统增加太多负担。
65.接着本技术的上述实施例，所述步骤s12基于周期性采集的所述使用用户的用户脸部图像，确定所述使用用户对应的用户困乏权值，具体包括：
66.对周期性采集的所述使用用户的用户脸部图像中的每张所述用户脸部图像依序分别进行人脸特征识别、眼部数据识别及人脸表情识别，得到所述使用用户对应的每张所述用户脸部图像对应的用户索引标识、眼睛长宽比ear值及表情识别结果；
67.基于周期性采集的所述使用用户对应的每张所述用户脸部图像对应的眼睛长宽比ear值和表情识别结果，确定所述使用用户对应的疲劳反馈结果；
68.基于所述用户索引标识获取所述使用用户对应的初始疲劳权值或历史疲劳权值；
69.基于所述使用用户对应的疲劳反馈结果，对所述使用用户对应的初始疲劳权值或历史疲劳权值进行更新，得到所述使用用户对应的用户困乏权值。
70.在此，对用户脸部图像进行眼睛长宽比ear值计算时，采用ear(eye aspect ratio，眼睛长宽比)计算函数，主要用于计算人眼变化，通过记录人眼6点坐标，计算出眼睛变化曲线，ear计算函数用于检测人脸疲劳是通过短时间内，获取大量ear值，然后通过perclos算法，计算固定时间内，人眼闭合时间比。此处使用此算法，是通过长时间获取的不同时间点对应的ear值，绘制出人眼轮廓变化曲线，从而判断人是否处于困乏状态，因为场景不同，简化算法，对场景影响不大，且能够更少的使用资源。
71.人脸表情识别，也是属于现有技术中一个较为成熟的技术，一般能精准识别出人脸的喜怒哀乐。此处使用人脸表情识别算法，亦可只针对于困与不困两种情况，简化图像分析时的数据量。
72.如图5所示，在分析使用用户的用户脸部图像时，先对所述用户脸部图像进行人脸特征识别，并判断识别到的人脸特征是否存在于redis数据库中的用户信息表中的脸部特征(即对应图5中的人脸信息)，若识别到的人脸特征不存在于redis数据库中的用户信息表中的脸部特征，则在用户信息表中新增用户，并对新增用户进行权值的初始赋值，同时更新用户信息表中的其他用户的用户权值；若识别到的人脸特征存在于redis数据库中的用户信息表中的脸部特征，则从redis数据库中的用户信息表中查找与该识别到的人脸特征对应的脸部特征的用户索引标识；继续对该用户脸部图像分别进行眼部数据识别，采用ear计算函数，得到所述使用用户的用户脸部图像对应的眼睛长宽比ear值；当然，还需要对所述使用用户的用户脸部图像进行人脸表情识别，得到所述使用用户的用户脸部图像对应的表情识别结果；并根据对应的用户索引标识将识别得到的所述使用用户的用户脸部图像对应的眼睛长宽比ear值和表情识别结果存储录入至redis数据库中的用户数据表中，实现对用户脸部图像的分析并将识别得到的结果录入至用户信息表和用户数据表。
73.接着本技术的上述实施例，所述步骤s12中的基于周期性采集的所述使用用户对
应的每张所述用户脸部图像对应的眼睛长宽比ear值和表情识别结果，确定所述使用用户对应的疲劳反馈结果，具体包括：
74.统计周期性采集的所述使用用户对应的每张所述用户脸部图像对应的眼睛长宽比ear值，绘制变化曲度，计算所述使用用户对应的第一疲劳值；
75.统计周期性采集的所述使用用户对应的每张所述用户脸部图像对应的表情识别结果，识别出所述使用用户的疲劳趋向以得到使用用户对应的第二疲劳值；
76.基于所述使用用户对应的所述第一疲劳值和所述第二疲劳值，得到所述使用用户对应的疲劳反馈结果。
77.如图6所示，在计算反映移动终端的使用用户的疲劳度的疲劳反馈结果的过程中，首先，基于周期性获取的使用用户的用户脸部图像，统计周期性采集的使用用户对应的每张用户脸部图像对应的ear值，并周期性采集过程中的变化曲度，采用ear计算函数计算所述使用用户对应的第一疲劳值(对应图6中的统计ear值，绘制变化曲度，计算疲劳值)，以便后续能够根据该第一疲劳值对该使用用户的历史疲劳权值进行更新；与此同时，还需要统计周期性采集的使用用户的用户脸部图像的全部表情识别结果，根据所有的表情识别结果识别出该使用用户的疲劳趋向，从而根据表情识别结果得到该使用用户的第二疲劳值，以便后续能够根据该第二疲劳值对该使用用户的历史疲劳权值进行更新；为了得到更精准的疲劳情况，需要结合使用用户的第一疲劳值和第二疲劳值来进行算数平均或者不同的权重计算，来得到所述使用用户对应的疲劳反馈结果，进一步反应周期性获取使用用户的用户脸部图像的过程中，该使用用户的整体疲劳情况；最后，再根据该使用用户的疲劳反馈结果对redis数据库中的用户信息表中的该使用用户的历史疲劳权值进行更新。需要说明的是，若该使用用户是新增用户，那么就是对使用用户的疲劳反馈结果对redis数据库中的用户信息表中的新增的使用用户的初始疲劳权值进行更新。
78.在此，根据使用用户的疲劳反馈结果增加权值，如果获取图片时，没有人脸或者人脸非当前用户，权值相对减少，意味着在使用时间维度上，控制权值过速增加；在图片维度上，通过ear值结合人脸表情识别，较为精准的对权值进行增加，通过增加或减少的正反反馈，达到一个较为精确的计算模式。
79.根据本技术的另一方面，还提供了一种非易失性存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述的基于移动终端的疲劳使用预警方法。
80.根据本技术的另一方面，还提供了一种基于移动终端的疲劳使用预警设备，其中，该设备包括：
81.一个或多个处理器；
82.计算机可读介质，用于存储一个或多个计算机可读指令，
83.当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于移动终端的疲劳使用预警方法。
84.在此，所述基于移动终端的疲劳使用预警设备中的各实施例的详细内容，具体可参见上述的基于移动终端的疲劳使用预警方法实施例的对应部分，在此，不再赘述。
85.综上所述，本技术通过当所述移动终端的屏幕处于运行状态时，周期性地采集使用用户的用户脸部图像；基于周期性采集的所述使用用户的用户脸部图像，确定所述使用
用户对应的用户困乏权值；若所述用户困乏权值大于第一疲劳权值阈值，则以弹框的形式在所述屏幕中进行预警提示，并限制所述使用用户对所述移动终端的使用行为；若所述用户困乏权值大于第二疲劳权值阈值且小于等于所述第一疲劳权值阈值，则以语音的形式对所述使用用户进行疲劳提醒。使得通过可提醒或可控制的系统级行为，增强移动终端的系统功能，确保对用户当前是否处于用眼过度情况的快速识别和有效地对疲劳使用移动终端的使用用户进行提醒或强制限制行为，不仅起到了对使用用户的疲劳使用预警，还能限制使用行为，更一步确保使用用户的用眼健康和安全。
86.需要注意的是，本技术可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本技术的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本技术的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本技术的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
87.另外，本技术的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本技术的方法和/或技术方案。而调用本技术的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本技术的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本技术的多个实施例的方法和/或技术方案。
88.对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在不背离本技术的精神或基本特征的情况下，能够以其他的具体形式实现本技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

技术特征：
1.一种基于移动终端的疲劳使用预警方法，其中，该方法包括：当所述移动终端的屏幕处于运行状态时，周期性地采集使用用户的用户脸部图像；基于周期性采集的所述使用用户的用户脸部图像，确定所述使用用户对应的用户困乏权值；若所述用户困乏权值大于第一疲劳权值阈值，则以弹框的形式在所述屏幕中进行预警提示，并限制所述使用用户对所述移动终端的使用行为；若所述用户困乏权值大于第二疲劳权值阈值且小于等于所述第一疲劳权值阈值，则以语音的形式对所述使用用户进行疲劳提醒。2.根据权利要求1所述的方法，其中，以弹框的形式在所述屏幕中进行预警提示，并限制所述使用用户对所述移动终端的使用行为，包括：以弹框的形式在所述屏幕中进行预警提示；检测所述使用用户当前是否对所述移动终端存在持续性操作；若是，则在操作次数达到预设限定次数时，限制所述使用用户对所述移动终端的使用行为；若否，则直接限制所述使用用户对所述移动终端的使用行为。3.根据权利要求1所述的方法，其中，所述基于周期性采集的所述使用用户的用户脸部图像，确定所述使用用户对应的用户困乏权值，包括：对周期性采集的所述使用用户的用户脸部图像中的每张所述用户脸部图像依序分别进行人脸特征识别、眼部数据识别及人脸表情识别，得到所述使用用户对应的每张所述用户脸部图像对应的用户索引标识、眼睛长宽比ear值及表情识别结果；基于周期性采集的所述使用用户对应的每张所述用户脸部图像对应的眼睛长宽比ear值和表情识别结果，确定所述使用用户对应的疲劳反馈结果；基于所述用户索引标识获取所述使用用户对应的初始疲劳权值或历史疲劳权值；基于所述使用用户对应的疲劳反馈结果，对所述使用用户对应的初始疲劳权值或历史疲劳权值进行更新，得到所述使用用户对应的用户困乏权值。4.根据权利要求3所述的方法，其中，所述基于周期性采集的所述使用用户对应的每张所述用户脸部图像对应的眼睛长宽比ear值和表情识别结果，确定所述使用用户对应的疲劳反馈结果，包括：统计周期性采集的所述使用用户对应的每张所述用户脸部图像对应的眼睛长宽比ear值，绘制变化曲度，计算所述使用用户对应的第一疲劳值；统计周期性采集的所述使用用户对应的每张所述用户脸部图像对应的表情识别结果，识别出所述使用用户的疲劳趋向以得到使用用户对应的第二疲劳值；基于所述使用用户对应的所述第一疲劳值和所述第二疲劳值，得到所述使用用户对应的疲劳反馈结果。5.根据权利要求1所述的方法，其中，所述方法还包括：在远程字典服务redis数据库中创建用户信息表和用户数据表；其中，所述用户信息表包括使用所述移动终端的各用户的索引标识及其对应的脸部特征和累计困乏权值；所述用户数据表包括使用所述移动终端的各用户的索引标识及其在不同时间点对应
的眼睛长宽比ear值和人脸表情。6.一种非易失性存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如权利要求1至5中任一项所述的方法。7.一种基于移动终端的疲劳使用预警设备，其中，该设备包括：一个或多个处理器；计算机可读介质，用于存储一个或多个计算机可读指令，当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的方法。

技术总结
本申请的目的是提供一种基于移动终端的疲劳使用预警方法及设备，当移动终端的屏幕处于运行状态时，周期性地采集使用用户的用户脸部图像；基于该使用用户的用户脸部图像，确定使用用户的用户困乏权值；若用户困乏权值大于第一疲劳权值阈值，则以弹框的形式在屏幕中进行预警提示，并限制使用用户对移动终端的使用行为；若用户困乏权值大于第二疲劳权值阈值且小于等于第一疲劳权值阈值，则以语音的形式对使用用户进行疲劳提醒，确保了对用户当前是否处于用眼过度情况的快速识别和有效地对疲劳使用移动终端的使用用户进行提醒或强制限制行为，不仅起到了对使用用户的疲劳使用预警，还能限制使用行为，更一步确保使用用户的用眼健康和安全。健康和安全。健康和安全。


技术研发人员：单秋伦
受保护的技术使用者：上海卓易科技股份有限公司
技术研发日：2023.02.08
技术公布日：2023/6/26