基于行为习惯的意图偏离提示方法及装置、介质、设备与流程

1.本发明涉及智能家居技术领域，尤其涉及根据用户行为特征和环境特征推断当前环境下用户意图的方法，更具体地，涉及一种基于行为习惯的意图偏离提示方法及装置、介质、设备。


背景技术：

2.随着5g通信、边缘计算、云端存储、人工智能等技术的发展，智能家居(smart home)领域也进入了新的发展阶段，“全屋智能”的概念逐渐普及，智能家居的市场也在不断扩大。通过手机应用程序(app)远程连接家用电器已经成为智能家居产品的标准配置，智能语音助手也被广泛地应用于智能家居系统中，承担了前端交互与后台控制等多种角色，在一些产品中，这种语音助手承担了整个家居系统的中央控制台功能。
3.在实现本发明构思的过程中，发明人发现相关技术中至少存在如下问题：在智能家居场景下，现有技术主要考虑用户通过用户交互接口(例如，图形用户界面(gui)、语音用户界面(vui)等)提出要求，智能代理被动地响应相应的需求。例如，用户可以通过语音向智能家居发送诸如“设定明天早上8点的闹钟”、“打开窗帘”、“调高电视音量”的指令。目前为止，这样的智能代理尚未表现出主动提供警示或反馈的能力。
4.因此，如何使得智能代理能够发现用户潜在的行动失误或规划失误，并主动提供警示或反馈，是所属领域技术人员亟需要解决的技术问题。


技术实现要素：

5.有鉴于此，本发明要解决的技术问题在于提供一种基于行为习惯的意图偏离提示方法及装置、介质、设备，解决了现有智能家居领域中的智能代理不能发现用户潜在的行动失误或规划失误，无法主动提供警示或反馈的问题。
6.为了解决上述技术问题，本发明的具体实施方式提供一种基于行为习惯的意图偏离提示方法，包括：根据由用户的实际行为习惯产生的实际环境状态，利用预先构建的行为习惯模型，预测用户的意图行为习惯；根据获取的当前环境状态，利用所述行为习惯模型，预测用户的预测行为习惯；确定所述预测行为习惯与所述意图行为习惯之间的差异；以及当所述差异满足设定阈值时，发出提示信息。
7.可选地，根据由用户的实际行为习惯产生的实际环境状态，利用预先构建的行为习惯模型，预测用户的意图行为习惯的步骤，包括：根据设定时间窗口内的由用户的实际行为习惯产生的实际环境状态，利用预先构建的行为习惯模型的由行为习惯产生的环境状态变化轨迹，预测该用户在当前时刻的意图环境状态，其中，在时间顺序上，所述当前时刻为所述设定时间窗口的在后时刻；以及利用所述行为习惯模型的环境状态与行为习惯的映射关系，预测所述意图环境状态下用户的行为习惯，得到意图行为习惯。
8.可选地，所述预测该用户在当前时刻的意图环境状态通过搜索算法实现。
9.可选地，根据获取的当前环境状态，利用所述行为习惯模型，预测用户的预测行为
习惯的步骤，包括：利用所述行为习惯模型的环境状态与行为习惯的映射关系，预测当前时刻的当前环境状态下用户的行为习惯，得到预测行为习惯。
10.可选地，预先构建行为习惯模型的步骤，包括：操作s11：获取第一历史环境状态和所述第一历史环境状态下的第一历史行为习惯；操作s12：根据所述第一历史环境状态和所述第一历史行为习惯训练所述行为习惯模型，得到训练模型参数；以及操作s15：将所述训练模型参数作为所述行为习惯模型的模型参数进行应用，其中，所述模型参数包括环境状态与行为习惯的映射关系以及由行为习惯产生的环境状态变化轨迹。
11.可选地，在所述操作s15之前，预先构建行为习惯模型的步骤，还包括：操作s13：获取第二历史环境状态和所述第二历史环境状态下的第二历史行为习惯；操作s14：根据所述第二历史环境状态和所述第二历史行为习惯，验证所述训练模型参数；操作s15：若验证通过，则将所述训练模型参数作为所述行为习惯模型的模型参数进行应用；以及操作s16：若验证未通过，重复操作s11～操作s14，直至验证通过。
12.可选地，所述第一历史环境状态和所述第二历史环境状态均包括m个环境维度数据，所述m个环境维度数据为空间、温度、湿度、环境声音、光线、空间内物体位置、空间内物体姿态和空间内物体状态中的至少一个；和/或所述第一历史行为习惯和所述第二历史行为习惯均包括n个行为维度数据，所述n个行为维度数据为用户的表情、语音、操作动作和姿态中的至少一个。
13.可选地，根据所述第一历史环境状态和所述第一历史行为习惯训练所述行为习惯模型，得到训练模型参数的步骤，包括：对所述第一历史环境状态和所述第一历史行为习惯分别做特征提取，得到第一历史环境特征序列和第一历史行为特征序列；对所述第一历史环境特征序列和所述第一历史行为特征序列分别做数据降维处理，得到第一历史环境降维数据和第一历史行为降维数据；以及利用所述第一历史环境降维数据和所述第一历史行为降维数据训练所述行为习惯模型，得到训练模型参数。
14.可选地，所述根据所述第二历史环境状态和所述第二历史行为习惯，验证所述训练模型参数，包括：对所述第二历史环境状态和所述第二历史行为习惯分别做特征提取，得到第二历史环境特征序列和第二历史行为特征序列；对所述得到第二历史环境特征序列和所述第二历史行为特征序列分别做数据降维处理，得到第二历史环境降维数据和第二历史行为降维数据；以及利用所述第二历史环境降维数据和所述第二历史行为降维数据，验证所述训练模型参数。
15.可选地，所述m个环境维度数据为时间对齐数据；和/或所述n个行为维度数据为时间对齐数据。
16.本发明实施例的另一方面提供了一种基于行为习惯的意图偏离提示装置，包括：第一预测模块，所述第一预测模块用于执行根据由用户的实际行为习惯产生的实际环境状态，利用预先构建的行为习惯模型，预测用户的意图行为习惯；第二预测模块，所述第二预测模块用于执行根据获取的当前环境状态，利用所述行为习惯模型，预测用户的预测行为习惯；确定模块，所述确定模块用于执行确定所述预测行为习惯与所述意图行为习惯之间的差异；以及提示模块，所述提示模块用于执行当所述差异满足设定阈值时，发出提示信息。
17.本发明实施例的另一方面提供了一种电子设备，包括一个或多个处理器以及存储
装置，其中，上述存储装置用于存储可执行指令，上述可执行指令在被上述处理器执行时，实现本发明实施例的方法。
18.本发明实施例的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被处理器执行时用于实现本发明实施例的方法。
19.本发明实施例的另一方面提供了一种计算机程序，上述计算机程序包括计算机可执行指令，上述指令在被执行时用于实现本发明实施例的方法。
20.本发明的实施例中，将用户可能出现的行动或规划失误纳入考虑。从两个层面推断用户的行为习惯：一个层面是基于当前测得的当前环境状态，利用行为习惯模型，预测的用户的预测行为习惯，预测行为习惯可能存在失误或错误；二个层面是基于已经发生的实际行为习惯和由实际行为习惯产生的实际环境状态，利用行为习惯模型，预测的用户的意图行为习惯，意图行为习惯相较预测行为习惯更符合用户的行为习惯与逻辑。当上述两层行为习惯出现分歧时，也即差异满足设定阈值时，发出提示信息。从而使得本发明的方法所应用的智能代理能够发现用户潜在的行动失误或规划失误，并主动提供示警或反馈。
21.应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本发明所欲主张的范围。
附图说明
22.下面的所附附图是本发明的说明书的一部分，其绘示了本发明的示例实施例，所附附图与说明书的描述一起用来说明本发明的原理。
23.图1为本发明具体实施例提供的一种基于行为习惯的意图偏离提示方法的示意流程图。
24.图2为本发明具体实施例提供的一种根据由用户的实际行为习惯产生的实际环境状态，利用预先构建的行为习惯模型，预测用户的意图行为习惯的示意流程图。
25.图3为本发明具体实施例提供的一种由行为习惯产生的环境状态变化轨迹示意图。
26.图4为本发明具体实施例提供的一种由行为习惯产生的环境状态变化的预测轨迹示意图。
27.图5为本发明具体实施例提供的一种根据获取的当前环境状态，利用行为习惯模型，预测用户的预测行为习惯的示意流程图。
28.图6为本发明具体实施例提供的一种预先构建行为习惯模型的示意流程图。
29.图7为本发明具体实施例提供的另一种预先构建行为习惯模型的示意流程图。
30.图8为本发明具体实施例提供的一种根据第一历史环境状态和第一历史行为习惯训练行为习惯模型，得到训练模型参数的示意流程图。
31.图9为本发明具体实施例提供的一种根据第二历史环境状态和第二历史行为习惯，验证训练模型参数的示意流程图。
32.图10为本发明具体实施例提供的一种基于行为习惯的意图偏离提示装置的结构框图。
具体实施方式
33.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本发明所揭示内容的精神，任何所属技术领域技术人员在了解本发明内容的实施例后，当可由本发明内容所教示的技术，加以改变及修饰，其并不脱离本发明内容的精神与范围。
34.本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。
35.关于本文中所使用的“第一”、“第二”、
…
等，并非特别指称次序或顺位的意思，也非用以限定本发明，其仅为了区别以相同技术用语描述的元件或操作。
36.关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本创作。
37.关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
38.关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。
39.关于本文中的“多个”包括“两个”及“两个以上”；关于本文中的“多组”包括“两组”及“两组以上”。
40.关于本文中所使用的用语“大致”、“约”等，用以修饰任何可以微变化的数量或误差，但这些微变化或误差并不会改变其本质。一般而言，此类用语所修饰的微变化或误差的范围在部分实施例中可为20％，在部分实施例中可为10％，在部分实施例中可为5％或是其他数值。本领域技术人员应当了解，前述提及的数值可依实际需求而调整，并不以此为限。
41.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
42.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。在使用类似于“a、b或c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“a或b”应当被理解为包括“a”或“b”、或“a和b”的可能性。
43.图1为本发明具体实施例提供的一种基于行为习惯的意图偏离提示方法的示意流程图。
44.如图1所示，基于行为习惯的意图偏离提示方法可以包括以下操作s101～s104。
45.在操作s101：根据由用户的实际行为习惯产生的实际环境状态，利用预先构建的行为习惯模型，预测用户的意图行为习惯。
46.本发明的实施例中，用户的实际行为习惯可以包括用户的表情、语音、操作动作和姿态中的至少一个。具体地，可以通过摄像头阵列采集用户的表情，可以通过麦克风采集用户的语音，可以通过用户操作信号采集用户的操作动作，可以通过惯性测量单元采集用户的姿态。当然，用户的实际行为习惯还可以包括其他行为习惯，这里仅以举例说明，并不能理解为对本发明的限制。
47.本发明的实施例中，实际环境状态可以包括空间、温度、湿度、环境声音、光线、空间内物体位置、空间内物体姿态和空间内物体状态中的至少一个。具体地，可以通过rgb摄像头、红外摄像头、麦克风、惯性测量单元、温湿度传感器、光照传感器、手机端操作信号和pc端操作信号等采集空间、温度、湿度、环境声音、光线、空间内物体位置、空间内物体姿态和空间内物体状态中的至少一个。当然，实际环境状态还可以包括其他环境状态，这里仅以举例说明，并不能理解为对本发明的限制。
48.需要说明的是，实际环境状态是由用户的实际行为习惯产生的，例如在用户对加湿器施加操作动作，将卧室的加湿湿度调节为数值a时，根据上述用户实际行为习惯产生的实际环境状态为加湿器打开，卧室的湿度为数值a。
49.其次，在操作s102：根据获取的当前环境状态，利用行为习惯模型，预测用户的预测行为习惯。
50.可以理解的是，当前环境状态为当前时刻测得的，可以为空间、温度、湿度、环境声音、光线、空间内物体位置、空间内物体姿态和空间内物体状态中的至少一个。具体可以通过rgb摄像头、红外摄像头、麦克风、惯性测量单元、温湿度传感器、光照传感器、手机端操作信号和pc端操作信号等测得。当然，当前环境状态还可以包括其他环境状态，这里仅以举例说明，并不能理解为对本发明的限制。
51.接下来，在操作s103：确定预测行为习惯与意图行为习惯之间的差异。
52.然后，在操作s104：当差异满足设定阈值时，发出提示信息。
53.本发明的实施例中，设定阈值可以为一个数值，差异满足设定阈值时可以理解为差异大于等于数值，此时可以发出提示信息。
54.本发明的实施例中，设定阈值可以为数值区间，差异满足设定阈值时可以理解为差异位于数值区间内，此时可以发出提示信息。
55.本发明的实施例中，提示信息可以包括通过语音交互或者文字交互的方式向用户发出提醒。
56.本发明的实施例中，将用户可能出现的行动或规划失误纳入考虑。从两个层面推断用户的行为习惯：一个层面是基于当前测得的当前环境状态，利用行为习惯模型，预测的用户的预测行为习惯，预测行为习惯可能存在失误或错误；二个层面是基于已经发生的实际行为习惯和由实际行为习惯产生的实际环境状态，利用行为习惯模型，预测的用户的意图行为习惯，意图行为习惯相较预测行为习惯更符合用户的行为习惯与逻辑。当上述两层行为习惯出现分歧时，也即差异满足设定阈值时，发出提示信息。从而使得本发明的方法所应用的智能代理能够发现用户潜在的行动失误或规划失误，并主动提供示警或反馈。
57.图2为本发明具体实施例提供的一种根据由用户的实际行为习惯产生的实际环境状态，利用预先构建的行为习惯模型，预测用户的意图行为习惯的示意流程图。
58.如图2所示，操作s101根据由用户的实际行为习惯产生的实际环境状态，利用预先
构建的行为习惯模型，预测用户的意图行为习惯可以包括以下操作s1011～s1012。
59.在操作s1011：根据设定时间窗口内的由用户的实际行为习惯产生的实际环境状态，利用预先构建的行为习惯模型的由行为习惯产生的环境状态变化轨迹，预测该用户在当前时刻的意图环境状态，其中，在时间顺序上，当前时刻为设定时间窗口的在后时刻。
60.接下来，在操作s1012：利用行为习惯模型的环境状态与行为习惯的映射关系，预测意图环境状态下用户的行为习惯，得到意图行为习惯。
61.本发明的实施例中，时间窗口可以为一小段时间值，例如数秒钟、数分钟或者数小时，时间窗口可以根据实际情况具体设定，这里对时间窗口不作具体限制。
62.本发明的实施例中，预先构建行为习惯模型时，可以训练出模型中的由行为习惯产生的环境状态变化轨迹，模型中的由行为习惯产生的环境状态变化轨迹可以如图3所示，图3中的空心圆圈表示环境状态特征向量，线条表示由行为习惯产生的环境状态变化轨迹。由实际行为习惯和实际环境状态，根据由行为习惯产生的环境状态变化轨迹，可以得到该用户的由行为习惯产生的环境状态变化的预测轨迹。
63.该用户的由行为习惯产生的环境状态变化的预测轨迹如图4所示，图4中的空心圆圈表示环境状态特征向量，细线条表示由行为习惯产生的环境状态变化轨迹，粗线条表示由行为习惯产生的环境状态变化的预测轨迹。进而可以得到该用户在当前时刻的意图环境状态，从而利用行为习惯模型的环境状态与行为习惯的映射关系，可以预测意图环境状态下用户的行为习惯，得到意图行为习惯。
64.本发明的实施例中，例如可以对实际行为习惯和实际环境状态做数据降维处理，得到实际行为习惯降维数据和实际环境状态降维数据；对实际行为习惯降维数据和实际环境状态降维数据进行特征提取，得到实际行为习惯特征序列和实际环境特征序列，搜索算法对实际行为习惯特征序列和实际环境特征序列进行计算，得到该用户的由行为习惯产生的环境状态变化的预测轨迹，得到该用户在当前时刻的意图环境状态特征序列，将意图环境状态特征序列与行为习惯模型中的环境状态与行为习惯的映射关系比对，得到当前时刻的当前环境状态下用户的行为习惯，也即预测行为习惯。
65.本发明的实施例中，通过操作s1011～s1012可以便于实现根据由用户的实际行为习惯产生的实际环境状态，利用预先构建的行为习惯模型，预测用户的意图行为习惯。
66.在本发明的一些示例中，预测该用户在当前时刻的意图环境状态通过搜索算法实现。其中，搜索算法可以包括，但不限于a*算法和启发式算法等等。通过搜索算法可以便于实现预测该用户在当前时刻的意图环境状态。
67.图5为本发明具体实施例提供的一种根据获取的当前环境状态，利用行为习惯模型，预测用户的预测行为习惯的示意流程图。
68.如图5所示，操作s102根据获取的当前环境状态，利用行为习惯模型，预测用户的预测行为习惯可以包括以下操作s1021。
69.在操作s1021：利用行为习惯模型的环境状态与行为习惯的映射关系，预测当前时刻的当前环境状态下用户的行为习惯，得到预测行为习惯。
70.本发明的实施例中，例如可以对当前环境状态做数据降维处理，得到环境降维数据；对环境降维数据进行特征提取，得到环境特征序列，将环境特征序列与行为习惯模型中的环境状态与行为习惯的映射关系比对，得到当前时刻的当前环境状态下用户的行为习
惯，也即预测行为习惯。通过操作s1021可以便于实现根据获取的当前环境状态，利用行为习惯模型，预测用户的预测行为习惯。
71.图6为本发明具体实施例提供的一种预先构建行为习惯模型的示意流程图。
72.如图6所示，预先构建行为习惯模型可以包括以下操作s11、s12和s15。
73.在操作s11：获取第一历史环境状态和第一历史环境状态下的第一历史行为习惯。
74.本发明的实施例中，第一历史环境状态可以包括空间、温度、湿度、环境声音、光线、空间内物体位置、空间内物体姿态和空间内物体状态中的至少一个。具体地，可以通过rgb摄像头、红外摄像头、麦克风、惯性测量单元、温湿度传感器、光照传感器、手机端操作信号和pc端操作信号等采集空间、温度、湿度、环境声音、光线、空间内物体位置、空间内物体姿态和空间内物体状态中的至少一个。当然，第一历史环境状态还可以包括其他环境状态，这里仅以举例说明，并不能理解为对本发明的限制。
75.本发明的实施例中，第一历史行为习惯可以包括用户的表情、语音、操作动作和姿态中的至少一个。具体地，可以通过摄像头阵列采集用户的表情，可以通过麦克风采集用户的语音，可以通过用户操作信号采集用户的操作动作，可以通过惯性测量单元采集用户的姿态。当然，第一历史行为习惯还可以包括其他行为习惯，这里仅以举例说明，并不能理解为对本发明的限制。
76.在操作s12：根据第一历史环境状态和第一历史行为习惯训练行为习惯模型，得到训练模型参数。
77.在操作s15：将训练模型参数作为行为习惯模型的模型参数进行应用，其中，模型参数包括环境状态与行为习惯的映射关系以及由行为习惯产生的环境状态变化轨迹。
78.本发明的实施例中，通过操作s11、s12和s15可以便于实现预先构建行为习惯模型。
79.图7为本发明具体实施例提供的一种预先构建行为习惯模型的示意流程图。
80.如图7所示，预先构建行为习惯模型可以包括以下操作s11～s16。
81.在操作s11：获取第一历史环境状态和第一历史环境状态下的第一历史行为习惯。
82.本发明的实施例中，第一历史环境状态可以包括空间、温度、湿度、环境声音、光线、空间内物体位置、空间内物体姿态和空间内物体状态中的至少一个。具体地，可以通过rgb摄像头、红外摄像头、麦克风、惯性测量单元、温湿度传感器、光照传感器、手机端操作信号和pc端操作信号等采集空间、温度、湿度、环境声音、光线、空间内物体位置、空间内物体姿态和空间内物体状态中的至少一个。当然，第一历史环境状态还可以包括其他环境状态，这里仅以举例说明，并不能理解为对本发明的限制。
83.本发明的实施例中，第一历史行为习惯可以包括用户的表情、语音、操作动作和姿态中的至少一个。具体地，可以通过摄像头阵列采集用户的表情，可以通过麦克风采集用户的语音，可以通过用户操作信号采集用户的操作动作，可以通过惯性测量单元采集用户的姿态。当然，第一历史行为习惯还可以包括其他行为习惯，这里仅以举例说明，并不能理解为对本发明的限制。
84.在操作s12：根据第一历史环境状态和第一历史行为习惯训练行为习惯模型，得到训练模型参数。
85.在操作s13：获取第二历史环境状态和第二历史环境状态下的第二历史行为习惯。
86.本发明的实施例中，第二历史环境状态可以包括空间、温度、湿度、环境声音、光线、空间内物体位置、空间内物体姿态和空间内物体状态中的至少一个。具体地，可以通过rgb摄像头、红外摄像头、麦克风、惯性测量单元、温湿度传感器、光照传感器、手机端操作信号和pc端操作信号等采集空间、温度、湿度、环境声音、光线、空间内物体位置、空间内物体姿态和空间内物体状态中的至少一个。当然，第二历史环境状态还可以包括其他环境状态，这里仅以举例说明，并不能理解为对本发明的限制。
87.本发明的实施例中，第二历史行为习惯可以包括用户的表情、语音、操作动作和姿态中的至少一个。具体地，可以通过摄像头阵列采集用户的表情，可以通过麦克风采集用户的语音，可以通过用户操作信号采集用户的操作动作，可以通过惯性测量单元采集用户的姿态。当然，第二历史行为习惯还可以包括其他行为习惯，这里仅以举例说明，并不能理解为对本发明的限制。
88.在操作s14：根据第二历史环境状态和第二历史行为习惯，验证训练模型参数。
89.在操作s15：若验证通过，则将训练模型参数作为行为习惯模型的模型参数进行应用。
90.在操作s16：若验证未通过，重复操作s11～操作s14，直至验证通过。
91.本发明的实施例中，通过用第二历史环境状态和第二历史行为习惯验证行为习惯模型，可以得到预测值，第二历史环境状态和第二历史行为习惯的标注数据为实际值，利用损失函数计算预测值和实际值之间的损失值，若损失值满足设定模型阈值即可认为验证通过，则将训练模型参数作为行为习惯模型的模型参数进行应用；若损失值未满足设定模型阈值即可认为验证未通过，重复操作s11～操作s14，直至验证通过。
92.本发明的实施例中，将验证后的训练模型参数进行应用，可以使得行为习惯模型的模型参数更加精确，从而使得行为习惯模型的预测能力更好，预测结果更准确。通过操作s11～s16可以便于实现预先构建行为习惯模型。
93.根据本发明的一些实施例，第一历史环境状态和第二历史环境状态均可以包括m个环境维度数据，m个环境维度数据为空间、温度、湿度、环境声音、光线、空间内物体位置、空间内物体姿态和空间内物体状态中的至少一个；和/或第一历史行为习惯和第二历史行为习惯均可以包括n个行为维度数据，n个行为维度数据为用户的表情、语音、操作动作和姿态中的至少一个。
94.由此，可以将本发明的基于行为习惯的意图偏离提示方法应用于环境状态为空间、温度、湿度、环境声音、光线、空间内物体位置、空间内物体姿态和空间内物体状态中的至少一个的情境下，可以将本发明的基于行为习惯的意图偏离提示方法应用于行为习惯为用户的表情、语音、操作动作和姿态中的至少一个的情境下。当然基于行为习惯的意图偏离提示方法的应用场景还可以包括其他，这里仅以举例说明，并不能理解为对本发明的限制。
95.图8为本发明具体实施例提供的一种根据第一历史环境状态和第一历史行为习惯训练行为习惯模型，得到训练模型参数的示意流程图。
96.如图8所示，操作s12根据第一历史环境状态和第一历史行为习惯训练行为习惯模型，得到训练模型参数可以包括以下操作s121～s123。
97.在操作s121：对第一历史环境状态和第一历史行为习惯分别做特征提取，得到第一历史环境特征序列和第一历史行为特征序列。
98.然后，在操作s122：对第一历史环境特征序列和第一历史行为特征序列分别做数据降维处理，得到第一历史环境降维数据和第一历史行为降维数据。
99.在操作s123：利用第一历史环境降维数据和第一历史行为降维数据训练行为习惯模型，得到训练模型参数。
100.本发明的实施例中，第一历史行为习惯数据的来源主要为摄像头阵列、麦克风、惯性测量单元与用户操作信号等。将所采集的数据完成对齐后，分别送入对应的特征提取模块进行编码。特征提取模块可以由神经网络实现。例如摄像头所采集的数据可以通过卷积神经网络(convolutional neural network，cnn)实现单帧的或指定时间窗内的特征提取；麦克风所采集到的数据可以采用如循环神经网络(recurrent neural networks,rnn)的结构实现特征提取；惯性测量单元所采集到的数据可以采用卷积神经网络的方法提取特征，也可以采用支持向量机、随机森林等传统方法进行分类，并对分类结果进行独热编码(one-hot encoding)。
101.第一历史环境状态数据与第一历史行为习惯数据类似，除摄像头、麦克风等还包括各类嵌入式传感器，采集环境及环境中物体的状态信息。处理方式也与第一历史行为习惯数据类似，不同来源的原始数据对应不同的特征提取模块，这里不再赘述。
102.完成行为习惯特征提取后，多帧的多维度第一历史行为习惯数据构成了行为特征序列。对于一位用户的行为特征序列，可以使用数据降维的方法生成用户的行为习惯模型。具体来说，可以使用自监督学习的方法学习用户的行为的模型，将每一段行为特征序列作为训练切片，训练后所得到的神经网络模型能够根据当前时刻及以前的行为特征序列预测下一帧的行为特征序列，或预测用户可能采取的行为。可以通过此类方法训练深度神经网络，具体地，网络结构可以是长短时记忆网络(long short-term memory,lstm)。
103.用户行为习惯的构建过程如图3所示，本发明所采集到的第一历史环境状态数据被映射至高维特征空间，图3中的每一个空心圆即代表一次第一历史环境状态数据观测所对应的特征向量。图3中的一条线条轨迹代表了一条数据中用户的行为所带来的环境状态转移。用户的行为将导致环境状态从一个特征点转移至另一个特征点，用户的一条行为特征序列与环境状态特征空间中的一条转移轨迹相对应。构建用户行为习惯模型的过程即对若干条转移轨迹的数据降维过程，具体可以通过主成分分析、神经网络等方法实现。
104.本发明的实施例中，通过操作s121～s123可以便于实现根据第一历史环境状态和第一历史行为习惯训练行为习惯模型，得到训练模型参数。
105.图9为本发明具体实施例提供的一种根据第二历史环境状态和第二历史行为习惯，验证训练模型参数的示意流程图。
106.如图9所示，操作s14根据第二历史环境状态和第二历史行为习惯，验证训练模型参数可以包括以下操作s141～s143。
107.在操作s141：对第二历史环境状态和第二历史行为习惯分别做特征提取，得到第二历史环境特征序列和第二历史行为特征序列。
108.然后，在操作s142：对得到第二历史环境特征序列和第二历史行为特征序列分别做数据降维处理，得到第二历史环境降维数据和第二历史行为降维数据。
109.接下来，在操作s143：利用第二历史环境降维数据和第二历史行为降维数据，验证训练模型参数。
110.本发明的实施例中，第二历史行为习惯数据的来源主要为摄像头阵列、麦克风、惯性测量单元与用户操作信号等。将所采集的数据完成对齐后，分别送入对应的特征提取模块进行编码。特征提取模块可以由神经网络实现。例如摄像头所采集的数据可以通过卷积神经网络(convolutional neural network，cnn)实现单帧的或指定时间窗内的特征提取；麦克风所采集到的数据可以采用如循环神经网络(recurrent neural networks,rnn)的结构实现特征提取；惯性测量单元所采集到的数据可以采用卷积神经网络的方法提取特征，也可以采用支持向量机、随机森林等传统方法进行分类，并对分类结果进行独热编码(one-hot encoding)。
111.第二历史环境状态数据与第二历史行为习惯数据类似，除摄像头、麦克风等还包括各类嵌入式传感器，采集环境及环境中物体的状态信息。处理方式也与第二历史行为习惯数据类似，不同来源的原始数据对应不同的特征提取模块，这里不再赘述。
112.完成行为习惯特征提取后，多帧的多维度第二历史行为习惯数据构成了行为特征序列。对于一位用户的行为特征序列，可以使用数据降维的方法生成用户的行为习惯模型。具体来说，可以使用自监督学习的方法学习用户的行为的模型，将每一段行为特征序列作为测试切片，验证所得到的神经网络模型，也即行为习惯模型的训练模型参数。
113.本发明的实施例中，通过操作s141～s143可以便于实现根据第二历史环境状态和第二历史行为习惯，验证训练模型参数。
114.根据本发明的一些实施例，m个环境维度数据为时间对齐数据；和/或n个行为维度数据为时间对齐数据。换言之，m个环境维度数据和/或n个行为维度数据可以依照统一的时间对齐。
115.本发明的实施例中，在软件层面进行时间对齐，如将所涉及的传感器接入同一局域网，由一台中控机广播时钟信号或广播时间数据，各个传感器接收并作为标签加入数据包中。
116.本发明的实施例中，在硬件层面进行时间对齐，如使用统一的电信号触发传感器的采集，使得所有传感器在同一时刻开始和结束采样。
117.图10为本发明具体实施例提供的一种基于行为习惯的意图偏离提示装置的结构框图。
118.如图10所示，基于行为习惯的意图偏离提示装置10可以包括第一预测模块1、第二预测模块2、确定模块3和提示模块4。
119.具体地，第一预测模块1用于执行操作s101：根据由用户的实际行为习惯产生的实际环境状态，利用预先构建的行为习惯模型，预测用户的意图行为习惯；第二预测模块2用于执行操作s102：根据获取的当前环境状态，利用行为习惯模型，预测用户的预测行为习惯；确定模块3用于执行操作s103：确定预测行为习惯与意图行为习惯之间的差异；以及提示模块4用于执行操作s104：当差异满足设定阈值时，发出提示信息。
120.本发明的实施例中，将用户可能出现的行动或规划失误纳入考虑。从两个层面推断用户的行为习惯：一个层面是基于当前测得的当前环境状态，利用行为习惯模型，预测的用户的预测行为习惯，预测行为习惯可能存在失误或错误；二个层面是基于已经发生的实际行为习惯和由实际行为习惯产生的实际环境状态，利用行为习惯模型，预测的用户的意图行为习惯，意图行为习惯相较预测行为习惯更符合用户的行为习惯与逻辑。当上述两层
行为习惯出现分歧时，也即差异满足设定阈值时，发出提示信息。从而使得本发明的方法所应用的智能代理能够发现用户潜在的行动失误或规划失误，并主动提供示警或反馈。
121.本发明还提供了一种电子设备，包括：一个或多个处理器；一个或多个存储器，用于存储可执行指令，可执行指令在被处理器执行时，实现上述方法，电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
122.设备包括计算单元，其可以根据存储在只读存储器(rom)中的计算机程序或者从存储单元加载到随机访问存储器(ram)中的计算机程序，来执行各种适当的动作和处理。在ram中，还可存储设备操作所需的各种程序和数据。计算单元、rom以及ram通过总线彼此相连。输入/输出(i/o)接口也连接至总线。
123.设备中的多个部件连接至i/o接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元，例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
124.计算单元可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元执行上文所描述的各个方法和处理，例如图像识别方法。例如，在一些实施例中，图像识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。
125.在一些实施例中，计算机程序的部分或者全部可以经由rom和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到ram并由计算单元执行时，可以执行上文描述的图像识别方法一个或多个步骤。备选地，在其他实施例中，计算单元可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像识别方法。
126.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
127.根据本发明的实施例，根据本发明实施例的方法流程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。根据本发明的实施例，上文描述的电子设备、设备、装置、模块、单元等可以通过计算机程序模块来实现。
128.本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
129.根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
130.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
131.本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
132.以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。

技术特征：
1.一种基于行为习惯的意图偏离提示方法，其特征在于，该方法包括：根据由用户的实际行为习惯产生的实际环境状态，利用预先构建的行为习惯模型，预测用户的意图行为习惯；根据获取的当前环境状态，利用所述行为习惯模型，预测用户的预测行为习惯；确定所述预测行为习惯与所述意图行为习惯之间的差异；以及当所述差异满足设定阈值时，发出提示信息。2.根据权利要求1所述的基于行为习惯的意图偏离提示方法，其特征在于，根据由用户的实际行为习惯产生的实际环境状态，利用预先构建的行为习惯模型，预测用户的意图行为习惯的步骤，包括：根据设定时间窗口内的由用户的实际行为习惯产生的实际环境状态，利用预先构建的行为习惯模型的由行为习惯产生的环境状态变化轨迹，预测该用户在当前时刻的意图环境状态，其中，在时间顺序上，所述当前时刻为所述设定时间窗口的在后时刻；以及利用所述行为习惯模型的环境状态与行为习惯的映射关系，预测所述意图环境状态下用户的行为习惯，得到意图行为习惯。3.根据权利要求2所述的基于行为习惯的意图偏离提示方法，其特征在于，所述预测该用户在当前时刻的意图环境状态通过搜索算法实现。4.根据权利要求2所述的基于行为习惯的意图偏离提示方法，其特征在于，根据获取的当前环境状态，利用所述行为习惯模型，预测用户的预测行为习惯的步骤，包括：利用所述行为习惯模型的环境状态与行为习惯的映射关系，预测当前时刻的当前环境状态下用户的行为习惯，得到预测行为习惯。5.根据权利要求1所述的基于行为习惯的意图偏离提示方法，其特征在于，预先构建行为习惯模型的步骤，包括：操作s11：获取第一历史环境状态和所述第一历史环境状态下的第一历史行为习惯；操作s12：根据所述第一历史环境状态和所述第一历史行为习惯训练所述行为习惯模型，得到训练模型参数；以及操作s15：将所述训练模型参数作为所述行为习惯模型的模型参数进行应用，其中，所述模型参数包括环境状态与行为习惯的映射关系以及由行为习惯产生的环境状态变化轨迹。6.根据权利要求5所述的基于行为习惯的意图偏离提示方法，其特征在于，在所述操作s15之前，预先构建行为习惯模型的步骤，还包括：操作s13：获取第二历史环境状态和所述第二历史环境状态下的第二历史行为习惯；操作s14：根据所述第二历史环境状态和所述第二历史行为习惯，验证所述训练模型参数；操作s15：若验证通过，则将所述训练模型参数作为所述行为习惯模型的模型参数进行应用；以及操作s16：若验证未通过，重复操作s11～操作s14，直至验证通过。7.根据权利要求6所述的基于行为习惯的意图偏离提示方法，其特征在于，所述第一历史环境状态和所述第二历史环境状态均包括m个环境维度数据，所述m个环境维度数据为空间、温度、湿度、环境声音、光线、空间内物体位置、空间内物体姿态和空间内物体状态中的
至少一个；和/或所述第一历史行为习惯和所述第二历史行为习惯均包括n个行为维度数据，所述n个行为维度数据为用户的表情、语音、操作动作和姿态中的至少一个。8.根据权利要求7所述的基于行为习惯的意图偏离提示方法，其特征在于，根据所述第一历史环境状态和所述第一历史行为习惯训练所述行为习惯模型，得到训练模型参数的步骤，包括：对所述第一历史环境状态和所述第一历史行为习惯分别做特征提取，得到第一历史环境特征序列和第一历史行为特征序列；对所述第一历史环境特征序列和所述第一历史行为特征序列分别做数据降维处理，得到第一历史环境降维数据和第一历史行为降维数据；以及利用所述第一历史环境降维数据和所述第一历史行为降维数据训练所述行为习惯模型，得到训练模型参数。9.根据权利要求7所述的基于行为习惯的意图偏离提示方法，其特征在于，所述根据所述第二历史环境状态和所述第二历史行为习惯，验证所述训练模型参数，包括：对所述第二历史环境状态和所述第二历史行为习惯分别做特征提取，得到第二历史环境特征序列和第二历史行为特征序列；对所述得到第二历史环境特征序列和所述第二历史行为特征序列分别做数据降维处理，得到第二历史环境降维数据和第二历史行为降维数据；以及利用所述第二历史环境降维数据和所述第二历史行为降维数据，验证所述训练模型参数。10.根据权利要求7所述的基于行为习惯的意图偏离提示方法，其特征在于，所述m个环境维度数据为时间对齐数据；和/或所述n个行为维度数据为时间对齐数据。11.一种基于行为习惯的意图偏离提示装置，其特征在于，该装置包括：第一预测模块，所述第一预测模块用于执行根据由用户的实际行为习惯产生的实际环境状态，利用预先构建的行为习惯模型，预测用户的意图行为习惯；第二预测模块，所述第二预测模块用于执行根据获取的当前环境状态，利用所述行为习惯模型，预测用户的预测行为习惯；确定模块，所述确定模块用于执行确定所述预测行为习惯与所述意图行为习惯之间的差异；以及提示模块，所述提示模块用于执行当所述差异满足设定阈值时，发出提示信息。12.一种电子设备，其特征在于，包括：一个或多个处理器；一个或多个存储器，用于存储可执行指令，所述可执行指令在被所述处理器执行时，实现根据权利要求1～10中任一项所述的方法。13.一种计算机可读存储介质，其特征在于，所述存储介质上存储有可执行指令，该指令被处理器执行时实现根据权利要求1～10中任一项所述的方法。

技术总结
本发明的实施例提供一种基于行为习惯的意图偏离提示方法，包括：根据由用户的实际行为习惯产生的实际环境状态，利用预先构建的行为习惯模型，预测用户的意图行为习惯；根据获取的当前环境状态，利用所述行为习惯模型，预测用户的预测行为习惯；确定所述预测行为习惯与所述意图行为习惯之间的差异；以及当所述差异满足设定阈值时，发出提示信息。本发明的实施例还提供了一种基于行为习惯的意图偏离提示装置、计算机可读存储介质和电子设备。计算机可读存储介质和电子设备。计算机可读存储介质和电子设备。


技术研发人员：孙喆 张振亮
受保护的技术使用者：北京通用人工智能研究院
技术研发日：2023.06.07
技术公布日：2023/10/11