用于控制智能家居设备的方法、装置及移动终端与流程

1.本技术涉及智能家居技术领域，特别涉及一种用于控制智能家居设备的方法、装置、及移动终端。


背景技术：

2.智能家居的集群化控制通常通过在一个应用程序(app)上同时操作多个智能家居设备来实现。这种方式也支持用户自定义场景，用户可以自己设定场景来选择自己需要的家居设备及其控制参数。例如离家自动关灯、关空调、关电视的离家场景，观影场景等。用户需要根据提供的文字信息选择相应的家居设备及相应的控制参数。
3.但是，当智能家居设备过多时，特别是同类的设备有多个时，很难定位到需要的设备，需要逐步试错。控制参数也要逐一确定，使得场景创建过程繁复，导致用户体验降低。


技术实现要素：

4.本技术提供了一种用于控制智能家居设备的方法、装置及移动终端，以简化智能家居场景创建过程，提高用户体验。
5.第一方面，本技术提供一种用于控制智能家居设备的方法，应用于移动终端(如手机、平板电脑等)，包括：获取多媒体文件；通过增强现实ar图像中的虚拟家居设备确定待控制的家居设备，以及确定适用于该多媒体文件的控制参数，其中，该虚拟家居设备与该待控制的家居设备对应，该控制参数用于控制该待控制的家居设备。该用于控制智能家居设备的方法通过将虚拟家居设备与待控制的家居设备对应，使得用户无需根据文字描述选择家居设备，能够以更直观地方式确定待控制的家居设备，降低了场景创建过程中的操作复杂性，提高了用户体验。
6.在一种可能的实现方式中，上述获取多媒体文件，包括：从本地或网络获取图片、视频或音频文件。通过从本地获取多媒体文件能够提高确定控制参数的效率，通过网络获取多媒体文件能够使得确定的控制参数更加多样化，满足更多的用户需求，提高对家居设备控制的灵活性。
7.在一种可能的实现方式中，上述通过ar图像中的虚拟家居设备确定待控制的家居设备，包括：扫描该待控制的家居设备及其所在环境，生成包含该虚拟家居设备的ar图像。ar图像通过扫描的方式得到，从而对应添加待控制的家居设备，并且操作简便，易于实现。
8.在一种可能的实现方式中，上述生成包含该虚拟家居设备的ar图像之后，还包括：接收用户输入的剔除指令，剔除该虚拟家居设备中该剔除指令剔除的对象。通过剔除虚拟家居设备去除对应的不再控制的家居设备，使得待控制的家居设备能够灵活变化。
9.在一种可能的实现方式中，上述确定适用于该多媒体文件的控制参数，包括：根据该多媒体文件的特征和预先设定的映射关系确定适用于该多媒体文件的控制参数，其中，该映射关系为所述多媒体文件的特征与该控制参数之间的映射关系。通过多媒体文件的特征与控制参数之间的映射关系自动确定家居设备的控制参数，使得用户无需手动设置控制
参数，进一步降低了操作的复杂性，减轻了用户的劳动，进一步提高了用户的体验。
10.在一种可能的实现方式中，上述根据该多媒体文件的特征和预先设定的映射关系确定适用于该多媒体文件的控制参数，包括：根据预先设定的映射关系以及该多媒体文件的视频帧特征和/或音频特征，按该多媒体文件的播放时序，确定适用于该多媒体文件不同视频帧的控制参数集合；或者
11.在该多媒体文件的视频帧和/或音频符合预设条件时，根据预先设定的映射关系以及稿多媒体文件的视频帧特征和/或音频特征，确定适用于该符合预设条件的视频帧/或音频的控制参数。例如，当多媒体文件为视频文件如一部电影时，可确定适用于该部电影所有视频帧的控制参数，由于一部电源有成千上万个视频帧，因而适用于这些帧的控制参数也对应有成千上万个，可以看作一个集合，这样，本技术能够针对不同的电影设置不同的场景(不同的家居设备的控制参数集合)，进一步提高了智能家居设备控制的灵活性。或者，本技术能够对电影中的部分视频帧配置家居设备的控制参数，满足了用户的多样化的观影需求。
12.在一种可能的实现方式中，上述按该多媒体文件的播放时序，确定适用于该多媒体文件不同视频帧的控制参数集合，包括：将该控制参数集合中的第一控制参数插入到第二控制参数的执行时刻；其中，该第一控制参数为该多媒体文件中第一视频帧对应的控制参数，第二控制参数为该多媒体文件中第二视频帧对应的控制参数；该第一视频帧对应的控制参数为滞后响应类型的家居设备(如窗帘)的控制参数，该第一视频帧与该第二视频帧播放时差为该滞后响应类型的家居设备响应控制指令的时长，该控制指令为该第一控制参数的执行指令。如适用于第m帧的控制参数用于控制将滞后响应类型的家居设备如窗帘，假设该控制参数控制窗帘从打开到完全关闭，假设窗帘响应需要10秒才能完全关闭，则将该控制参数作为适用于第m帧10秒前播放的视频帧(如第n帧)的控制参数，则在播放第n帧时开始控制窗帘，10秒后电影播放到第m帧且窗帘完全关闭，从而达到预期的控制效果，进一步提高了控制家居设备的灵活性。
13.在一种可能的实现方式中，上述通过ar图像中的虚拟家居设备确定待控制的家居设备，以及根据该多媒体文件的特征和预先设定的映射关系确定适用于该多媒体文件的控制参数，包括：接收用户输入的时间节点，以及接收用户通过点击虚拟家居设备输入的第一操作指令，以及接收用户通过选择控制选项输入的第二操作指令，根据该第一操作指令确定该待控制的家居设备，根据该第二操作指令确定适用于该多媒体文件在该时间节点的控制参数，为用户提供了手动设置控制参数的途径，增加了设定控制参数的灵活性。
14.在一种可能的实现方式中，上述根据该多媒体文件的特征和预先设定的映射关系确定适用于该多媒体文件的控制参数之后，还包括：接收用户输入的时间节点，以及接收用户通过点击虚拟家居设备输入的第一操作指令，以及接收用户通过选择控制选项输入的第二操作指令，根据该第一操作指令确定该待控制的家居设备，根据该第二操作指令确定适用于该多媒体文件在该时间节点的控制参数，将自动确定控制参数与手动控制参数相结合，能够满足用户的修改需求，进一步提高了控制家居设备的灵活性。
15.在一种可能的实现方式中，上述根据该第一操作指令确定该待控制的家居设备之前，还包括：接收用户输入的第三操作指令，根据该第三操作指令为用户选择的虚拟家居设备创建组。由于虚拟家居设备与实体家居设备相对应，且可见即可控，因此创建虚拟家居设
备的组也即为实体家居设备创建了组，有助于提高家居设备控制的便捷性。
16.在一种可能的实现方式中，上述根据该第一操作指令确定该待控制的家居设备，包括：根据该第一操作指令确定用于控制该组的控制参数，或用于控制该组中用户选择的家居设备的控制参数。如用户单击创建的组，则表示组中所有家居设备都为待控制的家居设备，提高了确定待控制家居设备的灵活性和便捷性。
17.在一种可能的实现方式中，上述根据该第二操作指令确定适用于该多媒体文件在该时间节点的控制参数之后，还包括：显示控制参数发生冲突以及是否选择覆盖的提示，如当用户确定的控制参数与通过映射关系自动确定的控制参数发生冲突时，能够为用户提供选择余地，进一步提高了控制参数确定的灵活性。
18.在一种可能的实现方式中，上述通过ar图像中的虚拟家居设备确定待控制的家居设备，以及根据该多媒体文件的特征和预先设定的映射关系确定适用于该多媒体文件的控制参数之后，还包括：接收用户输入的预览指令，显示该虚拟家居设备在该控制参数的控制下的状态。通过预览，使得用户能够在清楚控制参数的具体控制效果的情况下确定家居设备的控制参数，提高了控制参数确定的效率。
19.在一种可能的实现方式中，上述通过ar图像中的虚拟家居设备确定待控制的家居设备，以及根据该多媒体文件的特征和预先设定的映射关系确定适用于该多媒体文件的控制参数之后，还包括：接收用户输入的分享指令，根据该分享指令生成配置文件，并显示分享选项；接收用户通过选择该分享选项输入的分享途径指令，根据该分享途径指令中的分享途径上传所述配置文件，能够使用户将确定的控制参数分享给好友，提高了控制参数应用的便捷性。
20.第二方面，本技术提供一种用于控制智能家居设备的装置，应用于移动终端，包括：获取模块和确定模块。该获取模块用于获取多媒体文件；该确定模块用于通过增强现实ar图像中的虚拟家居设备确定待控制的家居设备，以及确定适用于该多媒体文件的控制参数，其中，该虚拟家居设备与该待控制的家居设备对应，该控制参数用于控制该待控制的家居设备。
21.在一种可能的实现方式中，上述获取模块用于从本地或网络获取图片、视频或音频文件。
22.在一种可能的实现方式中，上述确定模块用于扫描上述待控制的家居设备及其所在环境，生成包含上述虚拟家居设备的ar图像。
23.在一种可能的实现方式中，上述装置还包括：第一接收模块和剔除模块；该第一接收模块用于在上述确定模块生成包含上述虚拟家居设备的所述ar图像之后，接收用户输入的剔除指令；该剔除模块用于剔除上述虚拟家居设备中该剔除指令剔除的对象。
24.在一种可能的实现方式中，上述确定模块用于根据上述多媒体文件的特征和预先设定的映射关系确定适用于上述多媒体文件的控制参数，其中，该映射关系为上述多媒体文件的特征与上述控制参数之间的映射关系。
25.在一种可能的实现方式中，上述确定模块用于根据上述多媒体文件的视频帧特征和/或音频特征以及上述预先设定的映射关系，按上述多媒体文件的播放时序，确定适用于上述多媒体文件不同视频帧的控制参数集合；或者用于在上述多媒体文件的视频帧和/或音频符合预设条件时，根据上述多媒体文件的视频帧特征和/或音频特征以及上述预先设
定的映射关系，确定适用于该符合预设条件的视频帧和/或音频的控制参数。
26.在一种可能的实现方式中，上述确定模块用于将所述控制参数集合中的第一控制参数插入到第二控制参数的执行时刻；其中，该第一控制参数为上述多媒体文件中第一视频帧对应的控制参数，第二控制参数为该多媒体文件中第二视频帧对应的控制参数；该第一视频帧对应的控制参数为滞后响应类型的家居设备的控制参数，所述第一视频帧与所述第二视频帧播放时差为该滞后响应类型的家居设备响应控制指令的时长，该控制指令为所述第一控制参数的执行指令。
27.在一种可能的实现方式中，上述确定模块包括：接收子模块和确定子模块；该接收子模块用于接收用户输入的时间节点，以及接收用户通过点击虚拟家居设备输入的第一操作指令，以及接收用户通过选择控制选项输入的第二操作指令；该确定子模块用于根据该第一操作指令确定上述待控制的家居设备，根据该第二操作指令确定适用于上述多媒体文件在该时间节点的控制参数。
28.在一种可能的实现方式中，上述装置还包括：第二接收模块，用于在上述确定模块根据上述多媒体文件的特征和预先设定的映射关系确定适用于上述多媒体文件的控制参数之后，接收用户输入的时间节点，以及接收用户通过点击虚拟家居设备输入的第一操作指令，以及接收用户通过选择控制选项输入的第二操作指令；上述确定模块用于根据该第一操作指令确定上述待控制的家居设备，根据该第二操作指令确定适用于上述多媒体文件在该时间节点的控制参数。
29.在一种可能的实现方式中，上述装置还包括：第三接收模块和组创建模块；该第三接收模块用于在上述确定模块根据上述第一操作指令确定所述待控制的家居设备之前，接收用户输入的第三操作指令；该组创建模块用于根据该第三操作指令为用户选择的虚拟家居设备创建组。
30.在一种可能的实现方式中，上述确定模块用于：根据上述第一操作指令确定上述组中的部分或全部家居设备为上述待控制的家居设备。
31.在一种可能的实现方式中，上述装置还包括：第一显示模块，用于在上述确定模块根据所述第二操作指令确定适用于上述多媒体文件在上述时间节点的控制参数之后，显示控制参数发生冲突以及是否选择覆盖的提示。
32.在一种可能的实现方式中，上述装置还包括：第四接收模块和第二显示模块；该第四接收模块用于在上述确定模块通过ar图像中的虚拟家居设备确定待控制的家居设备，以及确定适用于上述多媒体文件的控制参数之后，接收用户输入的预览指令；该第二显示模块用于显示上述虚拟家居设备在上述控制参数的控制下的状态。
33.在一种可能的实现方式中，上述装置还包括：第五接收模块、生成模块、第三显示模块、第六接收模块和上传模块；该第五接收模块用于在上述确定模块通过ar图像中的虚拟家居设备确定待控制的家居设备，以及确定适用于上述多媒体文件的控制参数之后，接收用户输入的分享指令；该生成模块用于根据该分享指令生成配置文件；该第三显示模块用于显示分享选项；该第六接收模块用于接收用户通过选择该分享选项输入的分享途径指令；该上传模块用于根据该分享途径指令中的分享途径上传所述配置文件。
34.第三方面，本技术提供一种移动终端，包括：处理器、存储器和计算机程序，该存储器存储该计算机程序，该处理器运行该计算机程序时，该移动终端执行上述第一方面任一
项所述的方法。
35.第四方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行第一方面任一项的方法。
36.第五方面，本技术提供一种芯片系统，执行第一方面任一项的方法。
37.第六方面，本技术提供一种计算机程序，当计算机程序被计算机执行时，用于执行第一方面任一项的方法。
38.在一种可能的设计中，第六方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
附图说明
39.图1为本技术实施例应用的一个系统架构或场景示意图；
40.图2为本技术实施例中一个移动终端的结构示意图；
41.图3为本技术实施例中用于控制智能家居设备的方法的一个流程示意图；
42.图4(a)至图4(e)为本技术实施例中用于控制智能家居设备的方法中移动终端的界面示意图；
43.图5(a)至图5(c)为本技术实施例中另一用于控制智能家居设备的方法中移动终端的界面示意图；
44.图6(a)至图6(d)为本技术实施例中另一用于控制智能家居设备的方法中移动终端的界面示意图；
45.图7为本技术实施例中手动设置控制参数的一个界面示意图；
46.图8为本技术实施例中用于控制智能家居设备的装置的一个示例性结构示意图。
具体实施方式
47.本技术的实施方式部分使用的术语仅用于对本技术的具体实施例进行解释，而非旨在限定本技术。
48.以图1所示系统架构或场景为例，移动终端002可以是智能手机、平板电脑等，通过远距离无线通信方式如2g、3g、4g、5g等接入网络005，以获取媒体资源，如可以从网络005查找多媒体文件。网络005中的服务器存储有多种媒体资源，例如图片、视频节目等。智能家居控制器003安装于家庭内，家庭内的家居设备004均连接到智能家居控制器003。家居设备004为用户直接体验的设备，例如灯、智能电视、窗帘、智能热水器等。移动终端002通过网络005或近距离通信方式如z igbee、红外、蓝牙、nfc、超宽带(uwb)、wifi等连接到智能家居控制器003，移动终端002上安装有智能家居app。用户001通过操作移动终端002上的智能家居app，通过网络005向智能家居控制器003发送控制参数，智能家居控制器003从移动终端002接收控制参数，并根据控制参数向控制家居设备004发出相应的控制指令，以控制家居设备004的状态变化。
49.移动终端002如图2所示，包括：处理模块201、摄像头202、通信模块203和存储模块204。通信模块203可以有多个或多种，例如蓝牙、5g/4g/3g/2g模块、wifi、nfc等，移动终端002通过通信模块203连接到网络005，以及和智能家居控制器003建立连接。摄像头202开启后，可以捕获包含家居设备004在内的物理环境图像。存储模块204可存储有多媒体特征信
息和家居设备的控制参数的映射关系。
50.处理模块201可以通过通信单元连接到网络，从网络查找多媒体文件资源，例如图片、视频、音频等，或者直接调用本地存储器204，读取存储器204存储的图片、视频、音频。处理模块201还可用于解析选择的图片/视频，解析得到多媒体特征，并根据多媒体特征确定待控制的家居设备及其控制参数。或者进一步地，处理模块201可根据确定的待控制的家居设备及其控制参数(即生成智能家居场景)，将家居设备及其控制参数和选择的图片/视频关联。处理模块201还可以用来执行增强现实(augmented reality，简称ar)建模和增强显示，结合摄像头20镜头中的物理环境图像、激光雷达扫描仪，识别出物理环境中的家居设备，并在对应位置增强显示虚拟对象。用户001无需从列表中逐一尝试定位家居设备的位置，无需知道家居设备的编号，便可以直接根据物理环境的位置来选择虚拟家居设备，进而选择家居设备。处理模块201还可根据提取建立的ar模型，通过操作虚拟对象来操作对应物理位置的家居设备。ar成像过程中，移动终端002可以移动，以将原来不在拍摄范围内的家居设备包括进来。在移动终端002移动过程中，即使有家居设备脱离了摄像头的成像范围，只要已经完成ar识别(即在对应位置显示该家居设备的虚拟对象)，该家居设备仍然会包括在家居设备的待控制列表内。待控制列表包括了本次ar识别到的所有家居设备，待确定控制参数。用户001也可以通过移动终端002对ar图像预览界面中的虚拟对象进行操作，例如删除虚拟对象。在预览界面删除虚拟对象后，该虚拟对象对应的家居设备对应移出待控制列表，即使摄像头在后面再次捕获该家居设备，也不会重新生成虚拟对象。这样，用户001可以剔除不想控制的家居设备，而只保留想要控制的家居设备。
51.其中，ar建模用于识别家居设备004的分布位置。ar建模时，可通过移动终端002上的传感器例如图像传感器和激光雷达扫描仪，对整个家庭环境进行扫描，识别出所有的家居设备004的位置。在ar识别过程中，智能家居控制器003与家居设备004通信得到家居设备004的逻辑分布图，结合逻辑分布图和物理的定位，建立家居设备004的分布模型。ar建模的具体技术可参考us20210097768a1。ar建模后，智能家居控制器003可根据移动终端002摄像头的图像，并结合移动终端002的其他传感器例如激光雷达扫描仪，来定位家居设备004的位置，从而识别家居设备004。智能家居控制器003和每个家居设备004通讯的过程中，结合分布位置，智能家居控制器003即可知道虚拟对象对应的家居设备004，例如在虚拟对象和家居设备004的id之间建立关联，实现操作虚拟对象即操作家居设备。初次使用时，智能家居控制器003可逐一和家居设备004进行通信，以通过通信建立家居设备004的逻辑分布图。当新增家居设备时，可重新进行一次ar建模，将新增的家居设备添加进来。
52.移动终端002实施用于控制智能家居设备的方法的一个示例如图3所示，包括：
53.步骤31：移动终端002获取多媒体文件。例如，用户001操作移动终端002，给出选择多媒体文件的指令，移动终端002根据用户001的操作指令，从存储器204中选择图片、视频或音频文件，或者从网络005获取相应的多媒体文件。
54.步骤32：移动终端002通过ar图像中的虚拟家居设备确定待控制的家居设备，以及适用于该多媒体文件的控制参数，其中，该虚拟家居设备与该待控制的家居设备对应，该控制参数用于控制该待控制的家居设备。
55.例如，移动终端002获取多媒体文件后，用户001可以操作移动终端002开启摄像头获取待控制家居设备004在内的环境图像，并启动移动终端002的ar功能，结合环境图像和
激光雷达等传感器捕捉的数据，在移动终端002的显示屏上呈现包含虚拟对象和物理环境元素，例如墙壁，的ar图像。其中，虚拟对象为识别待控制的家居设备004得到的虚拟家居设备。该虚拟家居设备与摄像头202镜头中相应的家居设备的实际物理位置保持一致，一一对应，无需用户001手动添加待控制的家居设备004。由于ar图像中的虚拟家居设备与待控制的家居设备一一对应，用户001可以基于该ar图像中的虚拟家居设备确定待控制的家居设备004的控制参数，并可进一步将待控制的家居设备根据确定的控制参数控制下的效果，在ar图像界面中呈现，供用户001预览。
56.移动终端002确定待控制的家居设备及其控制参数的方式，可为通过用户001利用移动终端002手动选择家居设备及其控制参数的方式；或者可为：用户001利用移动终端002通过ar成像的方式确定待控制的家居设备，以及通过解析多媒体文件，得到若干多媒体特征，再根据预设映射关系，由多媒体特征来确定待控制的家居设备及其控制参数；或者可为：先由移动终端002执行用户001的操作指令，根据多媒体特征及ar图像自动确定待控制的家居设备004及其控制参数，再由用户001利用移动终端002进行手动调整。
57.在确定所有特征对应的家居设备004的控制参数集合后，移动终端002可进一步保存确定的控制参数集合。该控制参数集合也可视为根据多媒体文件确定的家居设备004的媒体场景。本实施例提供的方法相对于现有技术需要逐一选择家居设备并设置控制参数，导致的步骤繁复，造成用户体验感较差的问题，通过ar图像即利用摄像头结合ar处理识别定位家居设备004，并根据多媒体文件的特征自动生成选择的家居设备的控制参数，或者从ar虚拟对象中选择家居设备并根据用户001的选择指令确定其控制参数，或者手动、自动相结合的方式确定家居设备及其控制参数，简化了智能家居场景的创建步骤，增强了可用性，提高了用户体验感。
58.移动终端002确定家居设备004的控制参数后，可将控制参数发送给智能家居控制器003，由智能家居控制器003根据接收到的控制参数向家居设备004发送相应的控制指令，来实现对家居设备004的控制。
59.用于控制智能家居设备的方法的另一个示例如图4(a)至图4(e)所示。本实施例中，移动终端002根据图片来自动生成场景。图片可由用户自由选择，如可以是实时拍摄的图片或之前拍摄的图片(即已有的图片)，也可以是通过搜索网络得到的图片。移动终端002中的智能家居app除了提供传统的自定义场景创建外，还可提供多媒体场景，以根据选择的多媒体文件如图片，来确定家居设备的控制参数即生成场景。并且，智能家居app集成有ar功能。用户利用移动终端002选择家居设备时，可通过ar识别家居设备，以在移动终端002中实现家居设备的可见即可控。而在传统的自定义方案中，诸多家居设备以列表形式提供，用户如果要选择特定位置的某一智能家居设备，需要先进行种类筛选，然后在同一类设备中逐一尝试来进行筛选，再选择家居设备，每个家居设备的选择都要执行此操作，非常复杂。本实施例中终端002利用上述ar功能对扫描的待控制的家居设备的环境图像进行ar处理，得到可控的虚拟家居设备，避免了繁琐的筛选操作，简化了用户操作步骤，提高了用户体验。
60.在实施用于控制智能家居设备的方法时，用户001打开移动终端002中的智能家居app，点击下方的“智能”按钮后，在移动终端002提供的多个功能按键中选择“使用媒体文件创建场景”按键，移动终端002显示的界面如图4(a)所示。用户001点击界面中的“选择媒体
文件”按键，移动终端002的显示屏画面可跳转到如图4(b)所示的界面。该界面默认显示本地存储的媒体文件的“本地资源”页面。该界面还提供了“网络资源”按键，以使用户001从网络005搜索图片，或者通过“本地资源”按键跳转到移动终端002的图库/相册界面，以引导用户001从本地存储器204存储的图片中选择一张图片。当“网络资源”按键被用户点击后，移动终端002显示如图4(c)所示的搜索页面时，用户001点击界面中的“搜索”按钮后，移动终端002显示所有网络资源搜索结果(图中未示出)。用户001可以通过点击搜索结果中的文件图标选择图片，智能家居app收到用户001的操作指令后，在后台获取用户001所选图片的链接，通过链接从网络获取图片。并且，图4(b)所示的界面中，用户001所选图片显示为高亮。用户001点击界面中右上方“完成”按钮后，移动终端002开启摄像头，进入ar成像界面，家居设备004的环境图像经过ar处理后，在图像预览界面呈现如图4(d)所示的ar图像。ar图像包含了物理环境元素屋顶400和墙壁401，还包含了两种虚拟家居设备：虚拟筒灯41和虚拟射灯42。虚拟筒灯41和虚拟射灯42均以虚拟对象的方式显示在家居设备的物理位置处，也就是说，实体筒灯位于屋顶400的中间区域，则ar图像中显示的虚拟筒灯41也位于屋顶400的中间区域；实体射灯位于屋顶400的左右边缘，则ar图像中显示的虚拟射灯42也位于屋顶400的左右边缘。用户001可以通过操作虚拟对象来操作和虚拟对象处于同一物理位置的家居设备。例如，用户001通过调节ar图像中虚拟筒灯41的亮度，来调节实体筒灯的亮度。
61.ar图像中还包含了“自动生成场景”按钮43和预览按钮44。用户001点击“自动生成场景”按钮43后，移动终端002对用户001选择的图片进行解析，得到至少一种图片特征信息如明度、对比度、颜色信息(如颜色种类、颜色百分比等)、标签信息等。或者，移动终端002也可以在用户001选择图片后，或者在用户001选完图片并点击上述图4(c)中的“完成”按钮后，开始对图片进行解析。
62.移动终端002中可预先设置并存储有多媒体特征信息和家居设备004的控制参数的映射关系，当移动终端002解析得到图片特征信息后，可根据该映射关系来确定待控制的家居设备004及其控制参数，该待控制的家居设备004与虚拟家居设备相对应。该映射关系的部分内容如表一所示。
63.表一
64.[0065][0066]
表一列出了部分根据图片特征来控制家居设备的大概控制参数。在实际执行时，存储器204内存储的映射关系可包括具体的数值映射函数例如图片明度和筒灯亮度的数值函数、对比度和频率的数值函数等。另外，一种家居设备的控制参数可以受多种因素影响，当多种因素影响家居设备的控制参数时，处理器201按照预定的规则来决定该种家居设备的最终的控制参数。
[0067]
用户001点击“自动生成场景”按钮43后，若移动终端002已解析得到图片特征信息，则移动终端002根据上述映射关系确定待控制的家居设备，以及相应的控制参数。若此时未解析得到图片特征信息，则可先解析得到图片特性信息，然后根据图片特征信息和上述映射关系表来确定家居设备004的控制参数。
[0068]
可选地，移动终端002确定待控制的家居设备004的控制参数后，显示“自动生成场景”的结果如图4(e)所示的“已自动生成场景”45。
[0069]
移动终端002还可以提供预览功能，例如，用户001可以通过点击预览按钮44来预览家居设备004在控制参数的控制下产生的场景效果。例如，移动终端002接收到用户001的操作指令“预览”后，控制ar图像中各虚拟家居设备按照已生成场景的控制参数模拟相应的工作状态，并显示。
[0070]
本实施例用于控制智能家居设备的方法，区别于传统的智能家居的场景编辑模式，用户001只需选取图片，并用移动终端002的摄像头选择目标区域中的家居设备，而无需逐个对家居设备进行选择，解决了家居设备的定位和选择繁琐的问题，实现了家居设备的选择和控制参数的确定的全自动操作，提升了用户体验。并且，移动终端这种基于图片自动生成场景的方式，提供了一种新的场景确定方式，丰富了智能家居设备的场景功能。
[0071]
用于控制智能家居设备的另一方法示例如图5(a)至图5(c)所示。本实施例中，多媒体文件为视频文件。由于视频文件通常较大，因而，视频文件通常为网络资源。例如，移动终端002连接到网络005，用户001采用图4(b)所示的方式在智能家居app的搜索界面点击搜索，移动终端002执行用户001的操作指令“搜索视频文件”，向网络005发出搜索视频文件的请求，并显示搜索结果供用户001选择。用户001在搜索结果中选择视频文件后，智能家居app获取该视频文件的网络链接例如url地址，通过该视频文件的链接关联到选中的视频文件。移动终端002显示如图5(a)所示的界面，以建立包含虚拟家居设备的ar图像。本实施例中，包含虚拟家居设备的ar图像的建立过程同上一实施例。类似地，ar图像中的虚拟家居设备和摄像头202镜头中的家居设备004一一对应，且位置相同。用户001通过改变移动终端
002的位置，扫描待控制的家居设备并进行ar处理，在图5(a)所示的环境图像界面中建立虚拟对象，即将待控制的家居设备添加到待控制列表。用户001点击图5(a)中的“自动生成场景”按钮43，智能家居app即开始沿着视频文件500的播放时序进行解析，并根据解析得到的特征，按照映射关系确定待控制列表内的家居设备的控制参数。可选地，解析过程中，移动终端002界面可进一步显示“解析中”、“解析完成”等信息，以供用户001了解视频文件500的解析进度。
[0072]
移动终端002解析视频文件500时，除了解析视频帧以外，还可以解析其中的音频。每一视频帧就是一个图片中的一幅画面也即一帧图像，因此，视频帧的解析可参考上一实施例的图片解析方式。移动终端002解析视频文件中的音频时，音频特征信息可以包括标签信息如音乐风格等、台词关键字信息/歌词关键字信息、节拍信息等。
[0073]
移动终端002解析得到图片特征信息和音频特征信息后，根据这些多媒体特征信息和家居设备004的控制参数之间的映射关系，确定ar图像中虚拟家居设备对应的家居设备的控制参数。其中，多媒体特征信息和家居设备004的控制参数之间的映射关系，包含了图片特征信息和家居设备004的控制参数之间的映射关系，以及音频特征信息和家居设备004的控制参数之间的映射关系。图片特征信息和家居设备004的控制参数之间的映射关系与上一实施例类似，可参考上述表一。由于一个视频文件包含成很多个视频帧，确定控制参数时，可以根据所有视频帧的特征确定家居设备在视频文件播放过程中各个时刻的控制参数，即用于在家居设备004中的视频播放设备如电视机播放视频文件的过程中全程根据不同时刻播放的视频帧，智能家居控制器003对家居设备004中的用于调节环境的家居设备如窗帘、灯、空调等进行相应的控制。这种情况下，用户001点击“自动生成场景”按钮43后，移动终端002生成一个针对视频文件500的家居设备的控制参数集合。该控制参数集合包含了该视频文件500播放过程中显示不同视频帧时的家居设备的控制参数。或者，移动终端002也可根据视频文件500中符合预设条件的视频帧的特征确定家居设备004的控制参数，即用于在视频播放设备播放视频文件500过程中播放到该符合预设条件的视频帧时，智能家居控制器003对用于调节环境的家居设备进行相应的控制。例如一部电影的所有视频帧中，有若干个视频帧符合生成场景的条件。比如，对于播放打雷的视频帧和/或音频，根据其特征确定相应的家居设备的控制参数，如把灯调亮一点，而忽略其它视频帧或音频的特征。移动终端002可每解析一个视频帧后确定该视频帧对应的家居设备的控制参数，此时进度条56显示的进度为解析加确定控制参数的进度。当移动终端002仅针对符合预设条件的视频帧确定相应的家居设备的控制参数时，进度条56上的虚线部分561和562为符合预设条件的视频帧的解析及确定控制参数的进度，也即对于虚线部分561和562的视频帧为家居设备配置了控制参数，对于其余空白部分的视频帧未为家居设备配置控制参数。
[0074]
在针对某一视频文件确定家居设备的控制参数时，可进一步考虑家居设备的类型。例如，家居设备可以分为实时响应类型和滞后响应类型。实时响应类型的家居设备可以实时响应控制指令快速达到预期的效果例如灯光效果、音箱的音乐播放等。因此，对于实时响应类型的家居设备，在视频播放设备播放视频文件的某一视频帧时，智能家居设备根据控制参数向该类型的家居设备发送对应的控制指令即可，例如，控制灯光的颜色、闪烁、亮度、色温；或者控制播放特定音乐等。
[0075]
滞后响应类型的家居设备在接收到控制指令后，需要一定的响应时间，才能达到
控制参数的预期效果，例如窗帘的打开/关闭、空调的海风模拟、音箱香氛的气味发散等。其中，窗帘从完全打开到完全闭合，需要5至10秒。而视频文件播放时按照时序逐帧显示，假设某一视频帧对应的控制参数是关闭窗帘，那么当显示到该视频帧时，智能家居控制器003向窗帘发送关闭指令后，窗帘在5至10秒后才会完全闭合。可以理解的是，此时该视频帧已经显示完5至10秒，当前显示的视频帧已是该视频帧之后的第几百乃至上千个视频帧，因此，为了使得视频播放设备播放视频文件时，智能家居控制器003对家居设备的控制能够达到预期的环境效果比如环境的亮暗程度、香薰氛围、模拟海风的吹拂等，对于滞后响应类型的家居设备的控制参数，考虑按视频文件的播放时序将其插入到播放前的某一时刻，以使智能家居控制器003能够提前根据控制参数将控制指令发送到滞后响应类型的家居设备，从而实现在视频播放设备播放某一视频帧之前，控制滞后响应类型的家居设备进行状态改变，在视频播放设备播放该视频帧时，达到控制参数的预期状态。例如，图5(b)所示的视频文件500的视频帧播放顺序为：视频帧501、
…
、视频帧502、
…
、视频帧503。其中，视频帧503的画面大部分的颜色均为偏黑色，对应确定一个对窗帘的控制参数：将窗帘完全关闭，以更利于看清偏黑色的视频帧503。但是如果在视频播放设备播放视频帧503时，智能家居控制器003根据该控制参数向窗帘发出完全关闭的控制指令，那么等窗帘完全关闭时，视频播放设备已经播放完视频帧503，可能正在播放视频帧504。由于窗帘从完全打开到完全关闭需要5秒时间，且视频帧502与视频帧503之间的播放时间间隔为5秒，因此，移动终端002可在确定完所有视频帧对应的家居设备的控制参数后，或者可在确定视频帧503及之前的视频帧对应的家居设备的控制参数后，将视频帧503对应的窗帘的控制参数插入到视频帧502对应的控制参数中，或者将视频帧503对应的窗帘的控制参数的执行时刻修改为视频帧502的播放时刻。这样，当视频播放设备播放该视频文件500时，如果播放视频帧502，则智能家居控制器003根据视频帧502对应的控制参数生成家居设备的控制指令时，同时也根据插入其中的窗帘的控制参数生成并发出对窗帘的控制指令“完全关闭”，或者同时根据该播放时刻的视频帧503对应的窗帘的控制参数生成并发送控制指令“完全关闭”。窗帘在视频播放设备播放视频帧502时收到“完全关闭”指令并执行，5秒后，窗帘完全关闭，视频播放设备也恰好播放视频帧503，从而达到控制参数的预期效果。
[0076]
音频特征信息和家居设备004的控制参数之间的映射关系可参考表二。
[0077]
表二
[0078][0079][0080]
移动终端002按照映射表，针对不同的图片特性信息和音频特征信息，分别确定家居设备的控制参数。当移动终端002确定的某一时刻的家居设备的控制参数有多个且发生冲突时，则按照预设的规则根据该多个控制参数确定一个控制参数，例如从中选择一个控
制参数。这样，移动终端002最终根据视频文件2确定一个控制参数集合，该控制参数集合中的控制参数与各视频帧或视频帧的播放时刻一一对应。可选地，移动终端002可进一步将该控制参数集合发送给智能家居控制器003。当用户001使用视频播放设备播放视频文件500时，触发智能家居控制器003按播放时序根据控制参数集合中的控制参数生成相应的控制指令并发送到相应的家居设备，从而使用户在观看视频文件500的过程中，享受不同的视频帧播放时家居设备营造的相应环境或气氛，以最佳的感受观看视频文件500。
[0081]
可选地，移动终端002确定控制参数集合后，还可进一步显示如图5(c)所示的界面，该界面中的“已自动生成场景”结果55提示用户场景已生成，即已确定视频文件500对应的家居设备的控制参数集合。
[0082]
可选地，移动终端002可进一步提供预览功能。用户001点击图5(c)中的“预览”按钮44后，视频播放进度条57和视频文件500的播放时序一致，显示视频文件500的播放进度，同时界面中显示虚拟家居设备根据控制参数达到的控制效果。假设控制参数由部分符合预设条件的视频帧确定，则当视频文件500播放到虚线进度条571和572时，虚拟家居设备的状态根据控制参数开始发生相应的变化。假设移动终端002根据视频文件500全程播放的视频帧确定了一个控制参数集合，则视频播放进度条57上没有虚线进度条571和572，视频文件500的全程播放过程中，虚拟家居设备的状态可根据该控制参数集合全程进行调整。可选地，预览时，用户还可以选择时间点来进行预览。可选地，预览界面还可以包括媒体窗口58，用来播放与视频播放进度条57的进度对应的视频画面。
[0083]
本实施例提供的用于控制家居设备的方法基于视频确定家居设备的控制参数，能够用于个性化的观影场景，相较传统观影场景，不再千篇一律，而是随着电影的变化而变化，能够根据每部电影的特征确定相应的家居设备的控制参数，相当于每部电源对应若干个观影场景，有效地提高了用户的观影体验。进一步地，对于窗帘等执行时间较长的滞后响应类型的家居设备，通过将其控制参数提前，使得其控制指令可以在视频帧的播放前发送，从而在播放到视频帧时，达到理想的观影环境。进一步可选地，只有在视频帧满足设定条件时，才会触发自动生成场景，既只在需要提供相应的家居场景的适合才触发生成观影场景，减少了移动终端的数据处理量，提高了确定控制参数的效率，提升了用户体验。
[0084]
本实施例提供的用于控制家居设备的方法中由用户利用移动终端手动确定智能家居的控制参数即场景，如图6(a)至图6(d)。用户001选择视频文件后，移动终端002显示ar识别界面。该界面中包含多媒体播放窗口58及播放进度条57。用户001手动确定家居设备的控制参数时，可在播放进度条57上选择时间节点，然后改变移动终端002的位置，使其摄像头202能够捕获到待控制的家居设备004。移动终端002捕获到家居设备004后生成对应的虚拟对象。如图6(a)所示，用户选中虚拟家居设备如筒灯后，界面弹出可控选项例如“光效”、“色温”、“亮度”和“颜色”。用户001选择“光效”选项后，界面弹出二级可控选项如灯光效果的类型，如图6(b)所示的“闪烁”、“跳跃”、“海浪”和“呼吸”等。假设用户001选择“跳跃”选项，也即确定了视频文件在该播放时刻的家居设备中该筒灯的控制参数。
[0085]
可选地，用户手动确定控制参数时，为了方便对多个同类的家居设备进行操作，移动终端002可以支持创建组，以对家居设备进行整组操作。如图6(c)所示，假设用户001对6个筒灯61的要求一致，则可选择该6个筒灯61创建组1，以对6个筒灯61进行统一的控制，避免逐一控制。家居设备的组可以只创建一次，例如，在某一个时间节点创建组1后，其他时间
节点也可以选择该组1确定筒灯的控制参数。创建组后，在用户001选择家居设备时，可以通过不同的操作来选择组或者单个家居设备确定控制参数，例如单击选择组来确定该组家居设备的控制参数，双击选择单个家居设备确定该单个家居设备的控制参数。
[0086]
可选地，本实施例可以作为前两个实施例的补充方案，在移动终端自动生成场景即确定家居设备的控制参数后，发送给智能家居控制器之前，用户可以手动选择家居设备，并手动调节控制效果，即手动确定家居设备的控制参数。当手动和自动的控制参数冲突时，手动确定的控制参数可以覆盖原来自动的控制参数，也可以保留原来自动的控制参数。例如，移动终端002针对某一视频文件的多个时间节点，确定多个家居设备的控制参数后，用户创建或修改家居设备的控制参数。
[0087]
若用户手动确定的控制参数和移动终端自动确定的控制参数相冲突时，则移动终端如图6(d)所示，提示用户是否覆盖之前自动确定的控制参数。用户可以选择覆盖移动终端自动确定的控制参数，用手动确定的光效来替代，也可以保留移动终端002自动确定的控制参数，而放弃手动确定的光效。
[0088]
本实施例提供的用于控制家居设备的方法支持用户通过ar图像手动选择家居设备，并确定家居设备的控制参数，进一步实现自定义。并且，手动与自动结合的方式确定家居设备的控制参数，在自动生成场景的基础上，用户再进行调整，丰富了场景生成方式，提升了用户的使用体验。
[0089]
在前述实施例的基础上，另一用于控制家居设备的方法示例可进一步包括：移动终端接收用户的分享操作指令，并执行该分享操作指令，根据确定的家居设备的控制参数生成配置文件，并上传到网络。其中，配置文件可包含家居设备的类别和对应的控制参数，或者可进一步包含对应的多媒体文件或其标识如名称、id等。如图7所示，移动终端提示“已自动生成场景”后，用户可点击左上角的菜单，之后移动终端弹出操作选项“自动场景”、“保存”、“下载”、“上传”和“分享”等。用户点击“分享”后，移动终端生成对应的配置文件，并进一步地，可弹出分享的方式如显示网络平台主题商店图标、即时通讯软件如qq、微信图标等供用户选择，当用户点击其中一图标后，移动终端接收用户的指令并执行相应的上传操作。
[0090]
对应于上述上传操作，移动终端也可以从网络平台下载智能家居场景的配置文件，用于控制家居设备。智能家居app可以识别智能家居场景的配置文件，并读取配置文件的参数后，生成与配置文件对应的家居设备的控制参数。
[0091]
当其他用户通过即时通讯软件接收到配置文件时，其使用的移动终端中的智能家居app可解析配置文件。解析后，移动终端可接收用户的操作指令先选择应用环境，然后在选择的应用环境内，将配置文件的参数，配置给应用环境内的家居设备。应用环境的选择可以通过移动终端的摄像头扫描，并通过ar识别家居设备来建立，也可以是直接从存储的ar环境比如客厅/卧室/书房中选择，存储的ar环境中包含了若干家居设备，由移动终端根据用户的操作指令预先建立。
[0092]
移动终端将配置文件的参数配置给家居设备的过程中，可根据家居设备的类别进行配置，例如同一类的家居设备应用同类家居设备的控制参数。对于实际环境中无法与配置文件对应类别的家居设备，可以忽略或跳过，可只配置能够对应上的同类别的家居设备。
[0093]
本实施例提供的用于控制家居设备的方法通过移动终端的分享操作，将生成的场景即控制参数上传到平台供他人下载或直接分享给好友，他人接收后可以直接应用配置文
件生成对应的场景或确定对应的控制参数，提高了控制参数应用的便利性。
[0094]
用于控制智能家居设备的装置的一个示例如图8所示，包括：获取模块801和确定模块802。该装置可为应用于移动终端的应用程序，用于实现上述实施例中的方法。该获取模块801用于获取多媒体文件如图片、视频等；该确定模块802用于通过ar图像中的虚拟家居设备确定待控制的家居设备，以及确定适用于该多媒体文件的控制参数，其中，该虚拟家居设备与该待控制的家居设备对应(如选中虚拟家居设备相当于选中了实体的家居设备)，该控制参数用于控制该待控制的家居设备。其中，上述获取模块801可用于从本地或网络获取图片、视频或音频文件。上述确定模块802可用于扫描上述待控制的家居设备及其所在环境，生成包含上述虚拟家居设备的ar图像。作为该实施例的一种变形，用于控制智能家居设备的装置还可包括：第一接收模块和剔除模块；该第一接收模块用于在上述确定模块802生成包含上述虚拟家居设备的所述ar图像之后，接收用户输入的剔除指令；该剔除模块用于剔除上述虚拟家居设备中该剔除指令剔除的对象。
[0095]
上述装置实施例中，控制参数可自动确定也可手动确定。当控制参数自动确定时，上述确定模块802可用于根据上述多媒体文件的特征和预先设定的映射关系确定适用于上述多媒体文件的控制参数，其中，该映射关系为上述多媒体文件的特征与上述控制参数之间的映射关系，参见上述方法实施例中的说明。
[0096]
当上述多媒体文件为视频文件时，上述确定模块802可用于根据上述多媒体文件的视频帧特征和/或音频特征以及上述预先设定的映射关系，按上述多媒体文件的播放时序，确定适用于上述多媒体文件不同视频帧的控制参数集合；或者，上述确定模块802用于在上述多媒体文件的视频帧和/或音频符合预设条件时，根据上述多媒体文件的视频帧特征和/或音频特征以及上述预先设定的映射关系，确定适用于该符合预设条件的视频帧和/或音频的控制参数。当确定的控制参数中有用于控制滞后响应类型的家居设备的控制参数时，上述确定模块802可用于将所述控制参数集合中的第一控制参数插入到第二控制参数的执行时刻；其中，该第一控制参数为上述多媒体文件中第一视频帧对应的控制参数，第二控制参数为该多媒体文件中第二视频帧对应的控制参数；所述第一视频帧对应的控制参数为滞后响应类型的家居设备的控制参数，该第一视频帧与所述第二视频帧播放时差为该滞后响应类型的家居设备响应控制指令的时长，该控制指令为所述第一控制参数的执行指令。
[0097]
当控制参数手动确定时，上述确定模块802可包括：接收子模块和确定子模块。该接收子模块用于接收用户输入的时间节点，以及接收用户通过点击虚拟家居设备输入的第一操作指令，以及接收用户通过选择控制选项输入的第二操作指令；该确定子模块用于根据该第一操作指令确定上述待控制的家居设备，根据该第二操作指令确定适用于上述多媒体文件在该时间节点的控制参数。
[0098]
在上述装置自动确定控制参数的基础上，用于控制智能家居设备的装置还可包括：第二接收模块，以与手动确定控制参数相结合。该第二接收模块用于在上述确定模块802根据上述多媒体文件的特征和预先设定的映射关系确定适用于上述多媒体文件的控制参数之后，接收用户输入的时间节点，以及接收用户通过点击虚拟家居设备输入的第一操作指令，以及接收用户通过选择控制选项输入的第二操作指令；上述确定模块用于根据该第一操作指令确定上述待控制的家居设备，根据该第二操作指令确定适用于上述多媒体文
件在该时间节点的控制参数。
[0099]
作为上述装置实施例的另一种变形，用于控制智能家居设备的装置还可包括：第三接收模块和组创建模块；该第三接收模块用于在上述确定模块802根据上述第一操作指令确定所述待控制的家居设备之前，接收用户输入的第三操作指令；该组创建模块用于根据该第三操作指令为用户选择的虚拟家居设备创建组。在一些可能的实施方式中，上述确定模块802用于根据上述第一操作指令确定上述组中的部分或全部家居设备为上述待控制的家居设备。
[0100]
作为上述装置实施例的另一种变形，用于控制智能家居设备的装置还可包括：第一显示模块。该第一显示模块用于在上述确定模块802根据所述第二操作指令确定适用于上述多媒体文件在上述时间节点的控制参数之后，显示控制参数发生冲突以及是否选择覆盖的提示。
[0101]
作为上述装置实施例的另一种变形，用于控制智能家居设备的装置还可包括：第四接收模块和第二显示模块；该第四接收模块用于在上述确定模块通过ar图像中的虚拟家居设备确定待控制的家居设备，以及确定适用于所述多媒体文件的控制参数之后，接收用户输入的预览指令；该第二显示模块用于显示该虚拟家居设备在该控制参数的控制下的状态。
[0102]
作为上述装置实施例的另一种变形，用于控制智能家居设备的装置还可包括：第五接收模块、生成模块、第三显示模块、第六接收模块和上传模块；该第五接收模块用于在上述确定模块通过ar图像中的虚拟家居设备确定待控制的家居设备，以及确定适用于上述多媒体文件的控制参数之后，接收用户输入的分享指令；该生成模块用于根据该分享指令生成配置文件；该第三显示模块用于显示分享选项；该第六接收模块用于接收用户通过选择该分享选项输入的分享途径指令；该上传模块用于根据该分享途径指令中的分享途径上传所述配置文件。
[0103]
可以理解的是，上述实施例中的部分或全部步骤或操作仅是示例，本技术实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。
[0104]
本技术实施例还提供一种电子设备，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行上述实施例所示的方法。
[0105]
本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行本技术实施例提供的方法。
[0106]
本技术实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行本技术实施例提供的方法。
[0107]
本技术实施例中，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示单独存在a、同时存在a和b、单独存在b的情况。其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可
以是单个，也可以是多个。
[0108]
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0109]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0110]
在本技术所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory；以下简称：rom)、随机存取存储器(random access memory；以下简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0111]
以上所述，仅为本技术的具体实施方式，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种用于控制智能家居设备的方法，其特征在于，应用于移动终端，包括：获取多媒体文件；通过增强现实ar图像中的虚拟家居设备确定待控制的家居设备，以及确定适用于所述多媒体文件的控制参数，其中，所述虚拟家居设备与所述待控制的家居设备对应，所述控制参数用于控制所述待控制的家居设备。2.根据权利要求1所述的方法，其特征在于，获取多媒体文件，包括：从本地或网络获取图片、视频或音频文件。3.根据权利要求1或2所述的方法，其特征在于，通过ar图像中的虚拟家居设备确定待控制的家居设备，包括：扫描所述待控制的家居设备及其所在环境，生成包含所述虚拟家居设备的所述ar图像。4.根据权利要求3所述的方法，其特征在于，生成包含所述虚拟家居设备的所述ar图像之后，还包括：接收用户输入的剔除指令，剔除所述虚拟家居设备中所述剔除指令剔除的对象。5.根据权利要求1至4任一项所述的方法，其特征在于，所述确定适用于所述多媒体文件的控制参数，包括：根据所述多媒体文件的特征和预先设定的映射关系确定适用于所述多媒体文件的控制参数，其中，所述映射关系为所述多媒体文件的特征与所述控制参数之间的映射关系。6.根据权利要求5所述的方法，其特征在于，根据所述多媒体文件的特征和预先设定的映射关系确定适用于所述多媒体文件的控制参数，包括：根据所述多媒体文件的视频帧特征和/或音频特征以及所述预先设定的映射关系，按所述多媒体文件的播放时序，确定适用于所述多媒体文件不同视频帧的控制参数集合；或者在所述多媒体文件的视频帧和/或音频符合预设条件时，根据所述多媒体文件的视频帧特征和/或音频特征以及所述预先设定的映射关系，确定适用于所述符合预设条件的视频帧和/或音频的控制参数。7.根据权利要求6所述的方法，其特征在于，按所述多媒体文件的播放时序，确定适用于所述多媒体文件不同视频帧的控制参数集合，包括：将所述控制参数集合中的第一控制参数插入到第二控制参数的执行时刻；其中，所述第一控制参数为所述多媒体文件中第一视频帧对应的控制参数，第二控制参数为所述多媒体文件中第二视频帧对应的控制参数；所述第一视频帧对应的控制参数为滞后响应类型的家居设备的控制参数，所述第一视频帧与所述第二视频帧播放时差为所述滞后响应类型的家居设备响应控制指令的时长，所述控制指令为所述第一控制参数的执行指令。8.根据权利要求1至4任一项所述的方法，其特征在于，通过ar图像中的虚拟家居设备确定待控制的家居设备，以及确定适用于所述多媒体文件的控制参数，包括：接收用户输入的时间节点，以及接收用户通过点击虚拟家居设备输入的第一操作指令，以及接收用户通过选择控制选项输入的第二操作指令，根据所述第一操作指令确定所述待控制的家居设备，根据所述第二操作指令确定适用于所述多媒体文件在所述时间节点的控制参数。
9.根据权利要求5至7任一项所述的方法，其特征在于，根据所述多媒体文件的特征和预先设定的映射关系确定适用于所述多媒体文件的控制参数之后，还包括：接收用户输入的时间节点，以及接收用户通过点击虚拟家居设备输入的第一操作指令，以及接收用户通过选择控制选项输入的第二操作指令，根据所述第一操作指令确定所述待控制的家居设备，根据所述第二操作指令确定适用于所述多媒体文件在所述时间节点的控制参数。10.根据权利要求9所述的方法，其特征在于，根据所述第一操作指令确定所述待控制的家居设备之前，还包括：接收用户输入的第三操作指令，根据所述第三操作指令为用户选择的虚拟家居设备创建组。11.根据权利要求10所述的方法，其特征在于，根据所述第一操作指令确定所述待控制的家居设备，包括：根据所述第一操作指令确定所述组中的部分或全部家居设备为所述待控制的家居设备。12.根据权利要求9至11任一项所述的方法，其特征在于，根据所述第二操作指令确定适用于所述多媒体文件在所述时间节点的控制参数之后，还包括：显示控制参数发生冲突以及是否选择覆盖的提示。13.根据权利要求1至11任一项所述的方法，其特征在于，通过ar图像中的虚拟家居设备确定待控制的家居设备，以及确定适用于所述多媒体文件的控制参数之后，还包括：接收用户输入的预览指令，显示所述虚拟家居设备在所述控制参数的控制下的状态。14.根据权利要求1至12任一项所述的方法，其特征在于，通过ar图像中的虚拟家居设备确定待控制的家居设备，以及确定适用于所述多媒体文件的控制参数之后，还包括：接收用户输入的分享指令，根据所述分享指令生成配置文件，并显示分享选项；接收用户通过选择所述分享选项输入的分享途径指令，根据所述分享途径指令中的分享途径上传所述配置文件。15.一种用于控制智能家居设备的装置，其特征在于，应用于移动终端，包括：获取模块，用于获取多媒体文件；确定模块，用于通过ar图像中的虚拟家居设备确定待控制的家居设备，以及确定适用于所述多媒体文件的控制参数，其中，所述虚拟家居设备与所述待控制的家居设备对应，所述控制参数用于控制所述待控制的家居设备。16.根据权利要求15所述的装置，其特征在于，所述获取模块用于：从本地或网络获取图片、视频或音频文件。17.根据权利要求15或16所述的装置，其特征在于，所述确定模块用于：扫描所述待控制的家居设备及其所在环境，生成包含所述虚拟家居设备的所述ar图像。18.根据权利要求17所述的装置，其特征在于，还包括：第一接收模块，用于在所述确定模块生成包含所述虚拟家居设备的所述ar图像之后，接收用户输入的剔除指令；剔除模块，用于剔除所述虚拟家居设备中所述剔除指令剔除的对象。19.根据权利要求15至18任一项所述的装置，其特征在于，所述确定模块用于：根据所
述多媒体文件的特征和预先设定的映射关系确定适用于所述多媒体文件的控制参数，其中，所述映射关系为所述多媒体文件的特征与所述控制参数之间的映射关系。20.根据权利要求19所述的装置，其特征在于，所述确定模块用于：根据所述多媒体文件的视频帧特征和/或音频特征以及所述预先设定的映射关系，按所述多媒体文件的播放时序，确定适用于所述多媒体文件不同视频帧的控制参数集合；或者用于在所述多媒体文件的视频帧和/或音频符合预设条件时，根据所述多媒体文件的视频帧特征和/或音频特征以及所述预先设定的映射关系，确定适用于所述符合预设条件的视频帧和/或音频的控制参数。21.根据权利要求20所述的装置，其特征在于，所述确定模块用于：将所述控制参数集合中的第一控制参数插入到第二控制参数的执行时刻；其中，所述第一控制参数为所述多媒体文件中第一视频帧对应的控制参数，第二控制参数为所述多媒体文件中第二视频帧对应的控制参数；所述第一视频帧对应的控制参数为滞后响应类型的家居设备的控制参数，所述第一视频帧与所述第二视频帧播放时差为所述滞后响应类型的家居设备响应控制指令的时长，所述控制指令为所述第一控制参数的执行指令。22.根据权利要求15至18任一项所述的装置，其特征在于，所述确定模块包括：接收子模块，用于接收用户输入的时间节点，以及接收用户通过点击虚拟家居设备输入的第一操作指令，以及接收用户通过选择控制选项输入的第二操作指令；确定子模块，用于根据所述第一操作指令确定所述待控制的家居设备，根据所述第二操作指令确定适用于所述多媒体文件在所述时间节点的控制参数。23.根据权利要求19至21任一项所述的装置，其特征在于，还包括：第二接收模块，用于在所述确定模块根据所述多媒体文件的特征和预先设定的映射关系确定适用于所述多媒体文件的控制参数之后，接收用户输入的时间节点，以及接收用户通过点击虚拟家居设备输入的第一操作指令，以及接收用户通过选择控制选项输入的第二操作指令；所述确定模块，用于根据所述第一操作指令确定所述待控制的家居设备，根据所述第二操作指令确定适用于所述多媒体文件在所述时间节点的控制参数。24.根据权利要求23所述的装置，其特征在于，还包括：第三接收模块，用于在所述确定模块根据所述第一操作指令确定所述待控制的家居设备之前，接收用户输入的第三操作指令；组创建模块，用于根据所述第三操作指令为用户选择的虚拟家居设备创建组。25.根据权利要求24所述的装置，其特征在于，所述确定模块用于：根据所述第一操作指令确定所述组中的部分或全部家居设备为所述待控制的家居设备。26.根据权利要求23至25任一项所述的装置，其特征在于，还包括：第一显示模块，用于在所述确定模块根据所述第二操作指令确定适用于所述多媒体文件在所述时间节点的控制参数之后，显示控制参数发生冲突以及是否选择覆盖的提示。27.根据权利要求15至25任一项所述的装置，其特征在于，还包括：第四接收模块，用于在所述确定模块通过ar图像中的虚拟家居设备确定待控制的家居
设备，以及确定适用于所述多媒体文件的控制参数之后，接收用户输入的预览指令；第二显示模块，用于显示所述虚拟家居设备在所述控制参数的控制下的状态。28.根据权利要求15至26任一项所述的装置，其特征在于，还包括：第五接收模块，用于在所述确定模块通过ar图像中的虚拟家居设备确定待控制的家居设备，以及确定适用于所述多媒体文件的控制参数之后，接收用户输入的分享指令；生成模块，用于根据所述分享指令生成配置文件；第三显示模块，用于显示分享选项；第六接收模块，用于接收用户通过选择所述分享选项输入的分享途径指令；上传模块，用于根据所述分享途径指令中的分享途径上传所述配置文件。29.一种移动终端，其特征在于，包括：处理器、存储器和计算机程序，所述存储器存储所述计算机程序，所述处理器运行所述计算机程序时，所述移动终端执行上述权利要求1至14任一项所述的方法。30.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行权利要求1至14任一项所述的方法。31.一种芯片系统，其特征在于，执行上述权利要求1至14任一项所述的方法。

技术总结
本申请提供一种用于控制智能家居设备的方法、装置及移动终端，用于控制智能家居设备的方法通过将虚拟家居设备与待控制的家居设备对应，使得用户无需根据文字描述选择家居设备，能够以更直观地方式确定待控制的家居设备，降低了场景创建过程中的操作复杂性，提高了用户体验。了用户体验。了用户体验。


技术研发人员：肖雪莹 杨东齐 吴信新 高铭英 叶宏
受保护的技术使用者：华为技术有限公司
技术研发日：2021.12.31
技术公布日：2023/7/13