家电设备的控制方法、装置、家电设备和可读存储介质与流程

1.本发明涉及家电技术领域，具体而言，涉及一种家电设备的控制方法、家电设备的控制装置、家电设备和可读存储介质。


背景技术：

2.随着人工智能技术的蓬勃发展，用户对智能家居的需求越来越强烈，一个带有人工智能功能的家电设备，能极大提升产品的品质和用户体验。
3.但是，相关技术中，用户对家电设备的使用过程中，家电设备提供的灯光亮度是固定不变的，这会导致烹饪食物的效果不理想以及用户的用眼疲劳。


技术实现要素：

4.本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
5.为此，本发明的一个方面在于提出了一种家电设备的控制方法。
6.本发明的另一个方面在于提出了一种家电设备的控制装置。
7.本发明的再一个方面在于提出了一种家电设备。
8.本发明的又一个方面在于提出了一种可读存储介质。
9.有鉴于此，根据本发明的一个方面，提出了一种家电设备的控制方法，包括：获取多帧环境图像；根据多帧环境图像，确定目标亮度；根据目标亮度，控制家电设备的照明装置工作。
10.在该技术方案中，家电设备上安装有照明装置，该照明装置能够提供灯光，以照亮家电设备周围的环境。该家电设备上还安装有图像采集装置，该图像采集装置能够采集多帧的环境图像，或者家电设备上安装有通信装置，能够接收外部图像采集装置提供的多帧的环境图像。
11.基于获取到的多帧环境图像，确定家电设备所在环境的环境亮度，进而对应得到对照明装置进行控制的目标亮度。进一步地，控制照明装置将灯光亮度调节到该目标亮度，以适应家电设备所在环境的环境亮度。
12.本发明实施例，一方面，能够控制家电设备的照明装置提供较合适的亮度，方便用户对家电设备的使用，提高使用效果；另一方面，将采用多帧的图像进行统计识别，克服了相关技术中依靠单帧图像进行识别的不稳定性，对当前环境亮度的判断更加准确。
13.根据本发明的上述家电设备的控制方法，还可以具有以下附加技术特征：
14.在上述技术方案中，获取多帧环境图像，包括：采集第一环境视频；按照预设时间间隔，在第一环境视频中获取多帧环境图像。
15.相关技术中利用单帧图像进行环境亮度的识别，很容易由于检测的误差导致识别的错误。与相关技术不同，本发明的技术方案中，需要一次处理多帧图像，这多帧图像是从图像采集装置采集的连续的视频帧(也即第一环境视频)中按照预设时间间隔进行间隔抽取。
16.通过利用多帧图像进行环境亮度的识别，相比于单帧图像的方法更加鲁棒和准确，从而确保对照明装置亮度调节的准确性。
17.在上述任一技术方案中，采集第一环境视频，包括：获取家电设备的工作状态；基于家电设备工作，采集第一环境视频。
18.在该技术方案中，判断家电设备是否正在工作，在该家电设备正在工作的情况下，采集第一环境视频，在该家电设备未工作的情况下，停止采集第一环境视频。
19.通过上述方式，能够基于家电设备的工作状态实现对图像采集的自动控制，无需用户手动操作，提高了家电设备的智能性。
20.在上述任一技术方案中，根据多帧环境图像，确定目标亮度，包括：根据多帧环境图像和亮度预测模型，确定目标亮度。
21.在该技术方案中，根据多帧环境图像，经过亮度预测模型来对最终的目标亮度进行输出。具体地，亮度预测模型能够基于多帧环境图像识别出家电设备所在环境的环境亮度，进而确定与环境亮度对应的目标亮度，进行最终输出。
22.本发明的技术方案中，利用预先训练得到的亮度预测模型，从输入直接得到最后的目标亮度输出，提高了目标亮度获取的速度和准确性。
23.在上述任一技术方案中，根据多帧环境图像和亮度预测模型，确定目标亮度，包括：对多帧环境图像进行卷积处理，提取图像特征；将图像特征转换为目标向量；将目标向量输入至亮度预测模型，输出目标亮度。
24.在该技术方案中，对多帧环境图像经过不断地卷积处理来提取图像特征，其中图像特征包括形状、纹理、颜色、亮度等特征。
25.再经过重塑函数(reshape)或全局池化(global pooling)的方式将提取出的图像特征拉伸为一维向量(也即目标向量)，最后再经过亮度预测模型对最终的目标亮度进行输出。
26.需要说明的是，由于是多输入的检测模型架构，所以对于其多输入图像的卷积处理可以采用二维(2d)卷积或三维(3d)卷积的处理方案。
27.通过上述方式，先对多帧环境图像依次进行卷积处理、向量转换处理，得到一维向量，实现端到端的框架，也即亮度预测模型的输入到输出，从而直接得到最后的目标亮度，提高了目标亮度获取的速度和准确性。
28.在上述任一技术方案中，对多帧环境图像进行卷积处理，提取图像特征，包括：对多帧环境图像进行图像拼接处理，生成目标图像；对目标图像进行二维卷积处理，提取图像特征。
29.在该技术方案中，对多帧环境图像直接进行channel维度上的图像拼接，例如，如果输入的图像大小为w
×h×
3，其中w表示图像的宽、h表示图像的高、3表示图像采集装置的rgb三通道，则n张图像拼接以后即变成w
×h×3×
n的目标图像，然后再对这个目标图像进行2d卷积处理，从而实现提取图像特征的目的。
30.需要说明的是，多帧环境图像包括可见光图像和不同光谱的图像，2d卷积处理的输入为图像的宽w和高h。
31.通过上述方式，实现利用2d卷积的处理方案来提取图像特征，2d卷积处理方法更加简单，容易部署至家电设备，提高家电设备的处理速度。
32.在上述任一技术方案中，对多帧环境图像进行卷积处理，提取图像特征，包括：分别对多帧环境图像进行二维卷积处理，提取多个子图像特征；对多个子图像特征进行特征拼接处理，得到图像特征。
33.在该技术方案中，将多帧环境图像分别经过2d卷积处理，不断提取每帧图像的子图像特征，然后再将多个子图像特征进行channel维度上的特征拼接，得到图像特征。
34.需要说明的是，2d卷积处理的输入为图像的宽w和高h。
35.通过上述方式，实现利用2d卷积的处理方案来提取图像特征，2d卷积处理方法更加简单，容易部署至家电设备，提高家电设备的处理速度。
36.在上述任一技术方案中，对多帧环境图像进行卷积处理，提取图像特征，包括：对多帧环境图像进行三维卷积处理，提取图像特征。
37.在该技术方案中，将多帧环境图像作为一个整体，采用3d卷积处理不断提取图像特征。
38.需要说明的是，3d卷积处理的输入为图像的宽w、高h以及图像的采集时间。
39.通过上述方式，实现利用3d卷积的处理方案来提取图像特征，3d卷积处理方法更加准确，使得目标亮度的获取更加精准。
40.在上述任一技术方案中，该方法还包括：采集第二环境视频；按照预设时间间隔，在第二环境视频中获取至少一组采样图像；根据至少一组采样图像，建立亮度预测模型。
41.在该技术方案中，预先获取第二环境视频，并以预设时间间隔获取第二环境视频中的至少一组采样图像，也即得到模型训练的样本集合，再将模型训练的样本集合输入到网络中进行训练，得到亮度预测模型。
42.通过上述方式，建立精准的亮度预测模型，从而实现对家电设备的照明装置的目标亮度的精准控制。
43.在上述任一技术方案中，根据至少一组采样图像，建立亮度预测模型，包括：获取至少一组采样图像的亮度标注信息；根据至少一组采样图像和对应的亮度标注信息，建立亮度预测模型。
44.在该技术方案中，假设家电设备的照明装置的灯光分n种不同的亮度等级，这些亮度等级将作为图像的最后分类输出。
45.对上述得到的模型训练的样本集合进行亮度标注，得到亮度标注信息，基于至少一组采样图像以及对应的亮度标注信息进行模型训练，得到亮度预测模型。
46.示例性地，当家电设备为油烟机时，录制一系列不同环境下的油烟机下的灶台场景视频，按照预设时间间隔随机抽取采样图像组，例如1秒钟取4帧图像，每一组的图像数量是相同的，也就是时间间隔跨度是相同的。
47.进行人工标注，也就是根据经验人工判断不同环境下的采样图像组的油烟机亮度等级。这样每个采样图像组都会对应着一个亮度等级，由此就构成了模型训练的样本集合。然后，随机打乱，抽取一个批次的图像组输入到网络中进行训练，训练的输出目标损失函数就是交叉熵损失，也就是网络的输出亮度等级和人工标注亮度等级(也即亮度标注信息)的交叉熵，根据目标损失函数训练整个模型，使得模型最后的目标损失函数达到理想的阈值或指定轮次，最后将模型保存。
48.通过上述方式，建立精准的亮度预测模型，从而实现对家电设备的照明装置的目
标亮度的精准控制。
49.根据本发明的另一个方面，提出了一种家电设备的控制装置，包括：获取模块，用于获取多帧环境图像；确定模块，用于根据多帧环境图像，确定目标亮度；控制模块，用于根据目标亮度，控制家电设备的照明装置工作。
50.在该技术方案中，家电设备上安装有照明装置，该照明装置能够提供灯光，以照亮家电设备周围的环境。该家电设备上还安装有图像采集装置，该图像采集装置能够采集多帧的环境图像，或者家电设备上安装有通信装置，能够接收外部图像采集装置提供的多帧的环境图像。
51.基于获取到的多帧环境图像，确定家电设备所在环境的环境亮度，进而对应得到对照明装置进行控制的目标亮度。进一步地，控制照明装置将灯光亮度调节到该目标亮度，以适应家电设备所在环境的环境亮度。
52.本发明实施例，一方面，能够控制家电设备的照明装置提供较合适的亮度，方便用户对家电设备的使用，提高使用效果；另一方面，将采用多帧的图像进行统计识别，克服了相关技术中依靠单帧图像进行识别的不稳定性，对当前环境亮度的判断更加准确。
53.根据本发明的再一个方面，提出了一种家电设备，包括：照明装置；存储器，存储有程序或指令；处理器，处理器执行程序或指令时实现如上述任一技术方案的家电设备的控制方法的步骤。
54.本发明提供的家电设备包括照明装置、存储器以及处理器，程序或指令被处理器执行时实现如上述任一技术方案的家电设备的控制方法的步骤，因此该家电设备包括上述任一技术方案的家电设备的控制方法的全部有益效果。
55.根据本发明的又一个方面，提出了一种可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现如上述任一技术方案的家电设备的控制方法的步骤。
56.本发明提供的可读存储介质，程序或指令被处理器执行时实现如上述任一技术方案的家电设备的控制方法的步骤，因此该可读存储介质包括上述任一技术方案的家电设备的控制方法的全部有益效果。
57.本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
58.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
59.图1示出了本发明实施例的家电设备的控制方法的流程示意图之一；
60.图2示出了本发明实施例的油烟机的结构示意图；
61.图3示出了本发明实施例的确定多帧图像的示意图；
62.图4示出了本发明实施例的家电设备的控制方法的流程示意图之二；
63.图5示出了本发明实施例的目标亮度的确定方法的示意图；
64.图6示出了本发明实施例的2d卷积处理方案的逻辑示意图之一；
65.图7示出了本发明实施例的2d卷积处理方案的逻辑示意图之二；
66.图8示出了本发明实施例的3d卷积处理方案的逻辑示意图；
67.图9示出了本发明实施例的油烟机的控制方法的流程示意图；
68.图10示出了本发明实施例的家电设备的控制装置的示意框图；
69.图11示出了本发明实施例的家电设备的示意框图；
70.图12示出了本发明实施例的家电设备的示意框图。
71.其中，图2中附图标记与部件名称之间的对应关系为：
72.200油烟机，202led灯，204摄像头。
具体实施方式
73.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
74.需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
75.另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
76.在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
77.另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
78.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的家电设备的控制方法、家电设备的控制装置、家电设备和可读存储介质进行详细地说明。
79.实施例一
80.本发明实施例，提出一种家电设备的控制方法，图1示出了本发明实施例的家电设备的控制方法的流程示意图之一。其中，该方法包括：
81.步骤102，采集多帧环境图像；
82.步骤104，基于多帧环境图像，预测目标亮度；
83.步骤106，控制家电设备的照明装置，按照目标亮度工作。
84.在该技术方案中，家电设备上安装有照明装置，该照明装置能够提供灯光，以照亮家电设备周围的环境。该家电设备上还安装有图像采集装置，该图像采集装置能够采集多帧的环境图像，或者家电设备上安装有通信装置，能够接收外部图像采集装置提供的多帧的环境图像。
85.基于获取到的多帧环境图像，确定家电设备所在环境的环境亮度，进而对应得到对照明装置进行控制的目标亮度。进一步地，控制照明装置将灯光亮度调节到该目标亮度，以适应家电设备所在环境的环境亮度。
86.需要说明的是，家电设备包括油烟机、冰箱、电磁炉等具有照明装置的设备，照明装置包括led(light emitting diode，发光二极管)灯、白炽灯等。
87.示例性地，当家电设备为油烟机时，如图2所示，油烟机200上安装有led灯202和摄像头204，led灯202的亮度分为高、中、低这三个亮度等级。通过摄像头204采集油烟机的多帧环境图像，利用多帧环境图像确定当前环境亮度较暗(例如当前天气为雨天)，进而确定led灯202的亮度等级应该为高，从而将led灯202调整到最高亮度，使得用户能够看清楚食材的烹饪熟度，避免环境亮度过低而导致用眼疲劳。
88.本发明实施例，一方面，能够控制家电设备的照明装置提供较合适的亮度，方便用户对家电设备的使用，提高使用效果；另一方面，将采用多帧的图像进行统计识别，克服了相关技术中依靠单帧图像进行识别的不稳定性，对当前环境亮度的判断更加准确。
89.实施例二
90.本发明实施例，采集多帧环境图像的步骤，具体包括：获取第一环境视频；在第一环境视频中，以预设时间间隔依次获取多帧环境图像。
91.相关技术中利用单帧图像进行环境亮度的识别，很容易由于检测的误差导致识别的错误。与相关技术不同，本发明的技术方案中，需要一次处理多帧图像，如图3所示，这多帧图像是从图像采集装置采集的连续的视频帧(也即第一环境视频)中按照预设时间间隔进行间隔抽取。
92.通过利用多帧图像进行环境亮度的识别，相比于单帧图像的方法更加鲁棒和准确，从而确保对照明装置亮度调节的准确性。
93.实施例三
94.本发明实施例，获取第一环境视频的步骤，具体包括：检测家电设备当前的工作状态；在该家电设备正在工作的情况下，获取第一环境视频。
95.在该技术方案中，判断家电设备是否正在工作，在该家电设备正在工作的情况下，采集第一环境视频，在该家电设备未工作的情况下，停止采集第一环境视频。
96.通过上述方式，能够基于家电设备的工作状态实现对图像采集的自动控制，无需用户手动操作，提高了家电设备的智能性。
97.实施例四
98.本发明实施例，基于多帧环境图像，预测目标亮度的步骤，具体包括：基于多帧环境图像以及预先建立的亮度预测模型，预测目标亮度。
99.在该技术方案中，根据多帧环境图像，经过亮度预测模型来对最终的目标亮度进行输出。具体地，亮度预测模型能够基于多帧环境图像识别出家电设备所在环境的环境亮度，进而确定与环境亮度对应的目标亮度，进行最终输出。
100.本发明的技术方案中，利用预先训练得到的亮度预测模型，从输入直接得到最后的目标亮度输出，提高了目标亮度获取的速度和准确性。
101.实施例五
102.本发明实施例，图4示出了本发明实施例的家电设备的控制方法的流程示意图之
二。其中，该方法包括：
103.步骤402，采集多帧环境图像；
104.步骤404，对多帧环境图像进行卷积处理，提取出多帧环境图像的图像特征；
105.步骤406，对提取出的图像特征进行向量转换，生成目标向量；
106.步骤408，将目标向量输入至亮度预测模型，从而输出目标亮度；
107.步骤410，控制家电设备的照明装置，按照目标亮度工作。
108.根据多帧环境图像和亮度预测模型，确定目标亮度，包括：对多帧环境图像进行卷积处理，提取图像特征；将图像特征转换为目标向量；将目标向量输入至亮度预测模型，输出目标亮度。
109.在该技术方案中，如图5所示，目标亮度的确定方法包括图像输入、cnn(convolutional neural network，卷积神经网络)特征提取、softmax分类、目标亮度输出。
110.具体地，对多帧环境图像经过不断地卷积处理来提取图像特征，其中图像特征包括形状、纹理、颜色、亮度等特征。
111.再经过重塑函数(reshape)或全局池化(global pooling)的方式将提取出的图像特征拉伸为一维向量(也即目标向量)，最后再经过亮度预测模型(softmax)对最终的目标亮度进行输出。
112.需要说明的是，由于是多输入的检测模型架构，所以对于其多输入图像的卷积处理可以采用二维(2d)卷积或三维(3d)卷积的处理方案。
113.通过上述方式，先对多帧环境图像依次进行卷积处理、向量转换处理，得到一维向量，实现端到端的框架，也即亮度预测模型的输入到输出，从而直接得到最后的目标亮度，提高了目标亮度获取的速度和准确性。
114.实施例六
115.本发明实施例，对多帧环境图像进行卷积处理，提取出多帧环境图像的图像特征的步骤，具体包括：将多帧环境图像进行图像拼接处理，得到目标图像，再对该目标图像进行2d卷积处理，提取出最终的图像特征。
116.在该技术方案中，如图6所示，对多帧环境图像直接进行channel维度上的图像拼接，例如，如果输入的图像大小为w
×h×
3，其中w表示图像的宽、h表示图像的高、3表示图像采集装置的rgb三通道，则n张图像拼接以后即变成w
×h×3×
n的目标图像，然后再对这个目标图像进行2d卷积处理，从而实现提取图像特征的目的。
117.再经过重塑函数(reshape)或全局池化(global pooling)的方式将提取出的图像特征拉伸为一维向量(也即目标向量)，最后再经过亮度预测模型(softmax)对最终的目标亮度进行输出。
118.需要说明的是，多帧环境图像包括可见光图像和不同光谱的图像，2d卷积处理的输入为图像的宽w和高h。
119.通过上述方式，实现利用2d卷积的处理方案来提取图像特征，2d卷积处理方法更加简单，容易部署至家电设备，提高家电设备的处理速度。
120.实施例七
121.本发明实施例，对多帧环境图像进行卷积处理，提取出多帧环境图像的图像特征的步骤，具体包括：分别对多帧环境图像进行2d卷积处理，提取每帧环境图像的子图像特
征，从而得到多个子图像特征；对多个子图像特征进行特征拼接处理，生成图像特征。
122.在该技术方案中，如图7所示，将多帧环境图像分别经过2d卷积处理，不断提取每帧图像的子图像特征，然后再将多个子图像特征进行channel维度上的特征拼接，得到图像特征。
123.再经过重塑函数(reshape)或全局池化(global pooling)的方式将提取出的图像特征拉伸为一维向量(也即目标向量)，最后再经过亮度预测模型(softmax)对最终的目标亮度进行输出。
124.需要说明的是，2d卷积处理的输入为图像的宽w和高h。
125.通过上述方式，实现利用2d卷积的处理方案来提取图像特征，2d卷积处理方法更加简单，容易部署至家电设备，提高家电设备的处理速度。
126.实施例八
127.本发明实施例，对多帧环境图像进行卷积处理，提取出多帧环境图像的图像特征的步骤，具体包括：对多帧环境图像进行3d卷积处理，提取多帧环境图像的图像特征。
128.在该技术方案中，如图8所示，将多帧环境图像作为一个整体，采用3d卷积处理不断提取图像特征。
129.再经过重塑函数(reshape)或全局池化(global pooling)的方式将提取出的图像特征拉伸为一维向量(也即目标向量)，最后再经过亮度预测模型(softmax)对最终的目标亮度进行输出。
130.需要说明的是，3d卷积处理的输入为图像的宽w、高h以及图像的采集时间。
131.通过上述方式，实现利用3d卷积的处理方案来提取图像特征，3d卷积处理方法更加准确，使得目标亮度的获取更加精准。
132.需要说明的是，基于上述实施例六、实施例七和实施例八，本发明实施例采用了不同的处理方式来对一组图像进行融合，形成一套完整快速的端到端检测框架，比相关技术中的检测方法更加准确，从而提高了家电设备的功能判断，提供给用户更精准的判断和体验。
133.实施例九
134.本发明实施例，该方法还包括：采集第二环境视频；按照预设时间间隔，在第二环境视频中获取至少一组采样图像；根据至少一组采样图像，建立亮度预测模型。
135.在该技术方案中，预先获取第二环境视频，并以预设时间间隔获取第二环境视频中的至少一组采样图像，也即得到模型训练的样本集合，再将模型训练的样本集合输入到网络中进行训练，得到亮度预测模型。
136.通过上述方式，建立精准的亮度预测模型，从而实现对家电设备的照明装置的目标亮度的精准控制。
137.实施例十
138.本发明实施例，根据至少一组采样图像，建立亮度预测模型，包括：获取至少一组采样图像的亮度标注信息；根据至少一组采样图像和对应的亮度标注信息，建立亮度预测模型。
139.在该技术方案中，假设家电设备的照明装置的灯光分n种不同的亮度等级，这些亮度等级将作为图像的最后分类输出。
140.对上述得到的模型训练的样本集合进行亮度标注，得到亮度标注信息，基于至少一组采样图像以及对应的亮度标注信息进行模型训练，得到亮度预测模型。
141.示例性地，当家电设备为油烟机时，录制一系列不同环境下的油烟机下的灶台场景视频，按照预设时间间隔随机抽取采样图像组，例如1秒钟取4帧图像，每一组的图像数量是相同的，也就是时间间隔跨度是相同的。
142.进行人工标注，也就是根据经验人工判断不同环境下的采样图像组的油烟机亮度等级。这样每个采样图像组都会对应着一个亮度等级，由此就构成了模型训练的样本集合。然后，随机打乱，抽取一个批次的图像组输入到网络中进行训练，训练的输出目标损失函数就是交叉熵损失，也就是网络的输出亮度等级和人工标注亮度等级(也即亮度标注信息)的交叉熵，根据目标损失函数训练整个模型，使得模型最后的目标损失函数达到理想的阈值或指定轮次，最后将模型保存。
143.通过上述方式，建立精准的亮度预测模型，从而实现对家电设备的照明装置的目标亮度的精准控制。
144.实施例十一
145.本发明实施例，家电设备为油烟机，如图9所示，油烟机的控制方法包括：
146.步骤902，打开油烟机的灶台开关，加载亮度预测模型，并初始化摄像头，启动拍照模式，得到视频；
147.步骤904，按照与训练亮度预测模型的时间间隔相同的时间间隔，在视频中选取图像组；
148.步骤906，将该图像组作为输入，输入到亮度预测模型中；
149.步骤908，根据亮度预测模型的输出类别，发送灯光的亮度调节指令；
150.步骤910，根据亮度调节指令调节油烟机的灯光亮度；
151.步骤912，判断灶台是否关火，如果没有关火，则返回步骤904，如果关火，则进入步骤914；
152.步骤914，关掉摄像头并释放亮度预测模型。
153.本方案要解决了复杂烹饪场景下的烟机光亮自动调节方法，我们没有利用单张图片来判断光亮等级，避免了其判断的不稳定性或错误。利用几张图片能使得网络更加稳定和准确。将深度学习和本场景有机地结合在一起，可以达到精准控制灯光亮度和不断循环迭代优化策略，并给出了一套完整的决策控制流程。
154.实施例十二
155.本发明实施例，提出了一种家电设备的控制装置，图10示出了本发明实施例的家电设备的控制装置1000的示意框图，该家电设备的控制装置1000包括获取模块1002、确定模块1004和控制模块1006。
156.其中，获取模块1002能够采集多帧环境图像，确定模块1004能够基于多帧环境图像，预测目标亮度，控制模块1006能够根据目标亮度，控制家电设备的照明装置工作。
157.在该技术方案中，家电设备上安装有照明装置，该照明装置能够提供灯光，以照亮家电设备周围的环境。该家电设备上还安装有图像采集装置，该图像采集装置能够采集多帧的环境图像，或者家电设备上安装有通信装置，能够接收外部图像采集装置提供的多帧的环境图像。
158.基于获取到的多帧环境图像，确定家电设备所在环境的环境亮度，进而对应得到对照明装置进行控制的目标亮度。进一步地，控制照明装置将灯光亮度调节到该目标亮度，以适应家电设备所在环境的环境亮度。
159.本发明实施例，一方面，能够控制家电设备的照明装置提供较合适的亮度，方便用户对家电设备的使用，提高使用效果；另一方面，将采用多帧的图像进行统计识别，克服了相关技术中依靠单帧图像进行识别的不稳定性，对当前环境亮度的判断更加准确。
160.在该实施例中，获取模块1002，具体用于一次处理多帧图像，这多帧图像是从图像采集装置采集的连续的视频帧(也即第一环境视频)中按照预设时间间隔进行间隔抽取。通过利用多帧图像进行环境亮度的识别，相比于单帧图像的方法更加鲁棒和准确，从而确保对照明装置亮度调节的准确性。
161.在该实施例中，获取模块1002，具体用于判断家电设备是否正在工作，在该家电设备正在工作的情况下，采集第一环境视频，在该家电设备未工作的情况下，停止采集第一环境视频。通过上述方式，能够基于家电设备的工作状态实现对图像采集的自动控制，无需用户手动操作，提高了家电设备的智能性。
162.在该实施例中，确定模块1004，具体用于根据多帧环境图像，经过亮度预测模型来对最终的目标亮度进行输出。具体地，亮度预测模型能够基于多帧环境图像识别出家电设备所在环境的环境亮度，进而确定与环境亮度对应的目标亮度，进行最终输出。本发明的技术方案中，利用预先训练得到的亮度预测模型，从输入直接得到最后的目标亮度输出，提高了目标亮度获取的速度和准确性。
163.在该实施例中，确定模块1004，具体用于对多帧环境图像经过不断地卷积处理来提取图像特征，其中图像特征包括形状、纹理、颜色、亮度等特征。再经过重塑函数(reshape)或全局池化(global pooling)的方式将提取出的图像特征拉伸为一维向量(也即目标向量)，最后再经过亮度预测模型对最终的目标亮度进行输出。通过上述方式，先对多帧环境图像依次进行卷积处理、向量转换处理，得到一维向量，实现端到端的框架，也即亮度预测模型的输入到输出，从而直接得到最后的目标亮度，提高了目标亮度获取的速度和准确性。
164.在该实施例中，确定模块1004，具体用于对多帧环境图像直接进行channel维度上的图像拼接得到目标图像，然后再对这个目标图像进行2d卷积处理，从而实现提取图像特征的目的。
165.在该实施例中，确定模块1004，具体用于将多帧环境图像分别经过2d卷积处理，不断提取每帧图像的子图像特征，然后再将多个子图像特征进行channel维度上的特征拼接，得到图像特征。
166.在该实施例中，确定模块1004，具体用于将多帧环境图像作为一个整体，采用3d卷积处理不断提取图像特征。
167.在该实施例中，该家电设备的控制装置1000还包括：模型建立模块，用于预先获取第二环境视频，并以预设时间间隔获取第二环境视频中的至少一组采样图像，也即得到模型训练的样本集合，再将模型训练的样本集合输入到网络中进行训练，得到亮度预测模型。
168.在该实施例中，模型建立模块，用于对上述得到的模型训练的样本集合进行亮度标注，得到亮度标注信息，基于至少一组采样图像以及对应的亮度标注信息进行模型训练，
得到亮度预测模型。
169.实施例十三
170.本发明实施例，提出了一种家电设备，图11示出了本发明实施例的家电设备1100的示意框图，该家电设备1100包括照明装置1102、存储器1104以及处理器1106。
171.其中，存储器1104存储有程序或指令，处理器1106执行程序或指令时实现如上述任一技术方案的家电设备的控制方法的步骤。存储器1104和处理器1106可以通过总线或者其它方式连接。处理器1106可包括一个或多个处理单元，处理器1106可以为中央处理器(central processing unit，cpu)、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)等芯片。
172.本发明提供的家电设备1100包括照明装置1102、存储器1104以及处理器1106，程序或指令被处理器1106执行时实现如上述任一技术方案的家电设备的控制方法的步骤，因此该家电设备1100包括上述任一技术方案的家电设备的控制方法的全部有益效果。
173.在上述技术方案中，该家电设备1100还包括：图像采集装置，用于采集第一环境视频。
174.在该技术方案中，该家电设备还包括图像采集装置，能够拍摄第一环境视频，从而得到多帧图像，这多帧图像是从图像采集装置采集的连续的视频帧(也即第一环境视频)中按照预设时间间隔进行间隔抽取。
175.实施例十四
176.本发明实施例，提出了一种家电设备，图12示出了本发明实施例的家电设备1200的示意框图，该家电设备1200包括照明装置1202以及如上述实施例的家电设备的控制装置1000。
177.本发明提供的家电设备1200包括照明装置1202和如上述技术方案的家电设备的控制装置1000，因此该家电设备1200包括上述任一技术方案的家电设备的控制装置的全部有益效果。
178.在上述技术方案中，该家电设备还包括：图像采集装置，用于采集第一环境视频。
179.在该技术方案中，该家电设备1200还包括图像采集装置，能够拍摄第一环境视频，从而得到多帧图像，这多帧图像是从图像采集装置采集的连续的视频帧(也即第一环境视频)中按照预设时间间隔进行间隔抽取。
180.实施例十五
181.本发明实施例，提出了一种可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现如上述任一技术方案的家电设备的控制方法的步骤。
182.其中，可读存储介质包括只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等。
183.本发明提供的可读存储介质，程序或指令被处理器执行时实现如上述任一技术方案的家电设备的控制方法的步骤，因此该可读存储介质包括上述任一技术方案的家电设备的控制方法的全部有益效果。
184.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修
改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种家电设备的控制方法，其特征在于，包括：获取多帧环境图像；根据所述多帧环境图像，确定目标亮度；根据所述目标亮度，控制所述家电设备的照明装置工作。2.根据权利要求1所述的方法，其特征在于，所述获取多帧环境图像，包括：采集第一环境视频；按照预设时间间隔，在所述第一环境视频中获取多帧环境图像。3.根据权利要求2所述的方法，其特征在于，所述采集第一环境视频，包括：获取所述家电设备的工作状态；基于所述家电设备工作，采集所述第一环境视频。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述多帧环境图像，确定目标亮度，包括：对所述多帧环境图像进行卷积处理，提取图像特征；将所述图像特征转换为目标向量；将所述目标向量输入至亮度预测模型，输出所述目标亮度。5.根据权利要求4所述的方法，其特征在于，所述对所述多帧环境图像进行卷积处理，提取图像特征，包括：对所述多帧环境图像进行图像拼接处理，生成目标图像；对所述目标图像进行二维卷积处理，提取所述图像特征。6.根据权利要求4所述的方法，其特征在于，所述对所述多帧环境图像进行卷积处理，提取图像特征，包括：分别对所述多帧环境图像进行二维卷积处理，提取多个子图像特征；对所述多个子图像特征进行特征拼接处理，得到所述图像特征。7.根据权利要求4所述的方法，其特征在于，所述对所述多帧环境图像进行卷积处理，提取图像特征，包括：对所述多帧环境图像进行三维卷积处理，提取所述图像特征。8.根据权利要求4所述的方法，其特征在于，还包括：采集第二环境视频；按照预设时间间隔，在所述第二环境视频中获取至少一组采样图像；根据所述至少一组采样图像，建立所述亮度预测模型。9.根据权利要求8所述的方法，其特征在于，所述根据所述至少一组采样图像，建立所述亮度预测模型，包括：获取所述至少一组采样图像的亮度标注信息；根据所述至少一组采样图像和对应的所述亮度标注信息，建立所述亮度预测模型。10.一种家电设备的控制装置，其特征在于，包括：获取模块，用于获取多帧环境图像；确定模块，用于根据所述多帧环境图像，确定目标亮度；控制模块，用于根据所述目标亮度，控制所述家电设备的照明装置工作。11.一种家电设备，其特征在于，包括：
照明装置；存储器，存储有程序或指令；处理器，所述处理器执行所述程序或指令时实现如权利要求1至9中任一项所述的家电设备的控制方法的步骤。12.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至9中任一项所述的家电设备的控制方法的步骤。

技术总结
本发明提出了一种家电设备的控制方法、装置、家电设备和可读存储介质，其中，该家电设备的控制方法包括：获取多帧环境图像；根据多帧环境图像，确定目标亮度；根据目标亮度，控制家电设备的照明装置工作。本发明实施例，一方面，能够控制家电设备的照明装置提供较合适的亮度，方便用户对家电设备的使用，提高使用效果；另一方面，将采用多帧的图像进行统计识别，克服了相关技术中依靠单帧图像进行识别的不稳定性，对当前环境亮度的判断更加准确。对当前环境亮度的判断更加准确。对当前环境亮度的判断更加准确。


技术研发人员：陈磊 陈蔚 魏中科 张力潇
受保护的技术使用者：芜湖美的厨卫电器制造有限公司
技术研发日：2022.02.11
技术公布日：2023/8/23