基于计算机视觉的烹饪油烟空气污染特征表征方法及系统

1.本发明涉及计算机视觉识别技术领域，尤其涉及基于计算机视觉的烹饪油烟空气污染特征表征方法及系统。


背景技术：

2.高温烹饪会产生大量危险性空气污染物，包括多种国际癌症组织认定的致癌因子，我国居民家庭高温烹饪普遍，相关室内空气污染严重，据初步估算，对于我国非抽烟城市家庭，烹饪源和大气污染源对人群细颗粒物总暴露量的贡献相当，因此表征烹饪油烟空气污染特征对进一步改善我国室内空气质量、保障人们健康具有重要的现实意义，烹饪油烟造成的室内空气污染水平会很大程度上受到烹饪方式、时间、抽油烟机工作状态和通风情况的影响；例如，一般情况下煎和炒等烹饪方式会比炸和炖产生更多的空气污染物，通风较好的厨房烹饪产生的空气污染水平相对较低，另外，上述信息会因外界环境变化而发生较大改变，并且在不同住户和餐厅的厨房差别较大，因此，需要长期准确地记录空气污染水平和上述相关信息才能更准确地表征烹饪油烟空气污染特征；而目前常用的表征方法是基于短期的入户测试，专业技术人员使用较为高端昂贵的设备测量烹饪期间的空气污染水平，不记录相关烹饪信息如烹饪时间和烹饪方式、抽油烟机工作状态、建筑内通风情况等，或者依赖工作人员和受试者记录上述信息，该方法极大地依赖人力资源，成本较高，难以实现在多环境中长期测量空气污染水平和烹饪相关信息。


技术实现要素：

3.为了解决上述技术问题，本发明的目的是提供基于计算机视觉的烹饪油烟空气污染特征表征方法及系统，通过基于运动增强注意力机制的跨模态融合方法和基于烹饪多周期性的二维时序模型提高预测烹饪的室内空气颗粒物污染水平。
4.本发明所采用的第一技术方案是：基于计算机视觉的烹饪油烟空气污染特征表征方法，包括以下步骤：
5.获取烹饪画面视频信息并进行数据预处理，得到预处理后的烹饪信息；
6.基于运动增强注意力机制的跨模态融合方法对预处理后的烹饪信息进行融合处理，得到烹饪特征信息；
7.构建基于烹饪多周期性的二维时序模型并对烹饪特征信息进行预测，得到烹饪室内空气颗粒物污染水平。
8.进一步，所述获取烹饪画面视频信息并进行数据预处理，得到预处理后的烹饪信息这一步骤，其具体包括：
9.通过摄像头模块及环境监测仪获取厨房的烹饪画面视频信息；
10.基于python对厨房的烹饪画面视频信息进行拆分处理，得到对应的音频信息与视频信息；
11.基于ffmpeg对音频信息进行拆解处理，得到对应的响度信息与文本信息；
12.整合文本信息和视频信息，构建预处理后的烹饪信息。
13.进一步，还包括通过智能电表获取厨房烹饪时抽烟油机的工作电流信息，根据抽烟油机的工作电流信息判断油烟机的工作状态，进而判断厨房烹饪时产生的污染物水平。
14.进一步，所述基于运动增强注意力机制的跨模态融合方法对预处理后的烹饪信息进行融合处理，得到烹饪特征信息这一步骤，其具体包括：
15.基于文本信息特征提取器，对预处理后的烹饪信息中的文本信息进行特征提取处理，得到语言文本特征信息；
16.引入运动注意力机制，构建cooking-transformer模块对预处理后的烹饪信息中的视频信息进行特征提取处理，得到视频特征信息；
17.将语言文本特征信息与视频特征信息进行融合处理，得到烹饪特征信息。
18.进一步，所述基于文本信息特征提取器，对预处理后的烹饪信息中的文本信息进行特征提取处理，得到语言文本特征信息这一步骤，其具体包括：
19.将预处理后的烹饪信息中的文本信息输入至文本信息特征提取器，所述文本信息特征提取器包括自注意力模块和多头注意力模块；
20.基于自注意力模块，对输入的文本信息之间的单词相关性进行赋予得分并根据得分结果进行加权平均计算，得到文本信息之间单词的上下文相关表示；
21.基于多头注意力模块，获取文本信息之间单词的上下文相关表示的不同维度上的信息，构建语言文本特征信息。
22.进一步，所述引入运动注意力机制，构建cooking-transformer模块对预处理后的烹饪信息中的视频信息进行特征提取处理，得到视频特征信息这一步骤，其具体包括：
23.将预处理后的烹饪信息中的视频信息输入至cooking-transformer模块；
24.对预处理后的烹饪信息中的视频信息的每个帧划分为非重叠的补丁；
25.将非重叠的补丁进行组合，得到视频帧块；
26.基于空间注意力模块对视频帧块进行空间维度提取处理，得到对应的空间维度对象动作；
27.基于时间注意力模块对视频帧块进行时间维度提取处理，得到对应的时间维度对象动作；
28.基于i3d与cnn融合网络对空间维度对象动作与时间维度对象动作进行融合处理，得到视频特征信息。
29.进一步，所述构建基于烹饪多周期性的二维时序模型并对烹饪特征信息进行预测，得到烹饪室内空气颗粒物污染水平这一步骤，其具体包括：
30.对烹饪特征信息依次进行清洗、数据规整和数据集划分处理，得到一维烹饪特征信息；
31.将一维烹饪特征信息输入至基于烹饪多周期性的二维时序模型；
32.通过快速傅立叶变换计算一维烹饪特征信息的周期性；
33.基于一维烹饪特征信息的周期性对烹饪特征信息的原始时间序列进行折叠，将时序特征由一维转换为二维张量，得到特征矩阵；
34.通过卷积层对特征矩阵进行二维卷积特征提取处理，得到二维时序特征；
35.将二维时序特征进行降维处理，得到一维表征频率强度信息；
36.对一维表征频率强度信息进行加权求和，得到烹饪室内空气颗粒物污染水平。
37.进一步，所述通过快速傅立叶变换计算一维烹饪特征信息的周期性的表达式具体如下所示：
38.a＝avg(amp(fft(x
1d
)))
39.上式中，x
1d
表示烹饪特征信息的一维时间序列，fft(
·
)表示快速傅立叶变换，a表示一维烹饪特征信息的周期性，amp(
·
)表示函数获取频域信号中每个复值元素的绝对值，即提供了每个频率分量的幅度，avg(
·
)表示函数计算获得的所有振幅的平均值。
40.进一步，还包括对烹饪特征信息进行预测的过程结合厨房的烹饪画面视频信息的响度信息。
41.本发明所采用的第二技术方案是：基于计算机视觉的烹饪油烟空气污染特征表征系统，包括：
42.获取模块，用于获取烹饪画面视频信息并进行数据预处理，得到预处理后的烹饪信息；
43.融合模块，基于运动增强注意力机制的跨模态融合方法对预处理后的烹饪信息进行融合处理，得到烹饪特征信息；
44.预测模块，用于构建基于烹饪多周期性的二维时序模型并对烹饪特征信息进行预测，得到烹饪室内空气颗粒物污染水平。
45.本发明方法及系统的有益效果是：本发明通过获取烹饪画面视频信息，提取烹饪时间和方式，并基于运动增强注意力机制的跨模态融合方法对烹饪画面视频信息进行处理，引入运动注意力机制构建cooking-transformer模块，在注意力模块考虑来自不同帧的相邻补丁，捕捉相对的补丁运动，进一步提高特征提取的性能，还包括记录抽烟油机的工作电流，电流信息主要是获取油烟机工作状态，电流越大油烟机功率越高，近似认为污染物水平更低，进一步建立了基于烹饪多周期性构建的二维时序模型，将烹饪的一维时序数据扩展到了二维空间进行分析，可以充分利用数据的周期性特征，提高预测烹饪的室内空气颗粒物污染水平。
附图说明
46.图1是本发明基于计算机视觉的烹饪油烟空气污染特征表征方法的步骤流程图；
47.图2是本发明基于计算机视觉的烹饪油烟空气污染特征表征系统的结构框图；
48.图3是本发明具体实施例烹饪油烟空气污染特征表征方法的步骤流程示意图；
49.图4是本发明具体实施例基于cooking-transformer模块处理的流程示意图；
50.图5是本发明厨房传感器网络组建的装置结构示意图；
51.图6是应用本发明方法进行模拟仿真实验的结果数据示意图；
52.附图标记：1、网络摄像头；2、环境监测仪；3、抽油烟机工作电流传感器。
具体实施方式
53.下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
54.参照图1和图3，本发明提供了基于计算机视觉的烹饪油烟空气污染特征表征方法，该方法包括以下步骤：
55.s1、获取烹饪画面视频信息并进行数据预处理，得到预处理后的烹饪信息；
56.s11、传感器遴选；
57.具体地，通过前期调研本发明遴选出具有优良性能的颗粒物传感器、二氧化碳传感器、温湿度传感器、抽油烟机工作电流传感器、网络摄像头，以及相应供电、数据存储和传输模块。
58.s12、传感器网络组建；
59.具体地，参照图5，网络摄像头安装在厨房灶台周围，要求能清晰地拍摄灶台上的烹饪画面，环境监测仪内置颗粒物传感器、二氧化碳传感器、温湿度传感器，以及相应供电、数据存储和传输模块，放置在厨房，要求离灶台和各墙壁1米以上，抽油烟机工作电流传感器连接抽油烟机，测量并记录抽烟油机的工作电流，设备不间断工作，数据通过无线网络传输到云端储存，其中，电流信息主要是获取油烟机工作状态，电流越大油烟机功率越高，近似认为污染物水平更低。
60.s2、基于运动增强注意力机制的跨模态融合方法对预处理后的烹饪信息进行融合处理，得到烹饪特征信息；
61.具体地，首先将通过网络摄像头收集到的视频信息，使用python+ffmpeg实现视频进行拆分，拆分为音频和图像信息，将音频信息拆解为响度信息和文本信息；
62.其中文本信息会通过传统的基于自注意力模块的特征提取器提取文本信息，自注意力机制的核心是计算输入序列中每个单词与其他单词之间的相关性得分(attention score)，然后用这些得分对输入序列进行加权平均，从而得到每个单词的上下文相关表示。我们还使用了多头注意力(multi-head attention)的技术，可以让模型同时关注不同维度上的信息，提高特征提取的能力和效率；
63.参照图4，视频信息则会同时通过两种网络模型进行特征提取，首先连续通过2个cooking-transformer模块进行特征提取，视频分类至少有两个挑战需要克服：如何在视频中表示时空信息以及如何使用时空信息进行分类。时空信息包含两个方面：空间信息(例如帧中的对象)和时间信息(例如不同帧中的相关性)，这对于视频分类非常重要。但是当前的时空注意力机制存在一个问题，当前划分的时空注意力将查询补丁(query patch)和位于其他帧中相同位置的补丁(patch)连接起来。假设这些补丁对齐良好，以便它们可以联合建模视频中某些部分的运动信息，但是，由于视频对象移动或摄像机移动，始终存在补丁运动，这会导致查询补丁与其他帧的补丁之间未对齐，这会降低特征提取的性能，显然，在注意力模块应该考虑来自不同帧的相邻补丁，这样我们才能捕捉到相对的补丁运动，受这一见解的启发，本发明提出了一种cooking-transformer模块，该模块可以捕获运动信息，cooking-transformer将每个帧划分为非重叠的补丁，几个相邻的补丁组成一个块，时间维度的注意力是在不同帧的同一空间块上计算的，称为运动注意力，为了避免计算成本，cooking-transformer不使用时空注意力来共同学习各层的空间信息和时间信息。相反，它首先计算空间特征，然后计算时空特征，与此同时，视频帧还会通过一层i3d与cnn融合网络进行特征提取，两种特征提取器提取到的特征会通过特征融合输入最终的分类网络。分类网络将会综合响度特征，语言文本特征和视频信息特征进行烹饪方式的分类，因此，本发明
提出了一种cooking-transformer模块，该模块可以捕获运动信息，cooking-transformer首先将每个帧划分为非重叠的补丁，几个相邻的补丁组成一个块。对每一个块，我们首先通过一个空间注意力模块来提取帧中这一块的对象的动作，然后再通过一个时间注意力模块来在时间维度上获取对象的动作，以此提取不同帧中的相关性，最后进行特征融合，输入下一模块；
64.因此，本发明自注意力模块用于计算输入序列中每个单词与其他单词之间的相关性得分，并使用这些得分对输入序列进行加权平均，从而得到每个单词的上下文相关表示，本发明多头注意力用于让模型同时关注不同维度上的信息，提高特征提取的能力和效率，本发明特征融合器用于将文本信息特征提取器和视频信息特征提取器提取到的特征融合输入到分类网络中，进行烹饪方式的分类。
65.s3、构建基于烹饪多周期性的二维时序模型并对烹饪特征信息进行预测，得到烹饪室内空气颗粒物污染水平。
66.具体地，对数据集中的图像和视频数据进行预处理，包括清洗、数据规整和数据集划分，模型构建方面本发明采用了一项创新的方法，将一维时序数据扩展到了二维空间进行分析(这样可以充分利用数据的周期性特征，同时也使得我们可以在线性数据中使用卷积来提取特征)。我们将时间序列根据多个周期进行折叠，从而获得多个二维张量。每个二维张量的列和行反映了周期内和周期间的时序变化，具体而言，首先使用快速傅立叶(fft)变换计算特征的周期性，对于一个时间长度为t、通道维度为c的一维时间序列x
1d
，其周期性的计算公式为：
67.a＝avg(amp(fft(x
1d
)))
68.上式中，x
1d
表示烹饪特征信息的一维时间序列，fft(
·
)表示快速傅立叶变换，a表示一维烹饪特征信息的周期性，amp(
·
)表示函数获取频域信号中每个复值元素的绝对值，即提供了每个频率分量的幅度，avg(
·
)表示函数计算获得的所有振幅的平均值；
69.基于此周期性对原始时间序列进行折叠，将时序特征由一维转换为二维张量，形成一个特征矩阵，接着通过卷积层使用二维卷积进行特征提取，之后对于提取的时序特征进行降维，将其从二维退化为一维从而达成信息聚合，然后本发明将得到的一维表征以其对应频率的强度进行加权求和，得到最终输出。
70.参照图2，基于计算机视觉的烹饪油烟空气污染特征表征系统，包括：
71.获取模块，用于获取烹饪画面视频信息并进行数据预处理，得到预处理后的烹饪信息；
72.融合模块，基于运动增强注意力机制的跨模态融合方法对预处理后的烹饪信息进行融合处理，得到烹饪特征信息；
73.预测模块，用于构建基于烹饪多周期性的二维时序模型并对烹饪特征信息进行预测，得到烹饪室内空气颗粒物污染水平。
74.综上所述，本发明技术方案包含三个步骤，步骤三基于多模态传感器数据的解析与预测包括使用多传感器网络收集的数据构建综合数据库，使用步骤二得到的计算机视觉模型和步骤一得到的烹饪图像或视频预测和提取烹饪信息(烹饪时间和方式)，再利用抽油烟机工作信息(电流传感器捕捉的电流水平)和通风信息(用室内二氧化碳水平指代)结合基于烹饪多周期性构建的二维时序模型预测烹饪导致的室内空气颗粒物污染水平，根据本
发明，烹饪油烟空气颗粒物污染水平可以通过其他信息来估测，这为不具备空气污染监测条件的场景提供了估算烹饪相关室内空气污染的依据；
75.参照图6，本发明提出了一种用于烹饪方式分类的基于运动增强注意力机制的跨模态融合方法，本方法在烹饪方式分类任务中准确率高达98％以上，根据本发明，烹饪油烟空气颗粒物污染水平可以通过其他信息来估测，这为不具备空气污染监测条件的场景提供了估算烹饪相关室内空气污染的依据。本发明为探索并揭示实际住宅环境下烹饪油烟中长期污染特征及其关键影响参数提供了方法。
76.上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
77.以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

技术特征：
1.基于计算机视觉的烹饪油烟空气污染特征表征方法，其特征在于，包括以下步骤：获取烹饪画面视频信息并进行数据预处理，得到预处理后的烹饪信息；基于运动增强注意力机制的跨模态融合方法对预处理后的烹饪信息进行融合处理，得到烹饪特征信息；构建基于烹饪多周期性的二维时序模型并对烹饪特征信息进行预测，得到烹饪室内空气颗粒物污染水平。2.根据权利要求1所述基于计算机视觉的烹饪油烟空气污染特征表征方法，其特征在于，所述获取烹饪画面视频信息并进行数据预处理，得到预处理后的烹饪信息这一步骤，其具体包括：通过摄像头模块及环境监测仪获取厨房的烹饪画面视频信息；基于python对厨房的烹饪画面视频信息进行拆分处理，得到对应的音频信息与视频信息；基于ffmpeg对音频信息进行拆解处理，得到对应的响度信息与文本信息；整合文本信息和视频信息，构建预处理后的烹饪信息。3.根据权利要求2所述基于计算机视觉的烹饪油烟空气污染特征表征方法，其特征在于，还包括通过智能电表获取厨房烹饪时抽烟油机的工作电流信息，根据抽烟油机的工作电流信息判断油烟机的工作状态，进而判断厨房烹饪时产生的污染物水平。4.根据权利要求3所述基于计算机视觉的烹饪油烟空气污染特征表征方法，其特征在于，所述基于运动增强注意力机制的跨模态融合方法对预处理后的烹饪信息进行融合处理，得到烹饪特征信息这一步骤，其具体包括：基于文本信息特征提取器，对预处理后的烹饪信息中的文本信息进行特征提取处理，得到语言文本特征信息；引入运动注意力机制，构建cooking-transformer模块对预处理后的烹饪信息中的视频信息进行特征提取处理，得到视频特征信息；将语言文本特征信息与视频特征信息进行融合处理，得到烹饪特征信息。5.根据权利要求4所述基于计算机视觉的烹饪油烟空气污染特征表征方法，其特征在于，所述基于文本信息特征提取器，对预处理后的烹饪信息中的文本信息进行特征提取处理，得到语言文本特征信息这一步骤，其具体包括：将预处理后的烹饪信息中的文本信息输入至文本信息特征提取器，所述文本信息特征提取器包括自注意力模块和多头注意力模块；基于自注意力模块，对输入的文本信息之间的单词相关性进行赋予得分并根据得分结果进行加权平均计算，得到文本信息之间单词的上下文相关表示；基于多头注意力模块，获取文本信息之间单词的上下文相关表示的不同维度上的信息，构建语言文本特征信息。6.根据权利要求5所述基于计算机视觉的烹饪油烟空气污染特征表征方法，其特征在于，所述引入运动注意力机制，构建cooking-transformer模块对预处理后的烹饪信息中的视频信息进行特征提取处理，得到视频特征信息这一步骤，其具体包括：将预处理后的烹饪信息中的视频信息输入至cooking-transformer模块；对预处理后的烹饪信息中的视频信息的每个帧划分为非重叠的补丁；
将非重叠的补丁进行组合，得到视频帧块；基于空间注意力模块对视频帧块进行空间维度提取处理，得到对应的空间维度对象动作；基于时间注意力模块对视频帧块进行时间维度提取处理，得到对应的时间维度对象动作；基于i3d与cnn融合网络对空间维度对象动作与时间维度对象动作进行融合处理，得到视频特征信息。7.根据权利要求6所述基于计算机视觉的烹饪油烟空气污染特征表征方法，其特征在于，所述构建基于烹饪多周期性的二维时序模型并对烹饪特征信息进行预测，得到烹饪室内空气颗粒物污染水平这一步骤，其具体包括：对烹饪特征信息依次进行清洗、数据规整和数据集划分处理，得到一维烹饪特征信息；将一维烹饪特征信息输入至基于烹饪多周期性的二维时序模型；通过快速傅立叶变换计算一维烹饪特征信息的周期性；基于一维烹饪特征信息的周期性对烹饪特征信息的原始时间序列进行折叠，将时序特征由一维转换为二维张量，得到特征矩阵；通过卷积层对特征矩阵进行二维卷积特征提取处理，得到二维时序特征；将二维时序特征进行降维处理，得到一维表征频率强度信息；对一维表征频率强度信息进行加权求和，得到烹饪室内空气颗粒物污染水平。8.根据权利要求7所述基于计算机视觉的烹饪油烟空气污染特征表征方法，其特征在于，所述通过快速傅立叶变换计算一维烹饪特征信息的周期性的表达式具体如下所示：a＝avg(amp(fft(x
1d
)))上式中，x
1d
表示烹饪特征信息的一维时间序列，fft(
·
)表示快速傅立叶变换，a表示一维烹饪特征信息的周期性，amp(
·
)表示函数获取频域信号中每个复值元素的绝对值，即提供了每个频率分量的幅度，avg(
·
)表示函数计算获得的所有振幅的平均值。9.根据权利要求8所述基于计算机视觉的烹饪油烟空气污染特征表征方法，其特征在于，还包括对烹饪特征信息进行预测的过程结合厨房的烹饪画面视频信息的响度信息。10.基于计算机视觉的烹饪油烟空气污染特征表征系统，其特征在于，包括以下模块：获取模块，用于获取烹饪画面视频信息并进行数据预处理，得到预处理后的烹饪信息；融合模块，基于运动增强注意力机制的跨模态融合方法对预处理后的烹饪信息进行融合处理，得到烹饪特征信息；预测模块，用于构建基于烹饪多周期性的二维时序模型并对烹饪特征信息进行预测，得到烹饪室内空气颗粒物污染水平。

技术总结
本发明公开了基于计算机视觉的烹饪油烟空气污染特征表征方法及系统，该方法包括：获取烹饪画面视频信息并进行数据预处理，得到预处理后的烹饪信息；基于运动增强注意力机制的跨模态融合方法对预处理后的烹饪信息进行融合处理，得到烹饪特征信息；构建基于烹饪多周期性的二维时序模型并对烹饪特征信息进行预测，得到烹饪室内空气颗粒物污染水平。该系统包括：获取模块、融合模块和预测模块。通过使用本发明，提高预测烹饪的室内空气颗粒物污染水平。本发明作为基于计算机视觉的烹饪油烟空气污染特征表征方法及系统，可广泛应用于计算机视觉识别技术领域。视觉识别技术领域。视觉识别技术领域。


技术研发人员：吴思庆 胡琳敏 王春良 苏凯 向建帮
受保护的技术使用者：中山大学
技术研发日：2023.04.18
技术公布日：2023/7/20