图像处理方法、装置、电子设备及存储介质与流程

1.本公开涉及辅助驾驶技术领域，尤其涉及图像处理方法、装置、电子设备及存储介质。


背景技术：

2.在车辆驾驶过程中，驾驶员经常有吸烟、拨打电话等危险驾驶行为，导致车辆行驶安全性较低，不仅可能导致驾乘人员的生命财产损失，而且危及其他道路参与者的安全。高级驾驶辅助系统(advanced driving assistance system，简称adas)可以主动预警可能发生的危险，减少安全事故发生。
3.相关场景中，将采集的驾驶员人脸图像输入至预先训练的行为识别模型中，通过行为识别模型进行危险驾驶行为识别，得到危险驾驶行为的识别结果。然而，通过对驾驶员人脸图像进行整体识别，对危险驾驶行为的识别准确性较低。


技术实现要素：

4.为克服相关技术中存在的问题，本公开提供一种图像处理方法、装置、电子设备及存储介质，以解决相关技术中对危险驾驶行为的识别准确性较低的问题。
5.根据本公开实施例的第一方面，提供一种图像处理方法，包括：
6.获取车辆的驾驶室图像；
7.根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域；
8.将所述目标区域对应的子图像输入到行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果。
9.可选地，所述驾驶员人脸信息包括人脸尺寸信息以及人脸关键点的位置信息，所述根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域，包括：
10.根据所述位置信息，确定区域边界信息；
11.根据所述人脸尺寸信息，确定区域长度信息以及区域宽度信息；
12.根据所述区域边界信息、所述区域长度信息以及所述区域宽度信息，在所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域。
13.可选地，所述获取车辆的驾驶室图像，包括：从驾驶室监控视频中获取多帧驾驶室图像；
14.所述将所述目标区域对应的子图像输入到行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果，包括：
15.将所述多帧驾驶室图像上的目标区域对应的子图像输入到所述行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果。
16.可选地，所述驾驶员人脸信息的获取包括：
17.对所述多帧驾驶室图像中的第一帧驾驶室图像进行人脸识别；
18.在从所述第一帧驾驶室图像中识别到驾驶员人脸位置后，对驾驶员人脸进行人脸关键点跟踪，得到所述多帧驾驶室图像中每一帧所述驾驶室图像上的人脸关键点的位置信息，所述驾驶员人脸信息包括所述人脸关键点的位置信息。
19.可选地，所述根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域，包括：
20.根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定位于人脸第一侧的第一目标子区域；
21.将所述第一目标子区域相对人脸的中轴线进行对称处理，得到位于人脸第二侧的第二目标子区域，所述目标区域包括所述第一目标子区域以及所述第二目标子区域，且所述第一目标子区域以及所述第二目标子区域对应同一危险驾驶行为。
22.可选地，所述目标区域包括多个对应不同危险驾驶行为的目标区域；
23.所述将所述目标区域对应的子图像输入到行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果，包括：
24.将对应同一种危险驾驶行为的目标区域对应的子图像输入到对应该种危险驾驶行为的行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在该种危险驾驶行为的识别结果。
25.可选地，所述行为识别模型是通过以下方式得到所述识别结果的：
26.根据预设的掩膜，提取所述子图像中的感兴趣点，并对所述感兴趣点进行特征提取，得到所述子图像的描述子集合；
27.对所述描述子集合中的描述子进行编码处理；
28.对编码处理后的所述描述子进行分类，得到表征所述驾驶员是否存在所述危险驾驶行为的识别结果。
29.可选地，所述根据预设的掩膜，提取所述子图像中的感兴趣点，并对所述感兴趣点进行特征提取，得到所述子图像的描述子集合，包括：
30.确定初始提取位置，通过所述掩膜提取所述初始提取位置对应的感兴趣点，并对所述感兴趣点进行特征提取，得到所述初始提取位置对应的描述子；
31.以预设步长以及预设提取方向，移动所述掩膜，并提取移动后所述子图像中的感兴趣点以及所述感兴趣点对应的描述子，直到遍历提取所述子图像的描述子，得到所述子图像的描述子集合。
32.可选地，所述对所述描述子集合中的描述子进行编码处理，包括：
33.将所述描述子对应的特征向量输入多个高斯模型中，得到所述描述子对应的似然函数，多个高斯模型是以训练样本中样本描述子的概率最大为目标，确定各所述高斯模型的模型权重建立的；
34.求所述似然函数对各所述高斯模型中模型权重、样本均值以及样本方差的偏导值；
35.根据各所述偏导值对所述描述子集合中的描述子进行编码处理。
36.根据本公开实施例的第二方面，提供一种图像处理装置，包括：
37.获取模块，被配置为获取车辆的驾驶室图像；
38.确定模块，被配置为根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域；
39.输入模块，被配置为将所述目标区域对应的子图像输入到行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果。
40.可选地，所述驾驶员人脸信息包括人脸尺寸信息以及人脸关键点的位置信息，所述确定模块包括：边界确定子模块，被配置为根据所述位置信息，确定区域边界信息；
41.长宽度确定子模块，被配置为根据所述人脸尺寸信息，确定区域长度信息以及区域宽度信息；
42.区域确定子模块，被配置为根据所述区域边界信息、所述区域长度信息以及所述区域宽度信息，在所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域。
43.可选地，所述获取模块，被配置为从驾驶室监控视频中获取多帧驾驶室图像；
44.所述输入模块，被配置为将所述多帧驾驶室图像上的目标区域对应的子图像输入到所述行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果。
45.可选地，所述获取模块包括：人脸识别子模块，被配置为对所述多帧驾驶室图像中的第一帧驾驶室图像进行人脸识别；
46.关键点跟踪子模块，被配置为在从所述第一帧驾驶室图像中识别到驾驶员人脸位置后，对驾驶员人脸进行人脸关键点跟踪，得到所述多帧驾驶室图像中每一帧所述驾驶室图像上的人脸关键点的位置信息，所述驾驶员人脸信息包括所述人脸关键点的位置信息。
47.可选地，所述确定模块包括：第一确定子模块，被配置为根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定位于人脸第一侧的第一目标子区域；
48.第二确定子模块，被配置为将所述第一目标子区域相对人脸的中轴线进行对称处理，得到位于人脸第二侧的第二目标子区域，所述目标区域包括所述第一目标子区域以及所述第二目标子区域，且所述第一目标子区域以及所述第二目标子区域对应同一危险驾驶行为。
49.可选地，所述目标区域包括多个对应不同危险驾驶行为的目标区域；
50.所述输入模块，被配置为将对应同一种危险驾驶行为的目标区域对应的子图像输入到对应该种危险驾驶行为的行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在该种危险驾驶行为的识别结果。
51.可选地，所述行为识别模型包括：
52.提取模块，被配置为根据预设的掩膜，提取所述子图像中的感兴趣点，并对所述感兴趣点进行特征提取，得到所述子图像的描述子集合；
53.编码模块，被配置为对所述描述子集合中的描述子进行编码处理；
54.分类模块，被配置为对编码处理后的所述描述子进行分类，得到表征所述驾驶员是否存在所述危险驾驶行为的识别结果。
55.可选地，所述提取模块，被配置为：
56.确定初始提取位置，通过所述掩膜提取所述初始提取位置对应的感兴趣点，并对所述感兴趣点进行特征提取，得到所述初始提取位置对应的描述子；
57.以预设步长以及预设提取方向，移动所述掩膜，并提取移动后所述子图像中的感
兴趣点以及所述感兴趣点对应的描述子，直到遍历提取所述子图像的描述子，得到所述子图像的描述子集合。
58.可选地，所述编码模块，被配置为：
59.将所述描述子对应的特征向量输入多个高斯模型中，得到所述描述子对应的似然函数，多个高斯模型是以训练样本中样本描述子的概率最大为目标，确定各所述高斯模型的模型权重建立的；
60.求所述似然函数对各所述高斯模型中模型权重、样本均值以及样本方差的偏导值；
61.根据各所述偏导值对所述描述子集合中的描述子进行编码处理。
62.根据本公开实施例的第三方面，提供一种电子设备，包括：
63.处理器；
64.用于存储处理器可执行指令的存储器；
65.其中，所述处理器被配置为：
66.获取车辆的驾驶室图像；
67.根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域；
68.将所述目标区域对应的子图像输入到行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果。
69.根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现第一方面中任一项所述方法的步骤。
70.本公开的实施例提供的技术方案可以包括以下有益效果：通过获取车辆的驾驶室图像；根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域；将所述目标区域对应的子图像输入到行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果。通过确定对驾驶室图像进行监控的目标区域，并对目标区域内的子图像进行识别，可以提高危险驾驶行为识别的准确性。
71.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
72.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
73.图1是根据一示例性实施例示出的一种图像处理方法的流程图。
74.图2是根据一示例性实施例示出的一种实现图1中步骤s12的流程图。
75.图3是根据一示例性实施例示出的一种确定目标区域的示意图。
76.图4是根据一示例性实施例示出的另一种实现图1中步骤s12的流程图。
77.图5是根据一示例性实施例示出的一种通过掩膜提取感兴趣点的示意图。
78.图6是根据一示例性实施例示出的另一种图像处理方法的示意图。
79.图7是根据一示例性实施例示出的一种图像处理装置的框图。
80.图8是根据一示例性实施例示出的另一种图像处理装置的框图。
81.图9是根据一示例性实施例示出的另一种图像处理装置的框图。
82.图10是根据一示例性实施例示出的另一种图像处理装置的框图。
83.图11是根据一示例性实施例示出的一种行为识别模型的框图。
84.图12是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
85.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
86.图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，该方法用于终端中，例如，高级驾驶辅助系统adas，包括以下步骤。
87.在步骤s11中，获取车辆的驾驶室图像。
88.其中，可以通过配置在驾驶室的摄像头采集驾驶室图像，并从摄像头中获取驾驶室图像。
89.在步骤s12中，根据驾驶室图像中的驾驶员人脸信息，从驾驶室图像中确定对危险驾驶行为进行监控的目标区域。
90.其中，可以通过人脸识别技术从驾驶室图像中识别驾驶员人脸，得到驾驶员人脸信息。
91.在该步骤s12中，所述驾驶员人脸信息包括人脸尺寸信息以及人脸关键点的位置信息，参见图2所示，所述根据驾驶室图像中的驾驶员人脸信息，从驾驶室图像中确定对危险驾驶行为进行监控的目标区域，包括：
92.在步骤s121中，根据人脸关键点的位置信息，确定区域边界信息。
93.其中，不同类型的危险驾驶行为对应不同的人脸关键点，例如，不同类型的危险驾驶行为包括抽烟、打电话、闭眼打瞌睡三个类型的危险驾驶行为，其中，抽烟对应的人脸关键点为嘴角和眼睛；打电话对应的人脸关键点为嘴巴和眼睛；闭眼打瞌睡对应的人脸关键点为双眼。
94.示例地，以打电话对应的人脸关键点为嘴巴和眼睛为例进行说明，如图3所示，以嘴角和眼睛作为人脸关键点，根据驾驶室图像中的左眉毛的中心点和左边的嘴角确定区域右边界，其中，区域右边界是相对驾驶员图像而言，根据左眉毛的中心点和左眼瞳孔确定区域上边界。例如，以左眉毛的中心点和左边的嘴角在水平方向上的平均值所在竖线作为区域右边界；以左眉毛的中心点和左眼瞳孔在竖直方向上的平均值所在横线作为区域上边界。
95.同理，可以根据右眉毛的中心点和右边的嘴角确定区域左边界，区域左边界是相对驾驶员图像而言，根据右眉毛的中心点和右眼瞳孔确定区域上边界。
96.在一个实施例中，根据驾驶室图像中的左眼瞳孔、左眉毛的中心点和左边的嘴角确定区域右边界，例如，以左眼瞳孔、左眉毛的中心点和左边的嘴角在水平方向上的平均值所在竖线作为区域右边界。
97.在步骤s122中，根据人脸尺寸信息，确定区域长度信息以及区域宽度信息。
98.其中，根据危险驾驶行为的类型与人脸尺寸信息的一一对应关系，确定区域长度信息以及区域宽度信息，例如，根据危险驾驶行为的类型与人脸尺寸信息的预设比例，确定区域长度信息以及区域宽度信息。
99.在一种实施方式中，可以根据人脸尺寸中人脸长度确定区域长度信息，以及根据人脸尺寸中人脸宽度确定区域宽度信息，示例地，以人脸尺寸中人脸长度的1.2倍为区域长度，以及以人脸尺寸中人脸宽度的1.2倍为区域宽度，确定区域长度信息以及区域宽度信息。这样，构建目标区域不仅参考人脸关键点的位置信息，还参考了人脸尺寸，可以适应驾驶员的面部距离镜头不同距离确定子图像的大小，保证子图像具有足够的描述子。
100.在步骤s123中，根据区域边界信息、区域长度信息以及区域宽度信息，在驾驶室图像中确定对危险驾驶行为进行监控的目标区域。
101.沿用上述实施例进行说明，如图3所示，根据区域右边界以及区域长度信息确定区域左边界，并根据区域上边界以及区域宽度信息确定区域下边界，进而根据区域上边界、区域下边界、区域右边界以及区域左边界所构建的矩形，在驾驶室图像中确定对危险驾驶行为进行监控的目标区域。
102.同理，针对闭眼打瞌睡的危险驾驶行为，可以根据左边眉毛的中心点和右边眉毛的中心点确定区域上边界，根据额头和鼻尖确定区域中心线，进而根据闭眼打瞌睡的危险驾驶行为与人脸尺寸信息的预设比例关系，确定闭眼打瞌睡的危险驾驶行为对应的区域长度信息以及区域宽度信息。
103.示例地，根据左边眉毛的中心点和右边眉毛的中心点在竖直方向上的平均值区域上边界，根据额头和鼻尖在水平方向上的平均值确定区域中心线，进而以人脸尺寸中人脸宽度的1.2倍为区域长度，以人脸尺寸中人脸长度的0.5倍为区域宽度，确定闭眼打瞌睡的危险驾驶行为对应的区域长度信息以及区域宽度信息。
104.其中，针对同一危险驾驶行为的目标区域可以包括多个目标子区域。
105.在该步骤s12中，参见图4所示，所述根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域，包括：
106.在步骤s1201中，根据驾驶室图像中的驾驶员人脸信息，从驾驶室图像中确定位于人脸第一侧的第一目标子区域。
107.在步骤s1202中，将第一目标子区域相对人脸的中轴线进行对称处理，得到位于人脸第二侧的第二目标子区域。
108.其中，目标区域包括第一目标子区域以及第二目标子区域，且第一目标子区域以及第二目标子区域对应同一危险驾驶行为。
109.沿用图3为例进行说明，根据驾驶室图像中的左眼瞳孔、左眉毛的中心点和左边的嘴角确定区域右边界构建第一目标子区域(左边目标子区域)。将第一目标子区域相对人脸的中轴线进行对称处理，得到位于人脸右侧的第二目标子区域。由于通常情况下，人脸左右两边为对称的，这样针对同一危险驾驶行为可以快速地构建目标区域内的多个目标子区域。提高危险驾驶行为的识别效率和速度。
110.可以说明的是，针对第一目标子区域对应的子图像和第二目标子区域对应的子图像，可以通过将任一侧目标子区域对应的子图像以人脸的中轴线为对称线映射做镜像，输
入到行为识别模型，例如，将第一目标子区域对应的子图像以人脸的中轴线为对称线映射做镜像，输入到行为识别模型，这样可以通过一个行为识别模型对两侧的目标子区域对应的子图像进行行为识别。避免采集大量训练样本，针对同一危险驾驶行为需要训练多个行为识别模型。同时，也可以提高危险驾驶行为的识别效率和速度。
111.在步骤s13中，将目标区域对应的子图像输入到行为识别模型中，得到行为识别模型输出的表征驾驶员是否存在危险驾驶行为的识别结果。
112.其中，行为识别模型可以通过例如尺度不变特征变换(scale-invariant feature transform，简称sift提取纹理特征，还可以通过局部二值法提取纹理描述算子，或者提取颜色特征，以及通过例如费希尔向量(fisher vector)特征编码、k-means聚类的词袋bow(bag of word)分类，或者局部特征聚合描述符(vector of locally aggregated descriptors，简称vlad)进行局部特征聚合，得到识别结果。
113.在此基础上，在识别结果表征驾驶员存在危险驾驶行为的基础上，可以通过例如扬声器等语音设备播放报警提示音，以提醒驾驶员存在危险驾驶行为。并在随后识别结果表征驾驶员不存在危险驾驶行为的情况下，停止播放报警提示音。
114.上述技术方案通过获取车辆的驾驶室图像；根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域；将所述目标区域对应的子图像输入到行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果。通过确定对驾驶室图像进行监控的目标区域，并对目标区域内的子图像进行识别，可以精确定位危险驾驶行为发生的区域，可以减小背景对图像识别的干扰，可以提高危险驾驶行为识别的准确性。
115.发明人发现，针对危险驾驶行为若通过一帧驾驶室图像进行危险驾驶行为识别，容易导致识别正确率较低，因此，在上述实施例的基础上，在步骤s11中，所述获取车辆的驾驶室图像，包括：从驾驶室监控视频中获取多帧驾驶室图像。
116.其中，多帧驾驶室图像通常为相邻帧的驾驶室图像。
117.在步骤s13中，所述将目标区域对应的子图像输入到行为识别模型中，得到行为识别模型输出的表征驾驶员是否存在危险驾驶行为的识别结果，包括：
118.将多帧驾驶室图像上的目标区域对应的子图像输入到行为识别模型中，得到行为识别模型输出的表征驾驶员是否存在危险驾驶行为的识别结果。
119.采用上述技术方案，可以将多帧驾驶室图像上的目标区域对应的子图像输入到行为识别模型中，可以避免针对单帧驾驶室图像进行识别容易引起的错误，提高了危险驾驶行为识别的准确性。
120.在上述实施例的基础上，所述驾驶员人脸信息的获取包括：
121.对所述多帧驾驶室图像中的第一帧驾驶室图像进行人脸识别；
122.在从所述第一帧驾驶室图像中识别到驾驶员人脸位置后，对驾驶员人脸进行人脸关键点跟踪，得到所述多帧驾驶室图像中每一帧所述驾驶室图像上的人脸关键点的位置信息，所述驾驶员人脸信息包括所述人脸关键点的位置信息。
123.其中，可以根据每一帧驾驶室图像上的人脸关键点的位置信息，确定该帧驾驶室图像的区域边界信息，进而确定针对每一帧驾驶室图像进行危险驾驶行为监控的目标区域。
124.例如，根据第一帧驾驶室图像对应的人脸关键点的位置信息，确定针对第一帧驾驶室图像进行危险驾驶行为监控的第一目标区域，根据第二帧驾驶室图像对应的人脸关键点的位置信息，确定针对第二帧驾驶室图像进行危险驾驶行为监控的第二目标区域。
125.在一种可能实现的方式中，若第一帧驾驶室图像中未能够识别到驾驶员人脸位置，可以基于像素点对之间的对比特征的特征的级联检测器确定针对第一帧驾驶室图像的初始人脸关键点，以在第二帧中基于初始人脸关键点进行人脸关键点跟踪。
126.在上述实施例的基础上，所述目标区域包括多个对应不同危险驾驶行为的目标区域。即针对同一危险驾驶行为，目标区域包括多个目标子区域，针对不同危险驾驶行为，目标区域与危险驾驶行为存在一一对应关系。
127.在步骤s13中，所述将目标区域对应的子图像输入到行为识别模型中，得到行为识别模型输出的表征驾驶员是否存在危险驾驶行为的识别结果，包括：
128.将对应同一种危险驾驶行为的目标区域对应的子图像输入到对应该种危险驾驶行为的行为识别模型中，得到行为识别模型输出的表征驾驶员是否存在该种危险驾驶行为的识别结果。
129.可以理解的是，针对不同危险驾驶行为需要通过采集不同区域的训练样本，进而针对不同危险驾驶行为训练得到行为识别模型。这样，针对不同的危险驾驶行为对应该种危险驾驶行为的行为识别模型中，也可以提高危险驾驶行为识别的准确性。
130.在上述实施例的基础上，所述行为识别模型是通过以下方式得到所述识别结果的：
131.根据预设的掩膜，提取所述子图像中的感兴趣点，并对所述感兴趣点进行特征提取，得到所述子图像的描述子集合。
132.通常，掩膜的大小应小于目标区域的大小，因而可以根据不同类型的危险驾驶行为预设掩膜的大小。
133.在一种可能实现的方式中，所述根据预设的掩膜，提取所述子图像中的感兴趣点，并对所述感兴趣点进行特征提取，得到所述子图像的描述子集合，包括：
134.确定初始提取位置，通过所述掩膜提取所述初始提取位置对应的感兴趣点，并对所述感兴趣点进行特征提取，得到所述初始提取位置对应的描述子；
135.以预设步长以及预设提取方向，移动所述掩膜，并提取移动后所述子图像中的感兴趣点以及所述感兴趣点对应的描述子，直到遍历提取所述子图像的描述子，得到所述子图像的描述子集合。
136.通常，以子图像的四角中的一个为初始提取位置，如图5所示，以子图像的左上角为初始提取位置，通过掩膜提取初始提取位置对应的感兴趣点，得到一个感兴趣点集合，进而对感兴趣点集合中各感兴趣点进行特征提取，得到初始提取位置对应的描述子。
137.进一步地，以预设步长以及预设提取方向，移动掩膜，例如，以预设步长为1，预设提取方向为从左往右、从上至下，移动掩膜。移动掩膜后，再次提取子图像中的感兴趣点，得到一个感兴趣点集合，进而对该感兴趣点集合中各感兴趣点进行特征提取，得到移动掩膜后对应的描述子，以此对整个子图像进行描述子提取，得到子图像的描述子集合。
138.其中，将每一次通过掩膜提取的感兴趣点作为一个感兴趣点集合，进而针对感兴趣点集合中的各感兴趣点及其周围进行特征提取，得到该次移动掩膜对应的描述子。以图5
为例，掩膜包括16个感兴趣点提取格，一次可以提取出16个感兴趣点组成一个感兴趣点集合，进而对16个感兴趣点及其周围进行特征提取，得到初始提取位置对应的描述子。
139.例如，通过sift提取每一感兴趣点的sift特征，并且为减少特征中的冗余信息，可以采用主成份分析pca进行特征降维，以对感兴趣点的原sift特征进行线性变换，在尽可能代表原sift特征的情况下，将原sift特征相对高维空间映射到低维度空间中。
140.对描述子集合中的描述子进行编码处理。
141.在一种可能实现的方式中，将描述子对应的特征向量输入多个高斯模型中，得到描述子对应的似然函数，多个高斯模型是以训练样本中样本描述子的概率最大为目标，确定各高斯模型的模型权重建立的。
142.其中，根据子图像对应的描述子集合构建特征向量，例如，子图像的描述子集合中有t个描述子，构建一个特征向量x＝{x1,x2,x3,
…
,x
t
}，可以理解的是，假设特征向量x的描述子符合概率分布，且概率分布是相互独立的，也就是独立同分布，这样可以通过多个高斯模型分布的线性组合来逼近。
143.示例地，针对任一描述子在多个高斯模型对应的概率分布p(x
t
)可以表示为：
[0144][0145][0146]
其中，i为多个高斯模型中第i个高斯模型，wi为第i个高斯模型的模型权重，μi为第i个高斯模型的样本均值，δi为第i个高斯模型的样本方差。
[0147]
其中，多个高斯模型的模型权重的和为1。
[0148]
进而得到描述子对应的似然函数为：
[0149][0150]
进一步地，求似然函数对各高斯模型中模型权重、样本均值以及样本方差的偏导值。
[0151]
示例地，针对每一描述子的似然函数对各高斯模型中模型权重、样本均值以及样本方差的偏导值为：
[0152][0153]
进一步地，根据各偏导值对描述子集合中的描述子进行编码处理。例如，针对每一描述子的三个偏导值进行归一化处理，并将归一化处理后的值作为该描述子的费希尔向量，完成编码处理。其中，在编码处理以后，对于每一个降维后的描述子的高斯概率分布，都对该高斯模型的模型权重、样本均值和样本方差的一次偏导，所以费希尔向量的维度是k*(2*d+1)，其中，k为多个高斯模型的总个数，d为降维后的描述子的维度。而由于模型权重的
和1，所以只要其中对k-1个高斯模型的模型权重求一次偏导即可。因而描述子的维度为：(k-1)*(2*d+1)+1*(2*d)＝k*(2d+1)-1。
[0154]
对编码处理后的描述子进行分类，得到表征驾驶员是否存在危险驾驶行为的识别结果。
[0155]
例如，将编码后的描述子输入到分类模型中进行分类，得到表征驾驶员是否存在危险驾驶行为的识别结果。
[0156]
参见图6所示，针对每一帧驾驶室图像，首先在区域定位模块中进行人脸检测，针对检测到的驾驶员人脸进行人脸关键点定位和追踪，并且对定位人脸关键点后的每一帧驾驶室图像确定对危险驾驶行为进行监控的目标区域。
[0157]
然后在图像识别模型中，通过对目标区域对应的子图像进行特征提取、特征编码和模型分类，得到图像识别模型输出的表征驾驶员是否存在危险驾驶行为的识别结果，其中，行为识别模型可以包括图像识别模型。并且，在识别结果表征驾驶员存在危险驾驶行为的情况下，通过预警模块进行预警提示。
[0158]
基于相同的构思，本公开还提供一种图像处理700，用于执行上述方法实施例提供的图像处理方法的步骤，该装置700可以以软件、硬件或者两者相结合的方式实现图像处理方法。图7是根据一示例性实施例示出的一种图像处理装置700的框图，参照7所示，所述装置700包括：获取模块710、确定模块720和输入模块730。
[0159]
其中，获取模块710，被配置为获取车辆的驾驶室图像；
[0160]
确定模块720，被配置为根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域；
[0161]
输入模块730，被配置为将所述目标区域对应的子图像输入到行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果。
[0162]
上述装置通过确定对驾驶室图像进行监控的目标区域，并对目标区域内的子图像进行识别，可以精确定位危险驾驶行为发生的区域，可以减小背景对图像识别的干扰，可以提高危险驾驶行为识别的准确性。
[0163]
可选地，所述驾驶员人脸信息包括人脸尺寸信息以及人脸关键点的位置信息，图8是根据一示例性实施例示出的另一种图像处理装置700的框图，参照8所示，所述确定模块720包括：边界确定子模块721，被配置为根据所述位置信息，确定区域边界信息；
[0164]
长宽度确定子模块722，被配置为根据所述人脸尺寸信息，确定区域长度信息以及区域宽度信息；
[0165]
区域确定子模块723，被配置为根据所述区域边界信息、所述区域长度信息以及所述区域宽度信息，在所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域。
[0166]
可选地，所述获取模块710，被配置为从驾驶室监控视频中获取多帧驾驶室图像；
[0167]
所述输入模块730，被配置为将所述多帧驾驶室图像上的目标区域对应的子图像输入到所述行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果。
[0168]
可选地，图9是根据一示例性实施例示出的另一种图像处理装置700的框图，参照9所示，所述获取模块710包括：人脸识别子模块711，被配置为对所述多帧驾驶室图像中的第一帧驾驶室图像进行人脸识别；
[0169]
关键点跟踪子模块712，被配置为在从所述第一帧驾驶室图像中识别到驾驶员人脸位置后，对驾驶员人脸进行人脸关键点跟踪，得到所述多帧驾驶室图像中每一帧所述驾驶室图像上的人脸关键点的位置信息，所述驾驶员人脸信息包括所述人脸关键点的位置信息。
[0170]
可选地，图10是根据一示例性实施例示出的另一种图像处理装置700的框图，参照10所示，所述确定模块720包括：第一确定子模块7201，被配置为根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定位于人脸第一侧的第一目标子区域；
[0171]
第二确定子模块7202，被配置为将所述第一目标子区域相对人脸的中轴线进行对称处理，得到位于人脸第二侧的第二目标子区域，所述目标区域包括所述第一目标子区域以及所述第二目标子区域，且所述第一目标子区域以及所述第二目标子区域对应同一危险驾驶行为。
[0172]
可选地，所述目标区域包括多个对应不同危险驾驶行为的目标区域；
[0173]
所述输入模块730，被配置为将对应同一种危险驾驶行为的目标区域对应的子图像输入到对应该种危险驾驶行为的行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在该种危险驾驶行为的识别结果。
[0174]
可选地，图11是根据一示例性实施例示出的一种行为识别模型1100的框图，参照11所示，所述行为识别模型1100包括：
[0175]
提取模块1101，被配置为根据预设的掩膜，提取所述子图像中的感兴趣点，并对所述感兴趣点进行特征提取，得到所述子图像的描述子集合；
[0176]
编码模块1102，被配置为对所述描述子集合中的描述子进行编码处理；
[0177]
分类模块1103，被配置为对编码处理后的所述描述子进行分类，得到表征所述驾驶员是否存在所述危险驾驶行为的识别结果。
[0178]
可选地，所述提取模块1101，被配置为：
[0179]
确定初始提取位置，通过所述掩膜提取所述初始提取位置对应的感兴趣点，并对所述感兴趣点进行特征提取，得到所述初始提取位置对应的描述子；
[0180]
以预设步长以及预设提取方向，移动所述掩膜，并提取移动后所述子图像中的感兴趣点以及所述感兴趣点对应的描述子，直到遍历提取所述子图像的描述子，得到所述子图像的描述子集合。
[0181]
可选地，所述编码模块1102，被配置为：
[0182]
将所述描述子对应的特征向量输入多个高斯模型中，得到所述描述子对应的似然函数，多个高斯模型是以训练样本中样本描述子的概率最大为目标，确定各所述高斯模型的模型权重建立的；
[0183]
求所述似然函数对各所述高斯模型中模型权重、样本均值以及样本方差的偏导值；
[0184]
根据各所述偏导值对所述描述子集合中的描述子进行编码处理。
[0185]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0186]
此外值得说明的是，为描述的方便和简洁，说明书中所描述的实施例均属于优选实施例，其所涉及的部分并不一定是本发明所必须的，例如，确定模块720和输入模块730，
在具体实施时可以是相互独立的装置也可以是同一个装置，本公开对此不作限定。
[0187]
根据本公开实施例还提供一种电子设备，包括：
[0188]
处理器；
[0189]
用于存储处理器可执行指令的存储器；
[0190]
其中，所述处理器被配置为：
[0191]
获取车辆的驾驶室图像；
[0192]
根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域；
[0193]
将所述目标区域对应的子图像输入到行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果。
[0194]
根据本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现上述中任一项所述图像处理方法的步骤。
[0195]
图12是根据一示例性实施例示出的一种用于图像处理的装置1200的框图。例如，装置1200可以是一车载设备，被配置为一高级驾驶辅助系统adas。
[0196]
参照图12，装置1200可以包括以下一个或多个组件：处理组件1202，存储器1204，电力组件1206，多媒体组件1208，音频组件1210，输入/输出(i/o)的接口1212，传感器组件1214，以及通信组件1216。
[0197]
处理组件1202通常控制装置1200的整体操作，诸如与显示，预警，数据通信，相机操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令，以完成上述的图像处理方法的全部或部分步骤。此外，处理组件1202可以包括一个或多个模块，便于处理组件1202和其他组件之间的交互。例如，处理组件1202可以包括多媒体模块，以方便多媒体组件1208和处理组件1202之间的交互。
[0198]
存储器1204被配置为存储各种类型的数据以支持在装置1200的操作。这些数据的示例包括用于在装置1200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0199]
电力组件1206为装置1200的各种组件提供电力。电力组件1206可以包括电源管理系统，一个或多个电源，及其他与为装置1200生成、管理和分配电力相关联的组件。
[0200]
多媒体组件1208包括在所述装置1200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1208包括一个前置摄像头和/或后置摄像头。当装置1200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力，用于获取车辆的驾驶室图像。
[0201]
音频组件1210被配置为输出和/或输入音频信号。例如，音频组件1210包括一个麦克风(mic)，当装置1200处于操作模式，如记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中，音频组件1210还包括一个扬声器，用于输出音频信号，例如输出预警提示。
[0202]
i/o接口1212为处理组件1202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0203]
传感器组件1214包括一个或多个传感器，用于为装置1200提供各个方面的状态评估。例如，传感器组件1214可以检测到装置1200的打开/关闭状态，组件的相对定位，例如所述组件为装置1200的显示器和小键盘，传感器组件1214还可以检测装置1200或装置1200一个组件的位置改变，用户与装置1200接触的存在或不存在，装置1200方位或加速/减速和装置1200的温度变化。传感器组件1214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0204]
通信组件1216被配置为便于装置1200和其他设备之间有线或无线方式的通信，例如，通过无线方式与服务器连接，上报存在的危险驾驶行为到服务器。装置1200可以接入基于通信标准的无线网络，如wifi，2g，3g，4g或者5g，或它们的组合。在一个示例性实施例中，所述通信组件1216还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0205]
在示例性实施例中，装置1200可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像处理方法。
[0206]
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1204，上述指令可由装置1200的处理器1220执行以完成上述图像处理方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0207]
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的图像处理方法的代码部分。
[0208]
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0209]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

技术特征：
1.一种图像处理方法，其特征在于，包括：获取车辆的驾驶室图像；根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域；将所述目标区域对应的子图像输入到行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果。2.根据权利要求1所述的方法，其特征在于，所述驾驶员人脸信息包括人脸尺寸信息以及人脸关键点的位置信息，所述根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域，包括：根据所述位置信息，确定区域边界信息；根据所述人脸尺寸信息，确定区域长度信息以及区域宽度信息；根据所述区域边界信息、所述区域长度信息以及所述区域宽度信息，在所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域。3.根据权利要求1所述的方法，其特征在于，所述获取车辆的驾驶室图像，包括：从驾驶室监控视频中获取多帧驾驶室图像；所述将所述目标区域对应的子图像输入到行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果，包括：将所述多帧驾驶室图像上的目标区域对应的子图像输入到所述行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果。4.根据权利要求3所述的方法，其特征在于，所述驾驶员人脸信息的获取包括：对所述多帧驾驶室图像中的第一帧驾驶室图像进行人脸识别；在从所述第一帧驾驶室图像中识别到驾驶员人脸位置后，对驾驶员人脸进行人脸关键点跟踪，得到所述多帧驾驶室图像中每一帧所述驾驶室图像上的人脸关键点的位置信息，所述驾驶员人脸信息包括所述人脸关键点的位置信息。5.根据权利要求1所述的方法，其特征在于，所述根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域，包括：根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定位于人脸第一侧的第一目标子区域；将所述第一目标子区域相对人脸的中轴线进行对称处理，得到位于人脸第二侧的第二目标子区域，所述目标区域包括所述第一目标子区域以及所述第二目标子区域，且所述第一目标子区域以及所述第二目标子区域对应同一危险驾驶行为。6.根据权利要求1所述的方法，其特征在于，所述目标区域包括多个对应不同危险驾驶行为的目标区域；所述将所述目标区域对应的子图像输入到行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果，包括：将对应同一种危险驾驶行为的目标区域对应的子图像输入到对应该种危险驾驶行为的行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在该种危险驾驶行为的识别结果。7.根据权利要求1-6中任一项所述的方法，其特征在于，所述行为识别模型是通过以下
方式得到所述识别结果的：根据预设的掩膜，提取所述子图像中的感兴趣点，并对所述感兴趣点进行特征提取，得到所述子图像的描述子集合；对所述描述子集合中的描述子进行编码处理；对编码处理后的所述描述子进行分类，得到表征所述驾驶员是否存在所述危险驾驶行为的识别结果。8.根据权利要求7所述的方法，其特征在于，所述根据预设的掩膜，提取所述子图像中的感兴趣点，并对所述感兴趣点进行特征提取，得到所述子图像的描述子集合，包括：确定初始提取位置，通过所述掩膜提取所述初始提取位置对应的感兴趣点，并对所述感兴趣点进行特征提取，得到所述初始提取位置对应的描述子；以预设步长以及预设提取方向，移动所述掩膜，并提取移动后所述子图像中的感兴趣点以及所述感兴趣点对应的描述子，直到遍历提取所述子图像的描述子，得到所述子图像的描述子集合。9.根据权利要求7所述的方法，其特征在于，所述对所述描述子集合中的描述子进行编码处理，包括：将所述描述子对应的特征向量输入多个高斯模型中，得到所述描述子对应的似然函数，多个高斯模型是以训练样本中样本描述子的概率最大为目标，确定各所述高斯模型的模型权重建立的；求所述似然函数对各所述高斯模型中模型权重、样本均值以及样本方差的偏导值；根据各所述偏导值对所述描述子集合中的描述子进行编码处理。10.一种图像处理装置，其特征在于，包括：获取模块，被配置为获取车辆的驾驶室图像；确定模块，被配置为根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域；输入模块，被配置为将所述目标区域对应的子图像输入到行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果。11.一种电子设备，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：获取车辆的驾驶室图像；根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域；将所述目标区域对应的子图像输入到行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果。12.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-9中任一项所述方法的步骤。

技术总结
本公开涉及一种图像处理方法、装置、电子设备及存储介质，以解决相关技术中危险驾驶行为识别的准确性较低的问题，包括：获取车辆的驾驶室图像；根据所述驾驶室图像中的驾驶员人脸信息，从所述驾驶室图像中确定对危险驾驶行为进行监控的目标区域；将所述目标区域对应的子图像输入到行为识别模型中，得到所述行为识别模型输出的表征所述驾驶员是否存在所述危险驾驶行为的识别结果。通过确定对驾驶室图像进行监控的目标区域，并对目标区域内的子图像进行识别，可以提高危险驾驶行为识别的准确性。性。性。


技术研发人员：张红卫 雷磊 王晓涛
受保护的技术使用者：北京小米移动软件有限公司
技术研发日：2022.01.04
技术公布日：2023/7/20