图像处理方法及其相关设备与流程

1.本技术涉及图像处理领域，尤其涉及一种图像处理方法及其相关设备。


背景技术：

2.随着电子设备的广泛使用，使用电子设备进行拍照已经成为人们生活中的一种日常行为方式。以电子设备为手机为例，随之出现了多种算法以提升图像质量，例如：多帧融合等。
3.但是，在一些光源不断变色的场景中，由于待拍摄场景中的光源在不同时刻发光颜色不同，且变色时间非常短，导致摄像头采集的多帧图像中，同一内容对应不同的颜色，进而导致该多帧图像融合之后的图像严重失真，相关技术却无法有效处理这种情况。因此，如何对光源变色场景中所采集的多帧图像进行融合之后的图像进行质量提升，成为了一个亟需解决的问题。


技术实现要素：

4.本技术提供一种图像处理方法及其相关设备，能够对光源不断变色的场景中采集的多帧图像进行图像融合处理，在融合的同时校正颜色，提升质量，从而提高用户体验。
5.为达到上述目的，本技术采用如下技术方案：
6.第一方面，提供一种图像处理方法，应用于电子设备，所述电子设备包括相机，该方法包括：
7.检测到第一操作；
8.响应于所述第一操作，开启所述相机；
9.确定符合第一预设条件，采集m帧图像，所述m帧图像包括第一曝光图像、第二曝光图像和第三曝光图像，所述第一曝光图像的曝光值小于所述第二曝光图像的曝光值，所述第二曝光图像的曝光值小于所述第三曝光图像的曝光值，其中m为大于等于2的整数；
10.确定所述第一曝光图像与所述第三曝光图像符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像符合所述第二预设条件；
11.对所述第一曝光图像、所述第二曝光图像和所述第三曝光图像进行融合处理，得到第一目标图像；
12.保存所述第一目标图像。
13.本技术实施例提供了一种图像处理方法，通过在融合处理之前，以一帧图像为参考帧，对多帧曝光图像中的图像进行判断，判断颜色是否改变；基于判断结果，根据多帧曝光图像中的至少一帧曝光图像，来确定目标图像。由此，通过本技术实施例提供的图像处理方法，根据判断情况合理选择一帧或多帧曝光图像，来得到目标图像，从而可以提升处理之后的目标图像的质量。
14.在第一方面一种可能的实现方式中，所述m帧图像还包括第四曝光图像，所述第四曝光图像的曝光值等于所述第三曝光图像的曝光值；
15.确定所述第一曝光图像与所述第三曝光图像符合所述第二预设条件，且，所述第二曝光图像与所述第三曝光图像符合所述第二预设条件，且，所述第四曝光图像与所述第三曝光图像符合所述第二预设条件；
16.对所述第一曝光图像、所述第二曝光图像、所述第三曝光图像和所述第四曝光图像进行融合处理，得到第二目标图像；
17.保存所述第二目标图像。
18.在第一方面一种可能的实现方式中，确定所述第一曝光图像与所述第三曝光图像不符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像符合所述第二预设条件；
19.对所述第二曝光图像和所述第三曝光图像进行融合处理，得到第三目标图像；
20.保存所述第三目标图像。
21.在第一方面一种可能的实现方式中，当所述m帧图像还包括第四曝光图像时，所述第四曝光图像的曝光值等于所述第三曝光图像的曝光值；
22.确定所述第一曝光图像与所述第三曝光图像不符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像符合所述第二预设条件，且所述第四曝光图像与所述第三曝光图像符合所述第二预设条件；
23.对所述第二曝光图像、所述第三曝光图像和所述第四曝光图像进行融合处理，得到第四目标图像；
24.保存所述第四目标图像。
25.在第一方面一种可能的实现方式中，确定所述第一曝光图像与所述第三曝光图像符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像不符合第二预设条件；
26.对所述第一曝光图像和所述第三曝光图像进行融合处理，得到第五目标图像；
27.保存所述第五目标图像。
28.在第一方面一种可能的实现方式中，当所述m帧图像还包括第四曝光图像时，所述第四曝光图像的曝光值等于所述第三曝光图像的曝光值；
29.确定所述第一曝光图像与所述第三曝光图像符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像不符合第二预设条件，且所述第四曝光图像与所述第三曝光图像符合所述第二预设条件；
30.对所述第一曝光图像、所述第三曝光图像和所述第四曝光图像进行融合处理，得到第六目标图像；
31.保存所述第六目标图像。
32.在第一方面一种可能的实现方式中，确定所述第一曝光图像与所述第三曝光图像不符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像不符合第二预设条件；
33.确定所述第三曝光图像为第七目标图像；
34.保存所述第七目标图像。
35.在第一方面一种可能的实现方式中，当所述m帧图像还包括第四曝光图像时，所述第四曝光图像的曝光值等于所述第三曝光图像的曝光值；
36.确定所述第一曝光图像与所述第三曝光图像不符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像不符合第二预设条件，且所述第四曝光图像与所述第三曝光图像符合所述第二预设条件；
37.对所述第三曝光图像和所述第四曝光图像进行融合处理，得到第八目标图像；
38.保存所述第八目标图像。
39.在第一方面一种可能的实现方式中，所述方法还包括：
40.对所述m帧图像进行前端处理，得到处理后的所述m帧曝光图像。
41.在该实现方式中，先对m帧图像进行前端护理，可以修复获取到的曝光图像中的缺陷，提高曝光图像的质量。
42.在第一方面一种可能的实现方式中，所述前端处理包括：配准、镜头阴影校正、黑电平校正、降噪、自动白平衡、下采样中的至少一项。
43.在第一方面一种可能的实现方式中，所述方法还包括：对目标图像进行后端处理，得到后端图像，所述目标图像包括第一目标图像、第二目标图像、第三目标图像、第四目标图像、第五目标图像、第六目标图像、第七目标图像和第八目标图像中的至少一种。
44.在该实现方式中，在得到目标图像之后对目标图像进行后端处理，可以修复融合过程中产生的缺陷和不足，对目标图像进行校正和补偿。
45.在第一方面一种可能的实现方式中，所述后端处理包括：非线性叠加、鬼影校正中的至少一项。
46.第二方面，提供了一种图像处理装置，该装置包括用于执行以上第一方面或第一方面的任意可能的实现方式中各个步骤的单元。
47.第三方面，提供了一种电子设备，包括：一个或多个处理器和存储器；
48.存储器与一个或多个处理器耦合，述存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，一个或多个处理器调用计算机指令以使得电子设备执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法中进行处理的步骤。
49.第四方面，提供了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法中进行处理的步骤。
50.第五方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，使处理器执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法中进行处理的步骤。
51.第六方面，提供了一种计算机程序产品，计算机程序产品包括存储了计算机程序的计算机可读存储介质，计算机程序使得计算机执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法中进行处理的步骤。
52.第二方面至第六方面的有益效果，可以参考上述第一方面的有益效果，在此不再赘述。
附图说明
53.图1是本技术实施例提供的一种应用场景；
54.图2是相关图像处理方法的流程示意图；
55.图3是本技术实施例提供的一种图像处理方法的示意图；
56.图4是本技术实施例提供的一种曝光方式；
57.图5是本技术实施例提供的另一种曝光方式；
58.图6是本技术实施例提供的一种前端处理的流程示意图；
59.图7是本技术实施例提供的一种对两帧前端图像进行色彩对比的流程示意图；
60.图8是本技术实施例提供的一种图像分割的示意图；
61.图9是本技术实施例提供的一种后端处理的流程示意图；
62.图10是本技术实施例提供的一种图像处理方法的流程示意图；
63.图11是本技术实施例提供的另一种图像处理方法的流程示意图；
64.图12是本技术实施例提供的一种效果示意图；
65.图13是一种适用于本技术的装置的硬件系统的示意图；
66.图14是一种适用于本技术的装置的软件系统的示意图；
67.图15为本技术实施例提供的一种图像处理装置的结构示意图；
68.图16为申请实施例提供的一种芯片的结构示意图。
具体实施方式
69.下面将结合附图，对本技术中的技术方案进行描述。
70.在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，在本技术实施例的描述中，“多个”是指两个或多于两个。
71.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
72.首先，对本技术实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
73.1、rgb(red，green，blue)颜色空间，或rgb域，指的是一种与人的视觉系统结构相关的颜色模型。根据人眼睛的结构，将所有颜色都当作是红色、绿色和蓝色的不同组合。
74.2、像素值，指的是位于rgb颜色空间的彩色图像中每个像素对应的一组颜色分量。例如，每个像素对应一组三基色分量，其中，三基色分量分别为红色分量r、绿色分量g和蓝色分量b。
75.3、拜耳格式图像(bayer image)，即基于拜耳格式彩色滤波阵列的图像传感器输出的图像。该图像中的多种颜色的像素以拜耳格式进行排布。其中，拜耳格式图像中的每个像素仅对应一种颜色的通道信号。示例性的，由于人的视觉对绿色较为敏感，所以，可以设定绿色像素(对应绿色通道信号的像素)占全部像素的50％，蓝色像素(对应蓝色通道信号的像素)和红色像素(对应红色通道信号的像素)各占全部像素的25％。其中，拜耳格式图像的最小重复单元为：一个红色像素、两个绿色像素和一个蓝色像素以2
×
2的方式排布。其中，以拜耳格式进行排布的图像可以认为其位于raw域。
76.4、配准(image registration)，指的是在同一区域内以不同成像手段所获得的不同图像的地理坐标的匹配。其中，包括几何纠正、投影变换与统一比例尺三方面的处理。
77.5、鬼影校正
78.成像光学系统中，像点附近有一个或者多个与像点相似的“假”像点的存在，这个
除了像点之外的其它的“假”像点统称为“鬼影”，鬼影校正就对“假”像进行校正和消除。鬼影校正对应的处理方法例如可以为光流算法。其中，像点就是图片上的任意一个点。
79.6、亮度(lighting value，lv)值，用于估计环境亮度，其具体计算公式如下：
[0080][0081]
其中，exposure为曝光时间，aperture为光圈大小，iso为感光度，luma为xyz颜色空间中，y的平均值。
[0082]
7、动态范围(dynamic range)值，用于表示通过摄像头获取的预览图像中过曝区域所占整个图像的比例信息。
[0083]
8、拍摄参数
[0084]
拍摄参数可包括快门、曝光时间、光圈值(aperture value,av)、曝光值(exposure value，ev)和感光度iso。以下分别进行介绍。
[0085]
快门是控制光线进入摄像头时间长短，以决定图像曝光时间的装置。快门保持在开启状态的时间越长，进入摄像头的光线越多，图像对应的曝光时间越长。相反，快门保持在开启状态的时间越短，进入摄像头的光线越少，图像对应的曝光时间越短。
[0086]
曝光时间是指为了将光投射到摄像头的感光材料的感光面上，快门所要打开的时间。曝光时间由感光材料的感光度和感光面上的照度确定。曝光时间越长，进入摄像头的光越多，曝光时间越短，进入摄像头的光越少。因此，暗光场景下需要长的曝光时间，逆光场景下需要短的曝光时间。
[0087]
光圈值(f值)，是摄像头中的镜头(lens)的焦距与镜头通光直径的比值。光圈值越大，进入摄像头的光线越多。光圈值越小，进入摄像头的光线越少。
[0088]
曝光值，是曝光时间和光圈值组合起来表示摄像头的镜头通光能力的一个数值。曝光值可以定义为：
[0089][0090]
其中，n为光圈值；t为曝光时间，单位为秒。
[0091]
iso，用于衡量底片对于光的灵敏程度，即感光度或增益。对于不敏感的底片，需要更长的曝光时间以达到跟敏感底片亮度相同的成像。对于敏感的底片，需要较短的曝光时间以到到与不敏感的底片亮度相同的成像。
[0092]
拍摄参数中，快门、曝光时间、光圈值、曝光值和iso，电子设备可通过算法实现自动对焦(auto focus，af)、自动曝光(automatic exposure，ae)、自动白平衡(auto white balance，awb)中的至少一项，以实现这些拍摄参数的自动调节。
[0093]
示例性的，曝光值的取值可以为-24、-4、-3、-2、-1、0、1、2、3、4、24中的任意一项。
[0094]
ev0对应的曝光图像，用于指示电子设备通过算法实现曝光时，通过确定的曝光值0来捕获的曝光图像。ev-2对应的曝光图像，用于指示电子设备通过算法实现曝光时，通过确定的曝光值-2来捕获的曝光图像。ev1对应的曝光图像，用于指示电子设备通过算法实现曝光时，通过确定的曝光值1来捕获的曝光图像。其他依次类推，在此不再赘述。
[0095]
其中，曝光值每增加1将改变一挡曝光，也就是将曝光量(指物体表面某一面元接收的光照度在时间t内的积分)增加一倍，比如将曝光时间或光圈面积增加一倍。那么，曝光
值的增加将对应于更慢的快门速度和更小的f值。由此可知，ev0相对于ev-2，曝光值增加了2，改变了两挡曝光；同理，ev1相对于ev0，曝光值增加了1，改变了一挡曝光。
[0096]
此处，当曝光值ev等于0时，该曝光值通常为当前照明条件下的最佳曝光值。相应的，在ev0的条件下电子设备对应获取的曝光图像，为当前照明条件下的最佳曝光图像，该最佳曝光图像也可以称为参考曝光图像。
[0097]
应理解，该“最佳”曝光图像指的是给定的电子设备通过算法确定的曝光图像，当电子设备不同、算法不同或当前照明条件不同时，确定的最佳曝光图像不同。
[0098]
以上是对本技术实施例所涉及的名词的简单介绍，以下不再赘述。
[0099]
随着电子设备的广泛使用，使用电子设备进行拍照已经成为人们生活中的一种日常行为方式。以电子设备为手机为例，随之出现了多种算法以提升图像质量，例如：多帧融合等。
[0100]
但是，在一些光源不断变色的场景中，由于待拍摄场景中的光源在不同时刻发光颜色不同，且变色时间非常短，导致摄像头采集的多帧图像中，同一内容对应了不同的色彩，进而导致该多帧图像融合成一帧图像时，融合之后的图像色彩严重失真，相关技术却无法有效处理这种情况。因此，如何对光源变色场景中采集的多帧图像进行融合之后的图像进行质量提升，成为了一个亟需解决的问题。
[0101]
图1示出了本技术实施例提供的一种应用场景。图2示出了本技术实施例提供的一种相关图像处理方法的流程图。
[0102]
如图1所示，桌子上放置了一个会发光的小夜灯，该小夜灯处于开启状态时，可以发红光、黄光或蓝光，每次发一种颜色的光并不断地切换发光颜色。小夜灯在发不同颜色的光时，由于桌面比较光滑，桌面还会反射一些对应颜色的光。
[0103]
如图2所示，当利用手机对该场景进行拍摄时，响应于用户对拍摄界面的一次点击操作，摄像头会连续采集多帧原始图像。其中，该多帧原始图像均为位于raw域的图像。
[0104]
相关图像处理方法为：对该多帧原始图像进行配准等第一处理；然后，将经过第一处理的多帧原始图像进行融合处理，对应生成1帧第一融合图像；再将该第一融合图像进行鬼影校正等第二处理，得到对应的1帧第二融合图像；由此，期望通过多帧融合的方式，提高得到的第二融合图像的质量。
[0105]
在图1所示的场景中，示例性一，如图1中的(a)和(b)所示，假设摄像头连续采集多帧原始图像时，若小夜灯刚好从发红光切换为发黄光，此时，摄像头采集的多帧原始图像可能既包括小夜灯发红光的原始图像，又包括小夜灯发黄光的原始图像。那么，结合上述相关图像处理方法对应的流程，将该多帧小夜灯发不同颜色光的原始图像进行融合后，生成的第二融合图像可能如图1中的(d)所示。在该第二融合图像中，小夜灯一部分发红光，另一部分发黄光，而桌面又反射的是红光。可见，由于没有顾及到光源变色的影响，融合出的第二融合图像中的局部图像颜色出现了严重偏差，用户拍摄体验非常差。
[0106]
在图1所示的场景中，示例性二，如图1中的(a)至(c)所示，假设摄像头连续采集多帧原始图像时，若小夜灯从发红光切换为发黄光，再从发黄光切换为发蓝光，此时，摄像头采集的多帧曝光时间不同的原始图像，曝光时间相对较长的原始图像可能拍到的是小夜灯发红光的场景，曝光时间相对较短的原始图像可能拍到的是小夜灯发蓝光的场景，而曝光时间为中间值的原始图像可能拍到的是小夜灯发黄光的场景。由此，结合上述相关图像处
理方法对应的流程，将该多帧小夜灯发不同颜色光的原始图像进行融合后，生成的第二融合图像可能如图1中的(e)所示，小夜灯中一部分发蓝光，另一部分发黄光，还有小部分发红光，而桌面又反射的是蓝光。可见，由于没有顾及到光源变色的影响，融合出的第二融合图像中的局部图像颜色出现了严重偏差，融合处理没有提升图像质量，反而使其受损，使得用户拍摄体验非常差。
[0107]
当图1所示的场景中具有多种不同颜色的光源，且一种或多种光源的颜色还会发生变换时，摄像头所采集的多帧原始图像中的颜色情况更为复杂，结合上述相关图像处理方法对应的流程，将多帧小夜灯发多种颜色光的原始图像进行融合后，生成的第二融合图像中出现颜色偏差的局部更多，质量更差。上述仅为几种示例，本技术实施例对此没有任何限制。
[0108]
有鉴于此，本技术实施例提供了一种图像处理方法，通过对采集的多帧曝光图像进行帧色彩判断；基于帧色彩判断结果，按照预设规则选择部分图像或者所有图像进行融合，或者选择颜色相同的图像进行融合，又或者不融合，仅将单独一帧图像输出；由此，通过本技术实施例提供的图像处理方法，通过帧色彩判断，可以校正后续得到的图像的颜色，提升图像质量。
[0109]
下面结合附图对本技术实施例提供的图像处理方法进行详细介绍。
[0110]
图3示出了本技术实施例提供的一种图像处理方法的流程图。该方法应用于电子设备。
[0111]
如图3所示，本技术实施例提供的图像处理方法可以包括以下s110至s160。下面对这些步骤进行详细的描述。
[0112]
s110、获取多帧曝光图像。
[0113]
可选地，多帧曝光图像对应的曝光值不同，例如，多帧曝光图像中至少两帧曝光图像对应的光圈值不同，多帧曝光图像对应的曝光时间均相同。或者，多帧曝光图像对应的光圈值均相同，多帧曝光图像中至少两帧曝光图像对应的曝光时间不同。
[0114]
可选地，多帧曝光图像对应的曝光值相同，例如，多帧曝光图像各自对应的光圈值均相同，各自对应的曝光时间也均相同。
[0115]
在一些实施例中，电子设备中可以包括一个或多个图像传感器，那么，电子设备可以控制该一个或多个图像传感器进行拍摄，从而得到多帧曝光图像。在另一些实施例中，无论电子设备中是否包括图像传感器，电子设备都可以从本地存储或者从其他设备获取多帧曝光图像。例如，用户可以通过第一电子设备d1拍摄得到多帧曝光图像，然后将该多帧曝光图像发送给第二电子设备d2，第二电子设备d2在接收到该多帧曝光图像之后，可以执行本技术实施例提供的图像处理方法以进行图像处理。当然，在实际应用过程中，电子设备还可以通过其他方式来获取多帧曝光图像，本技术实施例对此不进行任何限制。
[0116]
电子设备在获取多帧曝光图像之前，还可以先对待拍摄场景进行判断，判断是否需要对待拍摄场景进行拍摄，需要时再获取多帧曝光图像。
[0117]
示例性的，电子设备可以判断待拍摄场景是否为暗光场景或高动态范围(high dynamic range，hdr)场景。当确定待拍摄场景为暗光场景或hdr场景时，再针对待拍摄场景获取多帧曝光图像。当不是暗光场景或hdr场景时，则不获取多帧曝光图像。
[0118]
其中，可以根据亮度值来确定暗光场景，该过程具体可以包括：当待拍摄场景对应
的亮度值小于亮度值阈值时，则确定该场景为暗光场景，否则，确定该场景非暗光场景。此处，示例的亮度值小于亮度值阈值，即为第一预设条件，换句话说，只有符合该第一预设条件时，电子设备才会采集多帧曝光图像。
[0119]
另外，可以根据动态范围(dynamic range，dr)值来确定hdr场景，该过程具体可以包括：当待拍摄场景对应的rd值大于预设动态范围值时，则确定该场景为hdr场景，否则，确定该场景非hdr场景。当然，也可以利用其它方式来判断是否需要获取多帧曝光图像，本技术实施例对此不进行任何限制。此处，示例的dr值大于预设动态范围值，即为第一预设条件，换句话说，只有符合该第一预设条件时，电子设备才会采集多帧曝光图像。
[0120]
应理解，多帧曝光图像可以是直接由图像传感器生成的曝光图像，也可以是由对该曝光图像进行一种或多种处理操作之后得到的图像。
[0121]
应理解，多帧曝光图像包括2帧及2帧以上的曝光图像。多帧曝光图像均为拜尔格式图像，也即，均为raw域的图像。此处，当多帧曝光图像为raw域的图像时，相当于后续处理是在raw域上进行处理，可以保留更多的细节，提高后续图像的质量。当然，多帧曝光图像还可以均为rgb图像，或者，多帧曝光图像还可以均为yuv图像，本技术实施例对此不进行任何限制。
[0122]
应理解，多帧曝光图像可以是对同一待拍摄场景连续拍摄的图像，其中，曝光得到相邻两帧曝光图像之间的间隔，相对于任一帧曝光图像的曝光时间来说，都可以忽略不计。
[0123]
应理解，多帧曝光图像中的每个曝光图像对应一个曝光起始时刻和曝光结束时刻，该曝光起始时刻到曝光结束时刻之间的时长即为曝光图像对应的曝光时间。其中，曝光图像对应的曝光起始时刻、曝光结束时刻、曝光时间和曝光值均可以携带在曝光图像中，也可以是与该曝光图像对应存储起来的。
[0124]
应理解，多帧曝光图像中至少两帧曝光图像对应的光圈值不同指的是：在一些实施例中，多帧曝光图像中每帧曝光图像对应的光圈值均不相同，在另一些实施例中，一部分曝光图像各自对应的光圈值相同，另一部分曝光图像(大于或等于2帧曝光图像)各自对应的光圈值不相同。
[0125]
应理解，多帧曝光图像中至少两帧曝光图像各自对应的曝光时间不同指的是：在一些实施例中，多帧曝光图像中每帧曝光图像对应的曝光时间均不相同，在另一些实施例中，一部分曝光图像各自对应的曝光时间相同，另一部分曝光图像(大于或等于2帧曝光图像)各自对应的曝光时间不相同。
[0126]
此处，本技术实施例对多帧曝光图像的曝光方式不作限定，比如，多帧曝光图像对应的光圈值均相同，而多帧曝光图像各自对应的曝光时间按照曝光次序，依次增长。或者，比如，多帧曝光图像对应的光圈值均相同，而多帧曝光图像各自对应的曝光时间有的长有的短，并无规则。其中，任意两次曝光之间的时间间隔忽略不计。
[0127]
示例性一，图4示出了本技术实施例提供的一种曝光方式。如图4中的(a)所示，假设光圈值不变，电子设备连续曝光8次，得到8帧曝光图像序列，分别为曝光图像p1至曝光图像p8。其中，曝光图像p1对应的曝光时间为t1，曝光图像p2对应的曝光时间为t2，t2＞t1；曝光图像p3对应的曝光时间为t3，t3＞t2；依次类推，曝光图像p7对应的曝光时间为t7，曝光图像p8对应的曝光时间为t8，t8＞t7。
[0128]
由此，可以从该8帧曝光图像中确定曝光值为0ev的曝光图像，将0ev对应的曝光图
像称为参考帧，或第1帧正常(normal)帧。同时，以0ev为第一预设曝光值，确定曝光值大于或等于0ev的曝光图像均为正常帧；或者，仅确定曝光值等于0ev的曝光图像均为正常帧。而对于曝光值小于0ev的曝光图像，则可以再设定一个小于0ev的第二预设曝光值来划分超短帧和短帧。例如，设定第二预设曝光值为-2ev，即，在多帧曝光图像对应的曝光值小于0ev的情况下，若曝光图像对应的曝光值小于-2ev，则该曝光图像可称为超短帧，否则，则称为短帧。
[0129]
如图4中的(a)所示，若第3帧曝光图像p3对应的曝光值为0ev(又称ev0)，则可以选择将第3帧曝光图像p3称为参考帧，或者称为第1帧正常帧，第4帧曝光图像p4至第8帧曝光图像的曝光值均比0ev大，由此，可以将第4帧曝光图像p4至第8帧曝光图像也均称为正常帧或者长帧；或者，如图4中的(b)所示，第4帧曝光图像p4至第8帧曝光图像p8的曝光值均为0ev，与参考帧的曝光值相同，由此，可以将第4帧曝光图像p4至第8帧曝光图像p8也均称为正常帧；而第2帧曝光图像p2的曝光值为-1ev，曝光值小于0ev而大于-2ev，则可以将第2帧曝光图像p2称为短帧；而第1帧曝光图像p1的曝光值为-3ev，曝光值小于-2ev，则可以将第1帧曝光图像p1称为超短帧。可选的，第2帧曝光图像p2也可以为-2ev，第1帧曝光图像p1也可以为-4ev。
[0130]
示例性二，图5示出了本技术实施例提供的另一种曝光方式，如图5所示，电子设备连续曝光6次，得到6帧曝光图像序列，分别为曝光图像q1至曝光图像q6。其中，曝光图像q1对应的曝光时间为t11，曝光图像q2对应的曝光时间为t12，依次类推，曝光图像q5对应的曝光时间为t15，曝光图像q6对应的曝光时间为t16。
[0131]
如图5所示，t11至t16大小不一，t15最大，t16最小。若第2帧曝光图像q2对应的曝光值为0ev(又称ev0)，则可以选择将第2帧曝光图像q2称为第1帧正常帧，由于第3帧曝光图像q3至第5帧曝光图像q5分别对应的曝光值均大于0ev，则可以将第3帧曝光图像q3至第5帧曝光图像q5均称为正常帧；而第1帧曝光图像q1的曝光值小于0ev而大于第二预设曝光值(例如-2ev)，则可以将第1帧曝光图像q1称为短帧，又因为第6帧曝光图像q6的曝光值小于-2ev，则可以将第6帧曝光图像q6成为超短帧。
[0132]
应理解，上述仅为几种将多帧曝光图像划分为超短帧、短帧和正常帧的方式，当然，也可以以其他曝光值为依据进行超短帧、短帧和正常帧的划分，也可以仅将多帧曝光图像划分为超短帧和短帧、超短帧和正常帧、或者短帧和正常帧，本技术实施例对此不作限定。针对超短帧、短帧和正常帧的数量，本技术实施例也不作限定。
[0133]
s120、对多帧曝光图像进行前端处理，得到处理后的多帧曝光图像。其中，该处理后的曝光图像也可以称为前端图像。
[0134]
可选地，前端处理可以包括：配准、黑电平校正(black level correction，blc)、镜头阴影校正(lens shading correction，lsc)、自动白平衡(auto white balance，awb)、降噪、下采样中的至少一项。
[0135]
其中，黑电平校正用于对黑电平进行校正处理；镜头阴影校正用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题；自动白平衡用于使得白色在任何色温下相机均能呈现出白色。降噪用于滤除图像中的噪声，保留图像中更多的细节。例如，可以利用卷积神经网络模型(convolutional neural networks,cnn)进行降噪处理。下采样用于减小图像的尺寸，降低后续图像处理过程中的计算量。
[0136]
当前端处理包括上述多项处理步骤时，该多项处理步骤的处理顺序可以根据需要进行设置和调整，本技术实施例对此不进行任何限制。当然，前端处理还可以包括其他步骤，具体可以根据需要进行选择，本技术实施例对此不进行任何限制。
[0137]
示例性的，图6示出了本技术实施例提供的一种前端处理的流程图。如图6所示，本技术实施例提供的前端处理依次包括：配准、镜头阴影校正、黑电平校正、降噪、自动白平衡和下采样。多帧曝光图像经前端处理之后，质量得以提升。
[0138]
还应理解，经过前端处理之后，得到的多帧前端图像与多帧曝光图像的格式相同，例如，当多帧曝光图像均为拜耳格式图像时，经过前端处理之后的多帧前端图像依然均为拜尔格式图像，也即，均为raw域的图像。
[0139]
s130、对多帧前端图像进行帧色彩判断，判断多帧前端图像的色彩是否相同。
[0140]
可选地，作为一种可实现的方式，对多帧前端图像进行帧色彩判断时，也可以不按顺序判断。例如，可以从多帧前端图像中选择1帧前端图像为参考帧，然后，将其他帧前端图像分别与参考帧进行对比，判断除参考帧之外的每帧前端图像与参考帧之间的色彩是否相同。
[0141]
在本技术实施例中，结合图4中的(b)所示，例如，若采集了8帧曝光图像，经前端处理之后对应为8帧前端图像，其中从第3帧前端图像开始，第3帧前端图像至第8帧前端图像对应的曝光值均为0ev，由此，可以选择该第1帧曝光值为0ev的第3帧前端图像作为参考帧；然后，将其他7帧前端图像分别与该参考帧进行一一对比，判断两两色彩是否相同。
[0142]
可选地，作为另一种可实现的方式，对多帧前端图像进行帧色彩判断时，可以按顺序依次判断第i帧与后续图像中的每帧前端图像的色彩是否相同，i大于或者等于1。每循环判断一次，i增加1。
[0143]
例如，若处理后得到了8帧前端图像，则对该8帧前端图像进行帧色彩判断时，第一次循环过程可以为：以第1帧前端图像为参考，先判断第1帧前端图像与第2帧前端图像的色彩是否相同，再判断第1帧前端图像与第3帧前端图像的色彩是否相同，依次类推，直至判断出第1帧前端图像与第8帧前端图像是否相同。
[0144]
第二次循环过程可以为：以第2帧前端图像为参考，先判断第2帧前端图像和第3帧前端图像的色彩是否相同，再判断第2帧前端图像和第4帧前端图像的色彩是否相同，依次类推，直至判断出第2帧前端图像与第8帧前端图像是否相同。其他循环依次类推，直至判断出第7帧前端图像与第8帧前端图像是否相同，其过程在此不再赘述。
[0145]
可选地，作为又一种可实现的方式，对多帧前端图像进行帧色彩判断时，还可以按预设顺序进行判断。例如，可以将多帧前端图像中每相邻的两帧前端图像划分为一组，判断每组包括的两帧前端图像的色彩是否相同。
[0146]
应理解，本技术实施例提供的帧色彩判断的对比顺序，可以根据需要进行设置和修改，本技术实施例对此不进行任何限制。
[0147]
结合上述几种示例，无论对多帧前端图像进行帧色彩判断的判断顺序如何，每次判断都需要将选择出的两帧前端图像的色彩进行对比，对此，图7示出了本技术实施例提供的两种对两帧前端图像进行色彩对比的流程示意图。
[0148]
可选地，如图7中的(a)所示，针对任意两帧前端图像，在确定色彩是否相同时，可以利用以下s131至s134的步骤进行判断：
[0149]
s131、对前端图像q1和前端图像q2进行图像分割。
[0150]
图像分割指的是将图像分成若干个特定的区域的过程。例如，可以按像素进行分割，也可以按内容进行分割等，具体可以需要选择分割方式，本技术实施例对此不进行任何限制。
[0151]
s132、将前端图像q1和前端图像q2进行全局对比，判断前端图像q1和前端图像q2的全局色彩，或者说整体色彩是否相同。
[0152]
应理解，全局对比用于指示：将两帧前端图像中代表各自整体色彩情况的信息进行比对。
[0153]
此处，能代表前端图像整体色彩情况的信息可以是：前端图像中各个区域对应的相同颜色像素平均值的平均值，或者，前端图像中各个区域对应的相同颜色像素的众数的平均值。当然，上述仅为两种示例，能代表前端图像整体色彩情况的信息还可以是其他信息，例如：前端图像中各个区域对应的相同颜色像素的中位数的平均值、前端图像中各个区域对应的相同颜色像素的方差的平均值等，具体可以根据需要进行选择，本技术实施例对此不进行任何限制。
[0154]
将前端图像q1和前端图像q2代表各自整体色彩情况的信息进行比对，若两个信息之间的差异比较大(例如两个信息之间的大小不同)，则可认为前端图像q1和前端图像q2的全局差异比较大；若两个信息之间的差异比较小(例如两个信息之间的大小相同)，则可认为前端图像q1和前端图像q2的全局差异比较小。
[0155]
其中，还可以利用其它方式判断两个图像代表各自整体色彩情况的信息之间的差异大小。例如，可以判断两个信息之间的差值是否大于相应的预设阈值，若是，则可认为前端图像q1和前端图像q2的全局差异比较大；若否，则可认为前端图像q1和前端图像q2的全局差异比较小。
[0156]
或者，还可以判断两个信息之间的比值是否大于相应的预设阈值，若是，则可认为前端图像q1和前端图像q2的全局差异比较大；若否，则可认为前端图像q1和前端图像q2的全局差异比较小。
[0157]
或者，还可以将前端图像q1和前端图像q2输入卷积网络模型(convolutional neural netcworks，cnn)中进行对比，用算法来判断前端图像q1和前端图像q2的整体色彩是否改变。其中，卷积网络模型例如可以为yolo v3，当然卷积网络模型也可以为其他模型，可以根据需要进行选择和更改，本技术实施例对此不进行任何限制。
[0158]
应理解，上述仅为几种示例，全局对比中判断全局差异大小的方式还可以为其他方式，本技术实施例对此不进行任何限制。
[0159]
s133、经过上述全局对比后，若两帧前端图像全局差异比较大，则可以判定该两帧前端图像的色彩发生了改变。若两帧前端图像全局差异比较小，则可以进一步进行局部对比，判断前端图像q1和前端图像q2相同区域处的局部色彩是否相同。
[0160]
s134、若局部差异比较小，则可以确定该两帧前端图像的色彩没有改变；若局部差异比较大，则可以确定该两帧前端图像的色彩还是发生了改变。
[0161]
应理解，局部对比用于指示：将两帧前端图像相同区域处，各自代表区域色彩情况的子信息进行对比。
[0162]
此处，能代表前端图像区域色彩情况的子信息可以是：前端图像中各个区域对应
的相同颜色像素平均值，或者，前端图像中各个区域对应的相同颜色像素的众数。当然，上述仅为两种示例，能代表前端图像区域色彩情况的子信息还可以是其他信息，例如：前端图像中各个区域对应的相同颜色像素的中位数、前端图像中各个区域对应的像素颜色像素的方差等，具体可以根据需要进行选择，本技术实施例对此不进行任何限制。
[0163]
将前端图像q1和前端图像q2相同区域处代表区域色彩情况的子信息进行比对，若两个子信息之间的差异比较大(例如两个子信息之间的大小不同)，则可认为前端图像q1和前端图像q2在该区域的局部差异比较大；若两个子信息之间的差异比较小(例如两个子信息之间的大小相同)，则可认为前端图像q1和前端图像q2在该区域的局部差异比较小。
[0164]
其中，还可以利用其它方式判断两个图像相同区域处代表区域色彩情况的子信息之间的差异大小。例如，可以判断两个子信息之间的差值是否大于相应的预设阈值，若是，则可认为前端图像q1和前端图像q2在该区域的局部差异比较大；若否，则可认为前端图像q1和前端图像q2在该区域的局部差异比较小。
[0165]
或者，还可以判断两个子信息之间的比值是否大于相应的预设阈值，若是则可认为前端图像q1和前端图像q2在该区域的局部差异比较大；若否，则可认为前端图像q1和前端图像q2在该区域的局部差异比较小。
[0166]
或者，还可以将前端图像q1和前端图像q2相同区域处对应的图像块输入cnn中进行对比，用算法来判断前端图像q1和前端图像q2在该区域处的局部色彩是否相同。
[0167]
应理解，上述仅为几种示例，局部对比中判断局部区域差异大小的方式还可以为其他方式，局部对比中判断局部差异大小的方式与全局对比中判断全局差异大小的方式可以相同，也可以不相同，本技术实施例对此不进行任何限制。
[0168]
应理解，全局对比中进行比对的是代表图像整体色彩情况的信息，反应的是图像色彩的平均情况，在此期间就有可能将一些或大或小的像素值进行了消除，掩盖了一些局部色彩突兀的情况。由此，在全局对比出两帧前端图像全局差异小，整体色彩相似的情况下，为了更加准确的判断图像色彩是否改变，还需对两帧前端图像中的局部色彩进行对比。当两帧前端图像的全局差异小且局部差异也小时，才能确认两帧前端图像的色彩比较相似，没有发生改变，否则，则认为两帧前端图像的色彩发生了改变。
[0169]
示例性的，图8示出了一种图像分割的示意图。结合图8所示，前端图像q1和前端图像q2均为拜耳格式图像，可以将前端图像q1以8
×
8的像素块(block)的方式进行图像分割，生成多个第一图像块，例如分别为h1、h2等。可以理解为h1、h2等均包括8
×
8个像素。同时，将前端图像q2也以8
×
8的像素块的方式进行图像分割，生成多个第二图像块，例如分别为k1、k2等，可以理解为k1、k2等均包括8
×
8个像素。然后，将前端图像q1和前端图像q2进行全局对比，在全局差异小的情况下，依次将相同区域处(位于同一行同一列位置处)的第一图像块和第二图像块进行局部对比，继续判断相同区域处的每组第一图像块和第二图像块的色彩是否相似，再根据局部对比结果来确定前端图像q1和前端图像q2的色彩是否发生了改变。
[0170]
应理解，前端图像q1和前端图像q2尺寸相同，图像分割方式相同，生成的第一图像块和第二图像块数量和尺寸也相同。
[0171]
结合图7中的(a)和图8所示，将前端图像q1和前端图像q2进行图像分割之后，再进行全局对比和局部对比时，针对前端图像q1，先确定每个第一图像块对应的各个颜色像素
平均值，可以理解为确定第一图像块中第一种颜色所有像素值的平均值，第二种颜色所有像素值的平均值等。然后，再确定所有第一图像块中，相同颜色像素平均值的平均值，可以理解为确定所有第一图像块的第一种颜色像素平均值的平均值，所有第一图像块的第二种颜色像素平均值的平均值等。其中，所有第一图像块中相同颜色像素平均值的平均值即为代表前端图像q1整体色彩情况的信息。
[0172]
针对前端图像q2，先确定每个第二图像块对应的各个颜色像素平均值，可以理解为确定第二图像块中第一种颜色所有像素值的平均值，第二种颜色所有像素值的平均值等。然后，再确定所有第二图像块中，相同颜色像素平均值的平均值，可以理解为确定所有第二图像块的第一种颜色像素平均值的平均值，所有第二图像块的第二种颜色像素平均值的平均值等。其中，所有第二图像块中相同颜色像素平均值的平均值即为代表前端图像q2整体色彩情况的信息。
[0173]
然后，针对第一种颜色，确定所有第一图像块对应的第一种颜色像素平均值的平均值，与所有第二图像块对应的第一种颜色像素平均值的平均值，两者之间的差值是否小于第一种颜色对应的第一预设平均值阈值。其他颜色依次类推，在此不再赘述。若针对每种颜色计算的差值都小于对应的第一预设平均值阈值，则说明前端图像q1和前端图像q2进行全局对比时，全局差异比较小，可以认为该两帧前端图像整体上色彩基本相同。此时，需进一步进行局部对比。若针对任意一种颜色计算的差值没有满足前述条件，则说明前端图像q1和前端图像q2进行全局对比时，全局差异比较大，可以认为该两帧前端图像整体上色彩不相同。此时即可认为该两帧前端图像的色彩发生了改变。
[0174]
在全局差异比较小的情况下，也即当两帧前端图像整体上色彩基本相同的情况下，将位于前端图像q1中第一行第一列的第一图像块h1和位于前端图像q2中第一行第一列的第二图像块k1进行局部对比，判断第一图像块h1和第二图像块k1的色彩是否相似。若相似，则继续将位于前端图像q2中第一行第二列的第一图像块h2和位于前端图像q2中第一行第二列的第二图像块k2进行局部对比，判断第一图像块h2和第二图像块k2的色彩是否相似。其他依次类推，在此不再赘述。第一图像块中相同颜色像素平均值即为代表前端图像q1中第一图像块处的色彩情况的子信息。第二图像块中相同颜色像素平均值即为代表前端图像q2中第二图像块处的色彩情况的子信息。
[0175]
然后，针对第一图像块h1和第二图像块k1，可以通过确定第一图像块h1中第一种颜色所有像素的平均值，与第二图像块k1中第一种颜色所有像素的平均值，两者之间的差值是否小于第一种颜色对应的第二预设平均值阈值。其他颜色依次类推，在此不再赘述。若针对每种颜色计算的差值都小于对应的第二预设平均值阈值，则说明第一图像块h1和第二图像块k1进行局部对比时，局部差异比较小，可以认为该两个图像块色彩基本相同。此时，可以继续对下一区域处的图像块进行局部对比。若针对任意一种颜色计算的差值没有满足前述条件，则说明第一图像块h1和第二图像块k1进行局部对比时，局部差异比较大，可以认为该两个图像块色彩不相同，此时，即可认为该两帧前端图像的色彩发生了改变。
[0176]
在上述s131至s134的步骤的基础上，针对任意两帧前端图像，在确定色彩是否相同时，在对前端图像q1和前端图像q2进行图像分割之前，还可以先对前端图像q1和前端图像q2进行下采样，以减少图像尺寸，减小进行全局对比和局部对比处理时的数据量，提高处理效率。
[0177]
可选地，如图7中的(b)所示，针对任意两帧前端图像，在确定色彩是否相同时，还可以利用一些s135至s137的步骤进行判断：
[0178]
s135、将前端图像q1和前端图像q2进行全局对比，判断前端图像q1和前端图像q2的全局色彩，或者说整体色彩是否相同。
[0179]
可选地，作为一种可实现的方式，可以先确定前端图像q1整个图像对应的各个颜色像素平均值，以及确定前端图像q2整个图像对应的各个颜色像素平均值，然后，确定两组像素平均值中，相同颜色对应的两个像素平均值之间的差值是否小于相同颜色对应的预设全局平均值阈值。其中，每种颜色像素平均值用于指示：每种颜色所有像素的像素值的平均值。
[0180]
若每种颜色所对应的两个像素平均值之间的差值均小于相同颜色对应的预设全局平均值阈值，则说明前端图像q1和前端图像q2进行全局对比时，全局差异比较小，可以认为该两帧前端图像整体上色彩基本相同。
[0181]
若任意一种颜色所对应的两个像素平均值之间的差值大于或等于相同颜色对应的预设全局平均值阈值，则说明前端图像q1和前端图像q2进行全局对比时，全局差异比较大，可以认为该两帧前端图像整体上色彩不相同。此处，根据前端图像q1整个图像对应的各个颜色像素平均值和前端图像q2整个图像对应的各个颜色像素平均值，确定出的每种颜色所对应的两个像素平均值之间的大于或等于相同颜色对应的预设全局平均值阈值的差值，即为前端图像q1和前端图像q2之间的全局差异。
[0182]
例如，以前端图像q1和前端图像q2包括红色像素、绿色像素和蓝色像素为例，前端图像q1整个图像对应的各个颜色像素平均值包括：表示前端图像q1整个图像中所有红色像素的平均值的第一红色像素平均值q1_r'，表示前端图像q1整个图像中所有绿色像素的平均值的第一绿色像素平均值q1_g'，以及表示前端图像q1整个图像中所有蓝色像素的平均值的第一蓝色像素平均值q1_b'。
[0183]
前端图像q2整个图像对应的各个颜色像素平均值包括：表示前端图像q2整个图像中所有红色像素的平均值的第二红色像素平均值q2_r'，表示前端图像q2整个图像中所有绿色像素的平均值的第二绿色像素平均值q2_g'，以及表示前端图像q2整个图像中所有蓝色像素的平均值的第二蓝色像素平均值q2_b'。
[0184]
若第一红色像素平均值q1_r'与第二红色像素平均值q2_r'的差值小于红色对应的预设全局平均值阈值，第一绿色像素平均值q1_g'与第二绿色像素平均值q2_g'的差值小于绿色对应的预设全局平均值阈值，第一蓝色像素平均值q1_b'与第二蓝色像素平均值q2_b'的差值小于蓝色对应的预设全局平均值阈值，则说明前端图像q1和前端图像q2进行全局对比时，全局差异比较小，认为该两帧前端图像整体上色彩基本相同。除此之外，均说明前端图像q1和前端图像q2进行全局对比时，全局差异比较大，认为该两帧前端图像整体上色彩不相同。
[0185]
此处，确定出的第一红色像素平均值q1_r'与第二红色像素平均值q2_r'之间的大于或等于红色对应的预设全局平均值阈值的差值，第一绿色像素平均值q1_g'与第二绿色像素平均值q2_g'之间的大于或等于绿色对应的预设全局平均值阈值的差值，第一蓝色像素平均值q1_b'与第二蓝色像素平均值q2_b'之间的大于或等于蓝色对应的预设全局平均值阈值的差值，即为前端图像q1和前端图像q2之间的全局差异。
[0186]
可选地，作为另一种可实现的方式，可以先确定前端图像q1整个图像对应的各个颜色像素的众数，以及确定前端图像q2整个图像对应的各个颜色像素的众数，然后，确定两组众数中，相同颜色对应的两个众数之间的差值是否小于相同颜色对应的预设全局众数阈值。其中，每种颜色像素的众数用于指示：每种颜色的所有像素中出现次数最多的一个像素值。
[0187]
若每种颜色所对应的两个众数之间的差值均小于相同颜色对应的预设全局众数阈值，则说明前端图像q1和前端图像q2进行全局对比时，全局差异比较小，可以认为该两帧前端图像整体上色彩基本相同。
[0188]
若任意一种颜色对应的两个众数之间的差值大于或等于相同颜色对应的预设全局众数阈值，则说明前端图像q1和前端图像q2进行全局对比时，全局差异比较大，可以认为该两帧前端图像整体上色彩不相同。此处，根据前端图像q1整个图像对应的各个颜色像素的众数和前端图像q2整个图像对应的各个颜色像素的众数，确定出的每种颜色所对应的两个众数之间的大于或等于相同颜色对应的预设全局众数阈值的差值，即为前端图像q1和前端图像q2之间的全局差异。
[0189]
例如，以前端图像q1和前端图像q2包括红色像素、绿色像素和蓝色像素为例，前端图像q1整个图像对应的各个颜色像素的众数包括：表示前端图像q1整个图像中所有红色像素中出现次数最多的像素值的第一红色众数q1_r”，表示前端图像q1整个图像中所有绿色像素中出现次数最多的像素值的第一绿色众数q1_g”，以及表示前端图像q1整个图像中所有蓝色像素中出现次数最多的像素值的第一蓝色众数q1_b”。
[0190]
前端图像q2整个图像对应的各个颜色像素的众数包括：表示前端图像q2整个图像中所有红色像素中出现次数最多的像素值的第二红色众数q2_r”，表示前端图像q2整个图像中所有绿色像素中出现次数最多的像素值的第二绿色众数q2_g”，以及表示前端图像q2整个图像中所有蓝色像素中出现次数最多的像素值的第二蓝色众数q2_b”。
[0191]
若第一红色众数q1_r”与第二红色众数q2_r”的差值小于红色对应的预设全局众数阈值，第一绿色众数q1_g”与第二绿色众数q2_g”的差值小于绿色对应的预设全局众数阈值，第一蓝色众数q1_b”与第二蓝色众数q2_b”的差值小于蓝色对应的预设全局众数阈值，则说明前端图像q1和前端图像q2进行全局对比时，全局差异比较小，认为该两帧前端图像整体上色彩基本相同。除此之外，均说明前端图像q1和前端图像q2进行全局对比时，全局差异比较大，认为该两帧前端图像整体上色彩不相同。
[0192]
此处，确定出的第一红色众数q1_r”与第二红色众数q2_r”之间的大于或等于红色对应的预设全局众数阈值的差值，第一绿色众数q1_g”与第二绿色众数q2_g”之间的大于或等于绿色对应的预设全局众数阈值的差值，第一蓝色众数q1_b”与第二蓝色众数q2_b”之间的大于或等于蓝色对应的预设全局众数于阈值的差值，即为前端图像q1和前端图像q2之间的全局差异。
[0193]
应理解，前端图像也可以包括其他多种颜色的像素，上述仅为一种示例。针对颜色种类和数量，本技术实施例对此不进行任何限制。
[0194]
s136、经过上述全局对比后，若两帧前端图像全局差异比较大，则可以判定该两帧前端图像的色彩发生了改变。若两帧前端图像全局差异比较小，则可以进一步进行图像分割和局部对比，判断前端图像q1和前端图像q2相同位置处的局部色彩是否相同。
[0195]
s137、若局部差异比较小，则可以确定该两帧前端图像的色彩没有改变；若局部差异比较大，则可以确定该两帧前端图像的色彩还是发生了改变。
[0196]
示例性的，结合图8所示，前端图像q1和前端图像q2均为拜耳格式图像，可以利用s135中任一种示意的方式将前端图像q1和前端图像q2进行全局对比，若两帧前端图像全局差异比较大，则可以认为该两帧前端图像的色彩发生了改变。若全局差异比较小，则将前端图像q1以8
×
8的像素块(block)的方式进行图像分割，生成多个第一图像块，例如分别为h1、h2等。可以理解为h1、h2等均包括8
×
8个像素。同时，将前端图像q2也以8
×
8的像素块的方式进行图像分割，生成多个第二图像块，例如分别为k1、k2等，可以理解为k1、k2等均包括8
×
8个像素。基于此，再依次将相同区域处(位于同一行同一列位置处)的第一图像块和第二图像块进行局部对比，继续判断相同区域处的每组第一图像块和第二图像块的色彩是否相似，然后，根据局部对比结果来确定前端图像q1和前端图像q2的色彩是否发生了改变。
[0197]
可选地，作为第一种可实现的方式，以第一图像块h1和第二图像块k1进行局部对比为例，可以将第一图像块h1和第二图像块k1逐像素进行对比，也就是说，依次将相同位置处的像素的像素值进行对比，若相同位置处的像素的像素值不一样，则说明第一图像块h1和第二图像块k1的色彩发生了改变。此处，相同位置处的像素的像素值之间的差值即为第一图像块h1和第二图像块k1之间的局部差异。
[0198]
可选地，作为第二种可实现的方式，以第一图像块h1和第二图像块k1进行局部对比为例，可以将第一图像块h1和第二图像块k1逐像素计算像素差值，若相同位置处的两个像素的差值大于预设差值阈值，则说明相同位置处的像素差异比较大，否则，两像素的差异可以忽略不计。此处，相同位置处的像素的像素值之间大于差值阈值的差值，为第一图像块h1和第二图像块k1之间的局部差异。
[0199]
可选地，作为第三种可实现的方式，以第一图像块h1和第二图像块k1进行局部对比为例，可以将第一图像块h1和第二图像块k1逐像素计算像素比值，若相同位置处的两个像素的比值大于预设比值阈值，则说明相同位置处的像素差异比较大，否则，两像素的差异可以忽略不计。
[0200]
在此基础上，在第一种至第三种可实现的方式中，还可以进一步设定，若8
×
8个像素中满足预设比例的像素不一样，例如，有65％的像素不一样或者说差异比较大，才说明第一图像块h1和第二图像块k1的色彩发生了改变；否则，可以将不一样的像素忽略不计，认为第一图像块h1和第二图像块k1的色彩没有发生改变。
[0201]
可选地，作为第四种可实现的方式，以第一图像块h1和第二图像块k1进行局部对比为例，可以先确定第一图像块h1和第二图像块k1中的各个颜色像素平均值，然后，确定两组像素平均值中，相同颜色对应的两个像素平均值是否相同，或者，确定相同颜色对应的两个像素平均值的差值是否小于相同颜色对应的预设局部平均值阈值。
[0202]
若任意一种颜色所对应的两个像素平均值不同，或者，若任意一种颜色所对应的两个像素平均值之间的差值大于相同颜色对应的预设局部平均值阈值，则说明第一图像块h1和第二图像块k1的色彩发生了改变；否则，则说明第一图像块h1和第二图像块k1的色彩没改变。
[0203]
可选地，作为第五种可实现的方式，以第一图像块h1和第二图像块k1进行局部对比为例，可以先确定第一图像块h1和第二图像块k1中的各个颜色像素的众数，然后，确定两
组像素众数中，相同颜色对应的两个像素众数是否相同，或者，确定相同颜色对应的两个像素众数的差值是否小于相同颜色对应的预设局部众数阈值。
[0204]
若任意一种颜色所对应的两个像素众数不同，或者，若任意一种颜色所对应的两个众数之间的差值大于相同颜色对应的预设局部众数阈值，则说明第一图像块h1和第二图像块k1的色彩发生了改变；否则，则说明第一图像块h1和第二图像块k1的色彩没改变。
[0205]
可选地，作为第六种可实现的方式，以第一图像块h1和第二图像块k1进行局部对比为例，可以直接将第一图像块h1和第二图像块k1输入cnn中进行色彩对比，用算法来判断第一图像块h1和第二图像块k1的色彩是否改变。
[0206]
应理解，上述仅为几种示例，局部对比还可以根据需要设置和修改成其他对比方式，本技术实施例对此不进行任何限制。
[0207]
s140、若多帧前端图像的色彩全部相同，则将多帧前端图像进行融合，得到目标图像m1。
[0208]
可选地，在进行融合时，还可以对不同前端图像对应设定不同的权重，以调整不同前端图像的影响。
[0209]
此处多帧前端图像的色彩全部相同指的是：针对多帧前端图像中任意两帧前端图像，利用上述s131至s134的方法进行判断，或者利用上述s135至s137的方法进行判断时，两帧前端图像对应的全局差异比较小且局部差异也比较小的情况。
[0210]
相应的，多帧前端图像的色彩不同指的是：多帧前端图像中至少有两帧前端图像，利用上述s131至s134的方法进行判断，或者利用上述s135至s137的方法进行判断时，两帧前端图像对应的全局差异比较大，或者全局差异比较小但局部差异比较大的情况。
[0211]
应理解，上述s131至s134的方法，或者上述s135至s137的方法中涉及的条件统称为第二预设条件，两帧前端图像对应的全局差异比较小且局部差异也比较小时，即认为该两帧前端图像符合第二预设条件，否则，则认为该两帧前端图像不符合第二预设条件。
[0212]
s150、若多帧前端图像的色彩不同，则根据帧色彩判断结果对应的预设处理规则，将多帧前端图像中的全部或部分前端图像进行融合，得到目标图像m2；或者，从多帧前端图像中确定1帧前端图像为目标图像。
[0213]
示例性的，若仅采集得到2帧曝光图像，则可以根据以上全局对比和局部对比过程进行判断，可确定该2帧曝光图像对应的前端图像色彩相同，则可以将该2帧前端图像进行融合，得到目标图像。若确定出该2帧曝光图像对应的前端图像色彩不相同，则可以将该2帧前端图像中的参考帧作为目标图像输出。或者，还可以将2帧前端图像中相对曝光值较小的前端图像作为目标图像。
[0214]
应理解，若采集得到3帧或3帧以上曝光图像，帧色彩判断的顺序和对比方式可以根据需要进行设定，相对应的预设处理规则也可以根据需要进行设置和修改，本技术实施例对此不进行任何限制。
[0215]
s160、对目标图像m1进行第一后端处理，得到后端图像h1。或者，对目标图像m2进行第二后端处理，得到后端图像h2。
[0216]
可选地，第一后端处理、第二后端处理均可以包括：非线性叠加、鬼影校正中的至少一项。
[0217]
其中，非线性叠加用于指示对目标图像的伽马(gamma)值或者亮度值进行非线性
的增强，使其动态范围(dynamic range，dr)放大，也即使得目标图像处理后亮的内容更亮，暗的内容更暗，图像的表现力更强，层次更丰富。
[0218]
应理解，第一后端处理、第二后端处理用于修复融合过程中产生的缺陷和不足，第一后端处理对目标图像m1进行校正和补偿，第二后端处理对目标图像m2进行校正和补偿。
[0219]
当第一后端处理、第二后端处理包括上述多项处理步骤时，该多项处理步骤的处理顺序可以根据需要进行设置和调整，本技术实施例对此不进行任何限制。当然，第一后端处理、第二后端处理还可以包括其他步骤，第一后端处理和第二后端处理包括的步骤可以相同也可以不相同，具体可以根据需要进行选择，本技术实施例对此不进行任何限制。
[0220]
示例性的，图9示出了本技术实施例提供的一种第一后端处理或第二后端处理的流程图。如图9所示，本技术实施例提供的第一后端处理或第二后端处理依次包括：非线性叠加和鬼影校正。目标图像m1经第一后端处理之后，质量得以提升，目标图像m2经第二后端处理之后，质量也得以提升。
[0221]
还应理解，经过第一后端处理、第二后端处理之后，得到的后端图像h1或后端图像h2与曝光图像的格式相同，例如当多帧曝光图像为拜耳格式图像时，后端图像h1或后端图像h2依然均为拜尔格式图像，也即，为raw域的图像。
[0222]
本技术实施例提供了一种图像处理方法，通过在融合处理之前，先对多帧曝光图像进行帧色彩判断；基于帧色彩判断结果，按照对应的预设处理规则选择将全部或部分曝光图像进行融合，或者，不做融合，仅选择其中一帧曝光图像输出。由此，通过本技术实施例提供的图像处理方法，根据多帧曝光图像之间不同的色彩情况，合理选择融合或不融合，从而可以得到对应最能真实反应色彩的目标图像，提升处理之后的图像的质量，避免在光源变色场景下，对采集的多帧图像进行融合之后色彩出现偏差的情况。
[0223]
下面结合具体的帧色彩判断过程，对本技术实施例提供的图像处理方法进行详细介绍。
[0224]
实施例一
[0225]
图10为本技术实施例提供的一种图像处理方法的流程图。如图10所示，本技术实施例提供的图像处理方法可以包括以下s210至s280。下面对这些步骤进行详细的描述。
[0226]
s210、获取8帧图像序列。
[0227]
该8帧图像序列的曝光值不完全相同。例如可以如图4中的(a)所示，曝光值依次增大，8帧曝光图像的曝光值均不同，其中从左到右依次包括1帧超短帧，1帧短帧和6帧正常帧。或者，也可以如图4中的(b)所示，一部分曝光值不同，另一部分曝光值相同，其中，从左到右依次包括1帧超短帧，1帧短帧和6帧正常帧。当然，8帧曝光图像的曝光值也可以为其他情况，按照预设曝光值进行划分，也可以分为2帧超短帧、1帧短帧和5帧正常帧的情况，具体可以根据需要进行设置，本技术实施例对此不进行限制。
[0228]
可选的，该8帧曝光图像均为raw域的图像、rgb域的图像图或者yuv域的图像，还可以为其他颜色空间，本技术不进行限定。可以理解，8帧是示例性说明，可以为6帧或者5帧或者9帧，也可以为其他，本技术不进行限定。
[0229]
s220、对该8帧曝光图像进行前端处理，得到8帧前端图像。
[0230]
其中，对s220的描述与上述s120的描述相同，在此不再赘述。
[0231]
s230、对8帧前端图像进行帧色彩判断。
[0232]
以图4中的(b)所示为例，第3帧前端图像至第8帧前端图像对应的曝光值均为0ev，称第3帧前端图像至第8帧前端图像均为正常帧；第2帧前端图像对应的曝光值为-1ev，小于第一预设曝光值0ev，则称第2帧前端图像为短帧；第1帧前端图像对应的曝光值为-3ev，小于第二预设曝光值-2ev，则称第1帧前端图像为超短帧。
[0233]
其中，第3帧前端图像为第1帧正常帧，可选择该第3帧前端图像作为参考帧进行对比，确定超短帧和参考帧的色彩是否相同，确定短帧和参考帧的色彩是否相同，确定第4帧前端图像(第2帧正常帧)与参考帧的色彩是否相同，依次类推，直至确定第8帧前端图像(第6帧正常帧)与参考帧的色彩是否相同。
[0234]
上述每次确定两帧图像是否色彩相同的方式可以参考图7中的(a)所示的方式，例如，先将两帧图像进行图像分割，然后进行全局对比，当两帧图像的全局差异比较大时，则确定该两帧图像的色彩发生了改变。在两帧图像的全局差异比较小的情况下，继续进行局部对比，当两帧图像的全局差异小且局部差异也小时，才确定该两帧图像的色彩没有改变。否则，虽然两帧图像的全局差异小但局部差异比较大，还是认为该两帧图像的色彩发生了改变。
[0235]
当然，上述每次确定两帧图像是否色彩相同的方式还可以参考图7中的(b)所示的方式，本技术实施例对此不进行任何限制。
[0236]
s240、若超短帧和参考帧进行对比后，确定超短帧和参考帧色彩相同，而且短帧和参考帧进行对比，确定短帧和参考帧色彩相同，此时说明超短帧、短帧和参考帧三者的色彩是相同的。
[0237]
在此情况下，若其余正常帧(第2帧正常帧至第6帧正常帧)与参考帧进行一一对比后，确定其余每帧正常帧都与参考帧色彩相同，此时，说明所有正常帧色彩都相同，进而说明所有8帧前端图像的色彩都相同，没有发生改变。那么，可以将8帧前端图像全部进行融合处理，得到目标图像；或者，也可以仅将参考帧作为目标图像输出。
[0238]
若其余正常帧与参考帧进行对比后，确定其余正常帧只有部分正常帧与参考帧色彩相同，此时，说明6帧正常帧中只有部分正常帧色彩相同，进而说明8帧前端图像中只有部分前端图像色彩相同，那么，可以将该色彩相同的多帧前端图像(超短帧、短帧、参考帧以及其余正常帧中与参考帧色彩相同的部分正常帧)进行融合处理，得到目标图像，而其他色彩不相同的则不进行融合；或者，也可以仅将参考帧作为目标图像输出。
[0239]
若其余正常帧与参考帧进行对比后，确定其余正常帧中每帧正常帧都与参考帧色彩不同，此时，说明6帧正常帧全部色彩不同，进而说明8帧前端图像中只有超短帧、短帧和参考帧色彩相同，那么，可以将超短帧、短帧和参考帧进行融合，得到目标图像；或者，也可以参考帧作为目标图像输出。
[0240]
s250、若超短帧和参考帧进行对比后，确定超短帧和参考帧色彩不同，而短帧和参考帧进行对比后，确定短帧和参考帧色彩相同，此时说明超短帧、短帧和参考帧三者的色彩不完全相同。
[0241]
在此情况下，若其余正常帧(第2帧正常帧至第6帧正常帧)与参考帧进行一一对比后，确定其余每帧正常帧都与参考帧色彩相同，此时，说明所有正常帧色彩都相同，进而说明短帧和所有正常帧色彩都相同，只有超短帧色彩变了。那么，可以去除超短帧，仅将短帧和6帧正常帧进行融合处理，得到目标图像；或者，也可以仅将参考帧作为目标图像输出。
[0242]
若其余正常帧与参考帧进行对比后，确定其余正常帧只有部分正常帧与参考帧色彩相同，此时，说明6帧正常帧中只有部分正常帧色彩相同，进而说明8帧前端图像中只有部分前端图像色彩相同，那么，则可以将色彩相同的多帧前端图像(短帧、参考帧以及其余正常帧中与参考帧色彩相同的部分正常帧)进行融合处理，得到目标图像，而其他色彩不相同的则不进行融合；或者，也可以仅将参考帧作为目标图像输出。
[0243]
若其余正常帧与参考帧进行对比后，确定其余正常帧中每帧正常帧都与参考帧色彩不同，此时，说明6帧正常帧全部色彩不同，进而说明8帧前端图像中只有短帧和参考帧色彩相同，那么，可以将短帧和参考帧进行融合，得到目标图像；或者，也可以将参考帧作为目标图像输出。
[0244]
s260、若超短帧和参考帧进行对比后，确定超短帧和参考帧色彩相同，而短帧和参考帧进行对比后，确定短帧和参考帧色彩不同，此时说明超短帧、短帧和参考帧三者的色彩不完全相同。
[0245]
在此情况下，若其余正常帧(第2帧正常帧至第6帧正常帧)与参考帧进行一一对比后，确定其余每帧正常帧都与参考帧色彩相同，此时，说明所有正常帧色彩都相同，进而说明超短帧和所有正常帧色彩都相同，只有短帧色彩表了。那么，则可以去除短帧，仅将超短帧和6帧正常帧进行融合处理，得到目标图像；或者，也可以仅将参考帧作为目标图像输出。
[0246]
若其余正常帧与参考帧进行对比后，确定其余正常帧只有部分正常帧与参考帧色彩相同，此时，说明6帧正常帧中只有部分正常帧色彩相同，进而说明8帧前端图像中只有部分前端图像色彩相同，那么，则可以将色彩相同的多帧前端图像(超短帧、参考帧以及其余正常帧中与参考帧色彩相同的部分正常帧)进而融合处理，得到目标图像，而其他色彩不相同的则不进行融合；或者，也可以仅将参考帧作为目标图像输出。
[0247]
若其余正常帧与参考帧进行对比后，确定其余正常帧中每帧正常帧都与参考帧色彩不同，此时，说明6帧正常帧全部色彩不同，进而说明8帧前端图像中只有超短帧与参考帧色彩相同，那么，则可以将超短帧和参考帧进行融合，得到目标图像；或者，也可以将参考帧作为目标图像输出。
[0248]
s270、若超短帧和参考帧进行对比后，确定超短帧和参考帧色彩不同，短帧和参考帧进行对比后，确定短帧和参考帧色彩也不同，此时，说明超短帧、短帧和参考帧三者的色彩完全不同。
[0249]
在此情况下，若其余正常帧(第2帧正常帧至第6帧正常帧)与参考帧进行一一对比后，确定其余每帧正常帧都与参考帧色彩相同，此时，说明所有正常帧色彩都相同，进而说明只有所有正常帧色彩相同，超短帧和短帧的色彩都变了。那么，可以去除超短帧和短帧，仅将6帧正常帧进行融合处理，得到目标图像。或者，也可以仅将参考帧作为目标图像输出。
[0250]
若其余正常帧与参考帧进行对比后，确定其余正常帧只有部分正常帧与参考帧色彩相同，此时，说明6帧正常帧中只有部分正常帧色彩相同，进而说明8帧前端图像中只有部分前端图像色彩相同，那么，则可以将色彩相同的多帧前端图像(参考帧以及其余正常帧中与参考帧色彩相同的部分正常帧)进行融合处理，得到目标图像，而其他色彩不相同的则不进行融合；或者，也可以仅将参考帧作为目标图像输出。
[0251]
若其余正常帧与参考帧进行对比后，确定其余正常帧中每帧正常帧都与参考帧色彩不同，此时，说明6帧正常帧全部色彩不同，进而说明8帧前端图像中其他前端图像均与参
考帧色彩不同，那么，则可以仅将参考帧作为目标图像输出。
[0252]
应理解，上述s240至s270，即为帧色彩判断后，不同结果对应的不同预设处理规则。
[0253]
应理解，在上述s240至s270中，由于相对于参考帧来说，其他7帧前端图像中有部分前端图像色彩发生了改变，所以需要在融合时将色彩发生改变的前端图像去掉，仅将色彩没有改变的前端图像进行融合，此时颜色统一，所以得到的目标图像不会受到多种颜色的干扰，生成的目标图像颜色就不会发生失真，从而可以校正目标图像色彩，实现改善目标图像质量的目的。
[0254]
s280、对目标图像进行后端处理，得到后端图像。
[0255]
应理解，后端处理与上述s150的描述相同，在此不再赘述。
[0256]
应理解，上述仅为本技术实施例提供的图像处理方法的一种示例，在其它实施例中，方法中的部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除，本技术实施例对此不进行任何限制。
[0257]
实施例二
[0258]
图11为本技术实施例提供的一种图像处理方法的流程图。如图11所示，本技术实施例提供的图像处理方法可以包括以下s310至s370。下面对这些步骤进行详细的描述。
[0259]
s310、获取8帧图像序列。
[0260]
该8帧图像序列的曝光值不完全相同。例如可以如图4中的(a)所示，如图4中的(a)所示，曝光值依次增大，8帧曝光图像的曝光值均不同，其中从左到右依次包括1帧超短帧，1帧短帧和6帧正常帧。或者，也可以如图4中的(b)所示，一部分曝光值不同，另一部分曝光值相同，其中，从左到右依次包括1帧超短帧，1帧短帧和6帧正常帧。当然，8帧曝光图像的曝光值也可以为其他情况，按照预设曝光值进行划分，也可以分为2帧超短帧、1帧短帧和5帧正常帧的情况，具体可以根据需要进行设置，本技术实施例对此不进行限制。
[0261]
可选的，该8帧曝光图像均为raw域的图像、rgb域的图像图或者yuv域的图像，还可以为其他颜色空间，本技术不进行限定。此处，仅以raw域的图像为例进行示意。可以理解，8帧是示例性说明，可以为6帧或者5帧或者9帧，也可以为其他，本技术不进行限定。
[0262]
s320、对8帧曝光图像进行前端处理，得到8帧前端图像。
[0263]
其中，对s320的描述与上述s120的描述相同，在此不再赘述。
[0264]
s330、对8帧前端图像进行帧色彩判断。
[0265]
以图4中的(b)所示为例，第3帧前端图像至第8帧前端图像对应的曝光值均为0ev，称第3帧前端图像至第8帧前端图像均为正常帧；第2帧前端图像对应的曝光值为-1ev，小于第一预设曝光值0ev，则称第2帧前端图像为短帧；第1帧前端图像对应的曝光值为-3ev，小于第二预设曝光值-2ev，则称第1帧前端图像为超短帧。
[0266]
其中，第3帧前端图像为第1帧正常帧，可选择该第3帧前端图像作为参考帧进行对比，确定超短帧和参考帧的色彩是否相同，确定短帧和参考帧的色彩是否相同，确定第4帧前端图像(第2帧正常帧)与参考帧的色彩是否相同，依次类推，直至确定第8帧前端图像(第6帧正常帧)与参考帧的色彩是否相同。
[0267]
上述每次确定两帧图像是否色彩相同的方式可以参考图7中的(a)所示的方式，或者，图7中的(b)所示的方式，本技术实施例对此不进行任何限制。
[0268]
s340、若其余正常帧(第2帧正常帧至第6帧正常帧)与参考帧进行一一对比后，确定其余正常帧与参考帧色彩相同，此时，说明所有正常帧色彩是相同的。
[0269]
在此情况下，若超短帧和参考帧进行对比后，确定超短帧和参考帧色彩相同，而且，短帧和参考帧进行对比后，确定短帧和参考帧也色彩相同，此时说明超短帧、短帧和参考帧三者的色彩是相同，进而说明所有8帧前端图像的色彩都相同，没有发生改变。那么，可以将8帧前端图像全部进行融合处理，得到目标图像；或者，也可以仅将参考帧作为目标图像输出。
[0270]
若超短帧和参考帧进行对比后，确定超短帧和参考帧色彩不同，而短帧和参考帧进行对比后，确定短帧和参考帧色彩相同，此时说明短帧和所有正常帧色彩相同，只有超短帧色彩变了。那么，可以去除超短帧，仅将短帧和6帧正常帧进行融合处理，得到目标图像；或者，也可以仅将参考帧作为目标图像输出。
[0271]
若超短帧和参考帧进行对比后，确定超短帧和参考帧色彩相同，而短帧和参考帧进行对比后，确定短帧和参考帧色彩不同，此时说明超短帧和所有正常帧色彩相同，只有短帧色彩变了。那么，可以却出短帧，仅将超短帧和6帧正常帧进行融合处理，得到目标图像；或者，也可以仅将参考帧作为目标图像输出。
[0272]
若超短帧和参考帧进行对比后，确定超短帧和参考帧色彩不同，短帧和参考帧进行对比后，确定短帧和参考帧也色彩不同，此时说明仅所有正常帧色彩相同，超短帧和短帧的色彩都变了。那么，可以去除超短帧和短帧，仅将6帧正常帧进行融合处理，得到目标图像。或者，也可以仅将参考帧作为目标图像输出。
[0273]
s350、若其余正常帧(第2帧正常帧至第6帧正常帧)与参考帧进行一一对比后，确定其余正常帧中只有部分正常帧与参考帧色彩相同，此时，说明6帧正常帧中只有部分正常帧色彩相同。
[0274]
在此情况下，若超短帧和参考帧进行对比后，确定超短帧和参考帧色彩相同，而且，短帧和参考帧进行对比后，确定短帧和参考帧也色彩相同，此时说明超短帧、短帧、参考帧以及与正常帧中与参考帧色彩相同的部分正常帧的色彩是相同的，那么，可以将该色彩相同的多帧前端图像进行融合处理，得到目标图像，而其他色彩不相同的则不进行融合；或者，也可以仅将参考帧作为目标图像输出。
[0275]
若超短帧和参考帧进行对比后，确定超短帧和参考帧色彩不同，而短帧和参考帧进行对比后，确定短帧和参考帧色彩相同，此时说明短帧、参考帧以及其余正常帧中与参考帧色彩相同的部分正常帧的色彩是相同，那么，可以将该色彩相同的多帧前端图像进行融合处理的，得到目标图像，而其他色彩不相同的则不进行融合；或者，也可以仅将参考帧作为目标图像输出。
[0276]
若超短帧和参考帧进行对比后，确定超短帧和参考帧色彩相同，短帧和参考帧进行对比后，确定短帧和参考帧色彩不同，此时说明超短帧、参考帧以及其余正常帧中与参考帧色彩相同的部分正常帧的色彩是相同的，那么，可以将该色彩相同的多帧前端图像进行融合处理，得到目标图像，而其他色彩不相同的则不进行融合；或者，也可以仅将参考帧作为目标图像输出。
[0277]
若超短帧和参考帧进行对比后，确定超短帧和参考帧色彩不同，短帧和参考帧进行对比后，确定短帧和参考帧也色彩不同，此时说明仅参考帧以及其他正常帧中与参考帧
色彩相同的部分正常帧的色彩是相同的，那么，可以将该色彩相同的多帧前端图像进行融合处理，得到目标图像，而其他色彩不相同的则不进行融合；或者，也可以仅将参考帧作为目标图像输出。
[0278]
s360、若其余正常帧(第2帧正常帧至第6帧正常帧)与参考帧进行一一对比后，确定其余正常帧中每帧正常帧都与参考帧色彩不同，此时，说明6帧正常帧全部色彩不同。
[0279]
在此情况下，若超短帧和参考帧进行对比后，确定超短帧和参考帧色彩相同，而且，短帧和参考帧进行对比后，确定短帧和参考帧也色彩相同，此时说明8帧前端图像中仅超短帧、短帧和参考帧的色彩是相同，那么，可以将该色彩相同的超短帧、短帧和参考帧进行融合处理，得到目标图像，而其他色彩不相同的则不进行融合；或者，也可以仅将参考帧作为目标图像输出。
[0280]
若超短帧和参考帧进行对比后，确定超短帧和参考帧色彩不同，而短帧和参考帧进行对比后，确定短帧和参考帧色彩相同，此时说明8帧前端图像中仅有短帧和参考帧色彩相同，那么，可以将短帧和参考帧进行融合，得到目标图像；或者，也可以仅将参考帧作为目标图像输出。
[0281]
若超短帧和参考帧进行对比后，确定超短帧和参考帧色彩相同，短帧和参考帧进行对比后，确定短帧和参考帧色彩不同，此时说明8帧前端图像中仅超短帧和参考帧色彩相同，那么，可以将超短帧和参考帧进行融合，得到目标图像；合作和，也可以仅将参考帧作为目标图像输出。
[0282]
若超短帧和参考帧进行对比后，确定超短帧和参考帧色彩不同，短帧和参考帧进行对比后，确定短帧和参考帧也色彩不同，此时说明8帧前端图像中其他前端图像均与参考帧色彩不同，那么，则可以仅将参考帧作为目标图像输出。
[0283]
应理解，上述s340至s360，即为帧色彩判断后，不同结果对应的不同预设处理规则。
[0284]
s370、对目标图像进行后端处理，得到后端图像。
[0285]
应理解，后端处理与上述s150的描述相同，在此不再赘述。
[0286]
应理解，上述仅为本技术实施例提供的图像处理方法的一种示例，在其它实施例中，方法中的部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除，本技术实施例对此不进行任何限制。
[0287]
图12为本技术实施例提供的一种效果示意图。
[0288]
结合图1，当待拍摄场景中的小夜灯不断变色时，若利用现有的图像处理方法，采集多帧原始图像直接进行融合之后，则可能得到如图12中的(a)所示的融合图像。由于采集的多帧原始图像包括对应不同颜色光的原始图像，因此导致该融合图像中的局部本该显示蓝光，却显示成了黄光，用户体验非常不好。
[0289]
而当采集多帧原始图像之后，利用本技术实施例提供的图像处理方法进行处理之后，则可以得到如图12中的(b)所示的图像。即使采集的多帧原始图像包括对应不同颜色光的原始图像，由于本技术实施例提供的图像处理方法会对其进行帧色彩判断，在对色彩不同的图像进行筛选之后，仅选择色彩相同的图像进行融合，或者仅输出1帧能代表真实色彩信息的图像作为最终的目标图像，由此，可以提高目标图像的质量，提高用户的体验效果。
[0290]
上文结合图1至图12，对本技术实施例的图像处理方法进行了详细描述，下面将结
合图13至图16，详细描述本技术适用的电子设备的软件系统、硬件系统、装置以及芯片。应理解，本技术实施例中的软件系统、硬件系统、装置以及芯片可以执行前述本技术实施例的各种图像处理方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。
[0291]
本技术实施例提供的图像处理方法可以适用于各种电子设备，对应的，本技术实施例提供的图像处理装置可以为多种形态的电子设备。
[0292]
在本技术的一些实施例中，该电子设备可以为单反相机、卡片机等各种摄像装置、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digital assistant，pda)等，或者可以为其他能够进行图像处理的设备或装置，对于电子设备的具体类型，本技术实施例不作任何限制。
[0293]
下文以电子设备为手机为例，图13示出了本技术实施例提供的一种电子设备100的结构示意图。
[0294]
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
[0295]
需要说明的是，图13所示的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图13所示的部件更多或更少的部件，或者，电子设备100可以包括图13所示的部件中某些部件的组合，或者，电子设备100可以包括图13所示的部件中某些部件的子部件。图13所示的部件可以以硬件、软件、或软件和硬件的组合实现。
[0296]
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
[0297]
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0298]
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
[0299]
处理器110可以运行本技术实施例提供的图像处理方法的软件代码，拍摄得到清晰度较高的图像。
[0300]
存储器120用于存储执行本技术方案的应用程序代码，并由处理器110来控制执行。存储器120可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，ram或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
[0301]
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
[0302]
电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0303]
显示屏194用于显示图像，视频等。
[0304]
摄像头193用于捕获图像或视频。可以通过应用程序指令触发开启，实现拍照功能，如拍摄获取任意场景的图像。摄像头可以包括成像镜头、滤光片、图像传感器等部件。物体发出或反射的光线进入成像镜头，通过滤光片，最终汇聚在图像传感器上。图像传感器主要是用于对拍照视角中的所有物体(也可称为待拍摄场景、目标场景，也可以理解为用户期待拍摄的场景图像)发出或反射的光汇聚成像；滤光片主要是用于将光线中的多余光波(例如除可见光外的光波，如红外)滤去；图像传感器主要是用于对接收到的光信号进行光电转换，转换成电信号，并输入处理器130进行后续处理。其中，摄像头193可以位于电子设备100的前面，也可以位于电子设备100的背面，摄像头的具体个数以及排布方式可以根据需求设置，本技术不做任何限制。
[0305]
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。
[0306]
内部存储器121还可以存储本技术实施例提供的图像处理方法的软件代码，当处理器110运行所述软件代码时，执行图像处理方法的流程步骤，得到清晰度较高的图像。
[0307]
内部存储器121还可以存储拍摄得到的图像。
[0308]
外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功
能。例如将音乐等文件保存在外部存储卡中。
[0309]
当然，本技术实施例提供的图像处理方法的软件代码也可以存储在外部存储器中，处理器110可以通过外部存储器接口120运行所述软件代码，执行图像处理方法的流程步骤，得到清晰度较高的图像。电子设备100拍摄得到的图像也可以存储在外部存储器中。
[0310]
应理解，用户可以指定将图像存储在内部存储器121还是外部存储器中。比如，电子设备100当前与外部存储器相连接时，若电子设备100拍摄得到1帧图像时，可以弹出提示信息，以提示用户将图像存储在外部存储器还是内部存储器；当然，还可以有其他指定方式，本技术实施例对此不进行任何限制；或者，电子设备100检测到内部存储器121的内存量小于预设量时，可以自动将图像存储在外部存储器中。
[0311]
电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
[0312]
在本技术实施例中，摄像头193可以捕获多帧曝光图像，处理器110对该多帧曝光图像进行图像处理，图像处理可以包括配准、镜头阴影校正、黑电平校正、降噪、自动白平衡、下采样、帧色彩判断、融合处理、非线性叠加、鬼影校正等，通过该图像处理，得到具有较好的色彩效果以及噪声抑制效果的目标图像。然后，处理器110可以控制显示屏194呈现处理后的目标图像，该目标图像即为光源变色场景下拍摄得到的图像。
[0313]
上文详细描述了电子设备100的硬件系统，下面介绍电子设备100的软件系统。软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构，本技术实施例以分层架构为例，示例性地描述电子设备100的软件系统。
[0314]
如图14所示，采用分层架构的软件系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，软件系统可以分为五层，从上至下分别为应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。
[0315]
应用层210可以包括相机、图库，还可以包括日历、通话、地图、导航、wlan、蓝牙、音乐、视频、短信息等应用程序。
[0316]
应用框架层220为应用层210的应用程序提供应用程序访问接口和编程框架。
[0317]
例如，应用框架层包括相机访问接口，该相机访问接口用于通过相机管理和相机设备来提供相机的拍摄服务。
[0318]
应用框架层220中的相机管理用于管理相机。相机管理可以获取相机的参数，例如判断相机的工作状态等。
[0319]
应用框架层220中的相机设备用于提供不用相机设备以及相机管理之间的数据访问接口。
[0320]
硬件抽象层230用于将硬件抽象化。比如，硬件抽象层可以包相机硬件抽象层以及其他硬件设备抽象层；相机硬件抽象层中可以包括相机设备1、相机设备2等；相机硬件抽象层可以与相机算法库相连接，相机硬件抽象层可以调用相机算法库中的算法。
[0321]
驱动层240用于为不同的硬件设备提供驱动。比如，驱动层可以包括相机驱动；数字信号处理器驱动以及图形处理器驱动。
[0322]
硬件层250可以包括传感器、图像信号处理器、数字信号处理器、图形处理器以及其他硬件设备。其中，传感器可以包括传感器1、传感器2等，还可以包括深度传感器(time of flight，tof)和多光谱传感器。
[0323]
下面结合显示拍照场景，示例性说明电子设备100的软件系统的工作流程。
[0324]
当用户在触摸传感器180k上进行单击操作时，相机app被单击操作唤醒后，通过相机访问接口调用相机硬件抽象层的各个相机设备。示例性的，相机硬件抽象层可以通过向相机设备驱动下发调用某一摄像头的指令，同时相机算法库开始加载本技术实施例所利用的帧色彩判断方法。
[0325]
当硬件层的传感器被调用后，例如，调用某一摄像头中的传感器1获取多帧曝光值不同的曝光图像，将该多帧曝光图像发送给图像信号处理器进行配准等前端处理，处理后经相机设备驱动返回硬件抽象层，再利用加载的相机算法库中的帧色彩判断方法进行对比和筛选，然后，按照帧色彩判断方法对比的结果，根据对应的预设处理规则进行处理，得到目标图像。其中，帧色彩判断方法以及对应的处理规则可以通过数字信号处理器驱动调用数字信号处理器、图形处理器驱动调用图形处理器进行实现。
[0326]
将得到的目标图像经相机硬件抽象层、相机访问接口发送回相机应用进行显示和存储。
[0327]
图15为本技术实施例提供的一种图像处理装置的结构示意图。如图15所示，该图像处理装置300包括获取模块310、处理模块320和存储模块330。
[0328]
该图像处理装置300可以执行以下方案：
[0329]
处理模块320，用于确定是否符合第一预设条件，指示所述获取模块310采集m帧图像；
[0330]
获取模块310，用于获取m帧图像；所述m帧图像包括第一曝光图像、第二曝光图像和第三曝光图像，所述第一曝光图像的曝光值小于所述第二曝光图像的曝光值，所述第二曝光图像的曝光值小于所述第三曝光图像的曝光值，其中m为大于等于2的整数；
[0331]
处理模块320，确定所述第一曝光图像与所述第三曝光图像符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像符合所述第二预设条件；
[0332]
对所述第一曝光图像、所述第二曝光图像和所述第三曝光图像进行融合处理，得到第一目标图像；
[0333]
存储模块330，用于保存所述第一目标图像。
[0334]
可选地，所述m帧图像还包括第四曝光图像，所述第四曝光图像的曝光值等于所述第三曝光图像的曝光值；处理模块320，还用于：
[0335]
确定所述第一曝光图像与所述第三曝光图像符合所述第二预设条件，且，所述第二曝光图像与所述第三曝光图像符合所述第二预设条件，且，所述第四曝光图像与所述第三曝光图像符合所述第二预设条件；
[0336]
对所述第一曝光图像、所述第二曝光图像、所述第三曝光图像和所述第四曝光图像进行融合处理，得到第二目标图像；
[0337]
存储模块330，用于保存所述第二目标图像。
[0338]
可选地，处理模块320，还用于：
[0339]
确定所述第一曝光图像与所述第三曝光图像不符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像符合所述第二预设条件；
[0340]
对所述第二曝光图像和所述第三曝光图像进行融合处理，得到第三目标图像；
[0341]
存储模块330，用于保持所述第三目标图像。
[0342]
可选地，当所述m帧图像还包括第四曝光图像时，所述第四曝光图像的曝光值等于所述第三曝光图像的曝光值；处理模块320，还用于：
[0343]
确定所述第一曝光图像与所述第三曝光图像不符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像符合所述第二预设条件，且所述第四曝光图像与所述第三曝光图像符合所述第二预设条件；
[0344]
对所述第二曝光图像、所述第三曝光图像和所述第四曝光图像进行融合处理，得到第四目标图像；
[0345]
存储模块330，用于保存所述第四目标图像。
[0346]
可选地，处理模块320，还用于：
[0347]
确定所述第一曝光图像与所述第三曝光图像符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像不符合第二预设条件；
[0348]
对所述第一曝光图像和所述第三曝光图像进行融合处理，得到第五目标图像；
[0349]
存储模块330，用于保存所述第五目标图像。
[0350]
可选地，当所述m帧图像还包括第四曝光图像时，所述第四曝光图像的曝光值等于所述第三曝光图像的曝光值；处理模块320，还用于：
[0351]
确定所述第一曝光图像与所述第三曝光图像符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像不符合第二预设条件，且所述第四曝光图像与所述第三曝光图像符合所述第二预设条件；
[0352]
对所述第一曝光图像、所述第三曝光图像和所述第四曝光图像进行融合处理，得到第六目标图像；
[0353]
存储模块330，用于保存所述第六目标图像。
[0354]
可选地，处理模块320，还用于：
[0355]
确定所述第一曝光图像与所述第三曝光图像不符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像不符合第二预设条件；
[0356]
确定所述第三曝光图像为第七目标图像；
[0357]
存储模块330，用于保存所述第七目标图像。
[0358]
可选地，当所述m帧图像还包括第四曝光图像时，所述第四曝光图像的曝光值等于所述第三曝光图像的曝光值；处理模块320，还用于：
[0359]
确定所述第一曝光图像与所述第三曝光图像不符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像不符合第二预设条件，且所述第四曝光图像与所述第三曝光图像符合所述第二预设条件；
[0360]
对所述第三曝光图像和所述第四曝光图像进行融合处理，得到第八目标图像；
[0361]
存储模块330，用于保存所述第八目标图像。
[0362]
可选地，处理模块320，还用于：
[0363]
对所述m帧图像进行前端处理，得到处理后的所述m帧曝光图像。
[0364]
可选地，前端处理包括：配准、镜头阴影校正、黑电平校正、降噪、自动白平衡、下采样中的至少一项。
[0365]
可选地，处理模块320，还用于：
[0366]
对目标图像进行后端处理，得到后端图像，所述目标图像包括第一目标图像、第二
目标图像、第三目标图像、第四目标图像、第五目标图像、第六目标图像、第七目标图像和第八目标图像中的至少一种。
[0367]
可选地，后端处理包括：非线性叠加、鬼影校正中的至少一项。
[0368]
需要说明的是，上述图像处理装置300以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。
[0369]
例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，asic)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
[0370]
因此，在本技术的实施例中描述的各示例的模块，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0371]
本技术实施例还提供另一种电子设备，包括一个或多个处理器和存储器。
[0372]
存储器与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令。
[0373]
一个或多个处理器器调用计算机指令以使得电子设备执行如上述所述的图像处理方法中进行处理的步骤。
[0374]
本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令；当所述计算机可读存储介质在图像处理装置上运行时，使得该图像处理装置执行如图10或图11所示的方法。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0375]
本技术实施例还提供了一种包含计算机指令的计算机程序产品，当其在图像处理装置上运行时，使得图像处理装置可以执行图10或图11所示的方法。
[0376]
图16为本技术实施例提供的一种芯片的结构示意图。图16所示的芯片可以为通用处理器，也可以为专用处理器。该芯片包括处理器401。其中，处理器401用于支持图像处理装置执行图10或图11所示的技术方案。
[0377]
可选的，该芯片还包括收发器402，收发器402用于接受处理器401的控制，用于支持通信装置执行图10或图11任一项所示的技术方案。
[0378]
可选的，图16所示的芯片还可以包括：存储介质403。
[0379]
需要说明的是，图16所示的芯片可以使用下述电路或者器件来实现：一个或多个现场可编程门阵列(field programmable gate array，fpga)、可编程逻辑器件(programmable logic device，pld)、控制器、状态机、门逻辑、分立硬件部件、任何其他适
合的电路、或者能够执行本技术通篇所描述的各种功能的电路的任意组合。
[0380]
上述本技术实施例提供的电子设备、图像处理装置、计算机存储介质、计算机程序产品、芯片均用于执行上文所提供的方法，因此，其所能达到的有益效果可参考上文所提供的方法对应的有益效果，在此不再赘述。
[0381]
应理解，上述只是为了帮助本领域技术人员更好地理解本技术实施例，而非要限制本技术实施例的范围。本领域技术人员根据所给出的上述示例，显然可以进行各种等价的修改或变化，例如，上述检测方法的各个实施例中某些步骤可以是不必须的，或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本技术实施例的范围内。
[0382]
还应理解，上文对本技术实施例的描述着重于强调各个实施例之间的不同之处，未提到的相同或相似之处可以互相参考，为了简洁，这里不再赘述。
[0383]
还应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0384]
还应理解，本技术实施例中，“预先设定”、“预先定义”可以通过在设备(例如，包括电子设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本技术对于其具体的实现方式不做限定。
[0385]
还应理解，本技术实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便，不应构成特别的限定，各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。
[0386]
还应理解，在本技术的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
[0387]
最后应说明的是：以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种图像处理方法，应用于电子设备，所述电子设备包括相机，其特征在于，所述方法包括：检测到第一操作；响应于所述第一操作，开启所述相机；确定符合第一预设条件，采集m帧图像，所述m帧图像包括第一曝光图像、第二曝光图像和第三曝光图像，所述第一曝光图像的曝光值小于所述第二曝光图像的曝光值，所述第二曝光图像的曝光值小于所述第三曝光图像的曝光值，其中m为大于等于2的整数；确定所述第一曝光图像与所述第三曝光图像符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像符合所述第二预设条件；对所述第一曝光图像、所述第二曝光图像和所述第三曝光图像进行融合处理，得到第一目标图像；保存所述第一目标图像。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述m帧图像还包括第四曝光图像，所述第四曝光图像的曝光值等于所述第三曝光图像的曝光值；确定所述第一曝光图像与所述第三曝光图像符合所述第二预设条件，且，所述第二曝光图像与所述第三曝光图像符合所述第二预设条件，且，所述第四曝光图像与所述第三曝光图像符合所述第二预设条件；对所述第一曝光图像、所述第二曝光图像、所述第三曝光图像和所述第四曝光图像进行融合处理，得到第二目标图像；保存所述第二目标图像。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：确定所述第一曝光图像与所述第三曝光图像不符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像符合所述第二预设条件；对所述第二曝光图像和所述第三曝光图像进行融合处理，得到第三目标图像；保持所述第三目标图像。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：当所述m帧图像还包括第四曝光图像时，所述第四曝光图像的曝光值等于所述第三曝光图像的曝光值；确定所述第一曝光图像与所述第三曝光图像不符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像符合所述第二预设条件，且所述第四曝光图像与所述第三曝光图像符合所述第二预设条件；对所述第二曝光图像、所述第三曝光图像和所述第四曝光图像进行融合处理，得到第四目标图像；保存所述第四目标图像。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：确定所述第一曝光图像与所述第三曝光图像符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像不符合第二预设条件；对所述第一曝光图像和所述第三曝光图像进行融合处理，得到第五目标图像；
保持所述第五目标图像。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：当所述m帧图像还包括第四曝光图像时，所述第四曝光图像的曝光值等于所述第三曝光图像的曝光值；确定所述第一曝光图像与所述第三曝光图像符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像不符合第二预设条件，且所述第四曝光图像与所述第三曝光图像符合所述第二预设条件；对所述第一曝光图像、所述第三曝光图像和所述第四曝光图像进行融合处理，得到第六目标图像；保存所述第六目标图像。7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：确定所述第一曝光图像与所述第三曝光图像不符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像不符合第二预设条件；确定所述第三曝光图像为第七目标图像；保存所述第七目标图像。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：当所述m帧图像还包括第四曝光图像时，所述第四曝光图像的曝光值等于所述第三曝光图像的曝光值；确定所述第一曝光图像与所述第三曝光图像不符合第二预设条件，且，所述第二曝光图像与所述第三曝光图像不符合第二预设条件，且所述第四曝光图像与所述第三曝光图像符合所述第二预设条件；对所述第三曝光图像和所述第四曝光图像进行融合处理，得到第八目标图像；保存所述第八目标图像。9.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：对所述m帧图像进行前端处理，得到处理后的所述m帧曝光图像。10.根据权利要求9所述的方法，其特征在于，所述前端处理包括：配准、镜头阴影校正、黑电平校正、降噪、自动白平衡、下采样中的至少一项。11.根据权利要求1至10中任一项所述的方法，其特征在于，所述方法还包括：对目标图像进行后端处理，得到后端图像，所述目标图像包括第一目标图像、第二目标图像、第三目标图像、第四目标图像、第五目标图像、第六目标图像、第七目标图像和第八目标图像中的至少一种。12.根据权利要求11所述的方法，其特征在于，所述后端处理包括：非线性叠加、鬼影校正中的至少一项。13.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至12中任一项所述的图像处理方法。14.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一
个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至12中任一项所述的图像处理方法。15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行权利要求1至12中任一项所述的图像处理方法。16.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码被处理器执行时，使得处理器执行权利要求1至12中任一项所述的图像处理方法。

技术总结
本申请提供一种图像处理方法及其相关设备，涉及图像处理领域，其中，该方法包括：检测到第一操作；响应于第一操作，开启所述相机，确定符合第一预设条件，采集M帧图像；确定所述第一曝光图像与所述第三曝光图像符合第二预设条件，且所述第二曝光图像与所述第三曝光图像符合所述第二预设条件；对所述第一曝光图像、所述第二曝光图像和所述第三曝光图像进行融合处理，得到第一目标图像，保存所述第一目标图像。本申请提供的图像处理方法可以有效改善从光源变色的场景中采集的多帧图像进行融合后的图像质量。后的图像质量。后的图像质量。


技术研发人员：陈珂
受保护的技术使用者：荣耀终端有限公司
技术研发日：2022.01.10
技术公布日：2023/7/22