曝光调整方法及装置、计算机可读存储介质、终端与流程

1.本发明涉及图像处理领域，尤其涉及一种曝光调整方法及装置、计算机可读存储介质、终端。


背景技术：

2.随着智能手机和拍照设备的发展，摄像功能在用户手机中的功能越来越重要。其中自动曝光使拍摄图像具有合适的亮度，是高质量、高清晰度成像的基础。目前的移动设备如手机使用图像的亮度统计、人脸信息等使图像得到合适的亮度。然而，由于统计信息过于全局性或单一性，自动曝光的准确率低。
3.具体而言，当前移动端摄影中的自动曝光主要基于全局统计信息，对全局划分块区域，统计亮度或各通道均值。区域的细节程度在于倾向于图像中心或者某一些特殊区域，如位于图像中心的某人的人脸区域等，导致其他区域的人物或物品的曝光程度不足或过曝。
4.亟需一种曝光调整方法，可以分别考虑到多个主体的亮度值和权重，对不同主体采用适合的亮度值和权重进行综合分析得到待调亮度差值，进而采用所述待调亮度差值，调整所述原始图像的拍摄设备的曝光，有效提高待调亮度差值与图像的实际情况的匹配度。


技术实现要素：

5.本发明解决的技术问题是提供一种曝光调整方法及装置、计算机可读存储介质、终端，可以提高待调亮度差值与图像的实际主体情况的匹配度，提高曝光调整准确性。
6.为解决上述技术问题，本发明实施例提供一种曝光调整方法，包括：在原始图像中提取主体显著图，所述原始图像被划分为多个格区域，所述主体显著图包含预设类别的一个或多个主体的轮廓区域；基于所述主体显著图，确定目标检测区域，其中，所述目标检测区域包含所述主体显著图中的部分或全部主体，且所述目标检测区域的每个子区域包含单个主体的至少一部分；分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及背景区域的亮度值，其中，所述背景区域为所述原始图像中去除所述主体显著图后的剩余区域；分别确定所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域中的每个格区域的权重值；采用所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值与所属格区域的权重值进行加权运算，以得到待调亮度差值；采用所述待调亮度差值，调整所述原始图像的拍摄设备的曝光；其中，所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值是采用亮度目标值，与所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度值分别计算差值得到的。
7.可选的，所述基于所述主体显著图，确定目标检测区域，包括：对所述主体显著图中的各个主体进行图像识别，并保留有效的主体；选取保留的每个主体的至少一部分；基于
每个主体的选取部分，分别确定所述目标检测区域的子区域，每个子区域具有预设形状的图形框，且包含该主体的选取部分。
8.可选的，分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度值，包括：分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的r、gr、gb、b像素值；采用分别确定的r、gr、gb、b像素值，分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度值。
9.可选的，所述主体显著图为降采样处理后得到的，和/或，所述目标检测区域的各个子区域均为降采样处理后得到的。
10.可选的，分别确定所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域中的每个格区域的权重值，包括：分别确定所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域的整体权重；根据每个格区域在所述原始图像中的位置，和/或，每个格区域所属的主体所占面积的大小，基于各个整体权重分别确定该格区域对应的自身权重，作为该格区域对应的权重值。
11.可选的，所述主体显著图的整体权重以及所述目标检测区域的整体权重均大于所述原始图像的整体权重，所述主体显著图的整体权重以及所述目标检测区域的整体权重均大于所述背景区域的整体权重。
12.可选的，所述格区域的自身权重满足以下一项或多项：所述格区域与所述原始图像的中心点之间的距离越小，所述格区域的自身权重越大；所述格区域所属的主体所占面积越大，所述格区域的自身权重越大。
13.可选的，所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域的整体权重之和为1；和/或，每个区域的格区域的自身权重的平均值为1。
14.可选的，采用所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值与所属格区域的权重值进行加权运算，以得到待调亮度差值，包括：采用所述原始图像的亮度差值与每个格区域的自身权重进行加权平均，以得到原始图像中间参数；采用所述主体显著图的亮度差值与所属格区域的自身权重进行加权平均，以得到主体显著图中间参数；采用所述目标检测区域的各个子区域的亮度差值与所属格区域的自身权重进行加权平均，以得到目标检测区域中间参数；采用所述背景区域的亮度差值与所属格区域的自身权重进行加权平均，以得到背景区域中间参数；采用所述原始图像的整体权重作为所述原始图像中间参数的权重值、所述主体显著图的整体权重作为所述主体显著图中间参数的权重值、所述目标检测区域的整体权重作为所述目标检测区域中间参数的权重值、所述背景区域的整体权重作为所述背景区域中间参数的权重值进行加权平均，以得到所述待调亮度差值。
15.可选的，采用所述待调亮度差值，调整所述原始图像的拍摄设备的曝光，包括：基于所述待调亮度差值与所述原始图像的亮度值之和，确定所述原始图像的待调整亮度值；根据预设的曝光值与亮度值之间的映射关系，确定待调整曝光值；采用所述待调整曝光值，调整所述原始图像的拍摄设备的曝光。
16.为解决上述技术问题，本发明实施例提供一种曝光调整装置，包括：提取模块，用于在原始图像中提取主体显著图，所述原始图像被划分为多个格区域，所述主体显著图包
含预设类别的一个或多个主体的轮廓区域；目标检测区域确定模块，用于基于所述主体显著图，确定目标检测区域，其中，所述目标检测区域包含所述主体显著图中的部分或全部主体，且所述目标检测区域的每个子区域包含单个主体的至少一部分；亮度值确定模块，用于分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及背景区域的亮度值，其中，所述背景区域为所述原始图像中去除所述主体显著图后的剩余区域；权重值确定模块，用于分别确定所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域中的每个格区域的权重值；加权运算模块，用于采用所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值与所属格区域的权重值进行加权运算，以得到待调亮度差值；调整模块，用于采用所述待调亮度差值，调整所述原始图像的拍摄设备的曝光；其中，所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值是采用亮度目标值，与所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度值分别计算差值得到的。
17.为解决上述技术问题，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，使得上述的曝光调整方法被执行。
18.为解决上述技术问题，本发明实施例提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述的曝光调整方法的步骤。
19.与现有技术相比，本发明实施例的技术方案具有以下有益效果：
20.在本发明实施例中，通过提取包含预设类别的一个或多个主体的主体显著图，可以使得包含的主体更加全面，在包含多个主体的情况下减少忽略主体的情况，进而通过确定目标检测区域，可以对各个主体分别分析亮度值和权重值，降低对不同主体采用相同亮度值进行分析的可能性，进而分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及背景区域的亮度值，分别确定上述四者中的每个格区域的权重值，进而进行加权运算得到待调亮度差值，相比于现有技术中更接近于全局性调整，并不考虑多个主体下各个主体的差异，采用本发明实施例的方案，可以分别考虑到多个主体的亮度值和权重，对不同主体采用适合的亮度值和权重进行综合分析得到待调亮度差值，进而采用所述待调亮度差值，调整所述原始图像的拍摄设备的曝光，有效提高待调亮度差值与图像的实际主体情况的匹配度。
21.进一步，对所述主体显著图中的各个主体进行图像识别，并保留有效的主体；选取保留的每个主体的至少一部分；基于每个主体的选取部分，分别确定所述目标检测区域的子区域，每个子区域具有预设形状的图形框，且包含该主体的选取部分，从而可以基于主体显著图确定具有预设形状的图形框作为目标检测区域，由于主体显著图为主体的轮廓区域，目标检测区域是具有预设形状的图形框，因此目标检测区域的边缘轮廓比主体显著图的边缘轮廓更加标准，有利于在基于格区域确定权重值的过程中，提高权重值的判断准确性，相对应的，主体显著图中的主体占据比例比目标检测区域更高，有利于在确定亮度值的过程中，提高单个主体的亮度值的判断准确性，因此结合主体显著图和目标检测区域两者确定亮度值和权重值，有助于提高综合分析得到待调亮度差值的准确性，进一步提高待调亮度差值与图像的实际主体情况的匹配度。
22.进一步，所述主体显著图为降采样处理后得到的，和/或，所述目标检测区域的各
个子区域均为降采样处理后得到的，从而可以通过降采样处理，降低对主体显著图和目标检测区域的各个子区域进行处理的复杂度。
23.进一步，分别确定所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域的整体权重；根据每个格区域在所述原始图像中的位置，和/或，每个格区域所属的主体所占面积的大小，基于各个整体权重分别确定该格区域对应的自身权重，从而可以在确定权重值的过程中，既考虑到上述四者各自的整体情况，又考虑到每个格区域的位置和/或所属主体带来的影响，有助于提高综合分析得到待调亮度差值的准确性，进一步提高待调亮度差值与图像的实际主体情况的匹配度。
24.进一步，所述主体显著图的整体权重以及所述目标检测区域的整体权重均大于所述原始图像的整体权重，所述主体显著图的整体权重以及所述目标检测区域的整体权重均大于所述背景区域的整体权重，从而可以提高主体显著图和目标检测区域的重要性，进一步提高综合确定的待调亮度差值与主体显著图和目标检测区域的匹配程度。
25.进一步，所述格区域的自身权重满足以下一项或多项：所述格区域与所述原始图像的中心点之间的距离越小，所述格区域的自身权重越大；所述格区域所属的主体所占面积越大，所述格区域的自身权重越大，从而可以使得格区域的自身权重受到位置和/或所属的主体所占面积的影响，进一步提高权重值的确定准确性。
26.进一步，所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域的整体权重之和为1；和/或，每个区域的格区域的自身权重的平均值为1，通过调整整体权重之和为1，自身权重的平均值为1，有利于实现权重值的归一化，降低运算复杂度。
27.进一步，通过确定原始图像中间参数、主体显著图中间参数、目标检测区域中间参数、背景区域中间参数，然后采用所述原始图像的整体权重作为所述原始图像中间参数的权重值、所述主体显著图的整体权重作为所述主体显著图中间参数的权重值、所述目标检测区域的整体权重作为所述目标检测区域中间参数的权重值、所述背景区域的整体权重作为所述背景区域中间参数的权重值进行加权平均，以得到所述待调亮度差值，可以分别确定上述四者中的每个格区域，进行加权运算得到待调亮度差值，相比于现有技术中更接近于全局性调整，并不考虑多个主体下各个主体的差异，采用本发明实施例的方案，可以分别考虑到多个主体的亮度值和权重，对不同主体采用适合的亮度值和权重进行综合分析得到待调亮度差值，有效提高待调亮度差值与图像的实际主体情况的匹配度。
28.进一步，基于所述待调亮度差值与所述原始图像的亮度值之和，确定所述原始图像的待调整亮度值；根据预设的曝光值与亮度值之间的映射关系，确定待调整曝光值；采用所述待调整曝光值，调整所述原始图像的拍摄设备的曝光，由于不同的环境(如晴天、阴天、夜晚等)亮度具有各自的亮度目标值，也就可以得到各自的亮度差值，并且具有各自的映射关系，因此可以结合不同的亮度值(如环境因素带来的差别)的映射关系调整曝光，从而在更为准确的待调亮度差值的基础上，进一步提高曝光调整的准确性。
附图说明
29.图1是本发明实施例中一种曝光调整方法的流程图；
30.图2是本发明实施例中一种曝光调整方法的应用场景示意图；
31.图3是图1中步骤s12的一种具体实施方式的流程图；
32.图4是图1中步骤s15的一种具体实施方式的流程图；
33.图5是图1中步骤s16的一种具体实施方式的流程图；
34.图6是本发明实施例中一种曝光调整装置的结构示意图。
具体实施方式
35.如前所述，现有技术中自动曝光的准确率低。具体而言，当前移动端摄影中的自动曝光主要基于全局统计信息，对全局划分块区域，统计亮度或各通道均值。区域的细节程度在于倾向于图像中心或者某一些特殊区域，如位于图像中心的某人的人脸区域等，导致其他区域的人物或物品的曝光程度不足或过曝。
36.在现有的一种改进方案中，自动曝光的重点逐渐向主体与背景均有合适曝光转变，例如采用后处理方法对曝光亮度分布进一步优化，比如伽马矫正(gamma)处理或者色调映射矫正(tone mapping)处理，但是最终的结果不能完全令人满意。
37.经过研究发现，在现有技术中，统计的待调亮度值和实际的主体并不对应，现有的矫正方法更接近于全局性调整，并不考虑多个主体下各个主体的差异，例如在图像中同时存在白色人脸和黑色动物的情况下，容易存在白色人脸过曝的问题或黑色动物曝光不足的问题。
38.在本发明实施例中，通过提取包含预设类别的一个或多个主体的主体显著图，可以使得包含的主体更加全面，在包含多个主体的情况下减少忽略主体的情况，进而通过确定目标检测区域，可以对各个主体分别分析亮度值和权重值，降低对不同主体采用相同亮度值进行分析的可能性，进而分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及背景区域的亮度值，分别确定上述四者中的每个格区域的权重值，进而进行加权运算得到待调亮度差值，相比于现有技术中更接近于全局性调整，并不考虑多个主体下各个主体的差异，采用本发明实施例的方案，可以分别考虑到多个主体的亮度值和权重，对不同主体采用适合的亮度值和权重进行综合分析得到待调亮度差值，进而采用所述待调亮度差值，调整所述原始图像的拍摄设备的曝光，有效提高待调亮度差值与图像的实际主体情况的匹配度。
39.为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
40.参照图1，图1是本发明实施例中一种曝光调整方法的流程图。所述曝光调整方法可以包括步骤s11至步骤s16：
41.步骤s11：在原始图像中提取主体显著图，所述原始图像被划分为多个格区域，所述主体显著图包含预设类别的一个或多个主体的轮廓区域；
42.步骤s12：基于所述主体显著图，确定目标检测区域，其中，所述目标检测区域包含所述主体显著图中的部分或全部主体，且所述目标检测区域的每个子区域包含单个主体的至少一部分；
43.步骤s13：分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及背景区域的亮度值，其中，所述背景区域为所述原始图像中去除所述主体显著图后的剩余区域；
44.步骤s14：分别确定所述原始图像、所述主体显著图、所述目标检测区域以及所述
背景区域中的每个格区域的权重值；
45.步骤s15：采用所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值与所属格区域的权重值进行加权运算，以得到待调亮度差值；
46.步骤s16：采用所述待调亮度差值，调整所述原始图像的拍摄设备的曝光。
47.其中，所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值是采用亮度目标值，与所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度值分别计算差值得到的。
48.在步骤s11的具体实施中，原始图像可以是摄影设备拍摄得到的原生(raw)图像，还可以是对原生图像进行截取后得到的。
49.进一步地，原始图像的尺寸可以是预设尺寸，例如经过裁剪后得到的w
×
h尺寸的矩形图像。
50.其中，w用于表示宽度，h用于表示高度。
51.需要指出的是，原始图像还可以具有预设的单通道比特数，例如单通道比特数可以为n bit。
52.其中，主体显著图可以是包含预设类别的一个或多个主体的轮廓区域，用于表示基于图像场景的关注程度的图像，又可称为“感兴趣区域”(region of interest，roi)。
53.具体地，可以利用手动或自动方法得到基于图像场景的关注程度的图像，该图像像素值表示该像素的关注程度。
54.其中，得到主体显著图的方法包括但不限于：人工手动标注、图像工具标注、基于硬件系统特性、采用图像处理、机器学习或深度学习算法计算得到。
55.参照图2，图2是本发明实施例中一种曝光调整方法的应用场景示意图。
56.如图2示出的原始图像可以被划分为多个格区域，提取的主体显著图可以包含儿童和动物这两个预设类别的主体的轮廓区域。
57.其中，原始图像中的主体可以是人物、动物、植物、物品等。
58.继续参照图1，在步骤s12的具体实施中，可以基于所述主体显著图，确定目标检测区域。
59.其中，所述目标检测区域包含所述主体显著图中的部分或全部主体，且所述目标检测区域的每个子区域包含单个主体的至少一部分。
60.如图2所示，目标检测区域包含儿童和动物这两个主体，且包含儿童的目标检测区域的子区域仅包含儿童的头部区域，包含动物的目标检测区域的子区域包含动物的全部。
61.参照图3，图3是图1中步骤s12的一种具体实施方式的流程图。基于所述主体显著图，确定目标检测区域的步骤可以包括步骤s31至步骤s33，以下对各个步骤进行说明。
62.在步骤s31中，对所述主体显著图中的各个主体进行图像识别，并保留有效的主体。
63.具体地，可以采用目标检测处理方法对主体显著图中的各个主体进行图像识别，以确定图像的物体的类别，如人物、动物、植物等。
64.然后可以保留有效的主体，如出现在过于边缘角落的、拍摄不完整的主体可以不予保留。
65.其中，目标检测处理的方法包括但不限于：人工手动标注、图像工具标注、基于硬件系统特性、采用图像处理、机器学习或深度学习算法计算得到的显著图。
66.在步骤s32中，选取保留的每个主体的至少一部分。
67.在具体实施中，可以根据调整曝光的需求，选取主体的部分或全部。
68.如图2示出的儿童更需要对脸部调整曝光，可以选取脸部区域，动物需要对整体调整曝光，可以选取全部。
69.在步骤s33中，基于每个主体的选取部分，分别确定所述目标检测区域的子区域，每个子区域具有预设形状的图形框，且包含该主体的选取部分。
70.其中，所述预设形状可以选自：矩形、正方形、梯形、多边形、圆形、椭圆形等。
71.进一步地，每个子区域可以采用矩形图形框，以降低运算复杂度。
72.如图2示出的目标检测区域的子区域包含儿童的脸部矩形区域以及动物的全身矩形区域。
73.在本发明实施例中，对所述主体显著图中的各个主体进行图像识别，并保留有效的主体；选取保留的每个主体的至少一部分；基于每个主体的选取部分，分别确定所述目标检测区域的子区域，每个子区域具有预设形状的图形框，且包含该主体的选取部分，从而可以基于主体显著图确定具有预设形状的图形框作为目标检测区域，由于主体显著图为主体的轮廓区域，目标检测区域是具有预设形状的图形框，因此目标检测区域的边缘轮廓比主体显著图的边缘轮廓更加标准，有利于在基于格区域确定权重值的过程中，提高权重值的判断准确性，相对应的，主体显著图中的主体占据比例比目标检测区域更高，有利于在确定亮度值的过程中，提高单个主体的亮度值的判断准确性，因此结合主体显著图和目标检测区域两者确定亮度值和权重值，有助于提高综合分析得到待调亮度差值的准确性，进一步提高待调亮度差值与图像的实际主体情况的匹配度。
74.继续参照图1，在步骤s13的具体实施中，分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及背景区域的亮度值。
75.其中，所述背景区域为所述原始图像中去除所述主体显著图后的剩余区域。
76.进一步地，亮度值可以是基于像素值确定的。
77.具体地，分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度值的步骤可以包括：分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的r、gr、gb、b像素值；采用分别确定的r、gr、gb、b像素值，分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度值。
78.其中，r用于表示红色像素的像素值，gr、gb用于表示绿色像素的像素值，b用于表示蓝色像素的像素值。
79.在本发明实施例的一种具体实施方式中，可以采用下述公式，确定对应的区域的亮度值：
80.亮度＝0.299r+0.587(gr+gb)/2+0.114b；
81.其中，r、gr、gb、b分别用于表示上述四个区域中对应区域的对应颜色的像素值，例如可以为各个拜耳阵列中的像素值，还可以为多个拜耳阵列中的像素值的均值。
82.在本发明实施例的又一种具体实施方式中，可以采用下述公式，确定对应的区域
的亮度值：
83.亮度＝0.2126r+0.7152(gr+gb)/2+0.0722b；
84.其中，r、gr、gb、b分别用于表示上述四个区域中对应区域的对应颜色的像素值，例如可以为各个拜耳阵列中的像素值，还可以为多个拜耳阵列中的像素值的均值。
85.在本发明实施例的又一种具体实施方式中，可以采用下述公式，确定对应的区域的亮度值：
86.亮度＝(gr+gb)/2
87.其中，gr、gb分别用于表示上述四个区域中对应区域的绿色的像素值，例如可以为各个拜耳阵列中的绿色像素值，还可以为多个拜耳阵列中的绿色像素值的均值。
88.可以理解的是，对于上述四种区域而言，确定各个拜耳阵列中的像素值之后，可以通过求均值的方式确定整个区域的亮度值。
89.需要指出的是，还可以采用其他适当的方式确定亮度值，例如把彩色图像调至灰度图像，然后计算图像的平均灰度值作为图像的亮度值等，本技术实施例中对此不作限制。
90.进一步地，所述主体显著图为降采样处理后得到的，和/或，所述目标检测区域的各个子区域均为降采样处理后得到的。
91.在本发明实施例中，所述主体显著图为降采样处理后得到的，和/或，所述目标检测区域的各个子区域均为降采样处理后得到的，从而可以通过降采样处理，降低对主体显著图和目标检测区域的各个子区域进行处理的复杂度。
92.在步骤s14的具体实施中，分别确定所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域中的每个格区域的权重值。
93.具体地，原始图像被划分为多个格区域，主体显著图、所述目标检测区域以及所述背景区域均包含于部分格区域中。
94.在本发明实施例的一种具体实施方式中，主体显著图、所述目标检测区域以及所述背景区域的格区域可以重复，例如某一格区域中可能既包含有效主体又包含背景，此时可以在计算主体显著图的每个格区域的权重值、计算目标检测区域的每个格区域的权重值，以及计算背景区域的每个格区域的权重值过程中，均对该格区域的权重值进行计算。
95.进一步地，分别确定所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域中的每个格区域的权重值的步骤可以包括：分别确定所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域的整体权重；根据每个格区域在所述原始图像中的位置，和/或，每个格区域所属的主体所占面积的大小，基于各个整体权重分别确定该格区域对应的自身权重，作为该格区域对应的权重值。
96.在本发明实施例中，分别确定所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域的整体权重；根据每个格区域在所述原始图像中的位置，和/或，每个格区域所属的主体所占面积的大小，基于各个整体权重分别确定该格区域对应的自身权重，从而可以在确定权重值的过程中，既考虑到上述四者各自的整体情况，又考虑到每个格区域的位置和/或所属主体带来的影响，有助于提高综合分析得到待调亮度差值的准确性，进一步提高待调亮度差值与图像的实际主体情况的匹配度。
97.进一步地，所述主体显著图的整体权重以及所述目标检测区域的整体权重均大于所述原始图像的整体权重，所述主体显著图的整体权重以及所述目标检测区域的整体权重
均大于所述背景区域的整体权重。
98.其中，所述主体显著图的整体权重以及所述目标检测区域的整体权重相同或不同，所述原始图像的整体权重以及所述背景区域的整体权重相同或不同。
99.在一个非限制性的具体实施方式中，所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域的整体权重可以分别为10％、40％、40％、10％。
100.所述主体显著图的整体权重以及所述目标检测区域的整体权重均大于所述原始图像的整体权重，所述主体显著图的整体权重以及所述目标检测区域的整体权重均大于所述背景区域的整体权重，从而可以提高主体显著图和目标检测区域的重要性，进一步提高综合确定的待调亮度差值与主体显著图和目标检测区域的匹配程度。
101.更进一步地，所述格区域的自身权重可以满足以下一项或多项：所述格区域与所述原始图像的中心点之间的距离越小，所述格区域的自身权重越大；所述格区域所属的主体所占面积越大，所述格区域的自身权重越大。
102.在本发明实施例的一种具体实施方式中，可以预先设置多个等级，可以是与所述原始图像的中心点之间的距离越小，对应的等级的格区域的自身权重越大，还可以是所属的主体所占面积越大，对应的等级的格区域的自身权重越大。
103.在本发明实施例的一种具体实施方式中，可以预先设置三个等级，分别为1.2、1.0以及0.8，则可以随着与所述原始图像的中心点之间的距离自小至大，格区域的自身权重分别为1.2、1.0、0.8，还可以随着格区域所属的主体所占面积自大至小，格区域的自身权重分别为1.2、1.0、0.8。
104.在本发明实施例的另一种具体实施方式中，可以设置中心位置的自身权重为预设值，然后随着与所述原始图像的中心点之间的距离自小至大，格区域的自身权重进行比例衰减；还可以设置所属的主体所占面积为预设尺寸的格区域的自身权重为预设值，然后随着格区域所属的主体所占面积自大至小，格区域的自身权重进行比例衰减。
105.在本发明实施例中，所述格区域的自身权重满足以下一项或多项：所述格区域与所述原始图像的中心点之间的距离越小，所述格区域的自身权重越大；所述格区域所属的主体所占面积越大，所述格区域的自身权重越大，从而可以使得格区域的自身权重受到位置和/或所属的主体所占面积的影响，进一步提高权重值的确定准确性。
106.更进一步地，所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域的整体权重之和为1；和/或，每个区域的格区域的自身权重的平均值为1。
107.如前文示出的，所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域的整体权重可以分别为10％、40％、40％、10％，格区域的自身权重可以分别为1.2、1.0、0.8。
108.在本发明实施例中，所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域的整体权重之和为1；和/或，每个区域的格区域的自身权重的平均值为1，通过调整整体权重之和为1，自身权重的平均值为1，有利于实现权重值的归一化，降低运算复杂度。
109.在步骤s15的具体实施中，可以采用所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值与所属格区域的权重值进行加权平均，以得到待调亮度差值。
110.更进一步地，加权的方式可以选自：平均加权，高斯加权以及中心加权。
111.在具体实施中，可以采用平均加权的方式进行加权平均，以降低运算复杂度。
112.需要指出的是，还可以采用所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值与所属格区域的权重值进行加权求中位值，以得到待调亮度差值。
113.其中，亮度差值是基于亮度目标值得到的。
114.需要指出的是，不同的环境(如晴天、阴天、夜晚等)亮度具有各自的亮度目标值，也具有各自的映射关系。在本发明实施例的一种具体实施方式中，亮度目标值的计算可以结合自动曝光算法计算得到的环境亮度、区域内亮度统计直方图信息分布以及图像的动态范围等信息，结合调试参数，综合得到各区域内的亮度目标值。
115.可以理解的是，亮度目标值还可以是基于经验数据确定的，例如为基于同环境的历史数据确定的预设的亮度目标值。
116.参照图4，图4是图1中步骤s15的一种具体实施方式的流程图。采用所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值与所属格区域的权重值进行加权运算，以得到待调亮度差值的步骤可以包括步骤s41至步骤s45，以下对各个步骤进行说明。
117.在步骤s41中，采用所述原始图像的亮度差值与每个格区域的自身权重进行加权平均，以得到原始图像中间参数。
118.具体地，所述原始图像的亮度差值是采用原始图像的亮度目标值，与所述原始图像的亮度值计算差值得到的。
119.在步骤s42中，采用所述主体显著图的亮度差值与所属格区域的自身权重进行加权平均，以得到主体显著图中间参数。
120.具体地，所述主体显著图的亮度差值是采用主体显著图的亮度目标值，与所述主体显著图的亮度值计算差值得到的。
121.在步骤s43中，采用所述目标检测区域的各个子区域的亮度差值与所属格区域的自身权重进行加权平均，以得到目标检测区域中间参数。
122.具体地，所述目标检测区域的各个子区域的亮度差值是采用子区域的亮度目标值，与所述目标检测区域的各个子区域的亮度值分别计算差值得到的。
123.在步骤s44中，采用所述背景区域的亮度差值与所属格区域的自身权重进行加权平均，以得到背景区域中间参数。
124.具体地，所述背景区域的亮度差值是采用背景区域的亮度目标值，与所述背景区域的亮度值计算差值得到的。
125.在步骤s45中，采用所述原始图像的整体权重作为所述原始图像中间参数的权重值、所述主体显著图的整体权重作为所述主体显著图中间参数的权重值、所述目标检测区域的整体权重作为所述目标检测区域中间参数的权重值、所述背景区域的整体权重作为所述背景区域中间参数的权重值进行加权平均，以得到所述待调亮度差值。
126.在本发明实施例中，通过确定原始图像中间参数、主体显著图中间参数、目标检测区域中间参数、背景区域中间参数，然后采用所述原始图像的整体权重作为所述原始图像中间参数的权重值、所述主体显著图的整体权重作为所述主体显著图中间参数的权重值、
所述目标检测区域的整体权重作为所述目标检测区域中间参数的权重值、所述背景区域的整体权重作为所述背景区域中间参数的权重值进行加权平均，以得到所述待调亮度差值，可以分别确定上述四者中的每个格区域，进行加权运算得到待调亮度差值，相比于现有技术中更接近于全局性调整，并不考虑多个主体下各个主体的差异，采用本发明实施例的方案，可以分别考虑到多个主体的亮度值和权重，对不同主体采用适合的亮度值和权重进行综合分析得到待调亮度差值，有效提高待调亮度差值与图像的实际主体情况的匹配度。
127.继续参照图1，在步骤s16的具体实施中，可以采用所述待调亮度差值，调整所述原始图像的拍摄设备的曝光。
128.参照图5，图5是图1中步骤s16的一种具体实施方式的流程图。所述采用所述待调亮度差值，调整所述原始图像的拍摄设备的曝光的步骤可以包括步骤s51至步骤s53，以下对各个步骤进行说明。
129.在步骤s51中，基于所述待调亮度差值与所述原始图像的亮度值之和，确定所述原始图像的待调整亮度值。
130.在步骤s52中，根据预设的曝光值与亮度值之间的映射关系，确定待调整曝光值。
131.有关亮度目标值的更多内容请参照前文确定，此处不再赘述。
132.更具体而言，可以首先在已知特定环境下进行标定，得到一个参考信息：即在特定的亮度环境下，该型号模组(镜头特性、如光圈值、ob值、镜头透光性等)需要多大的曝光量可以到达合适的图像亮度。然后可以在任意环境下，参照标定时候的图像亮度、曝光、感光性，以及当前的曝光量，可以推算出当前的环境亮度。
133.所述区域内亮度统计直方图可以用于自动曝光计算过程，得到了图像后统计每一个像素值得个数，则得到直方图信息。通过分析直方图的分布，进一步表征图像动态范围的数值。
134.所述调试参数可以是自动曝光算法的特点。业界曝光算法开放可以调试的参数，调试人员通过调整数值，使自动曝光在任意场景下均可达到合适的曝光。
135.在步骤s53中，采用所述待调整曝光值，调整所述原始图像的拍摄设备的曝光。
136.在本发明实施例中，基于所述待调亮度差值与所述原始图像的亮度值之和，确定所述原始图像的待调整亮度值；根据预设的曝光值与亮度值之间的映射关系，确定待调整曝光值；采用所述待调整曝光值，调整所述原始图像的拍摄设备的曝光，由于不同的环境(如晴天、阴天、夜晚等)亮度具有各自的亮度目标值，也就可以得到各自的亮度差值，并且具有各自的映射关系，因此可以结合不同的亮度值(如环境因素带来的差别)的映射关系调整曝光，从而在更为准确的待调亮度差值的基础上，进一步提高曝光调整的准确性。
137.在本发明实施例中，通过提取包含预设类别的一个或多个主体的主体显著图，可以使得包含的主体更加全面，在包含多个主体的情况下减少忽略主体的情况，进而通过确定目标检测区域，可以对各个主体分别分析亮度值和权重值，降低对不同主体采用相同亮度值进行分析的可能性，进而分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及背景区域的亮度值，分别确定上述四者中的每个格区域的权重值，进而进行加权运算得到待调亮度差值，相比于现有技术中更接近于全局性调整，并不考虑多个主体下各个主体的差异，采用本发明实施例的方案，可以分别考虑到多个主体的亮度值和权重，对不同主体采用适合的亮度值和权重进行综合分析得到待调亮度差值，进而采用所
述待调亮度差值，调整所述原始图像的拍摄设备的曝光，有效提高待调亮度差值与图像的实际主体情况的匹配度。
138.参照图6，图6是本发明实施例中一种曝光调整装置的结构示意图。所述曝光调整装置可以包括：
139.提取模块61，用于在原始图像中提取主体显著图，所述原始图像被划分为多个格区域，所述主体显著图包含预设类别的一个或多个主体的轮廓区域；
140.目标检测区域确定模块62，用于基于所述主体显著图，确定目标检测区域，其中，所述目标检测区域包含所述主体显著图中的部分或全部主体，且所述目标检测区域的每个子区域包含单个主体的至少一部分；
141.亮度值确定模块63，用于分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及背景区域的亮度值，其中，所述背景区域为所述原始图像中去除所述主体显著图后的剩余区域；
142.权重值确定模块64，用于分别确定所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域中的每个格区域的权重值；
143.加权运算模块65，用于采用所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值与所属格区域的权重值进行加权运算，以得到待调亮度差值；
144.调整模块66，用于采用所述待调亮度差值，调整所述原始图像的拍摄设备的曝光。
145.其中，所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值是采用亮度目标值，与所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度值分别计算差值得到的。
146.关于本技术实施例中的一种曝光调整装置的工作原理、工作方法和有益效果等更多内容，可以参照上文关于种曝光调整方法的相关描述，在此不再赘述。
147.本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器运行时，上述的曝光调整方法被执行。存储介质可以包括rom、ram、磁盘或光盘等。存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。
148.本技术实施例还提供一种终端，包括存储器和处理器，存储器上存储有可在处理器上运行的计算机程序，处理器运行计算机程序时执行上述的通信方法的步骤。所述终端包括但不限于手机、计算机、平板电脑、服务器、云平台等终端设备。
149.应理解，本技术实施例中，处理器可以为中央处理单元(central processing unit，简称cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
150.还应理解，本技术实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称rom)、可编程只读存储器(programmable rom，简称prom)、可擦除可编程
只读存储器(erasable prom，简称eprom)、电可擦除可编程只读存储器(electrically eprom，简称eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，简称ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称ram)可用，例如静态随机存取存储器(static ram，简称sram)、动态随机存取存储器(dram)、同步动态随机存取存储器(synchronous dram，简称sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，简称ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，简称esdram)、同步连接动态随机存取存储器(synchlink dram，简称sldram)和直接内存总线随机存取存储器(direct rambus ram，简称dr ram)。
151.上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行计算机指令或计算机程序时，全部或部分地产生按照本技术实施例的流程或功能。计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机程序可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机程序可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。
152.应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
153.应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。
154.本技术实施例中出现的“多个”是指两个或两个以上。
155.本技术实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本技术实施例中对设备个数的特别限定，不能构成对本技术实施例的任何限制。
156.虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

技术特征：
1.一种曝光调整方法，其特征在于，包括：在原始图像中提取主体显著图，所述原始图像被划分为多个格区域，所述主体显著图包含预设类别的一个或多个主体的轮廓区域；基于所述主体显著图，确定目标检测区域，其中，所述目标检测区域包含所述主体显著图中的部分或全部主体，且所述目标检测区域的每个子区域包含单个主体的至少一部分；分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及背景区域的亮度值，其中，所述背景区域为所述原始图像中去除所述主体显著图后的剩余区域；分别确定所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域中的每个格区域的权重值；采用所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值与所属格区域的权重值进行加权运算，以得到待调亮度差值；采用所述待调亮度差值，调整所述原始图像的拍摄设备的曝光；其中，所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值是采用亮度目标值，与所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度值分别计算差值得到的。2.根据权利要求1所述的曝光调整方法，其特征在于，所述基于所述主体显著图，确定目标检测区域，包括：对所述主体显著图中的各个主体进行图像识别，并保留有效的主体；选取保留的每个主体的至少一部分；基于每个主体的选取部分，分别确定所述目标检测区域的子区域，每个子区域具有预设形状的图形框，且包含该主体的选取部分。3.根据权利要求1所述的曝光调整方法，其特征在于，分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度值，包括：分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的r、gr、gb、b像素值；采用分别确定的r、gr、gb、b像素值，分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度值。4.根据权利要求1或3所述的曝光调整方法，其特征在于，所述主体显著图为降采样处理后得到的，和/或，所述目标检测区域的各个子区域均为降采样处理后得到的。5.根据权利要求1所述的曝光调整方法，其特征在于，分别确定所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域中的每个格区域的权重值，包括：分别确定所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域的整体权重；根据每个格区域在所述原始图像中的位置，和/或，每个格区域所属的主体所占面积的大小，基于各个整体权重分别确定该格区域对应的自身权重，作为该格区域对应的权重值。6.根据权利要求5所述的曝光调整方法，其特征在于，所述主体显著图的整体权重以及所述目标检测区域的整体权重均大于所述原始图像的整体权重，所述主体显著图的整体权重以及所述目标检测区域的整体权重均大于所述背景区域的整体权重。7.根据权利要求5所述的曝光调整方法，其特征在于，所述格区域的自身权重满足以下
一项或多项：所述格区域与所述原始图像的中心点之间的距离越小，所述格区域的自身权重越大；所述格区域所属的主体所占面积越大，所述格区域的自身权重越大。8.根据权利要求5至7任一项所述的曝光调整方法，其特征在于，所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域的整体权重之和为1；和/或，每个区域的格区域的自身权重的平均值为1。9.根据权利要求5所述的曝光调整方法，其特征在于，采用所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值与所属格区域的权重值进行加权运算，以得到待调亮度差值，包括：采用所述原始图像的亮度差值与每个格区域的自身权重进行加权平均，以得到原始图像中间参数；采用所述主体显著图的亮度差值与所属格区域的自身权重进行加权平均，以得到主体显著图中间参数；采用所述目标检测区域的各个子区域的亮度差值与所属格区域的自身权重进行加权平均，以得到目标检测区域中间参数；采用所述背景区域的亮度差值与所属格区域的自身权重进行加权平均，以得到背景区域中间参数；采用所述原始图像的整体权重作为所述原始图像中间参数的权重值、所述主体显著图的整体权重作为所述主体显著图中间参数的权重值、所述目标检测区域的整体权重作为所述目标检测区域中间参数的权重值、所述背景区域的整体权重作为所述背景区域中间参数的权重值进行加权平均，以得到所述待调亮度差值。10.根据权利要求1所述的曝光调整方法，其特征在于，采用所述待调亮度差值，调整所述原始图像的拍摄设备的曝光，包括：基于所述待调亮度差值与所述原始图像的亮度值之和，确定所述原始图像的待调整亮度值；根据预设的曝光值与亮度值之间的映射关系，确定待调整曝光值；采用所述待调整曝光值，调整所述原始图像的拍摄设备的曝光。11.一种曝光调整装置，其特征在于，包括：提取模块，用于在原始图像中提取主体显著图，所述原始图像被划分为多个格区域，所述主体显著图包含预设类别的一个或多个主体的轮廓区域；目标检测区域确定模块，用于基于所述主体显著图，确定目标检测区域，其中，所述目标检测区域包含所述主体显著图中的部分或全部主体，且所述目标检测区域的每个子区域包含单个主体的至少一部分；亮度值确定模块，用于分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及背景区域的亮度值，其中，所述背景区域为所述原始图像中去除所述主体显著图后的剩余区域；权重值确定模块，用于分别确定所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域中的每个格区域的权重值；加权运算模块，用于采用所述原始图像、所述主体显著图、所述目标检测区域的各个子
区域以及所述背景区域的亮度差值与所属格区域的权重值进行加权运算，以得到待调亮度差值；调整模块，用于采用所述待调亮度差值，调整所述原始图像的拍摄设备的曝光；其中，所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值是采用亮度目标值，与所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度值分别计算差值得到的。12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时，使得权利要求1至10任一项所述的曝光调整方法被执行。13.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至10任一项所述的曝光调整方法的步骤。

技术总结
一种曝光调整方法及装置、计算机可读存储介质、终端，所述方法包括：在原始图像中提取主体显著图；基于所述主体显著图，确定目标检测区域；分别确定所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及背景区域的亮度值；分别确定所述原始图像、所述主体显著图、所述目标检测区域以及所述背景区域中的每个格区域的权重值；采用所述原始图像、所述主体显著图、所述目标检测区域的各个子区域以及所述背景区域的亮度差值与所属格区域的权重值进行加权运算，以得到待调亮度差值；采用所述待调亮度差值，调整所述原始图像的拍摄设备的曝光。本发明可以提高待调亮度差值与图像的实际主体情况的匹配度，提高曝光调整准确性。性。性。


技术研发人员：游瑞蓉 熊佳 谈仕豪 梁小星
受保护的技术使用者：展讯通信（上海）有限公司
技术研发日：2023.06.09
技术公布日：2023/8/5