图像融合方法、电子设备及存储介质与流程

1.本技术涉及图像处理技术领域，特别涉及一种图像融合方法、电子设备及存储介质。


背景技术：

2.多曝光图像融合(multi-exposure fusion，mef)是利用三个或者三个以上的同一场景的不同曝光度的图像，在图像变换域或者空间域进行一些图像处理操作，融合成一个清晰度高的、颜色细节丰富的图像的过程。相关技术中，多曝光图像融合在一定程度上存在图像细节信息受损和边界不连续等问题，融合后的图像质量较低。


技术实现要素：

3.本技术实施例提供一种图像融合方法、电子设备及存储介质，以解决相关技术中多曝光图像融合的图像质量较低的技术问题。
4.根据本技术的第一方面，公开了一种图像融合方法，所述方法包括：
5.获取目标图像序列，其中，所述目标图像序列中包括：同一场景下不同曝光度的多个待融合图像；
6.从所述目标图像序列中选择一个曝光良好的待融合图像作为基准图像，对所述基准图像进行超像素分块，并以所述基准图像的分块结果作为分块标准，对所述目标图像序列中所述基准图像之外的其他待融合图像进行超像素分块，得到每个所述待融合图像的多个图像块；
7.根据每个所述图像块的像素点的指标参数，确定每个所述图像块的像素点的融合权重值，其中，所述指标参数包括以下至少一项：对比度、饱和度和亮度；
8.基于每个所述待融合图像中同一位置的各图像块的像素点的融合权重值，对所述同一位置的各图像块进行融合，得到多个不同位置的融合后的图像块，对多个所述融合后的图像块进行拼接得到目标图像。
9.根据本技术的第二方面，公开了一种图像融合装置，所述装置包括：
10.获取模块，用于获取目标图像序列，其中，所述目标图像序列中包括：同一场景下不同曝光度的多个待融合图像；
11.划分模块，用于从所述目标图像序列中选择一个曝光良好的待融合图像作为基准图像，对所述基准图像进行超像素分块，并以所述基准图像的分块结果作为分块标准，对所述目标图像序列中所述基准图像之外的其他待融合图像进行超像素分块，得到每个所述待融合图像的多个图像块；
12.确定模块，用于根据每个所述图像块的像素点的指标参数，确定每个所述图像块的像素点的融合权重值，其中，所述指标参数包括以下至少一项：对比度、饱和度和亮度；
13.融合模块，用于基于每个所述待融合图像中同一位置的各图像块的像素点的融合权重值，对所述同一位置的各图像块进行融合，得到多个不同位置的融合后的图像块，对多
个所述融合后的图像块进行拼接得到目标图像。
14.根据本技术的第三方面，公开了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现如第一方面中的图像融合方法。
15.根据本技术的第四方面，公开了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的图像融合方法。
16.根据本技术的第五方面，公开了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的图像融合方法。
17.本技术实施例中，获取目标图像序列，其中，目标图像序列中包括：同一场景下不同曝光度的多个待融合图像；从目标图像序列中选择一个曝光良好的待融合图像作为基准图像，对基准图像进行超像素分块，并以基准图像的分块结果作为分块标准，对目标图像序列中基准图像之外的其他待融合图像进行超像素分块，得到每个待融合图像的多个图像块；根据每个图像块的像素点的指标参数，确定每个图像块的像素点的融合权重值，其中，指标参数包括以下至少一项：对比度、饱和度和亮度；基于每个待融合图像中同一位置的各图像块的像素点的融合权重值，对同一位置的各图像块进行融合，得到多个不同位置的融合后的图像块，对多个融合后的图像块进行拼接得到目标图像。
18.与相关技术中对待融合图像进行均匀分块相比，本技术实施例中，可以基于超像素对每个待融合图像进行分块，得到每个待融合图像的多个包含同性物体的图像块，以图像块为单位进行图像融合，由于基于超像素分块得到的非均匀图像块是由一系列位置相邻且颜色、亮度和纹理等特征相似的像素点组成的小区域，因此在融合时以超像素的图像块为单位进行融合，可以避免出现相关技术中太小的图像块融合所导致的图像边缘不连续，以及太大的图像块融合所导致的图像细节信息受损等边缘块效应问题，提高多曝光图像融合的图像质量。
附图说明
19.图1是本技术实施例提供的同一场景下不同曝光度的待融合图像的示例图；
20.图2是本技术实施例提供的不同曝光度的待融合图像的权重图像的示例图；
21.图3是本技术实施例提供的基于金字塔策略进行图像融合的示例图；
22.图4是相关技术中多曝光融合得到的融合图像的示例图；
23.图5是本技术实施例提供的一种图像融合方法的流程图；
24.图6是本技术实施例提供的对待融合图像进行超像素分块的示例图；
25.图7是本技术实施例提供的另一种图像融合方法的流程图；
26.图8是本技术实施例提供的对图像块的空白权重图像进行填充后得到目标权重图像的过程示例图；
27.图9是本技术实施例提供的一种图像融合装置的结构示意图；
28.图10是本技术实施例提供的一种电子设备的结构框图。
具体实施方式
29.为使本技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实
施方式对本技术作进一步详细的说明。
30.需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术实施例并不受所描述的动作顺序的限制，因为依据本技术实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本技术实施例所必须的。
31.近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(slam)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
32.以图像处理领域中的多曝光融合为例，多曝光融合利用多个图像的可用信息，经过预处理将各图像的互补信息，利用某种准则融合，得到一个效果显著提升的输出图像。相关技术中，采用均匀分块的方法，将待融合图像均匀划分为多个图像块，以图像块为单位进行多曝光融合，但是块的边缘效应会产生一些问题：例如，太小的分块会导致图像融合时出现边缘不连续，太大的分块会导致图像融合时细节丢失，导致多曝光融合的图像质量较差。
33.为了解决上述技术问题，本技术实施例提供了一种图像融合方法、电子设备及存储介质。为了便于理解，下面首先对本技术实施例的应用场景和涉及到的一些概念进行介绍。
34.多曝光图像融合(multi-exposure fusion，mef)：利用三个或者三个以上的同一场景下的不同曝光度的图像，在图像变换域或者空间域进行一些图像处理操作，融合成一个清晰度高的、颜色细节丰富的图像的过程。例如，图1中包括同一场景下不同曝光度的四个图像，分别为待融合图像p1、待融合图像p2、待融合图像p3和待融合图像p4。
35.图像中各对象(人或者物体)的曝光程度大体可以分为：过曝、曝光良好和欠曝。以图1为例，过曝：对象本身在真实场景下并非亮度饱和的区域，但经过拍摄饱和了，例如，待融合图像p1中的区域11，在真实场景下区域11中的窗户并非亮度饱和，但经过拍摄后该窗户在图像中的亮度为255；曝光良好：主观视觉上亮度合适、颜色饱和度适中、对比度高，例如，待融合图像p2中的区域12和待融合图像p3中的区域13；欠曝：对象本身在真实场景下并非亮度死黑的区域，但经过拍摄亮度为零了，例如，待融合图像p4中的区域14，在真实场景下区域14中的人并非亮度为零，但经过拍摄后该人在图像中的亮度为零。
36.金字塔融合策略：采用拉普拉斯金字塔分解输入图像，采用高斯金字塔分解输入
图像的权重图像，基于高斯金字塔分解得到的多尺度的权重图像，对拉普拉斯金字塔分解得到的对应尺度的输入图像进行融合，最后通过重建拉普拉斯金字塔得到最终的融合结果。
37.例如，以图1所示的待融合图像p1、p2、p3、p4为例，首先如图2所示，计算待融合图像p1的权重图像w1、待融合图像p2的权重图像w2、待融合图像p3的权重图像w3、待融合图像p4的权重图像w4。
38.之后如图3所示，采用拉普拉斯金字塔分解待融合图像p1、p2、p3、p4，得到每个待融合图像的多个不同尺度的分解图像，例如，待融合图像p1的拉普拉斯金字塔分解图像为l1{p1}、l2{p1},
…
,lm{p1}，采用高斯金字塔分解权重图像w1、w2、w3、w4，得到每个权重图像的多个不同尺度的分解图像，例如，权重图像w1的高斯金字塔分解图像为g1{w1}、g2{w1},
…
,gm{w1}，其中，m为金字塔分解图像的尺度个数，m为大于1的整数。
39.再之后，基于高斯金字塔的同一尺度的分解图像，对拉普拉斯金字塔的同一尺度的分解图像进行融合，得到融合后的金字塔图像序列r1、r2,
…
,rm；其中，
40.r1＝l1{p1}*g1{w1}+l1{p2}*g1{w2}+l1{p3}*g1{w3}+l1{p4}*g1{w4}，
41.r2＝l2{p1}*g2{w1}+l2{p2}*g2{w2}+l2{p3}*g2{w3}+l2{p4}*g2{w4}，
42.rm＝lm{p1}*gm{w1}+lm{p2}*gm{w2}+lm{p3}*gm{w3}+lm{p4}*gm{
43.w4}，最后，对r1、r2,
…
,rm进行拉普拉斯金字塔重建，得到最终融合结果。
44.通过金字塔策略进行多曝光图像融合时，融合结果的画面过渡自然，但是高权重区域与低权重区域的交界处在采样的平滑过程中会发生由高权重到低权重的扩散，导致出现例如图4所示的图像40中的边缘佛光41(halo)问题。
45.超像素(superpixel)：可以理解为在图像上做聚类，超像素的做法是将感观上相似的像素组在一起，称为一个超像素，以此来提供图像数据的紧凑表示，在后续的处理，处理单位就变成了超像素，而不是单个像素点。
46.接下来对本技术实施例提供的一种图像融合方法进行介绍。
47.图5是本技术实施例提供的一种图像融合方法的流程图，如图5所示，该方法可以包括以下步骤：步骤501、步骤502、步骤503和步骤504；
48.在步骤501中，获取目标图像序列，其中，目标图像序列中包括：同一场景下不同曝光度的多个待融合图像。
49.在一个例子中，目标图像序列中可以包括3个不同曝光度的待融合图像，分别为欠曝的待融合图像、曝光良好的待融合图像、过曝的待融合图像。
50.在步骤502中，从目标图像序列中选择一个曝光良好的待融合图像作为基准图像，对基准图像进行超像素分块，并以基准图像的分块结果作为分块标准，对目标图像序列中基准图像之外的其他待融合图像进行超像素分块，得到每个待融合图像的多个图像块。
51.本技术实施例中，为了确保后续以图像块为单位进行图像融合时，融合结果的正确性，所有的待融合图像采用相同的图像块划分方式。同时，考虑到曝光良好的待融合图像中图像内容细节、纹理均比较清晰，因此在进行超像素分块时，以曝光良好的待融合图像为基准图像进行超像素分块，并以基准图像的分块结果作为分块标准，对目标图像序列中基准图像之外的其他待融合图像进行超像素分块，分块效果更好。
52.在本技术的一些实施例中，考虑到过曝和欠曝的图像的画面细节比较少，梯度和
比较低，曝光良好的图像的画面细节比较多，梯度和比较大，因此，可以根据图像的梯度和，从目标图像序列中筛选基准图像，相应地，上述步骤502可以包括以下步骤：计算目标图像序列中的每个待融合图像的梯度和，其中，梯度和为图像中所有像素点的对比度之和；将目标图像序列中的梯度和最大的待融合图像确定为基准图像。
53.在本技术的一些实施例中，可以基于简单线性迭代聚类算法，对基准图像进行超像素分块，由于简单线性迭代聚类算法的计算量比较小、且生成超像素的紧凑度、轮廓保持方面都比较理想，因此可以在确保分块效果准确的前提下，待融合图像分块的耗时。
54.在一个例子中，如图1所示，目标图像序列中包括：待融合图像p1、p2、p3和p4，根据图像的梯度和，选择待融合图像p3作为基准图像。如图6所示，对p3进行超像素分块，得到p3的多个图像块，每个图像块为由一系列位置相邻且颜色、亮度和纹理等特征相似的像素点组成的小区域。之后根据p3的多个图像块的划分方式，对p1进行分块，得到p1的多个图像块；根据p3的多个图像块的划分方式，对p2进行分块，得到p2的多个图像块；根据p3的多个图像块的划分方式，对p4进行分块，得到p4的多个图像块
55.在步骤503中，根据每个图像块的像素点的指标参数，确定每个图像块的像素点的融合权重值，其中，指标参数包括以下至少一项：对比度、饱和度和亮度。
56.在本技术的一些实施例中，图像中像素点的对比度c通过以下方式计算得到：一般来说在曝光不足或者过度曝光区域内的物体的边缘很难被检测到，可以采用拉普拉斯算子l＝[0,-1,0；-1,4,-4；0,-1,0]，在图像的y通道上计算对比度c，对边缘的像素给予较大的权值：c＝|l*y|。
[0057]
在本技术的一些实施例中，图像中像素点的饱和度s通过以下方式计算得到：一个曝光良好的像素点可以很好地捕捉色彩饱和度，在rgb颜色空间中，可以将每个像素点的r、g、b通道内的标准差作为度量s；在yuv颜色空间中，s的计算公式如下：s＝|u|+|v|+1。
[0058]
在本技术的一些实施例中，图像中像素点的亮度e通过以下方式计算得到：采用通用的思想，认为曝光良好的像素亮度大概率趋向于接近0.5，e计算公式如下：其中，y为像素点在图像中的灰度值，μ和δ为人为设定的数值。
[0059]
在本技术的一些实施例中，为了提高信噪比，同时保留暗区的细节信息，指标参数还可以包括：质量度量，其中，质量度量与像素点的灰度值正相关，质量度量用于在图像融合过程中平衡图像的亮度，质量度量
[0060]
本技术实施例中，在计算图像块中每个像素点的融合权重值时，将该像素点的指标参数中的各项进行乘积运算，得到该像素点的融合权重值。
[0061]
例如，若指标参数包括：对比度、饱和度和亮度，则图像块中每个像素点的融合权重值＝该像素点的对比度*该像素点的饱和度*该像素点的亮度。
[0062]
例如，若指标参数包括：对比度、饱和度、亮度和质量度量，则图像块中每个像素点的融合权重值＝该像素点的对比度*该像素点的饱和度*该像素点的亮度*该像素点的质量度量。
[0063]
在步骤504中，基于每个待融合图像中同一位置的各图像块的像素点的融合权重值，对同一位置的各图像块进行融合，得到多个不同位置的融合后的图像块，对多个融合后的图像块进行拼接得到目标图像。
[0064]
在本技术的一些实施例中，为了提高融合速度，可以基于原始尺寸的图像块进行融合。
[0065]
在一个例子中，首先，获取目标图像序列，例如，目标图像序列中包括：待融合图像f1、f2和f3。
[0066]
之后，对待融合图像f1、f2和f3进行超像素分块，得到f1的图像块f
11
、f
12
和f
13
，f2的图像块f
21
、f
22
和f
23
，f3的图像块f
31
、f
32
和f
33
，其中，图像块f
11
、f
21
和f
31
在待融合图像中的位置相同，将该位置记为a1；图像块f
12
、f
22
和f
32
在待融合图像中的位置相同，将该位置记为a2；图像块f
13
、f
23
和f
33
在待融合图像中的位置相同，将该位置记为a3。
[0067]
再之后，计算图像块f
11
中各像素点的融合权重值w
11
、f
12
中各像素点的融合权重值w
12
和f
13
中各像素点的融合权重值w
13
；计算图像块f
21
中各像素点的融合权重值w
21
、f
22
中各像素点的融合权重值w
22
和f
23
中各像素点的融合权重值w
23
；计算图像块f
31
中各像素点的融合权重值w
31
、f
32
中各像素点的融合权重值w
32
和f
33
中各像素点的融合权重值w
33
。
[0068]
再之后，基于a1位置的融合权重值w
11
、w
21
和w
31
，对a1位置的图像块f
11
、f
21
和f
31
进行融合，得到a1位置的融合后的图像块b1；基于a2位置的融合权重值w
12
、w
22
和w
32
，对a2位置的图像块f
12
、f
22
和f
32
进行融合，得到a2位置的融合后的图像块b2；基于a3位置的融合权重值w
13
、w
23
和w
33
，对a3位置的图像块f
13
、f
23
和f
33
进行融合，得到a3位置的融合后的图像块b3。
[0069]
最后，按照a1位置、a2位置和a3位置在待融合图像中的位置，对融合后的图像块b1、b2和b3进行拼接，得到目标图像。
[0070]
在本技术的一些实施例中，为了确保融合结果中的画面过渡自然，可以采用金字塔策略，对图像块进行多尺度的分解，基于多尺度的图像块进行融合。
[0071]
由上述实施例可见，该实施例中，获取目标图像序列，其中，目标图像序列中包括：同一场景下不同曝光度的多个待融合图像；从目标图像序列中选择一个曝光良好的待融合图像作为基准图像，对基准图像进行超像素分块，并以基准图像的分块结果作为分块标准，对目标图像序列中基准图像之外的其他待融合图像进行超像素分块，得到每个待融合图像的多个图像块；根据每个图像块的像素点的指标参数，确定每个图像块的像素点的融合权重值，其中，指标参数包括以下至少一项：对比度、饱和度和亮度；基于每个待融合图像中同一位置的各图像块的像素点的融合权重值，对同一位置的各图像块进行融合，得到多个不同位置的融合后的图像块，对多个融合后的图像块进行拼接得到目标图像。
[0072]
与相关技术中对待融合图像进行均匀分块相比，本技术实施例中，可以基于超像素对每个待融合图像进行分块，得到每个待融合图像的多个包含同性物体的图像块，以图像块为单位进行图像融合，由于基于超像素分块得到的非均匀图像块是由一系列位置相邻且颜色、亮度和纹理等特征相似的像素点组成的小区域，因此在融合时以超像素的图像块为单位进行融合，可以避免出现相关技术中太小的图像块融合所导致的图像边缘不连续，以及太大的图像块融合所导致的图像细节信息受损等边缘块效应问题，提高多曝光图像融合的图像质量。
[0073]
图7是本技术实施例提供的另一种图像融合方法的流程图，本技术实施例中，可以对图像块所在权重区域的边缘邻近区域进行融合权重值的填充，基于填充后的权重图像进行图像融合，从而避免出现相关技术中多曝光融合的图像边缘halo问题，如图7所示，该方法可以包括以下步骤：步骤701、步骤702、步骤703、步骤704、步骤705和步骤706；
[0074]
在步骤701中，获取目标图像序列，其中，所述目标图像序列中包括：同一场景下不同曝光度的多个待融合图像。
[0075]
在步骤702中，从目标图像序列中选择一个曝光良好的待融合图像作为基准图像，对基准图像进行超像素分块，并以基准图像的分块结果作为分块标准，对目标图像序列中基准图像之外的其他待融合图像进行超像素分块，得到每个待融合图像的多个图像块。
[0076]
在步骤703中，根据每个图像块的像素点的指标参数，确定每个图像块的像素点的融合权重值，其中，指标参数包括以下至少一项：对比度、饱和度和亮度。
[0077]
本技术实施例中的步骤701、步骤702和步骤703的内容，与图5所示实施例中的步骤501、步骤502和步骤503的内容类似，在此不再赘述。
[0078]
在步骤704中，对于每个图像块，为图像块创建空白权重图像，其中，空白权重图像的尺寸与待融合图像的尺寸相同。
[0079]
本技术实施例中，为了避免多曝光融合时出现边缘halo的问题，可以对每个图像块所在权重区域的边缘邻近区域进行融合权重值的填充，在对边缘邻近区域进行填充时，首先需要确定每个图像块所在权重区域的边缘邻近区域，为了确定边缘邻近区域，可以为每个图像块创建空白权重图像，在空白权重图像中先填充该图像块的权重区域，该图像块的权重区域周围的区域即为边缘邻近区域。其中，空白权重图像中每个像素点位置的融合权重值均为零。
[0080]
在步骤705中，对于每个图像块，按照图像块在待融合图像中的位置，将图像块的像素点的融合权重值填充至空白权重图像中的对应位置，基于图像块的像素点的融合权重值，对空白权重图像中已填充位置之外的其他区域做图像插值处理，直至其他区域中的各像素点均被填充融合权重值，得到图像块对应的目标权重图像；其中，目标权重图像中的图像块的像素点的融合权重值与其他区域中的像素点的融合权重值的差值小于阈值。
[0081]
本技术实施例中，在为每个图像块创建空白权重图像之后，按照图像块在待融合图像中的位置，将图像块的像素点的融合权重值填充至空白权重图像中的对应位置，即确定该图像块在空白权重图像中的权重区域，以及确定该权重区域内的融合权重值。之后，以该图像块所在权重区域的边缘为起点，基于该图像块的融合权重值，向该图像块所在权重区域之外的其他区域进行图像插值处理。
[0082]
本技术实施例中，由于目标权重图像中图像块所在权重区域之外的其他区域的融合权重值与该图像块的融合权重值的差异比较小，例如，如图8所示，在对图像块的权重区域之外的其他区域进行融合权重值的填充后，得到的目标权重图像中各像素点的像素值彼此之间比较接近，因此在进行融合时，可以解决金字塔重建时的权重扩散问题，避免融合结果的画面中出现边缘halo。
[0083]
在本技术的一些实施例中，考虑到在进行融合权重值的填充时，最近邻插值的方式运算比较简单，计算量较小且插值效果比较好，相应地，上述步骤705可以包括以下步骤：基于图像块的像素点的融合权重值，对空白权重图像中已填充位置之外的其他区域做最近邻插值处理，直至其他区域中的各像素点均被填充融合权重值，得到图像块对应的目标权重图像。
[0084]
在步骤706中，根据每个待融合图像中同一位置的各图像块的目标权重图像，对同一位置的各图像块进行融合，得到多个不同位置的融合后的图像块，对多个融合后的图像
块进行拼接得到目标图像。
[0085]
在本技术的一些实施例中，为了确保融合结果的图像画面过渡自然，可以采用金字塔策略对待融合图像的各图像块进行融合，相应地，上述步骤706可以包括以下步骤：步骤7061和步骤7062；
[0086]
在步骤7061中，对每个图像块进行拉普拉斯金字塔分解，以及对每个图像块的目标权重图像进行高斯金字塔分解。
[0087]
在步骤7062中，根据高斯金字塔分解得到的各尺度的权重图像，对拉普拉斯金字塔分解得到的对应尺度的图像块进行融合，得到多个不同位置的融合后的图像块。
[0088]
在一个例子中，首先，获取目标图像序列，例如，目标图像序列中包括：待融合图像q1、q2和q3。
[0089]
之后，对待融合图像q1、q2和q3进行超像素分块，得到q1的图像块q
11
、q
12
和q
13
，q2的图像块q
21
、q
22
和q
23
，q3的图像块q
31
、q
32
和q
33
，其中，图像块q
11
、q
21
和q
31
在待融合图像中的位置相同，将该位置记为k1；图像块q
12
、q
22
和q
32
在待融合图像中的位置相同，将该位置记为k2；图像块q
13
、q
23
和q
33
在待融合图像中的位置相同，将该位置记为k3。
[0090]
再之后，计算图像块q
11
中各像素点的融合权重值s
11
、q
12
中各像素点的融合权重值s
12
和q
13
中各像素点的融合权重值s
13
；计算图像块q
21
中各像素点的融合权重值s
21
、q
22
中各像素点的融合权重值s
22
和q
23
中各像素点的融合权重值s
23
；计算图像块q
31
中各像素点的融合权重值s
31
、q
32
中各像素点的融合权重值s
32
和q
33
中各像素点的融合权重值s
33
。
[0091]
再之后，根据图像块q
11
中各像素点的融合权重值s
11
，计算图像块q
11
的目标权重图像z
11
；根据图像块q
12
中各像素点的融合权重值s
12
，计算图像块q
12
的目标权重图像z
12
；根据图像块q
13
中各像素点的融合权重值s
13
，计算图像块q
13
的目标权重图像z
13
；同理计算得到图像块q
21
的目标权重图像z
21
，图像块q
22
的目标权重图像z
22
，图像块q
23
的目标权重图像z
23
，图像块q
31
的目标权重图像z
31
，图像块q
32
的目标权重图像z
32
，图像块q
33
的目标权重图像z
33
。
[0092]
再之后，对k1位置的目标权重图像z
11
、z
21
和z
31
均进行高斯金字塔分解，对k1位置的图像块q
11
、q
21
和q
31
均进行拉普拉斯金字塔分解；根据k1位置的高斯金字塔分解得到的多尺度的图像，对k1位置的拉普拉斯金字塔分解得到的对应尺度的图像块进行融合，得到k1位置的融合图像块；同理，得到k2位置的融合图像块和k3位置的融合图像块。
[0093]
最后，按照k1位置、k2位置和k3位置在待融合图像中的位置，对k1位置的融合图像块、k2位置的融合图像块和k3位置的融合图像块进行拼接，得到目标图像。
[0094]
可见，本技术实施例中，可以基于超像素的非均匀分块方式，对待融合图像进行分块，对各图像块所在权重区域的边缘邻近区域进行融合权重值的填充，以避免出现多曝光融合时权重扩散所导致的边缘halo问题以及避免块效应，提高了多曝光融合的图像质量。
[0095]
图9是本技术实施例提供的一种图像融合装置的结构示意图，如图9所示，图像融合装置900，可以包括：获取模块901、划分模块902、确定模块903和融合模块904；
[0096]
获取模块901，用于获取目标图像序列，其中，所述目标图像序列中包括：同一场景下不同曝光度的多个待融合图像；
[0097]
划分模块902，用于从所述目标图像序列中选择一个曝光良好的待融合图像作为基准图像，对所述基准图像进行超像素分块，并以所述基准图像的分块结果作为分块标准，对所述目标图像序列中所述基准图像之外的其他待融合图像进行超像素分块，得到每个所
述待融合图像的多个图像块；
[0098]
确定模块903，用于根据每个所述图像块的像素点的指标参数，确定每个所述图像块的像素点的融合权重值，其中，所述指标参数包括以下至少一项：对比度、饱和度和亮度；
[0099]
融合模块904，用于基于每个所述待融合图像中同一位置的各图像块的像素点的融合权重值，对所述同一位置的各图像块进行融合，得到多个不同位置的融合后的图像块，对多个所述融合后的图像块进行拼接得到目标图像。
[0100]
由上述实施例可见，该实施例中，获取目标图像序列，其中，目标图像序列中包括：同一场景下不同曝光度的多个待融合图像；从目标图像序列中选择一个曝光良好的待融合图像作为基准图像，对基准图像进行超像素分块，并以基准图像的分块结果作为分块标准，对目标图像序列中基准图像之外的其他待融合图像进行超像素分块，得到每个待融合图像的多个图像块；根据每个图像块的像素点的指标参数，确定每个图像块的像素点的融合权重值，其中，指标参数包括以下至少一项：对比度、饱和度和亮度；基于每个待融合图像中同一位置的各图像块的像素点的融合权重值，对同一位置的各图像块进行融合，得到多个不同位置的融合后的图像块，对多个融合后的图像块进行拼接得到目标图像。
[0101]
与相关技术中对待融合图像进行均匀分块相比，本技术实施例中，可以基于超像素对每个待融合图像进行分块，得到每个待融合图像的多个包含同性物体的图像块，以图像块为单位进行图像融合，由于基于超像素分块得到的非均匀图像块是由一系列位置相邻且颜色、亮度和纹理等特征相似的像素点组成的小区域，因此在融合时以超像素的图像块为单位进行融合，可以避免出现相关技术中太小的图像块融合所导致的图像边缘不连续，以及太大的图像块融合所导致的图像细节信息受损等边缘块效应问题，提高多曝光图像融合的图像质量。
[0102]
可选地，作为一个实施例，所述融合模块904，可以包括：
[0103]
创建子模块，用于对于每个所述图像块，为所述图像块创建空白权重图像，其中，所述空白权重图像的尺寸与所述待融合图像的尺寸相同；
[0104]
填充子模块，用于对于每个所述图像块，按照所述图像块在所述待融合图像中的位置，将所述图像块的像素点的融合权重值填充至所述空白权重图像中的对应位置，基于所述图像块的像素点的融合权重值，对所述空白权重图像中已填充位置之外的其他区域做图像插值处理，直至所述其他区域中的各像素点均被填充融合权重值，得到所述图像块对应的目标权重图像；其中，所述目标权重图像中的所述图像块的像素点的融合权重值与所述其他区域中的像素点的融合权重值的差值小于阈值；
[0105]
融合子模块，用于根据每个所述待融合图像中同一位置的各图像块的目标权重图像，对所述同一位置的各图像块进行融合，得到多个不同位置的融合后的图像块。
[0106]
可选地，作为一个实施例，所述填充子模块，可以包括：
[0107]
图像插值单元，用于基于所述图像块的像素点的融合权重值，对所述空白权重图像中已填充位置之外的其他区域做最近邻插值处理，直至所述其他区域中的各像素点均被填充融合权重值，得到所述图像块对应的目标权重图像。
[0108]
可选地，作为一个实施例，所述融合子模块，可以包括：
[0109]
图像分解单元，用于对每个所述图像块进行拉普拉斯金字塔分解，以及对每个所述图像块的目标权重图像进行高斯金字塔分解；
[0110]
多尺度融合单元，用于根据所述高斯金字塔分解得到的各尺度的权重图像，对所述拉普拉斯金字塔分解得到的对应尺度的图像块进行融合，得到多个不同位置的融合后的图像块。
[0111]
可选地，作为一个实施例，所述划分模块902，可以包括：
[0112]
计算子模块，用于计算所述目标图像序列中的每个待融合图像的梯度和，其中，所述梯度和为图像中所有像素点的对比度之和；
[0113]
确定子模块，用于将所述目标图像序列中的梯度和最大的待融合图像确定为基准图像。
[0114]
可选地，作为一个实施例，所述指标参数还包括：质量度量，其中，所述质量度量与像素点的灰度值正相关，所述质量度量用于在图像融合过程中平衡图像的亮度。
[0115]
可选地，作为一个实施例，所述划分模块902，可以包括：
[0116]
分块子模块，用于基于简单线性迭代聚类算法，对所述基准图像进行超像素分块。
[0117]
本技术提供的图像融合方法的实施例中的任意一个步骤和任意一个步骤中的具体操作均可以由图像融合装置中的相应的模块完成。图像融合装置中的各个模块完成的相应的操作的过程参考在图像融合方法的实施例中描述的相应的操作的过程。
[0118]
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0119]
图10是本技术实施例提供的一种电子设备的结构框图，该电子设备包括处理组件1022，其进一步包括一个或多个处理器，以及由存储器1032所代表的存储器资源，用于存储可由处理组件1022执行的指令，例如应用程序。存储器1032中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1022被配置为执行指令，以执行上述方法。
[0120]
电子设备还可以包括一个电源组件1026被配置为执行电子设备的电源管理，一个有线或无线网络接口1050被配置为将电子设备连接到网络，和一个输入输出(i/o)接口1058。电子设备可以操作基于存储在存储器1032的操作系统，例如windows servertm，macos xtm，unixtm，linuxtm，freebsdtm或类似。
[0121]
根据本技术的再一个实施例，本技术还提供了计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任意一个实施例所述的图像融合方法中的步骤。
[0122]
根据本技术的再一个实施例，本技术还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任意一个实施例所述的图像融合方法中的步骤。
[0123]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0124]
本领域内的技术人员应明白，本技术实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本技术实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0125]
本技术实施例是参照根据本技术实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0126]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0127]
尽管已描述了本技术实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术实施例范围的所有变更和修改。
[0128]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0129]
以上对本技术所提供的一种图像融合方法、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。

技术特征：
1.一种图像融合方法，其特征在于，所述方法包括：获取目标图像序列，其中，所述目标图像序列中包括：同一场景下不同曝光度的多个待融合图像；从所述目标图像序列中选择一个曝光良好的待融合图像作为基准图像，对所述基准图像进行超像素分块，并以所述基准图像的分块结果作为分块标准，对所述目标图像序列中所述基准图像之外的其他待融合图像进行超像素分块，得到每个所述待融合图像的多个图像块；根据每个所述图像块的像素点的指标参数，确定每个所述图像块的像素点的融合权重值，其中，所述指标参数包括以下至少一项：对比度、饱和度和亮度；基于每个所述待融合图像中同一位置的各图像块的像素点的融合权重值，对所述同一位置的各图像块进行融合，得到多个不同位置的融合后的图像块，对多个所述融合后的图像块进行拼接得到目标图像。2.根据权利要求1所述的方法，其特征在于，所述基于每个所述待融合图像中同一位置的各图像块的像素点的融合权重值，对所述同一位置的各图像块进行融合，得到多个不同位置的融合后的图像块，包括：对于每个所述图像块，为所述图像块创建空白权重图像，其中，所述空白权重图像的尺寸与所述待融合图像的尺寸相同；对于每个所述图像块，按照所述图像块在所述待融合图像中的位置，将所述图像块的像素点的融合权重值填充至所述空白权重图像中的对应位置，基于所述图像块的像素点的融合权重值，对所述空白权重图像中已填充位置之外的其他区域做图像插值处理，直至所述其他区域中的各像素点均被填充融合权重值，得到所述图像块对应的目标权重图像；其中，所述目标权重图像中的所述图像块的像素点的融合权重值与所述其他区域中的像素点的融合权重值的差值小于阈值；根据每个所述待融合图像中同一位置的各图像块的目标权重图像，对所述同一位置的各图像块进行融合，得到多个不同位置的融合后的图像块。3.根据权利要求2所述的方法，其特征在于，所述基于所述图像块的像素点的融合权重值，对所述空白权重图像中已填充位置之外的其他区域做图像插值处理，直至所述其他区域中的各像素点均被填充融合权重值，得到所述图像块对应的目标权重图像，包括：基于所述图像块的像素点的融合权重值，对所述空白权重图像中已填充位置之外的其他区域做最近邻插值处理，直至所述其他区域中的各像素点均被填充融合权重值，得到所述图像块对应的目标权重图像。4.根据权利要求2所述的方法，其特征在于，所述根据每个所述待融合图像中同一位置的各图像块的目标权重图像，对所述同一位置的各图像块进行融合，得到多个不同位置的融合后的图像块，包括：对每个所述图像块进行拉普拉斯金字塔分解，以及对每个所述图像块的目标权重图像进行高斯金字塔分解；根据所述高斯金字塔分解得到的各尺度的权重图像，对所述拉普拉斯金字塔分解得到的对应尺度的图像块进行融合，得到多个不同位置的融合后的图像块。5.根据权利要求1所述的方法，其特征在于，所述从所述目标图像序列中选择一个曝光
良好的待融合图像作为基准图像，包括：计算所述目标图像序列中的每个待融合图像的梯度和，其中，所述梯度和为图像中所有像素点的对比度之和；将所述目标图像序列中的梯度和最大的待融合图像确定为基准图像。6.根据权利要求1所述的方法，其特征在于，所述指标参数还包括：质量度量，其中，所述质量度量与像素点的灰度值正相关，所述质量度量用于在图像融合过程中平衡图像的亮度。7.根据权利要求1所述的方法，其特征在于，所述对所述基准图像进行超像素分块，包括：基于简单线性迭代聚类算法，对所述基准图像进行超像素分块。8.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7任一项所述的方法。9.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-7任一项所述的方法。10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-7任一项所述的方法。

技术总结
本申请实施例公开一种图像融合方法、电子设备及存储介质，该方法包括：获取目标图像序列，目标图像序列中包括：同一场景下不同曝光度的多个待融合图像；从目标图像序列中选择一个曝光良好的待融合图像作为基准图像，对基准图像进行超像素分块，并以基准图像的分块结果作为分块标准，对目标图像序列中基准图像之外的其他待融合图像进行超像素分块，得到每个待融合图像的多个图像块；根据每个图像块的像素点的指标参数，确定每个图像块的像素点的融合权重值；基于每个待融合图像中同一位置的各图像块的像素点的融合权重值，对同一位置的各图像块进行融合，得到多个不同位置的融合后的图像块，对多个融合后的图像块进行拼接得到目标图像。图像。图像。


技术研发人员：洪铁鑫
受保护的技术使用者：成都西纬科技有限公司
技术研发日：2023.06.02
技术公布日：2023/9/23