一种背景光估计方法、水下图像复原方法及电子设备

1.本发明涉及一种背景光估计方法、水下图像复原方法及电子设备，属于图像处理技术领域。


背景技术：

2.现有图像处理技术在对水下图像、雾霾图像、沙尘暴图像等rgb(红绿蓝)三色光衰减程度差异大的图像进行背景光估计时，由于算法适应性差，对rgb三个通道的背景光进行统一估计，导致输出的背景光估计准确性不佳。


技术实现要素：

3.本发明的目的在于克服现有技术中的不足，提供一种算法适应性强的背景光估计方法、水下图像复原方法及电子设备，能够实现背景光的准确估计，提高水下图像复原质量。
4.为达到上述目的，本发明是采用下述技术方案实现的：
5.第一方面，本发明提供一种背景光估计方法，包括：
6.分别计算原始输入图像rgb三颜色通道的总像素值，根据所述总像素值大小确定第一颜色通道、第二颜色通道和第三颜色通道；所述第一颜色通道、第二颜色通道和第三颜色通道的衰减速度递减；
7.对于所述第一颜色通道、第二颜色通道和第三颜色通道，分别根据各颜色通道的邻域像素的像素值筛选相应的候选像素组，根据所述候选像素组的邻域像素值计算对应颜色通道的背景光估值；
8.联合所述第一颜色通道的背景光b1估值、所述第二颜色通道的背景光b2估值和所述第三颜色通道的背景光b3估值获取背景光估计结果。
9.第一方面，进一步的，计算所述第一颜色通道的背景光b1估值的方法，包括：
10.对所有像素中所述第一颜色通道的像素值进行伽玛校正；
11.按伽玛校正后的第一颜色通道的像素值大小，选取前1％的像素作为所述第一候选像素组；
12.通过插值法计算所述第一候选像素组中每个像素的邻域像素中其余两个颜色通道像素值，获得多个第一估值；
13.从多个所述第一估值中选取最大的第一估值作为所述第一颜色通道的背景光b1估值。
14.第一方面，进一步的，采用下列公式计算所述第一估值
[0015][0016]
第一方面，进一步的，计算所述第二颜色通道的背景光b2估值的方法，包括：
[0017]
对所述第二颜色通道的像素值进行伽玛校正；
[0018]
按伽玛校正后的第二颜色通道的像素值大小，选取前1％的像素，作为所述第二候选像素组；
[0019]
计算所述第二候选像素组中每个像素的四邻域像素所述第二颜色通道的方差；
[0020]
从所述第二候选像素组中选取方差最小的像素的第二颜色通道的像素值，作为所述背景光b2估值。
[0021]
第一方面，进一步的，对所述第二颜色通道的像素值进行伽玛校正的过程中，伽玛值γ采用下述公式计算：
[0022][0023]
式中，κ为常数，为伽玛校正后所述第二颜色通道的像素值的方差。
[0024]
第一方面，进一步的，计算所述第三颜色通道的背景光b3估值的方法包括：
[0025]
按第三颜色通道的像素值大小，选取前1％的像素，作为所述第三候选像素组；
[0026]
计算所述第三候选像素组中每个像素的q值：
[0027][0028]
式中，μb为八领域像素的第三颜色通道的像素值均值，为八领域像素第三颜色通道的像素值方差，λ为的加权因子；q值为第三候选像素组中每个像素的伪方差；
[0029]
选取最小q值对应的像素，其第三颜色通道的像素值为背景光b2估值。
[0030]
第一方面，进一步的，所述三颜色通道总像素值的计算方法：
[0031][0032]
式中，k为rgb中之一的颜色通道，sk为颜色通道k的总像素值；m和n分别代表原始输入图像的像素宽度和像素高度；i
nork
(i,j)代表像素坐标(i,j)处像素的对应颜色通道k的像素值。
[0033]
第一方面，进一步的，计算原始输入图像的rgb三颜色通道的总像素值之前，对原始输入图像的像素值归一化处理。
[0034]
第二方面，本发明还提供一种水下图像复原方法，包括：
[0035]
采用上述第一方面任一项所述的背景光估计方法获取所述原始输入图像的背景光估计结果ac，式中c＝{r,g,b}代表三个颜色通道。
[0036]
根据所述背景光估计结果计算相应的传输图，其表达式如下：
[0037][0038]
式中ic(y)为采集到的原始低质水下光学图像，ω(x)为x的局域，tc(x)为估计得到的透射率，ac为背景光估计结果，x为像素位置；
[0039]
采用导向滤波细化对所述透射率tc(x)进行细化得到导向滤波细化后的透射率
[0040]
结合所述背景光估计结果和导向滤波细化后的透射率得到复原的水下图像，其表达式为：
[0041][0042]
式中为导向滤波细化后的透射率，ic(x)为原始的采集图像，jc(x)为复原的水下图像。
[0043]
第三方面，一种电子设备，包括处理器与所述处理器连接的存储器，在所述存储器内存储有计算机程序，当所述计算机程序被所述处理器执行时，执行如第一方面或第二方面任一项所述方法的步骤。
[0044]
与现有技术相比，本发明所达到的有益效果：
[0045]
本发明在计算第一颜色通道、第三颜色通道和第二颜色通道的背景光估计值时考虑了rgb三个颜色通道衰减程度的差异，提高了算法的适应性，能够提供更准确的背景光估计结果。
附图说明
[0046]
图1是本发明实施例一所提供的一种背景光估计方法的处理流程图；
[0047]
图2是本发明实施例中计算r通道的背景光估值b1时第一候选像素组中每个像素邻域像素要用的颜色通道示意图；
[0048]
图3是本发明实施例采集的一幅原始输入图像；
[0049]
图4是采用本发明实施例一提供的背景光估计方法对图3处理后得到的背景光估计可视化结果；
[0050]
图5是本发明实施例采集的另一幅原始输入图像；
[0051]
图6是采用本发明实施例一提供的背景光估计方法对图5处理后得到的背景光估计可视化结果；
[0052]
图7是采用本发明实施例二提供的水下图像复原方法对图5进行复原后得到的复原图像；
[0053]
图8是本发明实施例二所提供的一种水下图像复原方法的处理流程图。
具体实施方式
[0054]
下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本技术实施例以及实施例中的具体特征是对本技术技术方案的详细的说明，而不是对本技术技术方案的限定，在不冲突的情况下，本技术实施例以及实施例中的技术特征可以相互组合。
[0055]
实施例一
[0056]
参考图1所示的方法步骤，本实施例提供一种背景光估计方法，可应用于对在浑浊或深水域捕获的水下图像处理；图3所示的是一幅水下图像的原始图像，将其作为本发明实施例的原始输入图像，具体如下：
[0057]
步骤一：分别计算原始输入图像rgb三颜色通道的总像素值，根据所述总像素值大小确定第一颜色通道、第二颜色通道和第三颜色通道；所述第一颜色通道、第二颜色通道和第三颜色通道的衰减速度递减。
[0058]
首先对原始输入图像进行归一化处理，计算出图像的r，g，b三通道；为方便本领域
技术人员理解，在本发明实施例中，r通道代表红色通道，g通道代表绿色通道，b通道代表蓝色通道。计算水下图像r，g，b三个颜色通道的总像素值，依据得到的总像素值大小判断r，g，b三个颜色通道的衰减程度，本实施例采用的计算方式如下：
[0059][0060]
式中，k为rgb中之一的颜色通道，sk为k代表的颜色通道的总像素值；m和n分别代表原始输入图像的像素宽度和像素高度；i
nork
(i,j)代表像素坐标(i,j)处像素的k代表的颜色通道的像素值。
[0061]
需要说明的是，sk值越大表明颜色通道的衰减越慢。
[0062]
在常规水下环境，根据计算出的总像素值大小确定出rgb三个颜色通道的总像素值的大小sb＞sg＞sr，可得知水下图像第一颜色通道为r通道，第二颜色通道为g通道，第三颜色通道为b通道。
[0063]
步骤二：对于所述第一颜色通道、第二颜色通道和第三颜色通道，分别根据各颜色通道的邻域像素的像素值筛选相应的候选像素组，根据所述候选像素组的邻域像素值计算对应颜色通道的背景光估值。
[0064]
其中，根据所述候选像素组的邻域像素值，计算r通道的背景光估值b1的方法包括：
[0065]
为满足使用背景光估值b1输出的复原水下图像时对人类视觉的特性进行补偿，对水下图像所有像素的r通道像素值进行伽玛校正；
[0066]
将所有像素按伽玛校正后的r通道像素值从大到小排列，并从中选取排前1％的像素作为第一候选像素组；
[0067]
使用插值法计算第一候选像素组中每个像素的邻域像素中其余两个颜色通道像素值，获得与第一候选像素组中每个像素一一对应的多个第一估值，参考图2，计算每个像素的第一估值的计算式包括：
[0068][0069]
从获得的多个第一估值选择最大的第一估值，作为背景光b1估值；经计算，在本实施中背景光b1估值为52。
[0070]
根据所述候选像素组的邻域像素值，计算g通道的背景光b2估值的方法包括：
[0071]
为满足使用背景光b2估值输出的复原水下图像时对人类视觉的特性进行补偿，对水下图像所有像素的g通道像素值进行伽玛校正，其所采用的伽玛系数γ的计算公式如下：
[0072][0073]
式中，κ为常数，κ作为通过调整伽玛系数γ进而调整背景光b2估值的系数，在本实施例中κ取值为0.1，为伽玛校正后第二颜色通道即本实施例中g通道的像素值的方差；
[0074]
结合g通道像素值的伽玛校正公式g
out
＝g
γ
，得到最终的伽玛校正公式如下：
[0075][0076]
利用上述公式得出的伽玛校正后的g通道像素值，并按照从大到小排列，从中选取
排前1％的像素作为第二候选像素组；
[0077]
分别计算第二候选像素组中每个像素的四邻域像素g通道像素值的方差，并从中选出最小的方差对应的的像素，其g通道像素值即为背景光b2估值；经计算，在本实施中背景光b2估值为185；
[0078]
根据所述候选像素组的邻域像素值，计算b通道的背景光估值b3的方法包括：
[0079]
将所有像素按b通道像素值从大到小排列，并从中选取排前1％的像素作为第三候选像素组；
[0080]
计算第三候选像素组中每个像素的q值：
[0081][0082]
式中，μb为八领域像素第三颜色通道即本实施例中b通道的像素值均值，为八领域像素第三颜色通道即本实施例中b通道的像素值方差，λ为的加权因子，q值为第三候选像素组中每个像素的伪方差；
[0083]
在计算出第三候选像素组中每个像素的q值后，选取最小q值所对应的像素，所对应的像素的b通道像素值即为背景光b3估值；经计算，在本实施例中背景光b3估值为239。
[0084]
步骤三：联合所述第一颜色通道的背景光b1估值、所述第二颜色通道的背景光b2估值和所述第三颜色通道的背景光b3估值获取背景光估计结果。
[0085]
对比图3与图4，可得知，图4准确地可视化输出了图3的背景光估计结果(r:52,g:185,b:239)。
[0086]
本实施例确定第一颜色通道为r通道，第二颜色通道为g通道，第三颜色通道为b通道是根据常规水下环境假设的，遇到特殊水下环境应根据总像素值大小确定第一颜色通道、第三颜色通道和第二颜色通道。
[0087]
本实施例中，为符合视觉习惯，对水下图像所有像素的r通道像素值进行经典伽玛校正，所采用的伽玛系数为0.4545，即
[0088]rout
＝r
0.4545
[0089]
式中，r为水下图像未经伽玛校正处理的r通道像素值，r
out
为经典伽玛校正后的r通道像素值；但本领域技术人员可根据使用环境和想要的视觉效果采用其他的伽玛系数。
[0090]
本实施例提供的背景光估计方法，解决了现有技术对rgb三个通道的背景光进行统一估计导致背景光估计结果准确性差的问题。本实施例基于水下rgb三个颜色通道衰减程度的差异，在计算第一颜色通道r通道、第二颜色通道b通道和第三颜色通道g通道的背景光估计值时提供了不同的算法，提高了背景光估计方法的适应性，可以提供更准确的背景光估计结果。将本发明实施例提供的背景光估计方法应用于水下图像处理中，可提高浑浊或深水域捕获的水下图像处理的效果。此外，本发明实施例提供的背景光估计方法可广泛应用于深水捕捞、水下考古、潜水救援、水文地质探测、水下生物群系科研、海底光缆铺设、情报搜集等场景。
[0091]
实施例二
[0092]
参考图8所示的方法步骤，本实施例提供一种水下图像复原方法，包括：
[0093]
采用实施例一所述的背景光估计方法处理原始输入图像，如图5所示，是本发明实施例所采集的一幅水下图像，采用实施例一所述的背景光估计方法对图5进行处理，获取图
6的背景光估计结果ac，式中c＝{r,g,b}代表三个颜色通道，在本实施例中水下图像的背景光估计结果为(r:125,g:169,b:173)；
[0094]
根据三个颜色通道的背景光b1、b2、b3估值计算相应的传输图，其表达式如下：
[0095][0096]
式中：ic(y)为采集到的原始低质水下光学图像，ω(x)为x的局域，tc(x)为估计得到的透射率，ac为背景光估计结果，x为像素位置；
[0097]
采用导向滤波细化对所述透射率tc(x)进行细化，得到导向滤波细化后的透射率
[0098]
参见图7，并结合背景光估计结果和导向滤波细化后的透射率得到复原的水下图像，其表达式为：
[0099][0100]
式中为导向滤波细化后的透射率，ic(x)为采集到的原始输入图像，jc(x)为复原水下图像。
[0101]
对比图5、图6和图7，不难看出，图6准确地可视化输出了图5的背景光估计结果，基于图6的背景光估计结果，图7输出了复原性较强的复原水下图像。
[0102]
实施例三
[0103]
本实施例提供一种背景光估计方法，基于实施例一的方案进行改进，具体为：计算原始输入图像的rgb三颜色通道的总像素值之前，对原始输入图像的像素值归一化处理，即将像素值从[0,255]归一化到[0,1]区间内。本发明实施例提供的背景光估计方法相对于实施例一而言更方便数据处理。
[0104]
对于本实施例其他步骤，可以参见实施例一，在此不再赘述。
[0105]
实施例四
[0106]
本实施例提供一种背景光估计方法，可应用于对在大雾、雾霾图像处理，基于可见光在组分复杂的气体环境与水下环境的对不同波长可见光穿透能力的差异，第一颜色通道、第二颜色通道、第三颜色通道相较于实施例一或实施例三而言需要根据总像素值sb、sg、sr大小重新确定，基于和实施例一或实施例三同样的技术方案在此不再赘述。
[0107]
本实施例提供的背景光估计方法，基于水下rgb三个颜色通道衰减程度的差异，在计算背景光估计值时提供了不同的算法，提供更准确的背景光估计结果，可提高雾霾图像处理效果，可广泛应用于航拍、国土资源普查、防灾减灾、农作物估产、交通疏导、地外星球成像等场景。
[0108]
实施例五
[0109]
本实施例提供一种背景光估计方法，可应用于对在沙尘暴、火山灰图像处理，基于可见光在密布细小岩石颗粒的大气环境与水下环境的对不同波长可见光穿透能力的差异，第一颜色通道、第二颜色通道、第三颜色通道相较于实施例一或实施例三而言需要根据总像素值sb、sg、sr大小重新确定，基于和实施例一或实施例三同样的技术方案在此不再赘述。
[0110]
本实施例提供的背景光估计方法，基于水下rgb三个颜色通道衰减程度的差异，在计算背景光估计值时提供了不同的算法，提供更准确的背景光估计结果，可提高尘暴图像处理效果，可广泛应用于航拍、国土资源普查、防灾减灾、农作物估产、交通疏导、紧急救援等场景。
[0111]
实施例六
[0112]
本实施例提供一种电子设备，包括处理器与所述处理器连接的存储器，在所述存储器内存储有计算机程序，当所述计算机程序被所述处理器执行时，执行如实施例一至六任一例方法的步骤。
[0113]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0114]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0115]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0116]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0117]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

技术特征：
1.一种背景光估计方法，其特征在于，包括：分别计算原始输入图像rgb三颜色通道的总像素值，根据所述总像素值大小确定第一颜色通道、第二颜色通道和第三颜色通道；所述第一颜色通道、第二颜色通道和第三颜色通道的衰减速度递减；对于所述第一颜色通道、第二颜色通道和第三颜色通道，分别根据各颜色通道的邻域像素的像素值筛选相应的候选像素组，根据所述候选像素组的邻域像素值计算对应颜色通道的背景光估值；联合所述第一颜色通道的背景光b1估值、所述第二颜色通道的背景光b2估值和所述第三颜色通道的背景光b3估值获取背景光估计结果。2.根据权利要求1所述的背景光估计方法，其特征在于，计算所述第一颜色通道的背景光b1估值的方法，包括：对所有像素中所述第一颜色通道的像素值进行伽玛校正；按伽玛校正后的第一颜色通道的像素值大小，选取前1％的像素作为所述第一候选像素组；通过插值法计算所述第一候选像素组中每个像素的邻域像素中其余两个颜色通道像素值，获得多个第一估值；从多个所述第一估值中选取最大的第一估值作为所述第一颜色通道的背景光b1估值。3.根据权利要求2所述的背景光估计方法，其特征在于，采用下列公式计算所述第一估值值4.根据权利要求1所述的背景光估计方法，其特征在于，计算所述第二颜色通道的背景光b2估值的方法，包括：对所述第二颜色通道的像素值进行伽玛校正；按伽玛校正后的第二颜色通道的像素值大小，选取前1％的像素，作为所述第二候选像素组；计算所述第二候选像素组中每个像素的四邻域像素所述第二颜色通道的方差；从所述第二候选像素组中选取方差最小的像素的第二颜色通道的像素值，作为所述背景光b2估值。5.根据权利要求4所述的背景光估计方法，其特征在于，对所述第二颜色通道的像素值进行伽玛校正的过程中，伽玛值γ采用下述公式计算：式中，κ为常数，为伽玛校正后所述第二颜色通道的像素值的方差。6.根据权利要求1所述的背景光估计方法，其特征在于，计算所述第三颜色通道的背景光b3估值的方法包括：按第三颜色通道的像素值大小，选取前1％的像素，作为所述第三候选像素组；计算所述第三候选像素组中每个像素的q值：
式中，μ
b
为八领域像素的第三颜色通道的像素值均值，为八领域像素第三颜色通道的像素值方差，λ为的加权因子，q值为第三候选像素组中每个像素的伪方差；选取最小q值对应的像素，其第三颜色通道的像素值为背景光b2估值。7.根据权利要求1所述的背景光估计方法，其特征在于，所述三颜色通道总像素值的计算方法：式中，k为rgb中之一的颜色通道，s
k
为颜色通道k的总像素值；m和n分别代表原始输入图像的像素宽度和像素高度；i
nork
(i,j)代表像素坐标(i,j)处像素的对应颜色通道k的像素值。8.根据权利要求1所述的背景光估计方法，其特征在于，计算原始输入图像的rgb三颜色通道的总像素值之前，对原始输入图像的像素值归一化处理。9.一种水下图像复原方法，其特征在于，包括：采用权利要求1至8任一项所述的背景光估计方法获取所述原始输入图像的背景光估计结果a
c
，式中c＝{r,g,b}代表三个颜色通道；根据所述背景光估计结果计算相应的传输图，其表达式如下：式中i
c
(y)为采集到的原始低质水下光学图像，ω(x)为x的局域，t
c
(x)为估计得到的透射率，a
c
为背景光估计结果，x为像素位置；采用导向滤波细化对所述透射率t
c
(x)进行细化，得到导向滤波细化后的透射率结合所述背景光估计结果和导向滤波细化后的透射率得到复原的水下图像，其表达式为：式中为导向滤波细化后的透射率，i
c
(x)为原始的采集图像，j
c
(x)为复原的水下图像。10.一种电子设备，其特征在于，包括处理器与所述处理器连接的存储器，在所述存储器内存储有计算机程序，当所述计算机程序被所述处理器执行时，执行如权利要求1～9任一项所述方法的步骤。

技术总结
本发明公开了一种图像处理技术领域的背景光估计方法、水下图像复原方法及电子设备，旨在解决现有技术中对RGB三个通道的背景光进行统一估计导致的准确性差问题。本发明通过原始输入图像三个颜色通道总像素值大小确三个颜色通道衰减速度，并根据邻域像素的像素值对三个颜色通道的像素进行筛选，通过不同的方法分别计算三个颜色通道的背景光估值，进而对三个通道分别进行复原。本发明可用于水下图像处理，能够实现RGB三个通道背景光的一一准确估计，提高水下图像复原质量。提高水下图像复原质量。提高水下图像复原质量。


技术研发人员：李昌利
受保护的技术使用者：南京信息工程大学
技术研发日：2023.06.15
技术公布日：2023/9/23