低照度增强方法、装置、电子设备和可读存储介质与流程

1.本发明涉及图像低照度增强技术领域，尤其是涉及一种低照度增强方法、装置、电子设备和可读存储介质。


背景技术：

2.近眼显示设备是人们感知元宇宙的主要入口之一，人们通过近眼显示设备观看由计算机构建而成的三维数字场景组成世界。娱乐沉浸式体验是元宇宙的典型应用，其中舞台是常见场景之一，舞台表演中通常采用灯光设备集中照射来突出环境或者渲染气氛，而没有被灯光照射的地方则是一片漆黑，强烈的对比使得舞台场景的亮度范围非常广阔。
3.但目前成像设备单次拍摄的亮度动态范围最大不超过三个数量级，容易出现过曝光或者欠曝光的情况，并不能反映真实舞台场景。


技术实现要素：

4.本发明的目的在于提供一种低照度增强方法、装置、电子设备和可读存储介质，以缓解了成像设备拍摄图像出现欠曝光的情况，避免出现舞台场景不能真实反映的技术问题。
5.第一方面，本发明实施例提供了一种低照度增强方法，所述方法包括：
6.获取当前物体图像并对所述当前物体图像进行预处理，得到所述当前物体的原始图像；
7.基于图像增强算法分别对当前物体的原始图像的反射分量和光照分量进行处理，确定所述当前物体低照度增强后的观测图像；
8.将所述当前物体图像和所述低照度增强后的观测图像进行融合，确定所述当前物体的目标成像。
9.结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，获取当前物体图像并对所述当前物体图像进行预处理，得到所述当前物体的原始图像的步骤，包括：
10.将所述当前物体图像转换到hsv色彩空间，对所述当前物体图像的亮度通道进行处理；
11.对处理后的当前物体图像进行去噪和特征提取操作，得到所述当前物体的原始图像。
12.结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，对处理后的当前物体图像进行去噪和特征提取操作，得到所述当前物体的原始图像的步骤，包括：
13.根据边缘检测算子对当前物体图像的亮度通道进行边缘提取，将提取出的边缘细节添加到所述当前物体图像上，得到所述当前物体的第一原始图像；
14.根据gamma算子对所述第一原始图像的动态范围进行拉伸，确定所述当前物体的
第二原始图像；
15.根据中值滤波方法对所述第二原始图像进行去噪处理，得到所述当前物体的第三原始图像。
16.结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，基于图像增强算法分别对当前物体的原始图像的反射分量和光照分量进行处理，确定所述当前物体低照度增强后的观测图像的步骤，包括：
17.基于高斯拉普拉斯滤波算法，提取所述原始图像中的反射分量和光照分量；
18.根据所述光照分量和增强处理后的反射分量的乘积，确定增强后的亮度通道；
19.将所述增强后的亮度通道与色调通道以及饱和度通道进行融合，并转换到rgb色彩空间，确定所述当前物体低照度增强后的观测图像。
20.结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，将所述当前物体图像和所述低照度增强后的观测图像进行融合，确定所述当前物体的目标成像的步骤，包括：
21.根据mertens融合方法，将当前物体图像与低照度增强后图像对应的权重图与残差图分别构建高斯金字塔与拉普拉斯金字塔；
22.对所述高斯金字塔与所述拉普拉斯金字塔进行融合和反向求解，得出所述当前物体的物体图像；其中，用于表征低照度增强后图像对应图像质量的权重图包括对比度、饱和度和曝光度三个指标。
23.结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述方法还包括：
24.根据所述权重图对应的指标数目，确定低照度增强算法对应的卷积核个数。
25.结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述方法还包括：
26.将所述当前物体的目标成像传入扫描控制模块，以低压差分信号方式将同步信号和数据信号传输到显示器接收端中。
27.第二方面，本发明实施例还提供一种低照度增强装置，包括：所述装置包括：
28.获取模块，获取当前物体图像并对所述当前物体图像进行预处理，得到所述当前物体的原始图像；
29.第一确定模块，基于图像增强算法分别对当前物体的原始图像的反射分量和光照分量进行处理，确定所述当前物体低照度增强后的观测图像；
30.第二确定模块，将所述当前物体的原始图像和所述低照度增强后的观测图像进行融合，确定所述当前物体的目标成像。
31.第三方面，实施例提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤。
32.第四方面，实施例提供一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现前述实施方式任一项所述的方法的步骤。
33.本发明实施例带来了一种低照度增强方法、装置、电子设备和可读存储介质，通过
先对当前物体图像进行去噪等提高精度的预处理操作，得到当前物体的原始图像，再根据图像增强法确定原始图像对应的光照分量和反射分量，并进行低照度增强，得到当前物体的观测图像，再依据该增强后的观测图像与前述当前物体图像进行融合，消减掉过度增强的图像部分，进而得到当前物体对应的目标成像，该目标成像不会出现欠曝光等缺陷，能够满足真实反映舞台环境的应用。
34.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
35.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
36.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1为本发明实施例提供的一种低照度增强方法流程图；
38.图2为本发明实施例提供的另一种低照度增强方法流程图；
39.图3为本发明实施例提供的一种边缘检测算子效果对比图；
40.图4为本发明实施例提供的一种拉普拉斯卷积模板；
41.图5为本发明实施例提供的又一种低照度增强方法流程图；
42.图6为本发明实施例提供的一种图像融合前后灰度值对比示意图；
43.图7本发明实施例提供的一种原图与图像增强和图像融合后图像直方图对比；
44.图8为本发明实施例提供的一种llef算法的fpga实现框架示意图；
45.图9为本发明实施例提供的一种不同算法对于低照度图像的处理结果；
46.图10为本发明实施例提供的一种不同算法对于双目相机拍摄的舞台场景的处理结果；
47.图11为本发明实施例提供的一种低照度增强装置的功能模块示意图；
48.图12为本发明实施例提供的电子设备的硬件架构示意图。
具体实施方式
49.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.经发明人研究发现，目前舞台场景拍摄需要对图像进行动态范围扩展，增强图像的明暗对比度，还原舞台真实场景。此外，使用如虚拟现实(virtual reality，vr)的近眼显示设备观看直播时，图像处理的实时性显得尤为重要。
51.基于此，本发明实施例提供的一种低照度增强方法、装置、电子设备和可读存储介
质，可以缓解成像设备拍摄图像出现欠曝光的情况，避免出现不能真实反映舞台场景的缺陷。
52.为便于对本实施例进行理解，首先对本发明实施例所公开的一种低照度增强方法进行详细介绍，该方法可应用于控制器、上位机、服务器等智能控制设备中。
53.图1为本发明实施例提供的一种低照度增强方法流程图。
54.低照度增强算法(low-light enhancement fusion，llef)可理解为，在retinx理论作用下将图像分为光照和反射两部分，其中光照部分对应着图像的低频信号部分，反射分量对应着图像的高频信号部分。
55.如图1所示，该方法包括：
56.步骤s102，获取当前物体图像并对当前物体图像进行预处理，得到当前物体的原始图像。
57.其中，可通过采集设备对当前物体图像进行获取，并为了后续步骤图像处理的可靠性，先对该当前物体图像进行预处理，得到原始图像。
58.步骤s104，基于图像增强算法分别对当前物体的原始图像的反射分量和光照分量进行处理，确定当前物体低照度增强后的观测图像。
59.其中，图像增强retinex理论认为人眼观察到的物体颜色与光照强度无关，与物体本身反射不同频率光线的能力有关，其表达式为：
60.s(x,y)＝r(x,y)
·
l(x,y) (1)
61.其中，s为观测图像，r为图像的反射部分，l为图像的光照部分，即整体的最终成像为反射部分与光照部分的乘积。单尺度ssr算法将反射分量作为增强后的最终结果，采用高斯低通滤波估计光照分量，并且将式(1)转换到对数域进行算术运算。表达式为：
62.log[r(x,y)]＝log[s(x,y)]-log[l(x,y)] (2)
[0063]
将式(2)结果量化到0-255范围的像素空间，该结果即为增强后的图像。
[0064]
步骤s106，将当前物体图像和低照度增强后的观测图像进行融合，确定当前物体的目标成像。
[0065]
其中，llef算法分成了低照度增强和图像融合两部分，整体流程如图2所示。其中，低照度增强部分采用改进retinex算法，图像融合部分采用改进的金字塔融合方法。
[0066]
在实际应用的优选实施例中，本发明实施例通过先对当前物体图像进行去噪等提高精度的预处理操作，得到当前物体的原始图像，再根据图像增强法确定原始图像对应的光照分量和反射分量，并进行低照度增强，得到当前物体的观测图像，再依据该增强后的观测图像与前述当前物体图像进行融合，消减掉过度增强的图像部分，进而得到当前物体对应的目标成像，该目标成像不会出现欠曝光等缺陷，能够满足真实反映舞台环境的应用。
[0067]
在一些实施例中，为了进一步保证该低照度图像增强方法的可靠性，在图像增强步骤操作之前，先对图像进行预处理；示例性地，该步骤s102具体包括：
[0068]
步骤1.1)，将当前物体图像转换到hsv色彩空间，对当前物体图像的亮度通道进行处理。
[0069]
在hsv色彩空间中，h通道代表色度，s通道代表色调的饱和度，v通道代表亮度。其亮度独立于色调和饱和度，分割鲁棒性更好。llef算法将图像转换到hsv色彩空间，单独对v通道进行处理，不会出现颜色失真问题，并且有效加快图像运算速度。
[0070]
步骤1.2)，对处理后的当前物体图像进行去噪和特征提取操作，得到当前物体的原始图像。
[0071]
作为一种优选的实施例，该去噪和特征提取操作，可包括：
[0072]
1)根据边缘检测算子对当前物体图像的亮度通道进行边缘提取，将提取出的边缘细节添加到当前物体图像上，得到当前物体的第一原始图像。
[0073]
其中，边缘检测算子可包括canny算子，在提取边缘前会对图像进行高斯滤波处理，有较好的噪声容忍度，非常适合低照度图像的边缘提取。在图像增强之前，可先对v通道用canny算子进行边缘提取，然后将提取出的边缘细节添加到原图像上，增强边缘，避免图像边缘细节丢失。未经过canny算子的处理与经过canny算子的处理的细节对比如图3所示。可以看出，左侧(a)中右下角地面纹理扩散不清晰，右侧(b)中地面纹理清晰，未出现光晕模糊的情况。
[0074]
2)根据gamma算子对第一原始图像的动态范围进行拉伸，确定当前物体的第二原始图像。
[0075]
gamma矫正广泛应用于图像处理领域，通过调整图像的gamma曲线，对图像进行非线性拉伸，增强图像的明暗对比度，使图像获得较好的动态范围。完成边缘提取后，进一步进行gamma矫正，增强图像对比度。
[0076]
该gamma算子的表达式为：
[0077]
g(x,y)＝u(x,y)
γ (3)
[0078]
其中，γ为常量，参数γ对应拉伸效果。当γ＝1时，图像保持原来动态范围不变；当γ》1时，高灰度区域图像对比度增强；当γ《1时，低灰度图像动态范围增强。为了获得较高的灰度级，需要将γ参数选取在[0，1]的范围内。在γ参数选取[0，1]的范围内，增强的灰度级随着参数的增加而单调减小，但是γ值越小，会引入越多的噪声。经过实验，选取γ＝0.7可以较好拉伸动态范围又不会引入过多的噪声。
[0079]
3)根据中值滤波方法对第二原始图像进行去噪处理，得到当前物体的第三原始图像。
[0080]
低照度图像由于整体图像偏暗，在图像采集和增强时很容易出现噪声。中值滤波在去除噪声时能较好的保持图像边缘性，模糊效应较低，可以去除一些随机噪声。由此，在进行图像增强算法前进行中值滤波，可去除图像中本来存在的噪声和gamma矫正中出现的噪声。
[0081]
在一些实施例中，为了减少图像细节丢失，上述实施例中的步骤s104还可通过以下步骤实现，包括：
[0082]
步骤2.1)，基于高斯拉普拉斯滤波算法，提取原始图像中的反射分量和光照分量。
[0083]
其中，llef算法采用高斯-拉普拉斯高通滤波代替高斯低通滤波，先求出反射分量。高斯滤波之所以能够估计光照的原因在于采用了拉普拉斯算法，根据retinex理论，进一步可采用高斯-拉普拉斯滤波(laplace of gaussian，log)，将图像反射分量直接提取出来，可解决图像相减过程中细节数据丢失的问题，并进行增强处理，然后通过反射分量反向求得光照分量，最后将处理后的反射分量与光照分量相结合得出最终成像。
[0084]
在数字图像处理中，图像一阶导数的极大值处往往对应着图像的边缘区域，而二阶导数的边缘定位能力更强，可以确定边缘是否存在，拉普拉斯算子就是一个二阶微分线
性算子。拉普拉斯算子通过二阶微分特性来判断图像的边缘位置，图像i(x，y)进行拉普拉斯变换的数学表达式为：
[0085][0086]
用卷积模板形式表示，如图4所示。
[0087]
该模板可以直观的看出拉普拉斯算子能够增强图像中的亮点，但是噪声也会在图像中以突然的亮点或者其他形式出现，拉普拉斯算子无法判断该点是边缘还是噪声，有时还会增强图像中的噪声，所以在进行拉普拉斯边缘检测前，先进行高斯滤波，这样就形成了高斯-拉普拉斯算子。
[0088]
高斯是图像处理中常用的滤波，二维的高斯平滑卷积核表达式为
[0089][0090]
式中，gσ(x，y)为高斯平滑后图像，σ是标准差，表示周围像素对当前像素的影响程度，σ越大，表示影响程度越大；σ越小，表示影响程度越小。高斯-拉普拉斯算子在高斯平滑后进行二阶求导提取边缘，采用高斯标准差为σ的二维高斯-拉普拉斯的数学表达式为：
[0091][0092]
其中，log(x，y)为高斯-拉普拉斯算子运算后的图像。llef算法提出的改进的retinex中，反射分量由高斯-拉普拉斯高通滤波对图像进行滤波得到。由下面的式子表示：
[0093]
r(x,y)＝v(x,y)*f(x,y)
ꢀꢀꢀ
(7)
[0094]
其中，v(x，y)为预处理后图像在hsv色彩空间中v通道分量；*表示卷积操作；f(x，y)为高斯-拉普拉斯高通滤波；r(x，y)为求出的反射分量。
[0095]
步骤2.2)，根据光照分量和增强处理后的反射分量的乘积，确定增强后的亮度通道；
[0096]
在前述步骤的基础上，在得出反射分量后，采用clahe(contrast limited adaptive histogram equalizatin)限制对比度自适应直方图的方法对反射分量进行对比度拉伸，得到增强处理后的反射分量，增强图像对比度，使图像更加清晰。表达式为：
[0097]
r'(x,y)＝clahe(r(x,y))
ꢀꢀ
(8)
[0098]
根据retinex理论，得出图像的光照分量，表达式为：
[0099]
l(x,y)＝log(i(x,y))-log(r(x,y)) (9)
[0100]
最终v通道分量v＇(x，y)由增强后的反射分量与光照分量相乘得到，表达式为：
[0101]
v'(x,y)＝l(x,y)
·
r'(x,y)(10)
[0102]
步骤2.3)，将增强后的亮度通道与色调通道以及饱和度通道进行融合，并转换到rgb色彩空间，确定当前物体低照度增强后的观测图像。
[0103]
这里，用增强后的v通道分量代替原来的v通道分量，与h通道、s通道融合，然后转换到rgb色彩空间，整体流程图如图5所示。
[0104]
在一些实施例中，由于舞台场景中有灯光，相机拍摄过程中容易出现过曝的情况，
进行低照度增强之后，原本灯光部分可能出现过度增强的问题。采用图像融合的方式，将增强后的图像与当前物体图像进行融合，消除过度增强的部分。基于此，该步骤s106，还可通过以下步骤实现包括：
[0105]
步骤3.1)，根据mertens融合方法，将当前物体图像与低照度增强后图像对应的权重图与残差图分别构建高斯金字塔与拉普拉斯金字塔。
[0106]
步骤3.2)，对高斯金字塔与拉普拉斯金字塔进行融合和反向求解，得出当前物体的物体图像。
[0107]
其中，用于表征低照度增强后图像对应图像质量的权重图包括对比度、饱和度和曝光度三个指标。
[0108]
由于需要达到实时处理效果，所以采用速度较快的mertens融合方法。该方法将原图(未经过预处理)与增强后图像的权重图与残差图分别构建高斯金字塔与拉普拉斯金字塔，然后将两个金字塔进行融合和反向求解得出最终图像。其中，图像质量的权重图采用对比度、饱和度和曝光度三个指标。llef算法采用改进后的融合方法，将原算法中的5*5的卷积核改为3*3的卷积核，该改进可以大量减少每个像素点的计算次数，可以减少48次卷积计算。卷积核由式(11)改为式(12)：
[0109][0110][0111]
原算法中权重图采用了三个指标，由于融合是为了消除过度增强的部分，并且融合之前进行了对比度增强，故只选取曝光这个指标作为权重图。灯光部分过度增强后灰度值接近1，而曝光度接近0.5是比较好的曝光度。根据高斯曲线判断像素点的曝光度的好坏，高斯曲线可以表示为：
[0112][0113]
其中，高斯标准差σ设为0.2，i为像素点的灰度值。融合后舞台场景灰度值对比如图6所示。灰度值为图中红色框图区域的灰度值，可以看出，融合后图像消除了背景中过度增强而导致的竖线条纹，背景区域灰度值整体降低，保留了舞台上演员区域增强的部分，使整体图像更加清晰自然，更接近真实舞台场景的亮度动态范围。
[0114]
图7为原图、增强后图像和融合后图像的直方图对比。可以看出，增强后图像灰度级拉伸，色彩明亮，细节清晰，明暗对比度增强。原图灰度级集中在0-100低灰度级区域，增强后图像灰度级集中在50-150较高灰度级区域，图像灰度级整体向右移，并且保留了原图的灰度结构。logr算法在不改变图像灰度级结构的前提下，增强图像亮度动态范围效果明
显，较好保留了图像亮度细节。但是增强后图像灰度级分散，从图7(d)可以看出，不同灰度级像素点数量差距很大，图像质量较差。从图7(f)可以看出，融合后图像不同灰度级像素点数量变化较为平缓，解决了大量灰度级突变的问题，图像整体视觉效果很好。
[0115]
在前述实施例的基础上，获得目标物体的低照度增强图像后，可将该图像应用于近眼显示设备中；示例性地，该方法还包括：将当前物体的目标成像传入扫描控制模块，以低压差分信号方式将同步信号和数据信号传输到显示器接收端中，以便近眼显示设备进行图像显示。
[0116]
此外，一般的软件平台难以达到实时要求，进而选用现场可编程门阵列(field-programmable gate array，fpga)硬件平台对图像进行流水线处理，合理的流水线填充和清空时间可以使算法达到实时效果。因此，本发明实施例在fpga上对llef算法进行验证，整体框图如图8所示，主要分为视频采集模块、图像处理模块和扫描控制模块。
[0117]
视频源由双目相机传入pc(personal computer)端，通过高清多媒体接口(high definition multime-dia interface，hdmi)传入fpga。首先，视频数据经过视频采集模块处理后传入图像处理模块和双倍数据率同步动态随机存取存储器(double data rate synchronous dynamic random access memory，ddrsdram，ddr3)。其次，图像进行logr算法增强和金字塔融合后获得最终图像。最后，图像数据传入扫描控制模块，结果以低压差分信号(low voltage differential signaling，lvds)方式将同步信号和数据信号传输到显示器接收端中。
[0118]
该图像处理模块主要包括rgb-hsv转换模块、hsv-rgb转换模块、预处理模块、logr算法模块和金字塔融合模块。首先，对数据进行色彩空间转换，提取v通道数据，将s、h通道数据存入同步ddr3中。其次，对v通道数据采用fifo(first input first output)缓存器和d触发器构建3
×
3的窗口的方式进行边缘提取，用查找表的方式进行gamma矫正和对数转换。再次，金字塔分解时不同的图层依次存放进frame buffer中，融合时按照空间地址依次取出。最后，融合后图像通过扫描模块驱动显示器显示最终视频。扫描模块采用数字脉宽调制(p-ulse width modulation，pwm)的方式对显示器进行扫描驱动，对需要显示的一帧图像进行接收，采用寻址的方式输出图像数据，通过控制信号进行图像显示。
[0119]
针对舞台场景，为了解决颜色失真和光晕现象的问题，综合考虑计算复杂度以及运行速度，本发明实施例提出一种llef(low-light enhancement fusion)的低照度增强算法，包括低照度增强和图像融合两部分。其中，低照度增强部分采用改进的基于高斯-拉普拉斯的retinex算法。相较于传统算法，llef算法在提高图像亮度的同时，保证了图像较好的色彩和细节质量，保留了原图的明暗对比度，可以在舞台场景中广泛应用。
[0120]
此外，为了验证llef算法的有效性，本发明实施例分别从主观和客观两个方面进行对比分析，采用了5种低照度图像增强算法、8组大小不同的图像进行对比实验，所采用的对比算法分别为：基于bimef的多曝光融合框架实现微光图像增强bimef(a bio-inspired multi-exposure fusion framework for low-light image enhancement)、通过结构先验细化初始光照的方法lime(lime:low-light image enhanc-ement via illumination map estimation)、带色彩恢复的多尺度retinex msrcr、利用相机相应模型局部调整曝光的低照度图像增强方法lecarm(low-light image enhancement using the camera respon-se model)。本实验使用的环境配置是intel(r)core(tm)i7-1065g7 cpu 1.50ghz处理器，软件
平台为matlab2020b。
[0121]
主观效果来看，如图9、图10所示，图9是大小为5500*3500左右的房子和乡村图像，图10为用双目相机实拍的舞台1-4表演场景，图像形式为双目相机拍摄拼接成大小为7500*2000左右的图像。
[0122]
从图9、图10可以看出，bimef算法增强效果不错，但弱化了图像对比度，图像整体色彩饱和度较低。lime算法在亮度和色彩上都容易出现过度增强问题，并且会增强噪声，使图像看起来严重失真。msrcr算法增强图像清晰度较低，并且图像色彩失真，整体呈现泛白的问题，部分区域变为白色，图像细节丢失严重。lecarm算法虽然整体效果不错，但从图9(e)和(f)对比可以看出该算法弱化了天空明暗对比度，桥和墙区域的噪声明显。llef算法有较高的清晰度，低照度增强效果明显，并且保留了原图的对比度，没有色彩偏移和色差的问题，整体视觉效果更加自然。在双目相机拍摄的对比图中，如图10所示，可以看出llef算法明显优于另外四种算法，bimef、lime、mcrcr算法增强效果欠佳，人物区域增强过度丢失细节，舞台背景区域噪声严重。lecarm算法增强效果较好，但是舞台地面部分也存在过度增强问题，降低了舞台的明暗对比度，不适用于舞台场景。llef算法在保证图像质量的同时，增强了舞台场景中人物和道具区域的亮度范围，并且保持背景亮度范围不变，突出舞台人物表演区域。
[0123]
在客观评价方面，如表一、表二所示，实验采用了峰值信噪比(peak signal-to-noise ratio，psnr)、结构相似性(structural similarity，ssim)这两个常用的参考指标作为图像质量客观评价的标准。峰值信噪比表示图像重构质量，峰值信噪比越大，表示图像质量越好。ssim将图像的结构信息定义为独立于亮度、对比度反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合，ssim值越大表示图像质量越好。
[0124]
如表1和表2所示，llef算法在psnr和ssim两方面较优于bimef，明显优于其他三种算法。从后四组双目相机拍摄的舞台图像可以看出，llef算法处理舞台场景效果最好，峰值信噪比和结构相似性数值都远高于其他4种经典算法，最适合应用于舞台场景的低照度增强。结果表明，llef算法增强效果最好，相较于其他4种经典算法，峰值信噪比最高可提高2倍，平均提高了57.06％结构相似性最高可提高1.6倍，平均提高了27.34％。
[0125]
表1不同算法的峰值信噪比指标比较tab.1comparisonofpeaksignal-to-noiseratiometricsfordifferentalgorithms
[0126][0127]
表2不同算法的结构相似性指标比较tab.2comparison ofstructural similarity metrics ofdifferent algorithms
[0128][0129]
相机拍摄亮度动态范围受限，影响vr观感，本发明实施例研究了面向双目相机图像亮度动态范围扩展的方法，根据双目相机舞台拍摄特性，提出了一种改进的retinex算法的低照度图像增强融合算法，通过matlab平台对设计方案进行理论仿真，并在fpga上对该设计方案进行硬件实现，达到实时效果。实验结果表明，在保证图像质量的前提下，亮度动态范围有明显的提升，并且速度可以达到实时效果。该方法为vr直播互动舞台剧院等低照度场景图像动态范围受限问题提供了一个较好的解决方案。
[0130]
如图11所示，本发明实施例提供一种低照度增强装置，包括：所述装置包括：
[0131]
获取模块，获取当前物体图像并对所述当前物体图像进行预处理，得到所述当前物体的原始图像；
[0132]
第一确定模块，基于图像增强算法分别对当前物体的原始图像的反射分量和光照分量进行处理，确定所述当前物体低照度增强后的观测图像；
[0133]
第二确定模块，将所述当前物体图像和所述低照度增强后的观测图像进行融合，确定所述当前物体的目标成像。
[0134]
本发明实施例针对舞台场景拍摄亮度动态范围受限问题，先对舞台场景的低照度图像采用改进的retinex算法进行增强处理，得到整体增强后图像。然后将原图与增强后图像进行融合，处理掉过度增强和不需要增强的背景区域，得到最终图像。其中，改进的retinex算法采用高斯-拉普拉斯高通滤波先求出反射分量后求出光照分量，解决反射分量细节丢失的问题。然后对反射分量进行对比度和细节增强处理，再与光照分量相乘得出增强后图像。本发明实施例在软件平台验证的基础上，进行fpga硬件平台验证。实验结果表明，与其他经典方法相比，本发明实施例在不同的舞台场景，尤其是明暗差距较大的舞台场景上，视觉效果明显，峰值信噪比(psnr)平均提高了57.06％，结构相似性(ssim)平均提高了27.34％。处理后的图像，还原了舞台的真实亮度动态范围，并且色彩饱和度较好自然不失真，保证了较好的图像质量。
[0135]
在一些实施例中，获取模块还具体用于，将所述当前物体图像转换到hsv色彩空间，对所述当前物体图像的亮度通道进行处理；对处理后的当前物体图像进行去噪和特征提取操作，得到所述当前物体的原始图像。
[0136]
在一些实施例中，获取模块还具体用于，根据边缘检测算子对当前物体图像的亮度通道进行边缘提取，将提取出的边缘细节添加到所述当前物体图像上，得到所述当前物体的第一原始图像；根据gamma算子对所述第一原始图像的动态范围进行拉伸，确定所述当前物体的第二原始图像；根据中值滤波方法对所述第二原始图像进行去噪处理，得到所述当前物体的第三原始图像。
[0137]
在一些实施例中，第一确定模块还具体用于，基于高斯拉普拉斯滤波算法，提取所述原始图像中的反射分量和光照分量；根据所述光照分量和增强处理后的反射分量的乘积，确定增强后的亮度通道；将所述增强后的亮度通道与色调通道以及饱和度通道进行融
合，并转换到rgb色彩空间，确定所述当前物体低照度增强后的观测图像。
[0138]
在一些实施例中，第二确定模块还具体用于，根据mertens融合方法，将当前物体图像与低照度增强后图像对应的权重图与残差图分别构建高斯金字塔与拉普拉斯金字塔；对所述高斯金字塔与所述拉普拉斯金字塔进行融合和反向求解，得出所述当前物体的物体图像；其中，用于表征低照度增强后图像对应图像质量的权重图包括对比度、饱和度和曝光度三个指标。
[0139]
在一些实施例中，该装置还用于：根据所述权重图对应的指标数目，确定低照度增强算法对应的卷积核个数。
[0140]
在一些实施例中，该装置还用于：将所述当前物体的目标成像传入扫描控制模块，以低压差分信号方式将同步信号和数据信号传输到显示器接收端中。
[0141]
本发明实施例提供的用于实现一种电子设备，本实施例中，所述电子设备可以是，但不限于，个人电脑(personal computer，pc)、笔记本电脑、监控设备、服务器等具备分析及处理能力的计算机设备。
[0142]
作为一种示范性实施例，可参见图12，电子设备110，包括通信接口111、处理器112、存储器113以及总线114，处理器112、通信接口111和存储器113通过总线114连接；上述存储器113用于存储支持处理器112执行上述方法的计算机程序，上述处理器112被配置为用于执行该存储器113中存储的程序。
[0143]
本文中提到的机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：ram(radomaccess memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
[0144]
非易失性介质可以是非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的非易失性存储介质，或者它们的组合。
[0145]
可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。
[0146]
本发明实施例所提供计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序代码被执行时可实现上述任一实施例所述的方法，具体实现可参见方法实施例，在此不再赘述。
[0147]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0148]
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0149]
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、
以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0150]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种低照度增强方法，其特征在于，所述方法包括：获取当前物体图像并对所述当前物体图像进行预处理，得到所述当前物体的原始图像；基于图像增强算法分别对当前物体的原始图像的反射分量和光照分量进行处理，确定所述当前物体低照度增强后的观测图像；将所述当前物体图像和所述低照度增强后的观测图像进行融合，确定所述当前物体的目标成像。2.根据权利要求1所述的方法，其特征在于，获取当前物体图像并对所述当前物体图像进行预处理，得到所述当前物体的原始图像的步骤，包括：将所述当前物体图像转换到hsv色彩空间，对所述当前物体图像的亮度通道进行处理；对处理后的当前物体图像进行去噪和特征提取操作，得到所述当前物体的原始图像。3.根据权利要求2所述的方法，其特征在于，对处理后的当前物体图像进行去噪和特征提取操作，得到所述当前物体的原始图像的步骤，包括：根据边缘检测算子对当前物体图像的亮度通道进行边缘提取，将提取出的边缘细节添加到所述当前物体图像上，得到所述当前物体的第一原始图像；根据gamma算子对所述第一原始图像的动态范围进行拉伸，确定所述当前物体的第二原始图像；根据中值滤波方法对所述第二原始图像进行去噪处理，得到所述当前物体的第三原始图像。4.根据权利要求1所述的方法，其特征在于，基于图像增强算法分别对当前物体的原始图像的反射分量和光照分量进行处理，确定所述当前物体低照度增强后的观测图像的步骤，包括：基于高斯拉普拉斯滤波算法，提取所述原始图像中的反射分量和光照分量；根据所述光照分量和增强处理后的反射分量的乘积，确定增强后的亮度通道；将所述增强后的亮度通道与色调通道以及饱和度通道进行融合，并转换到rgb色彩空间，确定所述当前物体低照度增强后的观测图像。5.根据权利要求1所述的方法，其特征在于，将所述当前物体图像和所述低照度增强后的观测图像进行融合，确定所述当前物体的目标成像的步骤，包括：根据mertens融合方法，将当前物体图像与低照度增强后图像对应的权重图与残差图分别构建高斯金字塔与拉普拉斯金字塔；对所述高斯金字塔与所述拉普拉斯金字塔进行融合和反向求解，得出所述当前物体的物体图像；其中，用于表征低照度增强后图像对应图像质量的权重图包括对比度、饱和度和曝光度三个指标。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：根据所述权重图对应的指标数目，确定低照度增强算法对应的卷积核个数。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述当前物体的目标成像传入扫描控制模块，以低压差分信号方式将同步信号和数据信号传输到显示器接收端中。8.一种低照度增强装置，其特征在于，包括：所述装置包括：
获取模块，获取当前物体图像并对所述当前物体图像进行预处理，得到所述当前物体的原始图像；第一确定模块，基于图像增强算法分别对当前物体的原始图像的反射分量和光照分量进行处理，确定所述当前物体低照度增强后的观测图像；第二确定模块，将所述当前物体图像和所述低照度增强后的观测图像进行融合，确定所述当前物体的目标成像。9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并且能够在所述处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-7中任意一项所述的方法。

技术总结
本发明提供了一种低照度增强方法、装置、电子设备和可读存储介质，涉及图像低照度增强的技术领域，包括获取当前物体图像并对当前物体图像进行预处理，得到当前物体的原始图像；基于图像增强算法分别对当前物体的原始图像的反射分量和光照分量进行处理，确定当前物体低照度增强后的观测图像；将当前物体图像和低照度增强后的观测图像进行融合，确定当前物体的目标成像，以缓解了成像设备拍摄图像出现欠曝光的情况，避免出现舞台场景不能真实反映的技术问题。技术问题。技术问题。


技术研发人员：季渊 李星仪
受保护的技术使用者：无锡唐古半导体有限公司
技术研发日：2023.04.20
技术公布日：2023/7/25