图像增强方法、系统、装置及计算机可读介质与流程

1.本发明主要涉及图像处理技术领域，尤其涉及一种图像增强方法、系统、装置及计算机可读介质。


背景技术：

2.曝光是拍照最基本也是最重要的技术之一，曝光量是指光线强度乘以光线所作用的时间。若要取得一定量的曝光量，则光强度越大，曝光时间越短；光强度越小，曝光时间越长。
3.为了在弱光情况下增加图像清晰度，目前的图像增强方法通过增加曝光时间的方式处理图片，这种方式会产生严重拖影。


技术实现要素：

4.本发明要解决的技术问题是提供一种图像增强方法、系统、装置及计算机可读介质，解决弱光情况下图片增强后存在拖影问题。
5.为解决上述技术问题，本发明提供了一种图像增强方法，方法包括：对视频中第n帧图像进行isp处理，得到第一增强图，其中n为大于2的正整数；将第n-1帧图像和第n-2帧图像输入光流预测神经网络进行光流估计，得到光流，根据所述光流和所述第n-1帧图像得到第n帧图像的第二增强图；基于所述第一增强图生成灰度遮罩层；根据所述第一增强图、所述第二增强图和所述灰度遮罩层获得最终增强图像。
6.可选地，根据所述第一增强图、所述第二增强图和所述灰度遮罩层获得最终增强图像包括：将所述第二增强图乘以所述灰度遮罩层再加上所述第一增强图得到所述最终增强图像。
7.可选地，所述灰度遮罩层包括高光区域和低光区域，高光区域和低光区域具有不同的增强因子。
8.可选地，采用高斯模糊的方式基于所述第一增强图生成灰度遮罩层。
9.可选地，所述光流预测神经网络包括flownet、flownet2和lucas-kanade光流算法。
10.可选地，通过第一线程对第n帧图像进行isp处理，通过第二线程将第n-1帧图像和第n-2帧图像输入光流预测神经网络进行光流估计，得到光流，根据所述光流和第n-1帧图像得到第n帧图像的第二增强图，所述第二线程独立与所述第一线程。
11.为解决上述技术问题，本发明提供了一种图像增强系统，包括：isp处理模块，配置为对视频中第n帧图像进行isp处理，得到第一增强图，其中n为大于2的正整数；光流预测模块，包括光流预测神经网络，所述光流预测模块配置为将第n-1帧图像和第n-2帧图像输入所述光流预测神经网络进行光流估计，得到光流，根据所述光流和所述第n-1帧图像得到第n帧图像的第二增强图；遮罩处理模块，配置为基于所述第一增强图生成灰度遮罩层；融合模块，配置为根据所述第一增强图、所述第二增强图和所述灰度遮罩层获得最终增强图像。
12.可选地，所述融合模块还配置为：将所述第二增强图乘以所述灰度遮罩层再加上所述第一增强图得到所述最终增强图像。
13.可选地，所述灰度遮罩层包括高光区域和低光区域，高光区域和低光区域具有不同的增强因子。
14.可选地，所述光流预测神经网络包括flownet、flownet2和lucas-kanade光流算法。
15.可选地，所述isp处理模块和所述光流预测模块分两个线程独立运行。
16.为解决上述技术问题，本发明提供了一种图像增强装置，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行所述指令以实现如上所述的方法。
17.为解决上述技术问题，本发明提供了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的方法。
18.与现有技术相比，本发明具有以下优点：
19.本发明的图像增强方法和系统，一方面通过isp处理增加图片的曝光时间，另一方面，通过光流预测神经网络进行光流估计，根据光流和第n-1帧图像得到第n帧图像的第二增强图，进行图片细节纹理增强，解决图片拖影问题，在短曝光场景下，依然可以获取不错的图片质量。
附图说明
20.包括附图是为提供对本技术进一步的理解，它们被收录并构成本技术的一部分，附图示出了本技术的实施例，并与本说明书一起起到解释本发明原理的作用。附图中：
21.图1是根据本发明一实施例的图像增强方法的流程图。
22.图2是根据本发明一实施例的图像增强系统的系统框图。
23.图3是本技术一实施例的图像增强装置的系统框图。
具体实施方式
24.为了更清楚地说明本技术的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
25.如本技术和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
26.除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本技术的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而
不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
27.此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本技术保护范围的限制。此外，尽管本技术中所使用的术语是从公知公用的术语中选择的，但是本技术说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本技术。
28.本技术中使用了流程图用来说明根据本技术的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
29.图1是根据本发明一实施例的图像增强方法的流程图。如图1所示，图像增强方法100包括如下步骤：
30.步骤s11：对视频中第n帧图像进行isp处理，得到第一增强图，其中n为大于2的正整数。
31.本发明的目的在于在弱光情况下增加图像清晰度，因此，以下描述的图像都是在弱光情况下拍摄，换而言之，图像具有光强度较小的特点。视频由多帧图像组成，取第n帧图像进行图像信号处理(image signal process，isp)，其中n为大于2的正整数。对第n帧图像进行isp处理的步骤包括但不限于根据光强度自动调节曝光时间、高动态范围(high-dynamic range，hdr)调整、gamma校正等。其中根据光强度自动调节曝光时间包括：首先，测量拍摄第n帧图像时的光线强度，然后，对当前光线强度进行场景分析，计算需要补偿的曝光时间。场景分析可以采用模糊逻辑和人工神经网络算法。最后，调整曝光时间使得曝光调节生效。hdr调整主要是通过tone mapping的方法，将像素值在特别暗的区域拉高，在特别亮的区域拉低。gamma校正主要是使图像有更多的暗部色阶，满足人眼对暗部细节敏感的特性。第n帧图像经过isp处理得到第一增强图，第一增强图主要是对亮度进行增强。
32.在一些实施例中，图像为raw图像。raw图像就是图像感应器将捕捉到的光源信号转化为数字信号的原始数据，其最大程度保留了图像的细节、色彩、明暗连续信息。然而，raw图像的图上全是绿色且存在棋盘格现象，因此不符合人眼观察。isp处理的目的是对光学传感器输出的raw图数据进行信号处理，使之成为符合人眼真实生理感受的信号，并加以输出。处理后得到第一增强图，第一增强图的图像格式可以是rgb格式。
33.步骤s12：将第n-1帧图像和第n-2帧图像输入光流预测神经网络进行光流估计，得到光流，根据光流和第n-1帧图像得到第n帧图像的第二增强图。
34.其中，以第n帧图像为t时刻的图像为例，第n-1帧图像为t-n时刻的图像，第n-2帧图像为t-2n时刻的图像。n可以按需设置，本技术对此不作限制。以n为10ms(毫秒)为例，将t时刻前10毫秒的图像和t时刻前20毫秒的图像输入光流预测神经网络进行光流估计，得到光流。光流(optical flow)是在一系列连续变化的图像中产生类似光“流动”的效果，故简称为光流。光流是一个有方向、有长度的矢量。光流估计的目的就是根据2个连续的帧来求解对应像素的偏移量。优选地，光流预测神经网络包括flownet、flownet2和lucas-kanade
光流算法。根据计算出的光流和第n-1帧图像可以估计第n帧图像中各个像素的位置，得到第n帧图像的第二增强图。与原始的第n帧图像相比，第二增强图具有更多的细节纹理，能够减少像素拖影。换而言之，第二增强图是对细节纹理进行增强。
35.步骤s13：基于第一增强图生成灰度遮罩层。
36.灰度遮罩层(mask层)包括高光区域和低光区域，高光区域和低光区域具有不同的增强因子。在一些实施例中，采用高斯模糊的方式基于第一增强图生成灰度遮罩层。高斯模糊(gaussian blur)是一种图像模糊滤波器它用正态分布计算图像中每个像素的变换。简单理解，就是每一个像素都取周边像素的平均值。
37.步骤s14：根据第一增强图、第二增强图和灰度遮罩层获得最终增强图像。
38.优选地，将第二增强图乘以灰度遮罩层再加上第一增强图得到最终增强图像。由于灰度遮罩层的高光区域和低光区域具有不同的增强因子，引入灰度遮罩层能分区域对第二增强图进行亮度增强。
39.在一些实施例中，通过第一线程对第n帧图像进行isp处理，通过第二线程将第n-1帧图像和第n-2帧图像输入光流预测神经网络进行光流估计，得到光流，根据光流和第n-1帧图像得到第n帧图像的第二增强图，第二线程独立于第一线程。通过独立线程分开运行，可以减少增强方法的时延，提高图像处理的效率。
40.本发明的图像增强方法，一方面通过isp处理增加图片的曝光时间，另一方面，通过光流预测神经网络进行光流估计，根据光流和第n-1帧图像得到第n帧图像的第二增强图，进行图片细节纹理增强，解决图片拖影问题，在短曝光场景下，依然可以获取不错的图片质量。
41.图2是根据本发明一实施例的图像增强系统的系统框图。如图2所示，图像增强系统200包括isp处理模块21、光流预测模块22、遮罩处理模块23、融合模块24。
42.isp处理模块21配置为对视频中第n帧图像进行isp处理，得到第一增强图，其中n为大于2的正整数。对第n帧图像进行isp处理包括但不限于根据光强度自动调节曝光时间、高动态范围(high-dynamic range，hdr)调整、gamma校正等。其中根据光强度自动调节曝光时间包括：首先，测量拍摄第n帧图像时的光线强度，然后，对当前光线强度进行场景分析，计算需要补偿的曝光时间。场景分析可以采用模糊逻辑和人工神经网络算法。最后，调整曝光时间使得曝光调节生效。hdr调整主要是通过tone mapping的方法，将像素值在特别暗的区域拉高，在特别亮的区域拉低。gamma校正主要是使图像有更多的暗部色阶，满足人眼对暗部细节敏感的特性。第n帧图像经过isp处理得到第一增强图，第一增强图主要是对亮度进行增强。
43.光流预测模块22包括光流预测神经网络，光流预测模块配置为将第n-1帧图像和第n-2帧图像输入光流预测神经网络进行光流估计，得到光流，根据光流和第n-1帧图像得到第n帧图像的第二增强图。以第n帧图像为t时刻的图像为例，第n-1帧图像为t-n时刻的图像，第n-2帧图像为t-2n时刻的图像。n可以按需设置，本技术对此不作限制。以n为10ms(毫秒)为例，将t时刻前10毫秒的图像和t时刻前20毫秒的图像输入光流预测神经网络进行光流估计，得到光流。优选地，光流预测神经网络包括flownet、flownet2和lucas-kanade光流算法。根据计算出的光流和第n-1帧图像可以估计第n帧图像中各个像素的位置，得到第n帧图像的第二增强图。与原始的第n帧图像相比，第二增强图具有更多的细节纹理，能够减少
像素拖影。换而言之，第二增强图是对细节纹理进行增强。
44.遮罩处理模块23配置为基于第一增强图生成灰度遮罩层。灰度遮罩层包括高光区域和低光区域，高光区域和低光区域具有不同的增强因子。
45.融合模块24配置为根据第一增强图、第二增强图和灰度遮罩层获得最终增强图像。在一些实施例中，融合模块24还配置为：将第二增强图乘以灰度遮罩层再加上第一增强图得到最终增强图像。
46.在一些实施例中，isp处理模块21和光流预测模块22分两个线程独立运行。通过独立线程分开运行，可以系统的时延，提高图像处理的效率。
47.本技术还包括一种图像增强装置，包括存储器和处理器。其中，该存储器用于存储可由处理器执行的指令；处理器用于执行该指令以实现前文的图像增强方法。
48.图3是本技术一实施例的图像增强装置的系统框图。参考图3所示，该图像增强装置300可包括内部通信总线301、处理器302、只读存储器(rom)303、随机存取存储器(ram)304以及通信端口305。当应用在个人计算机上时，该图像增强装置300还可以包括硬盘306。内部通信总线301可以实现该图像增强装置300组件间的数据通信。处理器302可以进行判断和发出提示。在一些实施例中，处理器302可以由一个或多个处理器组成。示例性地，图像增强装置300可以通过通信端口305从外部的图像感应器或图像库中获取待增强的图像。处理器302所执行的程序指令存储在只读存储器(rom)303和随机存取存储器(ram)304中，该程序指令用于实现本技术的图像增强方法。处理器302执行该程序指令，获得最终增强图像。可以将最终增强图像存储在硬盘306或外部的云服务器上。
49.本技术还包括一种存储有计算机程序代码的计算机可读介质，该计算机程序代码在由处理器执行时实现前文的图像增强方法。
50.图像增强方法实施为计算机程序时，也可以存储在计算机可读存储介质中作为制品。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，压缩盘(cd)、数字多功能盘(dvd))、智能卡和闪存设备(例如，电可擦除可编程只读存储器(eprom)、卡、棒、键驱动)。此外，本文描述的各种存储介质能代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于能存储、包含和/或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储介质)。
51.应该理解，上文所描述的实施例仅是示意。本文描述的实施例可在硬件、软件、固件、中间件、微码或者其任意组合中实现。对于硬件实现，处理器可以在一个或者多个特定用途集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器和/或设计为执行本文功能的其它电子单元或者其结合内实现。
52.本技术的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理器件(dapd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器或者其组合。此外，本技术的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带
……
)、光盘
(例如，压缩盘cd、数字多功能盘dvd
……
)、智能卡以及闪存设备(例如，卡、棒、键驱动器
……
)。
53.计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。
54.上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述申请披露仅仅作为示例，而并不构成对本技术的限定。虽然此处并没有明确说明，本领域技术人员可能会对本技术进行各种修改、改进和修正。该类修改、改进和修正在本技术中被建议，所以该类修改、改进、修正仍属于本技术示范实施例的精神和范围。

技术特征：
1.一种图像增强方法，其特征在于，包括：对视频中第n帧图像进行isp处理，得到第一增强图，其中n为大于2的正整数；将第n-1帧图像和第n-2帧图像输入光流预测神经网络进行光流估计，得到光流，根据所述光流和所述第n-1帧图像得到第n帧图像的第二增强图；基于所述第一增强图生成灰度遮罩层；根据所述第一增强图、所述第二增强图和所述灰度遮罩层获得最终增强图像。2.如权利要求1所述的方法，其特征在于，根据所述第一增强图、所述第二增强图和所述灰度遮罩层获得最终增强图像包括：将所述第二增强图乘以所述灰度遮罩层再加上所述第一增强图得到所述最终增强图像。3.如权利要求1所述的方法，其特征在于，所述灰度遮罩层包括高光区域和低光区域，高光区域和低光区域具有不同的增强因子。4.如权利要求3所述的方法，其特征在于，采用高斯模糊的方式基于所述第一增强图生成灰度遮罩层。5.如权利要求1所述的方法，其特征在于，所述光流预测神经网络包括flownet、flownet2和lucas-kanade光流算法。6.如权利要求1所述的方法，其特征在于，通过第一线程对第n帧图像进行isp处理，通过第二线程将第n-1帧图像和第n-2帧图像输入光流预测神经网络进行光流估计，得到光流，根据所述光流和第n-1帧图像得到第n帧图像的第二增强图，所述第二线程独立于所述第一线程。7.一种图像增强系统，其特征在于，包括：isp处理模块，配置为对视频中第n帧图像进行isp处理，得到第一增强图，其中n为大于2的正整数；光流预测模块，包括光流预测神经网络，所述光流预测模块配置为将第n-1帧图像和第n-2帧图像输入所述光流预测神经网络进行光流估计，得到光流，根据所述光流和所述第n-1帧图像得到第n帧图像的第二增强图；遮罩处理模块，配置为基于所述第一增强图生成灰度遮罩层；融合模块，配置为根据所述第一增强图、所述第二增强图和所述灰度遮罩层获得最终增强图像。8.如权利要求7所述的系统，其特征在于，所述融合模块还配置为：将所述第二增强图乘以所述灰度遮罩层再加上所述第一增强图得到所述最终增强图像。9.如权利要求7所述的系统，其特征在于，所述灰度遮罩层包括高光区域和低光区域，高光区域和低光区域具有不同的增强因子。10.如权利要求7所述的系统，其特征在于，所述光流预测神经网络包括flownet、flownet2和lucas-kanade光流算法。11.如权利要求7所述的系统，其特征在于，所述isp处理模块和所述光流预测模块分两个线程独立运行。12.一种图像增强装置，包括：存储器，用于存储可由处理器执行的指令；处理器，用于
执行所述指令以实现如权利要求1-6任一项所述的方法。13.一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如权利要求1-6任一项所述的方法。

技术总结
本发明提供了一种图像增强方法、系统、装置及计算机可读介质。方法包括：对第N帧图像进行ISP处理，得到第一增强图；将第N-1帧图像和第N-2帧图像输入光流预测神经网络进行光流估计，得到光流，根据光流和第N-1帧图像得到第N帧图像的第二增强图；基于第一增强图生成灰度遮罩层；根据第一增强图、第二增强图和灰度遮罩层获得最终增强图像。本发明可以解决弱光情况下图片增强后存在的拖影问题，在短曝光场景下，增强处理后依然可以获取不错的图片质量。增强处理后依然可以获取不错的图片质量。增强处理后依然可以获取不错的图片质量。


技术研发人员：胡文博
受保护的技术使用者：合众新能源汽车股份有限公司
技术研发日：2023.03.02
技术公布日：2023/7/22