一种改进的Retinex-Net渐晕图像校正方法

一种改进的retinex-net渐晕图像校正方法
技术领域
1.本发明涉及数字图像处理技术领域，具体为一种改进的retinex-net渐晕图像校正方法。


背景技术：

2.在进行计算机视觉任务中，高质量的图片起着至关重要的作用，相机捕获的图像在处理不当时往往会发生退化，渐晕现象就是图像退化的一种表现，图像渐晕主要分为内部渐晕和物理渐晕，物理渐晕表现为在图像角落中突然出现强烈的变暗，其主要原因是在拍摄图片时镜头前面有大面积的遮挡或者错误使用遮光罩，内部渐晕通常表现为从图像中心到四角略微变暗，这种渐晕是由镜头或者机身内部引起的，一般情况下变焦镜头容易产生这种渐晕，不同程度渐晕的存在会使图片边缘丢失许多细节，模糊边缘信息，色彩出现较大偏差，渐晕现象在工业相机采集图像时是无法避免的，
3.近年来通过国内外学者的不断研究，目前已经提出几种校正图像渐晕的方法，通常，这些方法分为：基于直方图均衡化的渐晕校正处理算法、基于伽马校正的渐晕图像增强处理等，但是这些校正方法都存在着一些的弊端：约束条件或者是先验知识不够完善而引起噪声的增强、曝光过大，色彩失真、噪声增多等，无法达到令人满意的效果，
4.在渐晕图像校正领域，传统的校正算法要进行人工调参，不能适应于不同场景采集的渐晕图像，每当更换不同场景的图像之后，算法就要重新计算参数，由此就导致了校正算法的准确性和灵活性大幅度降低，随着机器学习的发展，卷积神经网络的提出很大程度上解决了图像处理领域存在的难题。


技术实现要素：

5.(一)解决的技术问题
6.针对现有技术的不足，本发明提供了一种改进的retinex-net渐晕图像校正方法，解决了上述背景技术中所提出的问题。
7.(二)技术方案
8.本发明为了实现上述目的具体采用以下技术方案：
9.一种改进的retinex-net渐晕图像校正方法，包括以下步骤，
10.步骤1：图像预处理，批处理所采集图像集的尺寸、格式；
11.步骤2：在已训练好的改进的retinex-net模型中输入成对的渐晕和对照图像；
12.步骤3：将步骤2中输入的渐晕图像和对照图像通过分解网络，得到对照图像分解后的光照分量i
normal
和反射分量r
normal
，渐晕图像分解后的光照分量i
vignetting
和反射分量r
vignetting
。将i
vignetting
、r
vignetting
输入到校正网络中分别进行增强和去噪处理；
13.步骤4：校正网络为多分支网络，在步骤3中输入的i
vignetting
通过校正网络进行增强处理得到光照分量的增强图像i
enhance
，r
vignetting
通过密集残差(residual dense block，rdb)去噪网络得到去噪处理后反射分量的增强图像r
enhance
；
14.步骤5：将步骤4中处理过后的两个分量图像r
enhance
和i
enhance
进行融合重建，获得校正之后的恢复图像。
15.进一步地，所述步骤1和2中将所采集的1000对渐晕图像和对照图像批处理为大小为21.17cm
×
14.11cm、格式为png的rgb图像，将其输入到改进的retinex-net模型中进行训练。
16.进一步地，所述步骤3中，分解模块的网络结构为：输入层中输入的成对的渐晕图像和对照图像，二者共享权重，利用两个约束条件将两幅图片分解为相对应的光照分量图像和反射分量图像，具体流程为:在隐藏层中，第一层通过卷积先进行特征提取，再通过两层卷积+relu激活层，利用两幅图像的约束函数得到两幅图像的光照分量图像i
normal
和i
vignetting
和反射分量图像r
normal
和r
vignetting
，在输出层中，提取出的多通道特征通过大小为3x 3的卷积层中投影出光照分量和反射分量，再使用sigmoid函数进行约束变量，保证阈值为正。
17.进一步地，所述步骤4中，在校正网络中，包含的两个模块；
18.校正网络中的第一个模块为增强模块，在输入层中输入r
vignetting
图像和i
vignetting
图像，隐藏层中共五层，先通过两层卷积relu激活层，其目的是进行下采样操作，明确大尺度图像的光照分量情况，同时与镜像上采样层进行跳跃连接，重建图像局部光照分布，让网络强制学习残差，再通过一层大小为1x 1的卷积层将多尺度拼接后的多通道特征简化，最后通过一个3x 3的卷积输出层，重建光照分量图像；
19.校正网络中的第二个模块分空洞卷积网络模块，该网络结构是八层卷积，其目的是为了提高感受野，i
vignetting
图像并行经过空洞卷积网络和增强子网络，最后经过一个大小为1x 1的卷积层合并得到光照分量的增强图像i
enhance
。
20.进一步地，所述步骤4中，在反射去噪网络中，为了充分利用反射分量图像中的所有特征，提高网络性能，本发明在去噪网络中使用密集残差网络；
21.其rdb网络第一层是卷积+relu激活函数，经过卷积提取特征之后再通过relu激活形成非线性的特征映射，网络的第二层结构为残差块，其中包含三个dense block，每个dense block中又含有4层卷积+relu激活函数，每个卷积层获得模块中所有先前卷积层的输出，其中相邻的卷积采用短连接的方式，且所有卷积层跳跃连接在一起，第三层到第十一层的结构是卷积+relu激活+bn，即特征提取之后再进行特征映射，将特征进行规范化处理，最后的输出层为大小为3x 3的卷积层，得到训练后的去噪反射分量。
22.(三)有益效果
23.与现有技术相比，本发明提供了一种改进的retinex-net渐晕图像校正方法，具备以下有益效果：
24.本发明，结合retinex理论和卷积神经网络，利用约束条件将渐晕图像分解为光照分量图和反射分量图像，将光照分量图像增强处理，并通过空洞卷积网络扩大感受野，将反射分量图像输入密集残差网络对其进行去噪，再将处理后的两个分量融合重建，从而获得校正后的恢复图像。本发明算法与其他校正算法进行对比，具有优越的处理效果和处理性能，校正后的恢复图像十分接近原图，实用性与鲁棒性有很大提升。
附图说明
25.图1为本发明流程框图；
26.图2为本发明改进的retinex-net网络模型图；
27.图3为本发明密集残差去噪网络结构示意图；
28.图4为本发明处理渐晕图像校正示意图；
29.图5为本发明不同校正渐晕方法结果图的图像评价指标示意图。
具体实施方式
30.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.实施例
32.如图1-5所示，本发明一个实施例提出的一种改进的retinex-net渐晕图像校正方法，包括以下步骤，
33.步骤1：图像预处理，批处理所采集图像集的尺寸、格式；
34.将所采集的1000对渐晕图像和对照图像批处理为大小为21.17cm
×
14.11cm、格式为png的rgb图像。
35.步骤2：在已训练好的改进的retinex-net模型中输入成对的渐晕和对照图像。
36.如图1所示，一种改进的retinex-net渐晕图像校正方法，还包括：其主要思想是通过三个子网络：分解网络、校正网络、融合网络，将渐晕图像进行端到端训练，从而得到校正渐晕后的恢复图像。
37.分解模块的网络结构为：输入层中输入的成对的渐晕图像和对照图像，二者共享权重，利用两个约束条件将两幅图片分解为相对应的光照分量图像和反射分量图像，具体流程为:在隐藏层中，第一层通过卷积先进行特征提取，再通过两层卷积+relu激活层，利用两幅图像的约束函数得到两幅图像的光照分量图像i
normal
和i
vignetting
和反射分量图像r
normal
和r
vignetting
；在输出层中，提取出的多通道特征通过大小为3x 3的卷积层中投影出光照分量和反射分量，再使用sigmoid函数进行约束变量，保证阈值为正。
38.步骤3：将步骤2中输入的渐晕图像和对照图像通过分解网络，得到对照图像分解后的光照分量i
normal
和反射分量r
normal
，渐晕图像分解后的光照分量i
vignetting
和反射分量r
vignetting
。将i
vignetting
、r
vignetting
输入到校正网络中分别进行增强和去噪处理。
39.步骤4：校正网络为多分支网络，在步骤3中输入的i
vignetting
通过校正网络进行增强处理得到光照分量的增强图像i
enhance
，r
vignetting
通过密集残差(residual dense block，rdb)去噪网络得到去噪处理后反射分量的增强图像r
enhance
。
40.在校正网络中，包含的两个部分分别是增强部分和去噪部分。
41.s1、校正网络中的第一个部分为增强部分，在输入层中输入r
vignetting
图像和i
vignetting
图像，隐藏层中共五层，先通过两层卷积relu激活层，其目的是进行下采样操作，明确大尺度图像的光照分量情况，同时与镜像上采样层进行跳跃连接，重建图像局部光照分布，让网络强制学习残差，再通过一层大小为1x 1的卷积层将多尺度拼接后的多通道特
征简化，最后通过一个3x 3的卷积输出层，重建光照分量图像。
42.s2、校正网络中的第二个部分空洞卷积网络部分，该网络结构是八层卷积，其目的是为了提高感受野，i
vignetting
图像并行经过空洞卷积网络和增强子网络，最后经过一个大小为1x 1的卷积层合并得到光照分量的增强图像i
enhance
。
43.s3、在反射去噪网络中，为了充分利用反射分量图像中的所有特征，提高网络性能，本发明在去噪网络中使用密集残差网络，rdb以密集连接的方式提取局部特征，进一步再进行局部特征融合，同时rdb网络还有前馈性质，每一层的输出可以直接连接到之后的所有层，每一层还能读取到之上所有层的信息，将浅层网络和深层网络紧密连接在一起，具有连续记忆机制，保留积累的特征；
44.其rdb网络第一层是卷积+relu激活函数，经过卷积提取特征之后再通过relu激活形成非线性的特征映射，网络的第二层结构为残差块，其中包含三个dense block，每个dense block中又含有4层卷积+relu激活函数，每个卷积层获得模块中所有先前卷积层的输出，其中相邻的卷积采用短连接的方式，且所有卷积层跳跃连接在一起，第三层到第十一层的结构是卷积+relu激活+bn，即特征提取之后再进行特征映射，将特征进行规范化处理，最后的输出层为大小为3x3的卷积层，得到训练后的去噪反射分量。
45.s4、分解网络利用其特性学习图像分解，其损失函数为多重损失共同组成；
46.首先是重构损失，输入成对的图像，渐晕图像分解出来的r与i相乘和渐晕图像算作一个损失；对照图像分解出来的r与i相乘和对照图像也作为一个损失；渐晕图像分解的r与对照图像分解的i相乘和对照图像算作一个损失；对照图像分解得r和渐晕图像分解的i相乘和渐晕图像算作一个损失，公式如下：
[0047][0048]
第二个损失是反射分量图像的损失，即渐晕图像分解得到的r
vignetting
和对照图像分解后得到的r
normal
相减后求取1范数。
[0049]
l2＝||r
vignetting-r
normal
||1[0050]
第三个损失是光照分量图像的损失，在分解网络中，去除i的纹理的同时又想要保留它的边界信息，因此对于梯度是选择性最小化的，不能直接使所有光照分量的梯度全部进行总变分最小化，这样会失去所光照分量的边界；
[0051][0052]
在l3中，使用反射分量的负对数来加权照度分量的变分损失，梯度强烈的地方损失因为对数权重变小，这样就可以保留强梯度区域的结构信息，
[0053]
总损失函数为：
[0054]
l＝l1+λ2l2+λ3l3[0055]
其中λ2反射分量一致平衡系数，λ3为光照分量平滑系数。
[0056]
步骤5：将步骤4中处理过后的两个分量图像r
enhance
和i
enhance
进行融合重建，获得校正之后的恢复图像。
[0057]
如图2所示，在一些实施例中，分解网络的网络结构为：输入层中输入的成对的渐
晕图像和对照图像，二者共享权重，利用两个约束条件将两幅图片分解为相对应的光照分量图像和反射分量图像，在校正网络中，包含的两个部分分别是增强部分和去噪部分。
[0058]
如图3所示，在一些实施例中，在反射去噪网络中，为了充分利用反射分量图像中的所有特征，提高网络性能，本发明在去噪网络中使用密集残差网络。
[0059]
如图4所示，在一些实施例中，本文所提出的一种改进的retinex-net渐晕图像校正方法对渐晕图像进行了效果较好的校正。
[0060]
如图5所示，在一些实施例中，本发明提供渐晕图像校正方法与其他渐晕图像校正方法同时处理图像，本发明借助于定性衡量指标来定量评估图像校正后的效果。在图像处理领域一般使用三种评价方法:峰值信噪比(psnr)，均方根误差(rmse)，结构相似性(ssim)。在结果验证时所选取的样本图像在本发型提供的1000对渐晕图像和对照图像随机选取。
[0061]
本发明为进行校正结果对比验证所选取的其他渐晕图像校正方法为：文献[1]——[周思羽，包国琦，刘凯，低通滤波下约束对数强度熵的图像渐晕校正.journal ofcomputerapplications,2020.]、文献[2]——[周清松，黄嵩，陈洪磊，低自适应补偿retinex算法的多尺度图像渐晕校正.计算机仿真，2021.]、文献[3]——[李召龙，沈同圣，娄树理.基于多项式逼近的红外系统渐晕效应校正方法.红外与激光工程，2016.]。
[0062]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种改进的retinex-net渐晕图像校正方法，其特征在于：包括以下步骤，步骤1：图像预处理，批处理所采集图像集的尺寸、格式；步骤2：在已训练好的改进的retinex-net模型中输入成对的渐晕和对照图像；步骤3：将步骤2中输入的渐晕图像和对照图像通过分解网络，得到对照图像分解后的光照分量i
normal
和反射分量r
normal
，渐晕图像分解后的光照分量i
vignetting
和反射分量r
vignetting
。将i
vignetting
、r
vignetting
输入到校正网络中分别进行增强和去噪处理；步骤4：校正网络为多分支网络，在步骤3中输入的i
vignetting
通过校正网络进行增强处理得到光照分量的增强图像i
enhance
，r
vignetting
通过密集残差(residual denseblock，rdb)去噪网络得到去噪处理后反射分量的增强图像r
enhance
；步骤5：将步骤4中处理过后的两个分量图像r
enhance
和i
enhance
进行融合重建，获得校正之后的恢复图像。2.根据权利要求1所述的一种改进的retinex-net渐晕图像校正方法，其特征在于：所述步骤1和2中将所采集的1000对渐晕图像和对照图像批处理为大小为21.17cm
×
14.11cm、格式为png的rgb图像，将其输入到改进的retinex-net模型中进行训练。3.根据权利要求1所述的一种改进的retinex-net渐晕图像校正方法，其特征在于：所述步骤3中，分解模块的网络结构为：输入层中输入的成对的渐晕图像和对照图像，二者共享权重，利用两个约束条件将两幅图片分解为相对应的光照分量图像和反射分量图像，具体流程为:在隐藏层中，第一层通过卷积先进行特征提取，再通过两层卷积+relu激活层，利用两幅图像的约束函数得到两幅图像的光照分量图像i
normal
和i
vignetting
和反射分量图像r
normal
和r
vignetting
，在输出层中，提取出的多通道特征通过大小为3x3的卷积层中投影出光照分量和反射分量，再使用sigmoid函数进行约束变量，保证阈值为正。4.根据权利要求1所述的一种改进的retinex-net渐晕图像校正方法，其特征在于：所述步骤4中，在校正网络中，包含的两个模块；校正网络中的第一个模块为增强模块，在输入层中输入r
vignetting
图像和i
vignetting
图像，隐藏层中共五层，先通过两层卷积relu激活层，其目的是进行下采样操作，明确大尺度图像的光照分量情况，同时与镜像上采样层进行跳跃连接，重建图像局部光照分布，让网络强制学习残差，再通过一层大小为1x1的卷积层将多尺度拼接后的多通道特征简化，最后通过一个3x3的卷积输出层，重建光照分量图像；校正网络中的第二个模块分空洞卷积网络模块，该网络结构是八层卷积，其目的是为了提高感受野，i
vignetting
图像并行经过空洞卷积网络和增强子网络，最后经过一个大小为1x1的卷积层合并得到光照分量的增强图像i
enhance
。5.根据权利要求1所述的一种改进的retinex-net渐晕图像校正方法，其特征在于：所述步骤4中，在反射去噪网络中，为了充分利用反射分量图像中的所有特征，提高网络性能，本发明在去噪网络中使用密集残差网络；其rdb网络第一层是卷积+relu激活函数，经过卷积提取特征之后再通过relu激活形成非线性的特征映射，网络的第二层结构为残差块，其中包含三个denseblock，每个denseblock中又含有4层卷积+relu激活函数，每个卷积层获得模块中所有先前卷积层的输出，其中相邻的卷积采用短连接的方式，且所有卷积层跳跃连接在一起，第三层到第十一层的结构是卷积+relu激活+bn，即特征提取之后再进行特征映射，将特征进行规范化处理，最
后的输出层为大小为3x3的卷积层，得到训练后的去噪反射分量。

技术总结
本发明属于数字图像处理技术领域，尤其为一种改进的Retinex-Net渐晕图像校正方法，包括以下步骤，步骤1：图像预处理，批处理所采集图像集的尺寸、格式；步骤2：在已训练好的改进的Retinex-Net模型中输入成对的渐晕和对照图像。本发明结合Retinex理论和卷积神经网络，利用约束条件将渐晕图像分解为光照分量图和反射分量图像，将光照分量图像增强处理，并通过空洞卷积网络扩大感受野，将反射分量图像输入密集残差网络对其进行去噪，再将处理后的两个分量融合重建，从而获得校正后的恢复图像。本发明算法与其他校正算法进行对比，具有优越的处理效果和处理性能，校正后的恢复图像十分接近原图，实用性与鲁棒性有很大提升。实用性与鲁棒性有很大提升。实用性与鲁棒性有很大提升。


技术研发人员：黄丹丹 王菲 刘智 王惠绩 高晗
受保护的技术使用者：长春理工大学
技术研发日：2023.05.05
技术公布日：2023/8/14