基于可学习曲率图的图像增强方法与系统与流程

1.本发明涉及计算机科学图像处理的技术领域，特别涉及一种基于可学习曲率图的图像增强方法与系统。


背景技术：

2.随着影像技术和更高带宽的快速发展，人们对高准确度、高清晰图像的需求也日益提高。然而相机在拍摄、传播过程中受到硬件、环境、isp处理等会产生各种各样未知噪声的污染，导致图像质量下降。
3.图像去噪是为了去除噪声，恢复真实的图像，对已知图像去噪的问题，在数学上是一个逆解过程，其解也不是唯一的。由于噪声、纹理及边缘等都属于高频信息，在去噪过程中，不可避免会损失一些细节特征。故而从已有信息中恢复有意义特征达到高质图像是当今各领域积极解决的重要问题。
4.经大量实验证明，基于卷积神经网络的特征提取对噪声去除具有较好的表现，但主要针对高斯噪声展开的研究，噪声形态单一，缺乏泛化性；同时前沿采用高斯分布或泊松分布的噪声等级估计已经达到较为准确的研究。但实际图像中的噪声类型复杂且未知，增加卷积层提高网络训练能力会加大计算负担，增加特征监督模块又会导致图像高频细节的丢失，这些都增加了图像去噪的技术难度。


技术实现要素：

5.发明目的：提出一种基于可学习曲率图的图像增强方法与系统，以解决现有技术存在的上述问题。通过基于两阶段去噪模型对噪声进行分类，在增加特征监督的同时，增加曲率监督，实现在去噪的同时大大提升对细节纹理效果的把控。
6.技术方案：第一方面，提出了一种基于可学习曲率图的图像增强方法，该方法包括以下步骤：
7.步骤1、构建两阶段去噪模型；构建过程包括：
8.步骤1.1、构建用于执行特征提取，获得噪声等级估计和噪声分布估计的噪声估计子网络；
9.步骤1.2、构建用于基于噪声估计子网络的输出数据对真实图像执行去噪操作的去噪子网络。
10.步骤2、将待分析的图像数据传输至去噪模型；
11.步骤3、在第一阶段，利用去噪模型执行特征提取，获得噪声等级估计和噪声分布估计；
12.步骤4、基于获得的噪声等级估计和噪声分布估计，计算高斯曲率；
13.步骤5、在第二阶段，基于高斯曲率利用去噪模型结合局部信息和全局信息，获得去噪后的图像数据；
14.步骤6、输出去噪图像数据。
15.在第一方面的一些可实现方式中，噪声估计子网络按序包含：卷积层、注意力机制、卷积层、噪声输出模块、高斯曲率模块；去噪子网络包括：深层网络、浅层网络、残差模块、多尺度模块；深层网络用于提取输入混合图像的噪声残差特征；浅层网络用来进行多特征提取。
16.在第一阶段，噪声估计子网络采用卷积层为3*3的卷积核构建4层神经网络模型，并使用padding操作得到各层大小相等的网络特征；随后，在最后一个卷积层前采用注意力机制对噪声分布估计执行加权提取；最后，将高斯曲率作为先验，计算高斯曲率。
17.在第二阶段，将获得的高斯曲率、噪声等级估计、噪声图像输入去噪子网络，同时基于第一阶段得到的特定位置噪声进行处理。
18.在第一方面的一些可实现方式中，在构建完两阶段去噪模型后，还包括步骤1.3、对去噪模型执行性能优化训练。执行性能优化训练的过程包括以下步骤：
19.步骤1.3.1、构建图像测试集；
20.步骤1.3.2、利用图像测试集训练噪声估计子网络，获得优化后的网络参数、噪声等级估计、高斯曲率；
21.步骤1.3.3、将噪声等级估计、高斯曲率输入去噪子网络进行训练；
22.步骤1.3.4、将步骤1.3.3中的训练结果负反馈至噪声估计子网络中；
23.步骤1.3.5、噪声估计子网络根据接收到的结果对相关参数执行调节控制；
24.步骤1.3.6、构建损失函数，并根据损失函数的计算结果判断模型性能优化程度；
25.步骤1.3.7、当模型性能优化程度满足完成训练结束条件时，获得最终的网络模型参数，结束性能优化训练。
26.其中，噪声估计子网络训练中采用的损失函数l1包括：训练得到的噪声分布损失、噪声估计损失，即：
[0027][0028]
式中，y
nl
表示真实图像的噪声等级；表示估计的噪声等级；y
nd
表示真实图像的噪声等级；表示估计的噪声等级。
[0029]
去噪子网络训练中采用的损失函数l2包括：去噪子网络输出的预测值与干净图像的差值，即：
[0030][0031]
式中，表示输出的预测图像；x表示干净图像。
[0032]
第二方面，提出一种基于可学习曲率图的图像增强系统，用于实现一种基于可学习曲率图的图像增强方法，该系统包括以下模块：
[0033]
模型构建模块，被设置为根据实际应用需求构建两阶段去噪模型；
[0034]
第一数据分析模块，被设置为对待分析的图像数据执行特征提取，以及相关参数的获取；
[0035]
第二数据分析模块，被设置为根据第一数据分析模块的输出数据执行图像去噪处理；
[0036]
数据输出模块，被设置为输出第二数据分析模块的处理结果。
[0037]
在第二方面的一些可实现方式中，在执行图像增强时，首先根据实际应用过程中
对图像需求，采用模型构建模块构建两阶段去噪模型；随后，利用第一数据分析模块对待分析的图像数据执行特征提取，获取噪声等级估计和噪声分布估计，同时引入高斯学习曲率，获得高斯曲率；然后，基于第一数据分析模块的输出结果，利用第二数据分析模块结合局部信息和全局信息，获得去噪后的图像数据；最后，通过数据输出模块输出去噪增强后的图像数据。
[0038]
有益效果：本发明提出了一种基于可学习曲率图的图像增强方法与系统，针对真实噪声等级去噪易产生细节丢失，难以准确预估的现状，利用曲率学习对噪声分布进行估计，以获得较为准确去噪力度和纹理细节；同时结合残差网络和多尺度模块进行去噪，获得去噪后的高质量图像。本发明不仅可以有效去除图像的高斯噪声，而且通过模型训练可以提高不同噪声类型的去噪效果，具有较强的鲁棒性。
附图说明
[0039]
图1为本发明的基于可学习曲率图的图像增强方法流程图。
[0040]
图2为本发明的基于可学习曲率图的图像增强方法示意图。
具体实施方式
[0041]
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
[0042]
实施例一
[0043]
在一个实施例中，针对真实噪声等级去噪易产生细节丢失，难以准确预估的现状，提出一种基于可学习曲率图的图像增强方法，将数据处理过程划分成两个处理阶段，通过对图像噪声分布进行估计，获得更为准确的去噪力度和纹理细节，进而获得更具有代表意义的图像特征。执行图像增强获得高质量图像数据的过程包括以下步骤：
[0044]
步骤1、构建基于深度学习的两阶段去噪模型；
[0045]
具体的，去噪模型包括：噪声估计子网络和去噪子网络，噪声估计子网络用于执行特征提取，获得噪声等级估计和噪声分布估计，以及计算高斯曲率；去噪子网络用于基于噪声估计子网络获得的数据，执行图像去噪操作。
[0046]
其中，噪声估计子网络按序包含：4层卷积核为3*3的卷积层、注意力机制、卷积层、噪声输出模块、高斯曲率模块；去噪子网络包括：深层网络、浅层网络、残差模块、多尺度模块。深层网络用于提取输入混合图像的噪声残差特征，浅层网络用来进行多特征提取，以获得更加全面的图像特征提取。
[0047]
步骤2、将待分析的图像数据传输至去噪模型；
[0048]
步骤3、在第一阶段，利用去噪模型执行特征提取，获得噪声等级估计和噪声分布估计；即在第一阶段，采用去噪模型中的噪声估计子网络基于注意力机制进行特征提取，获得噪声等级估计和噪声分布估计，并通过估计输入含噪图像去除噪声分布的干净图像来计算高斯曲率。
[0049]
具体的，噪声估计子网络采用卷积层为3*3的卷积核构建4层神经网络模型，并使
用padding操作得到各层大小相等的网络特征；随后，在最后一个卷积层前采用注意力机制对噪声分布估计执行加权提取，进而提高噪声估计子网络对有意义信息的关注度，从而增强网络性能。
[0050]
步骤4、基于获得的噪声等级估计和噪声分布估计，计算高斯曲率；
[0051]
具体的，由于传统的编码器-解码器缺乏保持空间图像细节和纹理结构的能力，因此基于高斯曲率思想，本实施例利用高斯曲率模块将可学习的高斯曲率作为先验，在噪声分布估计方面实现增强真实图像对边缘细节保留的能力。
[0052]
基于获得的噪声等级估计和噪声分布估计，通过估计输入含噪图像去除噪声分布的干净图像计算高斯曲率。
[0053]
步骤5、在第二阶段，基于高斯曲率利用去噪模型结合局部信息和全局信息，获得去噪后的图像数据；
[0054]
具体的，将获得的高斯曲率、噪声等级估计、噪声图像输入去噪子网络，同时基于第一阶段得到的特定位置噪声进行处理。去噪网络主要分为深层网络和浅层网络，深层网络提取输入混合图像的噪声残差特征，浅层网络用来进行多特征提取，以获得更加全面的图像特征提取。
[0055]
步骤6、输出去噪图像数据。
[0056]
在实际应用场景中，真实图像数据中的噪声模型对应的表达为：
[0057]
y＝x+q(x)
[0058]
式中，y表示真实噪声图像；x表示干净等的图像；q(x)表示真实环境下引入的噪声。为去除真实图像中的噪声q(x)，同时图像中每个部分的噪声分布及其噪声等级估计的未知性对于去噪模型的映射学习存在较大的困难，因此为获得高质量图像数据，在去噪模块前执行噪声分布估计，实现对包含噪声的真实图像执行数据增强操作，基于本发明提出的图像增强方法，针对接收到的真实图像，首先构建两阶段去噪模型，并在数据处理的第一阶段执行噪声等级估计，在第二阶段执行图像去噪。
[0059]
具体的，如图2所示，首先，噪声估计子网络采用卷积层为3*3的卷积核构建4层神经网络模型，并使用padding得到大小相等的网络特征，随后基于注意力机制进行特征提取，输出噪声等级估计和噪声分布估计值，通过估计输入含噪图像去除噪声分布的干净图像来计算高斯曲率；紧接着以噪声图像、噪声等级估计和高斯曲率的混合图像作为去噪子网络的输入，去噪网络使用深层网络提取输入混合图像的噪声残差特征，浅层网络用来进行多特征提取，综合细节信息和全局信息丰富图像恢复中的特征，两路结合后送到csam(curvature supervised attention module)模块，最后进入卷积层重建，生成残差图像，连接原始图像，输出最终的去噪图像。
[0060]
本实施例通过引入学习曲率的概念，在图像数据处理的过程中有效增强了图像细节，提高最终获得图像数据的质量。首先，噪声估计子网络基于注意力机制进行特征提取，获得噪声等级估计和噪声分布估计，并通过估计输入含噪图像去除噪声分布的干净图像来计算高斯曲率；基于卷积层构建第二阶段模型，以噪声图像、噪声等级估计和高斯曲率的混合图像作为去噪子网络的输入，考虑细节信息和全局信息的同时，使用曲率监督注意模块进行有效的去噪先验建模，最后引入残差连接，获得去噪后的高质量图像。
[0061]
实施例二
[0062]
在实施例一基础上的进一步实施例中，为了提高去噪模型的图像增强性能，对其进行性能优化训练，对应的训练过程包括以下步骤：
[0063]
步骤1、构建图像测试集；
[0064]
步骤2、利用图像测试集训练噪声估计子网络，获得优化后的网络参数、噪声等级估计、高斯曲率；
[0065]
步骤3、将噪声等级估计、高斯曲率输入去噪子网络进行训练；
[0066]
步骤4、将步骤3中的训练结果负反馈至噪声估计子网络中；
[0067]
步骤5、噪声估计子网络根据接收到的结果对相关参数执行调节控制；
[0068]
步骤6、构建损失函数，并根据损失函数的计算结果判断模型性能优化程度；
[0069]
步骤7、当模型性能优化程度满足完成训练结束条件时，获得最终的网络模型参数，结束性能优化训练。
[0070]
其中，端到端的噪声估计子网络训练中采用的损失函数l1包括：训练得到的噪声分布损失、噪声估计损失，即：
[0071][0072]
式中，y
nl
表示真实图像的噪声等级；表示估计的噪声等级；y
nd
表示真实图像的噪声等级；表示估计的噪声等级。
[0073]
去噪子网络训练中采用的损失函数l2包括：去噪子网络输出的预测值与干净图像的差值，即：
[0074][0075]
式中，表示输出的预测图像；x表示干净图像。
[0076]
优选实施例中，在构建图像测试集时，使用bsd500和urban100数据集，用于测试网络性能，包括图像分割和轮廓提取的ground truth，涉及噪声类型丰富包括高斯噪声、椒盐噪声、指数噪声、脉冲噪声等。选用干净图像添加噪声分布和噪声等级，用作网络模型的训练输入，与样本数据集形成一对训练和验证样本。
[0077]
利用图像测试集训练噪声估计子网络，确定好网络参数，得到噪声等级估计和高斯曲率，输入到去噪子网络进行训练，并负反馈到噪声估计网络中对相关参数进行调节控制，在损失函数满足要求时，网络训练完成，获得最终的两阶段网络参数。
[0078]
基于构建的损失函数，使用adam优化器端到端地进行训练，噪声估计子网络的初始学习速率设置为e-4，并且每6个epoch次迭代后将其降为原始值的一半，直到达到1.25e-5，mini-batch尺寸固定为64；去噪子网络的学习速率也设置为e-4，每100000次迭代衰减二分之一，当学习速率小于e-5时结束，mini-batch尺寸同样固定为64。
[0079]
训练好网络模型后，将测试数据集输入到噪声估计子网络，获得噪声等级估计和高斯曲率，再融合原始图像作为混合图像输入到去噪网络，得到最终的去噪图像。基于psnr评测指标对比本发明方案和现有方法，验证了本方案具有更高的信噪比和主观效果。
[0080]
实施例三
[0081]
在一个实施例中，提出一种基于可学习曲率图的图像增强系统，用于实现一种基于可学习曲率图的图像增强方法，该系统包括以下模块：模型构建模块、第一数据分析模块、第二数据分析模块、数据输出模块。其中模型构建模块用于根据图像增强需求构建两阶
段去噪模型；第一数据分析模块用于执行特征提取，获得噪声等级估计、噪声分布估计，以及高斯曲率；第二数据分析模块用于执行图像去噪；数据输出模块用于输出图像去噪增强后的图像数据。
[0082]
具体的，在执行图像增强的过程中，首先根据实际应用过程中对图像需求，采用模型构建模块构建两阶段去噪模型；随后，利用第一数据分析模块对待分析的图像数据执行特征提取，获取噪声等级估计和噪声分布估计，同时引入高斯学习曲率，获得高斯曲率；然后，基于第一数据分析模块的输出结果，利用第二数据分析模块结合局部信息和全局信息，获得去噪后的图像数据；最后，通过数据输出模块输出去噪增强后的图像数据。
[0083]
在进一步的实施例中，为了提高去噪模型的图像增强性能，还包括性能优化模块，该模块通过构建训练集、参数回传优化的方式，对去噪模型的参数进行优化调整。
[0084]
优选实施例中，基于无人机的电网智能巡检任务中，无人机在巡检过程中拍摄的照片/视频，常常受限于实际环境中的天气原因，如：大雾、雨季、暗光等，容易出现图像细节模糊、内容可见度差等问题，对后续图像处理带来了严峻的挑战。为此，本发明提出的基于可学习曲率图的图像增强方法与系统，通过注意力重新权衡并增强局部特征，结合多尺度上采样串联结构实现不同阶段之间的信息交流，从而获得图像的局部和全局特征，得到丰富的特征图信息，有效克服了物体轮廓模糊，整体画质偏低的问题，满足了无人机采集图片细节的丰富度，为后续图像识别、处理等提供了坚实的基础。
[0085]
综上，本发明提出的图像增强方法与系统，通过引入曲率学习来保持图像的对比度和纹理边缘，有效获得更加有意义的图像特征；同时，使用曲率监督注意模块进行有效的去噪先验建模，最后引入残差连接，获得去噪后的高质量图像。另外，本发明不仅可以有效去除图像的高斯噪声，而且通过模型训练可以提高不同噪声类型的去噪效果，具有较强的鲁棒性。
[0086]
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

技术特征：
1.一种基于可学习曲率图的图像增强方法，其特征在于，包括以下步骤：步骤1、构建两阶段去噪模型；步骤2、将待分析的图像数据传输至去噪模型；步骤3、在第一阶段，利用去噪模型执行特征提取，获得噪声等级估计和噪声分布估计；步骤4、基于获得的噪声等级估计和噪声分布估计，计算高斯曲率；步骤5、在第二阶段，基于高斯曲率利用去噪模型结合局部信息和全局信息，获得去噪后的图像数据；步骤6、输出去噪图像数据。2.根据权利要求1所述的一种基于可学习曲率图的图像增强方法，其特征在于，构建所述两阶段去噪模型的过程包括：步骤1.1、构建噪声估计子网络；步骤1.2、构建去噪子网络；所述噪声估计子网络用于执行特征提取，获得噪声等级估计和噪声分布估计；所述去噪子网络用于基于噪声估计子网络的输出数据对真实图像执行去噪操作。3.根据权利要求2所述的一种基于可学习曲率图的图像增强方法，其特征在于，所述噪声估计子网络按序包含：卷积层、注意力机制、卷积层、噪声输出模块、高斯曲率模块；所述去噪子网络包括：深层网络、浅层网络、残差模块、多尺度模块；所述深层网络用于提取输入混合图像的噪声残差特征；所述浅层网络用来进行多特征提取。4.根据权利要求2所述的一种基于可学习曲率图的图像增强方法，其特征在于，在第一阶段，所述噪声估计子网络采用卷积层为3*3的卷积核构建4层神经网络模型，并使用padding操作得到各层大小相等的网络特征；随后，在最后一个卷积层前采用注意力机制对噪声分布估计执行加权提取；最后，将高斯曲率作为先验，计算高斯曲率。5.根据权利要求2所述的一种基于可学习曲率图的图像增强方法，其特征在于，在第二阶段，将获得的高斯曲率、噪声等级估计、噪声图像输入去噪子网络，同时基于第一阶段得到的特定位置噪声进行处理。6.根据权利要求2所述的一种基于可学习曲率图的图像增强方法，其特征在于，在构建完两阶段去噪模型后，还包括步骤1.3、对去噪模型执行性能优化训练。7.根据权利要求6所述的一种基于可学习曲率图的图像增强方法，其特征在于，执行性能优化训练的过程包括以下步骤：步骤1.3.1、构建图像测试集；步骤1.3.2、利用图像测试集训练噪声估计子网络，获得优化后的网络参数、噪声等级估计、高斯曲率；步骤1.3.3、将噪声等级估计、高斯曲率输入去噪子网络进行训练；步骤1.3.4、将步骤1.3.3中的训练结果负反馈至噪声估计子网络中；步骤1.3.5、噪声估计子网络根据接收到的结果对相关参数执行调节控制；步骤1.3.6、构建损失函数，并根据损失函数的计算结果判断模型性能优化程度；步骤1.3.7、当模型性能优化程度满足完成训练结束条件时，获得最终的网络模型参数，结束性能优化训练。
8.根据权利要求7所述的一种基于可学习曲率图的图像增强方法，其特征在于，噪声估计子网络训练中采用的损失函数l1包括：训练得到的噪声分布损失、噪声估计损失，即：式中，y
nl
表示真实图像的噪声等级；表示估计的噪声等级；y
nd
表示真实图像的噪声等级；表示估计的噪声等级。9.根据权利要求7所述的一种基于可学习曲率图的图像增强方法，其特征在于，去噪子网络训练中采用的损失函数l2包括：去噪子网络输出的预测值与干净图像的差值，即：式中，表示输出的预测图像；x表示干净图像。10.一种基于可学习曲率图的图像增强系统，用于实现任意一项如权利要求1-9所述的图像增强方法，其特征在于，包括以下模块：模型构建模块，被设置为根据实际应用需求构建两阶段去噪模型；第一数据分析模块，被设置为对待分析的图像数据执行特征提取，以及相关参数的获取；第二数据分析模块，被设置为根据第一数据分析模块的输出数据执行图像去噪处理；数据输出模块，被设置为输出第二数据分析模块的处理结果。

技术总结
本发明提出了一种基于可学习曲率图的图像增强方法与系统，属于计算机科学图像处理的技术领域。其中图像增强方法包括：步骤1、构建两阶段去噪模型；步骤2、将待分析的图像数据传输至去噪模型；步骤3、在第一阶段，利用去噪模型执行特征提取，获得噪声等级估计和噪声分布估计；步骤4、基于获得的噪声等级估计和噪声分布估计，计算高斯曲率；步骤5、在第二阶段，基于高斯曲率利用去噪模型结合局部信息和全局信息，获得去噪后的图像数据；步骤6、输出去噪图像数据。本发明不仅可以有效去除图像的高斯噪声，而且通过模型训练可以提高不同噪声类型的去噪效果，具有较强的鲁棒性。具有较强的鲁棒性。具有较强的鲁棒性。


技术研发人员：程健 张一帆 李成华 张阳
受保护的技术使用者：中科南京人工智能创新研究院
技术研发日：2023.04.26
技术公布日：2023/8/9