基于双注意力机制和细节恢复的陶瓷文物图像去高光方法

1.本发明属于计算机图形学处理领域，具体涉及基于双注意力机制核细节恢复的陶瓷文物图像去高光方法。


背景技术：

2.中国的陶瓷历史悠久，历代的陶瓷艺术家在丰富的想象力下创造了各式各样的陶瓷艺术品，是人类宝贵的历史文化遗产，其承载了当时的社会发展与社会文化状况。由于原材料的特殊性，在长时间保存中容易出现残损、起翘、龟裂、污渍等病害。因此，为了最大限度地延长古陶器的寿命和还原其本来面貌，使观众能够从中回顾历史，需要对古代陶瓷文物进行保护与传承。随着计算机的发展和普及，通过数字化技术让文物“活起来”是一个很好的方式，但是陶瓷是高反光、亮度较强的材质，对表面光滑的瓷器采集照片时，很容易发生镜面反射而产生高光现象，导致图片的质量会大大受损，从而丢失部分实际想要获取的信息，对后续的文物保护与修复工作产生了较为严重的影响。据统计，现存文物最多的故宫博物院数字文物库已收藏了377173件/套陶瓷，里面展示的大部分文物图片还是有镜面反射情况存在，对瓷器文物整体质感和大众观感有一定的影响，因此，去除瓷器文物表面的高光，对促进文物的传播与保护有着重要的意义。
3.自1985年shafer提出双色反射模型用于图像去高光的方法以来，又诞生了许多去高光的方法，其中：早期的去除图像高光的方法都是通过移动的光源或者移动的摄像头去获取多张图像，再通过极化滤波或者颜色信息进行高光去除。boult和wolff根据光波的偏振性质，使用极化滤波器去分离反射分量与灰度图像，虽然能去除高光区域，但受到硬件条件的限制；nayar等人在boult和wolff的基础上引入了颜色因子，提出了颜色分割方法，利用极化滤波器引起的光强度变化来去除镜面高光，此方法对没有纹理细节的图像是可行的，对于复杂的自然场景，去高光的效果并不理想，而且不能同时获取多张图像，导致适应性较差。由此，基于双色反射模型、颜色空间和相邻像素提出的单图像高光去除方法被提出。但是，shen的方法在结果中大面积的细节信息被模糊掉，甚至在近白区域还多了黑色的信息；akashi的方法不能完全去除高光，且给整个图像加上了更多的噪点，使细节信息缺失。
4.随着深度学习的发展，诞生了基于深度学习方法去除高光的模型，其中，fu等人提出一个联合高光检测和去除的统一框架，设计了多个扩展空间上下文特征聚合(dscfa)模块来获取不同尺度的上下文特征，准确的检测到高光存在的位置，再对高光进行去除，虽然能对高光区域进行去除，但细节信息与真值图之间仍旧存在差别，在处理彩色照明场景时，不能达到理想的效果。
5.简而言之，现有的图像去高光方法存在以下问题：第一、色调—饱和度模糊性问题一直没有有效被解决，饱和度低的像素可能会被误判为高光像素，导致该区域产生视觉上的瑕疵。比如，传统的高光去除方法无法在全白或近白区域与高光之间进行语义消歧，输出的结果是黑色色块。第二、对于纹理细节复杂、颜色丰富的图像恢复问题还未完全解决。近
期基于深度学习的高光去除方法可以对高光进行去除，但其网络架构上缺乏灵活性，面对针对性很强的高光图像表现不佳，真正的颜色和纹理信息恢复还存在误差。


技术实现要素：

6.针对现有技术存在的不足，本发明的目的是提供基于双注意力机制核细节恢复的陶瓷文物图像去高光方法，不仅可以有效恢复图像的颜色以及纹理细节信息，而且时效性较高。
7.为了实现上述目的，本发明采用以下技术方案予以实现：
8.基于双注意力机制和细节恢复的陶瓷文物图像去高光方法，包括以下步骤：
9.步骤1、以收集的原始高光图像的中心为基准，将其统一缩放裁剪为200像素
×
200像素，得到预处理的高光图像a；
10.步骤2、将预处理的高光图像a输入至预训练的vgg-19网络中提取超列特征，并通过上采样将其恢复到200像素
×
200像素的特征图；
11.步骤3、将步骤2提取的特征图与原始高光图像拼接起来作为网络的增强输入，从而帮助网络从输入的图像中学习语义线索，通过conv
‑‑
relu序列提取图像特征并扩展特征图维度；
12.步骤4、通过多个嵌入cbam模块的残差块对步骤3输出的特征图的特征信息进行提取和学习，再利用细节恢复模块获得更大范围感受视野的特征；
13.所述细节恢复模块由局部多尺度特征提取模块和三个平滑扩张卷积模块组成；
14.步骤5、利用一层普通卷积将局部多尺度特征提取模块提取的空间信息与平滑扩张卷积提取的信息进行交互，从而丰富特征图的细节信息，再将特征图恢复到200像素
×
200像素，得到无高光图像d。
15.进一步地，所述步骤3中的conv
‑‑
relu序列是由3*3的卷积和relu激活函数组成的序列，且删除了3*3的卷积后面的bn层。
16.进一步地，所述步骤4中的cbam模块包括通道注意力模块和和空间注意力模块，通道注意力模块和和空间注意力模块得到的注意力权重系数与输入特征图f相乘从而自适应特征细化。
17.进一步地，所述步骤4cbam模块对特征图的特征信息进行提取和学习的具体过程为：
18.步骤4.1.1、先经过最大池化和平均池化对特征图f进行空间维度的压缩，形成两个[c,1,1]的权重向量；再将两个权重向量输入到同一个多层感知机中，映射成每个通道的权重；然后利用sigmoid激活输出通道注意力权重[c,1,1]，并与原始特征[c,h,w]逐元素相乘得到特征图f1；
[0019]
步骤4.1.2、先把特征图f1作为空间注意力模块的输入，经过最大池化和平均池化在通道维度进行压缩，得到两张特征图，再对两张特征图进行堆叠，经过一层卷积操作后得到两个[1,h,w]的权重向量；将得到的两个[1,h,w]的权重向量与原始输入特征[c,h,w]逐元素相乘得到特征图f2。
[0020]
进一步地，所述步骤4中利用细节恢复模块获得更大范围感受视野的特征的具体过程为：
[0021]
步骤4.2.1、局部多尺度特征提取模块先分别用3*3，5*5，7*7，9*9四种卷积核并行进行卷积运算，再通过1*1卷积对不同尺度的特征进行降维操作，接着利用反卷积操作将特征图恢复到200像素
×
200像素，然后将其与原特征聚合，接着进行一次卷积操作；
[0022]
步骤4.2.2、在局部多尺度特征提取模块并行连接三个扩张率分别为1、3和5的平滑空洞卷积模块，并对其输出特征进行融合。
[0023]
进一步地，所述步骤2～步骤5采用的总损失函数包括像素损失函数、特征损失函数和对抗性损失函数，其中：
[0024]
所述像素损失函数表示为：
[0025][0026]
式中，其中和分别代表x方向和y方向的梯度算子，d代表真实的无高光图像，代表预测的无高光图像，α＝0.2，β＝0.3；
[0027]
所述特征损失函数表示为：
[0028][0029]
式中，φ
l
中的l代表vgg-19中的第l层，λ
l
代表平衡权重；
[0030]
所述对抗性损失函数表示为：
[0031][0032]
式中，σ表示sigmoid激活函数，c为非变换判别函数，代表鉴别器网络；
[0033]
故而，总损失函数表示为：
[0034]
l＝w1l
pixel
+w2l
feat
+w3l
adv
。
[0035]
式中，w1＝1，w2＝0.1，w3＝0.01。
[0036]
本发明与现有技术相比，具有如下有益的技术效果：
[0037]
首先使用预训练的vgg-19网络提取高光图像的特征作为网络的增强输入，再通过conv
‑‑
relu序列提取特征信息，接着使用多个嵌入cbam模块的残差块对提取到的特征信息融合，使用多个联结的嵌入cbam块的残差块对特征信息进行转换，为了获取更大范围感受野的特征，设计了一个细节恢复模块，该模块由传统的局部多尺度特征提取块和3个平滑扩张卷积块组成，由于空洞卷积后的特征相关性会减弱，所以在细节恢复模块后添一层普通卷积，将特征图恢复到原始大小，把预测到的去高光后的图像进行输出；可见，本发明利用深度学习的思想，输入单张高光图像可以快速得到无高光图像，输入较少的参数对网络进行处理，缩短了训练时间，具有较高的实时性，而且能够更好的恢复图像的纹理、颜色等细节信息，具有良好的高光去除效果。
附图说明
[0038]
图1是本发明选用的原始高光图像；
[0039]
图2是本发明的cbam模块的结构示意图；
[0040]
图3是本发明的嵌入cbam的残差块的结构示意图；
[0041]
图4是本发明的细节恢复模块的结构示意图；
[0042]
图5是本发明基于双注意力机制和细节恢复的图像去高光网络结构示意图；
[0043]
图6是本发明预测的无高光图像d；
[0044]
图7是本发明选用的原始高光图像a和预测的无高光图像b；
[0045]
图8是本发明选用的原始高光图像e和预测的无高光图像f。
具体实施方式
[0046]
以下结合实施例对本发明的具体内容做进一步详细解释说明。
[0047]
如图5所示，基于双注意力机制和细节恢复的陶瓷文物图像去高光方法，包括以下步骤：
[0048]
步骤1、以收集原始高光图像的中心为基准，将其统一缩放裁剪为200像素
×
200像素，得到如图1所示的预处理的高光图像a；
[0049]
步骤2、将预处理的高光图像输入至预训练的vgg-19网络中提取超列特征，并通过上采样将其恢复到200像素
×
200像素的特征图；
[0050]
步骤3、将步骤2提取到的特征图与原始高光图像拼接起来作为网络的增强输入，从而帮助网络从输入的图像中学习语义线索，通过conv
‑‑
relu序列提取图像特征并扩展特征图维度；
[0051]
所述conv
‑‑
relu序列是由删除了bn层的3*3的卷积和relu激活函数组成的序列，删除bn层对于优化性能至关重要，由于批量变得太小时，误差增加，网络稳定性差；
[0052]
步骤4、先通过多个嵌入cbam模块的残差块对步骤3输出的特征图的特征信息进行提取和学习，防止卷积神经网络层数深所带来的梯度消失，再利用细节恢复模块获得更大范围感受视野的特征，其中：嵌入cbam模块的残差块结构如图3所示，cbam模块的结构如图2所示，cbam模块包括通道注意力模块和空间注意力模块，通道注意力模块和和空间注意力模块得到的注意力权重系数与输入特征图相乘从而自适应特征细化，cbam模块对特征图的特征信息进行提取和学习的具体过程为：
[0053]
步骤4.1.1、先经过最大池化和平均池化对特征图f进行空间维度的压缩，形成两个[c,1,1]的权重向量；再将两个权重向量输入到同一个多层感知机中，映射成每个通道的权重；然后利用sigmoid激活输出通道注意力权重[c,1,1]，并与原始特征[c,h,w]逐元素相乘得到特征图f1；
[0054]
步骤4.1.2、先把特征图f1作为空间注意力模块的输入，经过最大池化和平均池化在通道维度进行压缩，得到两张特征图，再对两张特征图进行堆叠，经过一层卷积操作后得到两个[1,h,w]的权重向量；将得到的两个[1,h,w]的权重向量与原始输入特征[c,h,w]逐元素相乘得到特征图f2；
[0055]
所述细节恢复模块的结构如图4所示，其由传统的局部多尺度特征提取模块和三个平滑扩张卷积模块组成，利用细节恢复模块获得更大范围感受视野的特征的具体过程
为：
[0056]
步骤4.2.1、局部多尺度特征提取模块先分别用3*3，5*5，7*7，9*9四种卷积核并行进行卷积运算，再通过1*1卷积对不同尺度的特征进行降维操作，接着利用反卷积操作将特征图恢复到200像素
×
200像素，然后将其与原特征聚合，接着进行一次卷积操作；
[0057]
步骤4.2.2、在局部多尺度特征提取模块并行连接三个扩张率分别为1、3和5的平滑空洞卷积模块，并对其输出特征进行融合；
[0058]
步骤5、由于空洞卷积后的特征相关性会减弱，在细节恢复模块后添一层普通卷积，将特征图恢复到原始的200像素
×
200像素，将局部多尺度特征提取模块提取的空间信息与平滑扩张卷积提取的信息进行交互，从而丰富特征图的细节信息，得到如图6所示的无高光图像d；
[0059]
对比图1和图6可以看出，去除高光过程中，陶瓷文物保留了清晰的背景以及纹饰图案的细节和颜色信息，没有出现视觉上的失真；
[0060]
本实施例步骤2～步骤5对如图5所示的基于双注意力机制和细节恢复的陶瓷文物图像去高光网络训练过程中采用的总损失函数包括像素损失函数、特征损失函数和对抗性损失函数，其中：
[0061]
为了抑制图像的纹理和颜色信息失真，通过像素损失函数计算无高光图像d与真实值逐像素的差别，像素损失函数表示为：
[0062][0063]
式中，其中和分别代表x方向和y方向的梯度算子，d代表真实的无高光图像，代表预测的无高光图像，α＝0.2，β＝0.3；
[0064]
为了获取更逼真的视觉效果，用imagenet中预训练的vgg-19网络中的激活来定义特征损失函数，表示为：
[0065][0066]
式中，φ
l
中的l代表vgg-19中的第l层，λ
l
代表平衡权重，在vgg-19中的conv3_2、conv4_2和conv5_2层使用特征损失函数；
[0067]
为了提高得到的去除高光图像的真实感和相似性，采用鉴别器网络评估图像的质量，对抗性损失函数表示为：
[0068][0069][0070]
式中，σ表示sigmoid激活函数，c为非变换判别函数；
[0071]
故而，总损失函数表示为：
[0072]
l＝w1l
pixel
+w2l
feat
+w3l
adv
[0073]
式中，w1＝1，w2＝0.1，w3＝0.01。
[0074]
参见图7，原始高光图像a经过本实施例提出的基于双注意力机制和细节恢复的陶瓷文物图像去高光方法去高光后输出无高光图像b，可以看出原始高光图像a上大面积的高光已被去除掉，且未产生黑色的信息块或者噪点信息，没有影响整体的观感；
[0075]
参见图8，原始高光图像e经过本实施例提出的基于双注意力机制和细节恢复的陶瓷文物图像去高光方法去高光后输出无高光图像f，原始高光图像e的高光区域已经被完全去除，非高光区域的信息被完整的保留；
[0076]
对比图7中a和b以及图8中e和f可知，本实施例提出的基于双注意力机制和细节恢复的陶瓷文物图像去高光方法在去除高光的过程中，能够更好地恢复图像的纹理、颜色等细节信息，图像不存在失真情况，具有良好的高光去除效果。

技术特征：
1.基于双注意力机制和细节恢复的陶瓷文物图像去高光方法，其特征在于，包括以下步骤：步骤1、以收集的原始高光图像的中心为基准，将其统一缩放裁剪为200像素
×
200像素，得到预处理的高光图像a；步骤2、将预处理的高光图像输入至预训练的vgg-19网络中提取超列特征，并通过上采样将其恢复到200像素
×
200像素的特征图；步骤3、将步骤2提取的特征图与原始高光图像拼接起来作为网络的增强输入，从而帮助网络从输入的图像中学习语义线索，通过conv
‑‑
relu序列提取图像特征并扩展特征图维度；步骤4、通过多个嵌入cbam模块的残差块对步骤3输出的特征图的特征信息进行提取和学习，再利用细节恢复模块获得更大范围感受视野的特征；所述细节恢复模块由局部多尺度特征提取模块和三个平滑扩张卷积模块组成；步骤5、利用一层普通卷积将局部多尺度特征提取模块提取的空间信息与平滑扩张卷积提取的信息进行交互，从而丰富特征图的细节信息，再将特征图恢复到200像素
×
200像素，得到无高光图像d。2.根据权利要求1所述的基于双注意力机制和细节恢复的陶瓷文物图像去高光方法，其特征在于，所述步骤3中的conv
‑‑
relu序列是由3*3的卷积和relu激活函数组成的序列，且删除了3*3的卷积后面的bn层。3.根据权利要求1所述的基于双注意力机制和细节恢复的陶瓷文物图像去高光方法，其特征在于，所述步骤4中的cbam模块包括通道注意力模块和和空间注意力模块，通道注意力模块和和空间注意力模块得到的注意力权重系数与输入特征图f相乘从而自适应特征细化。4.根据权利要求1所述的基于双注意力机制和细节恢复的陶瓷文物图像去高光方法，其特征在于，所述步骤4中cbam模块对特征图的特征信息进行提取和学习的具体过程为：步骤4.1.1、先经过最大池化和平均池化对特征图f进行空间维度的压缩，形成两个[c,1,1]的权重向量；再将两个权重向量输入到同一个多层感知机中，映射成每个通道的权重；然后利用sigmoid激活输出通道注意力权重[c,1,1]，并与原始特征[c,h,w]逐元素相乘得到特征图f1；步骤4.1.2、先把特征图f1作为空间注意力模块的输入，经过最大池化和平均池化在通道维度进行压缩，得到两张特征图，再对两张特征图进行堆叠，经过一层卷积操作后得到两个[1,h,w]的权重向量；将得到的两个[1,h,w]的权重向量与原始输入特征[c,h,w]逐元素相乘得到特征图f2。5.根据权利要求1所述的基于双注意力机制和细节恢复的陶瓷文物图像去高光方法，其特征在于，所述步骤4中利用细节恢复模块获得更大范围感受视野的特征的具体过程为：步骤4.2.1、局部多尺度特征提取模块先分别用3*3，5*5，7*7，9*9四种卷积核并行进行卷积运算，再通过1*1卷积对不同尺度的特征进行降维操作，接着利用反卷积操作将特征图恢复到200像素
×
200像素，然后将其与原特征聚合，接着进行一次卷积操作；步骤4.2.2、在局部多尺度特征提取模块并行连接三个扩张率分别为1、3和5的平滑空洞卷积模块，并对其输出特征进行融合。
6.根据权利要求1所述的基于双注意力机制和细节恢复的陶瓷文物图像去高光方法，其特征在于，所述步骤2～步骤5采用的总损失函数包括像素损失函数、特征损失函数和对抗性损失函数，其中：所述像素损失函数表示为：式中，其中和分别代表x方向和y方向的梯度算子，d代表真实的无高光图像，代表预测的无高光图像，α＝0.2，β＝0.3；所述特征损失函数表示为：式中，φ
l
中的l代表vgg-19中的第l层，λ
l
代表平衡权重；所述对抗性损失函数表示为：所述对抗性损失函数表示为：式中，σ表示sigmoid激活函数，c为非变换判别函数，代表鉴别器网络；故而，总损失函数表示为：l＝w1l
pixel
+2l
feat
+3l
adv
式中，w1＝1，w2＝0.1，w3＝0.01。

技术总结
本发明公开了基于双注意力机制和细节恢复的陶瓷文物图像去高光方法，包括以下步骤：1、以收集的原始高光图像的中心为基准，裁剪为200


技术研发人员：周明全 程忆慧 刘阳洋 冯龙 周蓬勃
受保护的技术使用者：西北大学
技术研发日：2023.07.10
技术公布日：2023/10/15