一种基于视觉导向和阈值收缩的鲁棒水印技术

1.本发明属于鲁棒图像水印技术领域，特别是涉及一种基于视觉导向和阈值收缩的鲁棒水印技术。


背景技术：

2.在现有基于深度学习的鲁棒水印技术中，大多数采用噪声训练提高水印抗攻击能力，主要是因为水印为抵抗各种攻击往往会寻找图像的鲁棒区域作为嵌入点。然而，事实上，图像的部分鲁棒区域与人眼视觉的敏感区域相重合，这就使得人眼视觉对于图像修改变化的容忍度降低，影响生成的水印图像质量，因而无法满足人眼视觉的特性。此外，在解码端提取水印时包含较多的冗余信息，这种冗余信息主要来自于载体图像以及噪声网络的施加，对生成的水印图像质量和提取水印的能力都会造成一定影响。
3.为了满足人眼视觉的不可感知性，提出了一个基于视觉导向和阈值收缩的鲁棒水印技术。


技术实现要素：

4.本发明的目的是提供一种基于视觉导向和阈值收缩的鲁棒水印技术，以解决上述现有技术存在的问题。
5.为实现上述目的，本发明提供了一种基于视觉导向和阈值收缩的鲁棒水印技术，包括：
6.获取原始图像，对所述原始图像进行特征提取获得所述原始图像的中间特征，将所述中间特征作为初步特征；
7.获取原始水印，基于原始水印获得与原始图像大小一致的第一水印；
8.基于所述初步特征获得视觉注意力掩码，基于所述视觉注意力掩码对所述第一水印进行优化，获得第二水印；
9.将所述第二水印嵌入到所述初步特征中，生成初始水印图像，将所述初始水印图像与所述原始图像进行残差连接获得最终水印图像；
10.构建包括若干噪声层的噪声网络，采用等概率随机选择噪声层方式对所述最终水印图像进行噪声攻击，获得噪声图像；
11.通过四个结构相同的卷积块提取噪声图像的初始特征，通过自适应学习获取阈值并对所述初始特征进行软阈值化后，获得深度噪声特征，从深度噪声特征中提取获得二值水印；
12.构建损失函数，基于所述损失函数对判决器与编码器进行对抗训练，实现图像水印质量的提升。
13.可选的，对原始图像进行特征提取的过程包括：构建特征提取模块，特征提取模块包括四个卷积块，所述原始图像依次经过每个卷积块的卷积滤波器、relu激活函数和batchnorm函数后获得中间特征，卷积滤波器的输出通道数为64。
14.可选的，视觉注意力掩码的获取过程包括：所述初步特征通过卷积滤波器获得图像特征，所述图像特征依次经过三个结构相同的卷积块，获得图像深度特征，采用卷积滤波器对所述图像深度特征进行降维，并采用sigmoid激活函数处理得到掩码。
15.可选的，初始水印图像的获取过程包括：将所述第二水印与初步特征进行特征连接后进行第一次卷积，将卷积获得的特征、第二水印、初步特征进行第二次卷积；将第二次卷积获得的特征，第一次卷积获得的特征、第二水印、初步特征进行第三次卷积，将第三次卷积的结果通过第四次卷积进行降维，获得初始水印图像。
16.可选的，所述噪声网络包括四个噪声层，分别为jpeg(50)、dropout(20％)、median filter(5
×
5)和cropout(20％)。
17.可选的，获取深度噪声特征的过程包括：对所述初始特征施加绝对值处理后采用全局均值池化处理获得压缩特征，压缩特征通过两个线性层以及sigmoid激活函数获得通道权重，将所述通道权重与所述压缩特征相乘获得阈值矩阵，根据所述阈值矩阵生成深度噪声特征。
18.可选的，二值水印的提取过程包括：将所述深度噪声特征通过卷积块获得第一层特征；将第一层特征与深度噪声特征通过卷积块获得第二层特征；将第二层特征、第一层特征与深度噪声特征通过卷积块获得融合特征，对所述融合特征进行全局均值池化并压缩，获得压缩信息，通过线性层对所述压缩信息进行学习，获得水印特征，根据阈值函数将水印特征转化为二值水印。
19.可选的，所述损失函数包括编码损失、解码损失、对抗损失；
20.所述编码损失由均方误差损失函数与感知损失函数构成；
21.所述解码损失采用交叉熵损失函数；
22.所述对抗损失函数的公式如下：
23.la＝log(1-a(ξ,e(θ,io,w0)))
24.其中，a()表示判决器判定输入图像为原始图像的概率，e()表示根据训练参数θ，嵌入水印的过程，io表示原始图像，w0为原始水印。
25.本发明的技术效果为：
26.本发明中编码器在视觉导向模块的指引下，调节各个区域的水印嵌入强度，使得嵌入强度均能在人眼视觉的容忍度范围内，从而达到较好的不可见性。其次，解码器在阈值收缩模块的作用下，通过软阈值化方式降低冗余信息，缓解水印为对抗噪声攻击而在鲁棒且非敏感区域分布，同时，该模块能降低来自噪声网络和载体图像自身的冗余信息，增强水印的提取能力。然后，利用判决器和编码器的对抗关系，提高生成的水印图像质量。最后，与其他模型进行了对比，证明了vgtsgan具有较好的不可见性和鲁棒性，同时在消融实验中对视觉导向模块和阈值收缩模块的作用进行了证明。
附图说明
27.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
28.图1为本发明实施例中的方法示意图；
29.图2为本发明实施例中的编码器结构示意图；
30.图3为本发明实施例中的解码器结构示意图。
具体实施方式
31.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
32.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
33.实施例一
34.如图1-3所示，本实施例中提供一种基于视觉导向和阈值收缩的鲁棒水印技术，包括：
35.vgtsgan包含四个部分：编码器e
θ
、解码器d
δ
，判别器a
ζ
、噪声网络n。其中，θ、δ和ζ是相对应的训练参数。编码器接受大小为h
×w×
c的原始图像io和长度为l的原始水印w0，生成水印图像ie。在编码器内，采用了视觉导向模块，该模块能够根据图像特征调节水印在图像各个区域的嵌入强度，使得生成的水印图像与载体图像分布相一致，从而增强水印的不可见性。n随机模拟各种可微的噪声层，对水印图像ie随机采用一种攻击，得到噪声图像in。解码器d
δ
则试图从噪声图像in中提取水印，提取的水印用w1表示。在解码器内，提出了一个阈值收缩模块，该模块能够自主学习一组阈值，并通过软阈值化降低冗余信息，从而缓解水印为抵抗攻击而向鲁棒且容忍度较低的区域分布，同时，在提取水印时能够避免冗余信息干扰。判决器a
ζ
与编码器e
θ
是一种对抗关系，在对抗关系中逐步改善水印图像的质量。
36.编码器
37.编码器将原始水印嵌入到原始图像中，通过最小化水印图像和原始图像之间的感知差异，从而实现水印嵌入的不可见性。在编码器中，包含三个主要模块：特征提取模块(features extraction module，fem)、视觉导向模块(visual guidance module,vgm)以及水印融合模块(watermark fusion module,wfm)。fem用于提取图像的中间特征作为初始特征。vgm旨在生成图像视觉特征的掩码，并用于调整水印在图像各个区域的嵌入量，使得生成的图像具有较好的不可见性。水印融合模块采用密集连接方式进行多次嵌入，以提高水印的抗攻击能力。此外，与原始图像io的残差连接能够有效的避免在网络训练过程中图像质量降解的问题，从而减轻生成的水印图像的失真。编码器生成水印图像的总体过程如公式1所示。整个的编码过程如公式1所示。
38.ie＝e(θ,io,w0)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
39.其中，e()表示根据训练参数θ，嵌入水印的过程。
40.首先，对水印信息进行预处理，将长度为l的原始水印w0进行复制，生成大小为h
×w×
l的水印图像w
*
,具体过程如公式2所示。
41.w
*
＝duplicate(w0)
ꢀꢀꢀꢀꢀꢀꢀ
(2)
42.其中，duplicate()表示水印的复制操作。水印信息的预处理，使得原始图像与水印的大小保持一致，便于后面特征与水印相融合，同时，也使得每个像素都留有一定的水印信息。
43.其次，fem接受原始图像io，提取初步特征f4。fem由四个卷积块组成，每个卷积块
(convolutionblock,convb)均包含一个3
×
3的卷积滤波器,一个relu激活函数和一个batchnorm函数。在卷积块中，卷积层的输出通道数取决于卷积层的滤波器的个数，而增加图像的特征提取的通道数将有助于学习到更加丰富的特征信息，寻找适合水印嵌入的区域。因此，将convb的输出通道数设置为64。特征提取的过程如公式3所示。
44.f4＝fe(io)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
45.其中，fe()表示特征提取过程，特征提取的具体步骤如下所述。
46.1)原始图像io经过第一个卷积块，提取到第一层特征图f1，具体过程如公
47.式4所示。
[0048][0049]
其中，表示一个卷积块，该卷积块由卷积函数归一化函数bn()和relu激活函数rl()组成，其中，i表示卷积核的大小，x与y分别表示输入和输出的特征通道数。
[0050]
2)特征图f1经过第二、三、四个卷积块，依次得到特征图f2、f3、f4，具体过程分别如公式5、公式6、公式7所示。
[0051][0052][0053][0054]
初步特征f4经过多次卷积操作整合了图像的全局信息，一般而言，深层特征往往具有较好的语义信息，而浅层特征具有较多的细节信息，因此，特征提取模块提取图像的中间特征f4适宜作为初始特征，该特征既具有一定语义信息，也具有一定细节信息，适宜作为vgm和wfm的输入。
[0055]
然后，vgm接受初步特征f4，旨在生成视觉注意力掩码，调节水印在载体图像中各个区域的嵌入强度，即降低在载体图像中人眼视觉敏感区域的嵌入强度，提高非敏感区域的嵌入强度，从而减少图像的失真。vgm主要由两个1
×
1卷积滤波器和三个convb组成，接受初始特征f4，生成调节水印嵌入强度的视觉掩码m，该过程如公式8所示。
[0056]
m＝vgm(f4)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0057]
其中，vgm()表示视觉引导模块的过程，具体步骤如下。
[0058]
1)深层特征f4经过一个1
×
1的卷积滤波器，保留了整个图像的特征信息，得到特征f1,具体过程如公式9所示。
[0059][0060]
2)f1依次经过三个结构相同的卷积块，分别生成特征f2,f3,f4,具体过程如公
[0061]
式10、公式11以及公式12所示。
[0062][0063]
[0064][0065]
3)深度特征f4具有较强的语义信息，采用一个1
×
1的卷积滤波器对f4进行降维，并采用sigmoid激活函数得到掩码m，如公式13所示。
[0066][0067]
其中，sigmoid()表示sigmoid激活函数。m能够反映特征图f4的敏感区域与非敏感区域的分布，并能够改变嵌入水印在图像中的各个区域的嵌入强度。
[0068]
4)m将对水印w
*
进行优化，生成水印w
in
，具体过程如公式14所示。
[0069]win
＝m
×w*
ꢀꢀꢀꢀꢀꢀꢀ
(14)
[0070]
如果直接采用w
*
作为嵌入的水印，容易导致图像中部分敏感区域出现失真问题，而vgm能够充分考虑人眼视觉的不可感知性，根据载体图像的特征生成m，改变嵌入的水印，使其特征分布能够与载体图像相契合。
[0071]
最后，wfm将水印w
in
嵌入到f4中，生成特征f8，并将其与io进行残差连接，该过程如公式15所示。
[0072]
ie＝wfm(w
in
,f4)+ioꢀꢀꢀꢀꢀꢀꢀ
(15)
[0073]
其中，wfm()表示水印融合过程。wfm由四个3
×
3卷积块组成，其中，前三个卷积块通过密集连接的方式不断融入水印，从而增强水印的鲁棒性。wfm的具体步骤如下所述。
[0074]
1)将f4与w
in
输入到wfm中的第一个卷积块，得到f5，实现第一次水印嵌入，该过程如公式16所示。
[0075][0076]
其中，concat()表示特征的连接操作。
[0077]
2)将f5、f4以及w
in
输入到wfm中的第二个卷积块，得到f6，实现第二次水印嵌入，该过程如公式17所示。
[0078][0079]
3)将f6、f5、f4以及w
in
输入到wfm中的第三个卷积块，得到f7，实现第三次水印嵌入，该过程如公式18所示。
[0080][0081]
4)wfm中的第四个卷积块将对f7进行降维，生成大小为h
×w×
3的图像f8，该过程如公式19所示。
[0082][0083]
噪声网络
[0084]
噪声网络包含多个噪声层，用来模拟水印图像在传输过程以及恶意破坏等情况下受到的攻击，从而提高水印的抵抗能力。在编解码联合训练过程中，噪声网络必须为可微，使得在迭代训练过程中，梯度能由解码器反向传导到编码器，促使编码器寻找图像的鲁棒区域进行水印嵌入。一般而言，大部分的攻击类型都是可微的，但对于真实的jpeg压缩攻击并不可微，且水印抵抗该攻击的难度也相对较大，因此，为了获取对于jpeg压缩的鲁棒性，研究者利用模拟的jpeg攻击来逼近真实jpeg攻击。在实施例采用模拟的jpeg压缩作为噪声
网络的一个训练噪声层。
[0085]
在迭代训练过程中，噪声网络对水印图像ie进行的攻击，是采用等概率随机选择噪声层方式进行的，其目的在于能够学习到更多的鲁棒水印模式，提高模型的抗攻击泛化能力。噪声图像in的生成过程如公式20所示。
[0086]in
＝n
net
(ie,nk)
ꢀꢀꢀꢀ
(20)
[0087]
其中，n
net
()表示噪声网络，nk为随机选择的一种攻击。噪声网络共包含4个不同的噪声层，用于模拟常见的噪声攻击，分别为jpeg(50)、dropout(20％)、median filter(5
×
5)和cropout(20％)。训练好的网络不仅对上述攻击表现出较好的抵抗攻击能力，而且对于性质相似的未训练噪声也能够表现出较好的鲁棒性。
[0088]
解码器
[0089]
解码器旨在从噪声图像in中提取水印，并通过比较原始水印与提取水印之间的相似度评判水印的抗攻击能力。为了提高水印的解码能力，解码器的整体结构与编码器相似，如图3所示。解码器包含特征提取模块(feature extraction module,fem)、阈值收缩模块(threshold shrinkage module,tsm)与水印提取模块(watermark extraction module，wem)。fem用于从噪声图像in中提取初始特征f
n4
。tsm通过自适应的学习一组阈值，降低初始特征f
n4
的冗余信息生成f
n6
。而wem负责从f
n6
中提取水印w1。解码器接受噪声图像in，提取水印w1的过程如公式21所示。
[0090]
w1＝d(δ,in)
ꢀꢀꢀꢀꢀꢀꢀ
(21)
[0091]
其中，d()表示水印的解码生成过程，具体过程如下。
[0092]
首先，fem接受in生成初始特征f
n4
，该模块由四个结构相同的3
×
3卷积块convb组成，f
n4
经过四个卷积块提取特征的具体过程如公式22所示。
[0093][0094]
其次，tsm接受f
n4
并生成f
n6
，在网络中该过程的具体步骤如下。
[0095]
1)对f
n4
施加绝对值处理以保证阈值为非负，并采用全局均值池化压缩信息得到f
n5
，该过程如公式23所示。
[0096]fn5
＝gap(abs(f
n4
))
ꢀꢀꢀꢀꢀꢀꢀ
(23)
[0097]
其中，gap()表示全局均值池化，abs()表示绝对值的计算。
[0098]
2)f
n5
依次经过两个线性层以及sigmoid激活函数，学习各个通道间的权重，该过程如公式24所示。
[0099]mt
＝sigmoid(linear
64,8
(linear
8,64
(f
n5
)))
ꢀꢀꢀꢀꢀꢀꢀ
(24)
[0100]
其中，m
t
是各个通道间的权重，linear
i,j
()表示线性层，其输入与输出的神经元分别为i和j个。
[0101]
3)将m
t
和f
n5
相乘，得到阈值矩阵t，具体过程如公式25所示。
[0102]
t＝m
t
×fn5
ꢀꢀꢀꢀꢀꢀꢀ
(25)
[0103]
4)假设tc为t的第c个通道的阈值，x
i,j,c
为f
n4
的第c个通道(i,j)位置上的特征值，而y
i,j,c
为f
n6
的第c个通道(i,j)位置上的特征值，则软阈值化的计算如公式26所示。
[0104][0105]
tsm的阈值是通过学习得到，因此，能够针对不同冗余信息含量，自适应地选用阈值，对于无冗余信息的影响也较少。此外，tsm具有两个重要作用：一方面能够有效缓解水印为抵抗部分高强度攻击向鲁棒且视觉敏感区域集中而导致图像质量的破坏；另一方面，在解码端，tsm能够降低包括载体图像以及噪声网络攻击等无关信息，从而有助于后续水印的提取。
[0106]
然后，wem将从f
n6
中提取水印w1，依次包含三个3
×
3的卷积块convb、全局均值池化、一个线性层以及水印阈值化处理，其中，前三个卷积块以密集结构进行连接，具体步骤如下所述。
[0107]
1)f
n6
经过wem中的第一个卷积块生成特征f
n7
,具体过程如公式27所示。
[0108][0109]
2)f
n6
与f
n7
经过wem中的第二个卷积块生成特征f
n8
，具体过程如公式28所示。
[0110][0111]
其中，concat()表示特征的连接操作。
[0112]
3)f
n6
、f
n7
与f
n8
经过wem中的第三个卷积块生成特征f
n9
，f
n9
融合了各层特征的水印信息，具体过程如公式29所示。
[0113][0114]
4)全局均值池化接受f
n9
，并对其进行信息压缩，该过程如公式30所示。
[0115]fn
＝gap(f
n9
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(30)
[0116]
其中，fn为压缩后的信息。
[0117]
5)线性层将对压缩后的信息fn进行学习，提取水印特征fw，该过程如公式31所示。
[0118]fw
＝linear
30，30
(fn)
ꢀꢀꢀꢀꢀꢀꢀ
(31)
[0119]
其中，提取到的fw为水印序列，需要进行水印阈值化处理。
[0120]
6)根据阈值函数，水印序列fw转化为二值水印w1，具体过程如公式32所示。
[0121][0122]
其中，t2(
·
)表示阈值函数，w(z)是fw的第z个位置f
wc
(z)阈值化的结果,z＝1,2,
…
,l。
[0123]
判决器与损失函数
[0124]
判决器与编码器是一种对抗关系，编码器在载体图像中嵌入水印，生成与原始图像相似的水印图像，从而欺骗判决器使其难以区分，而在迭代训练过程中，判决器则不断提高水印图像和载体图像的鉴别能力，因此，编码器能够通过对抗关系调节水印的分布，从而改善生成的水印图像质量。由于载体图像和水印图像之间的区别就在于有无水印，因此，从本质上讲，判决器是判断图像中是否包含水印信息。判决器的网络结构与解码器整体相似，只是网络的最后一个线性层输出的为单一数值，用于检测判断有无水印，因此，该过程不再
展开详细描述。
[0125]
为了增强水印的不可见性与鲁棒性，针对编码器e
θ
、解码器d
δ
以及判决器a
ζ
，设置了编码损失le、解码损失ld以及对抗损失la。
[0126]
编码损失le用于增强io和ie之间的相似度，其由mse和预训练的感知损失vgg构成，其中，vgg能够有效考虑到人眼的视觉特性，具体如公式33所示。
[0127]
le＝μ1mse(io,ie)+μ2vgg(io,ie)
ꢀꢀꢀꢀꢀꢀꢀ
(33)
[0128]
其中，mse()表示均方误差损失函数，vgg()表示感知损失函数vgg，μ1和μ2分别表示相应的权重。特别注意的是，若μ1为0，则完全采用vgg作为编码损失，这将导致水印难以嵌入，影响水印的鲁棒性。
[0129]
解码损失ld用于增强w0与w1之间的相似度，采用交叉熵损失函数(binary cross entropy,bce)作为解码损失，具体如公式34所示。
[0130][0131]
其中，bce()表示交叉熵损失函数。
[0132]
对抗损失la利用编码器与判决器的对抗关系，改善ie的图像质量，具体如公式35所示。
[0133]
la＝log(1-a(ξ,e(θ,io,w0)))
ꢀꢀꢀꢀꢀꢀꢀ
(35)
[0134]
其中a()表示判决器判定输入图像为原始图像的概率。
[0135]
综合上述，在训练时设置总的损失函数，如公式36所示。
[0136]
l
e,d,a
＝λ1le+λ2ld+λ3laꢀꢀꢀ
(公式36)
[0137]
其中，λ1，λ2和λ3分别是相对应的损失权重。
[0138]
结果和分析
[0139]
实验设置
[0140]
vgtsgan采用python语言在pytorch环境中实现，并在geforce nvidia rtx 2080ti型号的gpu上训练。超过10万副coco训练集作为训练数据，并在输入网络前，调整其大小为128
×
128
×
3。为了检验模型的性能，从coco测试集中随机选取1000副图像进行测试。在参数设置上，嵌入的水印信息长度l＝30，并且权重λ1，λ2,λ3，μ1和μ2分别被设置为0.5,0.5,0.001,0.8和0.2，网络训练以1
×
10-3
为学习率迭代200次。vgtsgan训练了两种不同的模型：无噪声网络vgtsgan-nn和有噪声网络vgtsgan-cn。噪声网络是由四种不同的攻击类型随机选择一种施加于水印图像，这四种攻击类型分别是jpeg(q＝50),gaussianblur(δ＝2.0),dropout(p＝30％)和resize(r＝0.8)。
[0141]
为了验证vgtsgan的有效性，本次实验将文献提出的网络hidden也分别训练了两个模型，分别是无噪声网络hidden-nn和有噪声网络hidden-cn，其中，hidden-cn与vgtsgan-cn训练时的噪声网络相同。
[0142]
不可见性检测
[0143]
本节采用psnr和ssim作为评价标准，对水印的不可见性进行检测，其中，由于ssim结合了人眼视觉的特性，因此，更符合人眼视觉的感观认知。
[0144]
表1
[0145][0146]
由表1可知，在无噪声网络模型中，vgtsgan-cn的psnr和ssim均明显高于hidden-nn,说明vgtsgan-nn比vgtsgan-cn生成的水印图像质量好。随着噪声攻击的加入，vgtsgan和hidden的水印图像质量均明显下降，这主要是由于水印为抵抗噪声攻击会往图像的鲁棒区域分布，但在这部分区域也存在人眼视觉的敏感区域，从而导致生成的水印图像质量下降。然而，相比较hidden，vgtsgan的ssim值下降的较为缓慢，这也证明了vgtsgan网络能在一定程度上缓解因噪声训练而导致的不可见性下降的问题，而且这种不可见性是结合人眼视觉的。在噪声网络模型中，vgtsgan-cn在psnr和ssim方面高于hidden-cn，说明了vgtsgan-cn具有较好的不可见性。综上所述，vgtsgan网络相较于hidden网络具有更好的优越性。
[0147]
鲁棒性检测
[0148]
为了验证基于vgtsgan的抗攻击能力，采用了ber作为本节鲁棒性的评价标准，分别对训练攻击以及非训练攻击的鲁棒性进行测试。首先，检验训练攻击的鲁棒性，包括不同强度的jpeg压缩，median filter，dropout以及cropout攻击，实验结果如表2所示。由表2可知，在无噪声网络模型中，vgtsgan-nn和hidden-nn均无法有效抵抗jpeg压缩，median filter和cropout等攻击，其平均ber大多数大于0.25，甚至超过0.40，这意味着无噪声网络模型并不能够实现图像的版权保护。而在添加噪声网路后，水印在抵抗攻击的能力均明显提高，其中，vgtsgan的平均误差率降低了22.03％，而hidden的平均误差率降低了19.07％，这表明网络对于训练过的攻击表现出较好的鲁棒性，这主要是由于在迭代训练过程，水印为抵抗噪声攻击往图像的鲁棒区域分布所导致的。在有噪声网络模型中，vgtsgan-cn仅在抵抗训练攻击dropout(10％)时的平均ber低于hidden-cn，且对抗各类训练攻击的平均ber均不超过0.2，表明了相较于hidden-cn，vgtsgan-cn具有更好的抵抗攻击能力。
[0149]
表2
[0150][0151]
其次，为了证明零水印的抗攻击泛化性能，对未训练攻击的鲁棒性进行检验，包括
7种不同强度的攻击，分别是resize，average filter，gaussian noise，salt&pepper，grid crop，rotation和adjust contrast，如表3所示。
[0152]
表3
[0153][0154]
由表3可知，vgtsgan-nn和hidden-nn在抵抗各类非训练攻击时的平均ber均高于0.25，因而无法抵抗多数的攻击类型。但在经过噪声网络训练后，其平均ber均有明显下降，其中vgtsgan模型降低了15.23％，而hidden模型降低了12.72％，表明噪声训练不仅能够有效提高水印对训练攻击的抵抗能力，而且对非训练攻击的鲁棒性的提升也有着重要的作用。一方面，是因为一些非训练攻击和训练攻击存在相似的性质，比如average filter和
median filter都是低频滤波，另一方面，采用jpeg等攻击能够促使水印往低频方向分布，从而提高了抗攻击的能力。此外，在有噪声模型中，hidden-cn仅在抵抗average filter(5
×
5),gaussian noise(0.06)和adjust contrast(1.3)上的ber值低于vgtsgan-cn,但在抵抗其它非训练攻击时，鲁棒性相对较差。
[0155]
综上所述，vgtsgan能够借助网络攻击显著提高水印对训练攻击和非训练攻击的鲁棒性，因此，其具有较好的抗攻击泛化能力。
[0156]
消融实验
[0157]
为了验证vgtsgan的视觉导向模块和阈值收缩模块对水印的不可见性与鲁棒性的影响，在vgtsgan模型基础上，分别移除视觉导向模块和阈值收缩模块，依次命名为model#1和model#2，为了保证能够公平对比，这两种模型与vgtsgan-cn训练的损失函数和噪声网络攻击保持一致。水印的不可见性和鲁棒性的实验结果分别如表4和表5所示。
[0158]
表4
[0159][0160]
注：1)jp表示jpeg，dp表示dropout，mf表示median filter，gn表示gaussian noise，gc表示grid crop
[0161]
由表4可知，在三种水印模型中，vgtsgan-cn和model#2的ssim值和psnr值均高于model#1,而相比model#1，vgtsgan-cn和model#2都包含了一个视觉导向模块，这表明视觉导向模块有助于改善生成的水印图像质量，使其更符合人眼视觉的不可感知性。而由表5可以发现，在抵抗五种不同类型攻击时，vgtsgan-cn和model#1的平均误差率比较接近，且均有较好的鲁棒性。这表明视觉导向模块在显著增强水印的不可见性时，并不是以牺牲水印的鲁棒性为代价。此外，通过比较表4的vgtsgan-cn和model#2可以发现，vgtsgan-cn的ssim和psnr均高于model#2，而vgtsgan-cn仅比model#2多了一个阈值收缩模块，这说明了阈值收缩模块也能够在一定程度上改善水印图像质量，这主要是因为阈值收缩模块能够有效降低冗余信息，从而缓解水印为抵抗噪声攻击向鲁棒且视觉非敏感区域移动。在表5中，vgtsgan-cn抵抗jpeg(50),dropout(20％),median filter(5
×
5)以及gaussian noise(0.03)等攻击时的ber均明显低于model#2，这表明阈值收缩模块能够有效的降低冗余信息，从而增强水印的提取能力。
[0162]
以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围
为准。

技术特征：
1.一种基于视觉导向和阈值收缩的鲁棒水印技术，其特征在于，包括以下步骤：获取原始图像，对所述原始图像进行特征提取获得所述原始图像的中间特征，将所述中间特征作为初步特征；获取原始水印，基于原始水印获得与原始图像大小一致的第一水印；基于所述初步特征获得视觉注意力掩码，基于所述视觉注意力掩码对所述第一水印进行优化，获得第二水印；将所述第二水印嵌入到所述初步特征中，生成初始水印图像，将所述初始水印图像与所述原始图像进行残差连接获得最终水印图像；构建包括若干噪声层的噪声网络，采用等概率随机选择噪声层方式对所述最终水印图像进行噪声攻击，获得噪声图像；通过四个结构相同的卷积块提取噪声图像的初始特征，通过自适应学习获取阈值并对所述初始特征进行软阈值化后，获得深度噪声特征，从深度噪声特征中提取获得二值水印；构建损失函数，基于所述损失函数对判决器与编码器进行对抗训练，实现图像水印质量的提升。2.根据权利要求1所述的基于视觉导向和阈值收缩的鲁棒水印技术，其特征在于，对原始图像进行特征提取的过程包括：构建特征提取模块，特征提取模块包括四个卷积块，所述原始图像依次经过每个卷积块的卷积滤波器、relu激活函数和batchnorm函数后获得中间特征，卷积滤波器的输出通道数为64。3.根据权利要求1所述的基于视觉导向和阈值收缩的鲁棒水印技术，其特征在于，视觉注意力掩码的获取过程包括：所述初步特征通过卷积滤波器获得图像特征，所述图像特征依次经过三个结构相同的卷积块，获得图像深度特征，采用卷积滤波器对所述图像深度特征进行降维，并采用sigmoid激活函数处理得到掩码。4.根据权利要求1所述的基于视觉导向和阈值收缩的鲁棒水印技术，其特征在于，初始水印图像的获取过程包括：将所述第二水印与初步特征进行特征连接后进行第一次卷积，将卷积获得的特征、第二水印、初步特征进行第二次卷积；将第二次卷积获得的特征，第一次卷积获得的特征、第二水印、初步特征进行第三次卷积，将第三次卷积的结果通过第四次卷积进行降维，获得初始水印图像。5.根据权利要求1所述的基于视觉导向和阈值收缩的鲁棒水印技术，其特征在于，所述噪声网络包括四个噪声层，分别为jpeg(50)、dropout(20％)、median filter(5
×
5)和cropout(20％)。6.根据权利要求1所述的基于视觉导向和阈值收缩的鲁棒水印技术，其特征在于，获取深度噪声特征的过程包括：对所述初始特征施加绝对值处理后采用全局均值池化处理获得压缩特征，压缩特征通过两个线性层以及sigmoid激活函数获得通道权重，将所述通道权重与所述压缩特征相乘获得阈值矩阵，根据所述阈值矩阵生成深度噪声特征。7.根据权利要求1所述的基于视觉导向和阈值收缩的鲁棒水印技术，其特征在于，二值水印的提取过程包括：将所述深度噪声特征通过卷积块获得第一层特征；将第一层特征与深度噪声特征通过卷积块获得第二层特征；将第二层特征、第一层特征与深度噪声特征通过卷积块获得融合特征，对所述融合特征进行全局均值池化并压缩，获得压缩信息，通过线性层对所述压缩信息进行学习，获得水印特征，根据阈值函数将水印特征转化为
二值水印。8.根据权利要求1所述的基于视觉导向和阈值收缩的鲁棒水印技术，其特征在于，所述损失函数包括编码损失、解码损失、对抗损失；所述编码损失由均方误差损失函数与感知损失函数构成；所述解码损失采用交叉熵损失函数；所述对抗损失函数的公式如下：l
a
＝log(1-a(ξ,e(θ,i
o
,w0)))其中，a()表示判决器判定输入图像为原始图像的概率，e()表示根据训练参数θ，嵌入水印的过程，i
o
表示原始图像，w0为原始水印。

技术总结
本发明公开了一种基于视觉导向和阈值收缩的鲁棒水印技术，包括：编码器在视觉导向模块的指引下，调节各个区域的水印嵌入强度，使得嵌入强度均能在人眼视觉的容忍度范围内，从而达到较好的不可见性。其次，解码器在阈值收缩模块的作用下，通过软阈值化方式降低冗余信息，缓解水印为对抗噪声攻击而在鲁棒且非敏感区域分布，同时，该模块能降低来自噪声网络和载体图像自身的冗余信息，增强水印的提取能力。然后，利用判决器和编码器的对抗关系，提高生成的水印图像质量。本发明技术与其他模型进行了对比，证明了具有较好的不可见性和鲁棒性，同时在消融实验中对视觉导向模块和阈值收缩模块的作用进行了证明。缩模块的作用进行了证明。缩模块的作用进行了证明。


技术研发人员：何周燕 何灵强 骆挺 徐海勇 宋洋
受保护的技术使用者：宁波大学科学技术学院
技术研发日：2023.04.21
技术公布日：2023/7/18