一种从图像域迁移到视频域的生成式跨模态攻击方法

1.本发明属于视频识别网络模型安全技术领域，具体涉及一种从图像域迁移到视频域的生成式跨模态攻击方法。


背景技术：

2.对抗攻击(adversarial attack)是指通过在干净样本上添加人类难以察觉的扰动来误导深度神经网络(dnns)产生错误决策的技术。其中，生成的可导致dnns产生错误决策的样本被称为对抗样本(adversarial example)。根据威胁模型，对抗攻击可分类为白盒攻击和黑盒攻击。在白盒攻击中，攻击者可以完全访问dnns，包括模型结构、参数等。而在黑盒攻击中，攻击者只能访问dnns的输出。因此，针对黑盒攻击的研究更具现实意义也更具挑战性。
3.近年来，dnns在图像分类、目标检测、动作识别等一系列计算机视觉任务中表现出色。然而，对抗机器学习领域的进展揭示了dnns极易受到对抗样本的攻击[1,2]。更重要的是，针对一个模型生成的对抗样本也可以欺骗其他模型，即使这些模型具有不同的架构或是在训练数据的不同子集上训练得到[2]。对抗样本的这种迁移性使得黑盒攻击成为可能，这无疑对dnns在现实场景中的部署造成了严重的安全威胁。因此，对抗样本的迁移性引起了众多研究的关注。
[0004]
现有的基于迁移的黑盒攻击[3,4,5]大多假设可获取目标模型的训练数据，并主要探索对抗样本在相同数据集上训练的模型之间的迁移性。然而，从实际角度考虑，模型部署者不太可能泄露已部署模型的训练集。为了解决这个关键问题，最近的工作提出了跨域迁移攻击[6，7，8]。具体而言，首先针对某个源域训练一个对抗扰动生成器，在推理过程中，训练好的扰动生成器直接为来自任何其他目标域的图像制作对抗样本，以欺骗在目标域中训练的模型。然而，这种跨域迁移攻击要求源域和目标域是同模态的，即两者都是图像域。跨异模态域(例如，从图像域到视频域)很少被探索。
[0005]
本发明的主要挑战来自于图像和视频之间存在较大的域差异。与视频数据相比，图像数据缺乏对视频域而言至关重要的动态时序线索。这种差异可能限制了针对图像域训练的扰动生成器在视频域上的泛化性能。图像和视频在时序上的差异为跨模态迁移攻击提出了新的挑战。现有的跨域迁移攻击方法[6,7,8]仅考虑了如何缩小不同图像之间的域差异。这些方法通过引入作用于干净图像和对抗图像的相对类别概率或中间特征的损失函数，以及随机归一化和域无关注意力来鼓励扰动生成器学习域无关的对抗扰动。由于忽略了图像和视频在时序上的差异，直接将它们拓展到跨模态迁移攻击中性能较差。


技术实现要素：

[0006]
本发明的目的在于提供一种能够从图像域迁移到视频域的生成式跨模态攻击方法，以提升扰动生成器对于视频域的泛化性能，增强对抗视频片段的对抗迁移性。
[0007]
本发明提供的从图像域迁移到视频域的生成式跨模态攻击方法，仅利用图像域的
知识来训练对抗扰动生成器[9]，训练好的对抗扰动生成器能够为来自不同视频域的视频逐帧生成对于不同视频模型具有较高迁移性的对抗扰动；其中，通过缩小图像和视频之间的域差异增强从图像域到视频域的对抗迁移性。包括提出一个随机运动模块，通过随机合成的光流来模拟相邻视频帧之间不同的时序运动[10]，该模块使用合成的随机光流来扭曲干净和对抗扰动生成器生成的对抗图像[11]；通过在特征破坏损失中集成了随机运动模块(由于原始的特征破坏损失是在未经过扭曲的干净和对抗图像上计算的，但在本发明中，特征破坏损失是在经过扭曲的干净和对抗图像上计算的，故将其称为集成了随机运动模块的特征破坏损失)，在训练阶段引入额外的时序线索；此外，还引入基于中间特征的时序一致性损失，以进一步增强生成视频对抗样本的迁移性；通过同时优化特征破坏损失和时序一致性损失来训练扰动生成器。
[0008]
本发明提供的从图像域迁移到视频域的生成式跨模态攻击方法，具体步骤包括：
[0009]
(一)在对抗扰动生成器的训练阶段，使用随机运动模块融合动态时序线索；具体地：
[0010]
对每个图像输入，合成随机光流来模拟不同的时序运动，并使用合成的随机光流对图像进行扭曲(warp)，以模拟它们的相邻帧。
[0011]
具体操作步骤如下：
[0012]
步骤1：给定输入图像xi∈rh×w×c，合成一个随机的光流f∈rh×w×
2；
[0013]
其中，h和w分别为图像的高度和宽度，c是图像的通道数；
[0014]
步骤2：将干净图像xi输入此时的对抗扰动生成器得到对抗图像
[0015]
步骤3：通过随机运动模块使用合成的随机光流f分别对干净图像xi和对抗图像进行扭曲，得到扭曲后的干净图像rm(xi)和对抗图像
[0016]
步骤4：将扭曲后的干净图像rm(xi)和对抗图像输入预训练好的图像模型得到第l层的中间特征和(这里“图像模型”具体是指用于图像分类任务的模型；因为训练阶段需要确保生成能够欺骗图像模型的对抗图像，所以需要一个已经预训练好的图像模型)
[0017]
步骤5：通过最小化中间特征和之间的余弦相似度，计算特征破坏损失，增强扰动生成器对于帧间时序变化的鲁棒性。
[0018]
(二)在扰动生成器的训练阶段，还引入时序一致性来进一步增强对抗迁移性；
[0019]
基于特征破坏损失的对抗扰动生成器所生成的对抗视频片段在中间特征上的时序一致性和对抗迁移性之间存在正相关性；具体是让模拟相邻帧的两个对抗图像在中间特征上取得时序一致性；
[0020]
具体操作步骤为：
[0021]
步骤1：将扭曲后的干净图像rm(xi)输入此时的对抗扰动生成器得到其对应的对抗图像rm(xi)
adv
；
[0022]
步骤2：将扭曲后的干净图像对应的对抗图像rm(xi)
adv
输入预训练好的图像模型得到第l层的中间特征
[0023]
步骤3：通过最小化中间特征和之间的余弦相似度，
计算时序一致损失，进一步增强生成的对抗视频片段的迁移性。
[0024]
(三)在扰动生成器的训练阶段，同时优化特征破坏损失和时序一致性损失；
[0025]
具体是在训练对抗扰动生成器的时候，同时优化集成随机运动模块的特征破坏损失和基于中间特征的时序一致性损失，直至收敛。
[0026]
(四)在对抗扰动生成器的推理阶段，生成对抗视频；
[0027]
具体是训练好的扰动生成器接受视频片段中的单个帧作为输入，并通过一次前向传播生成对抗帧；然后，生成的对抗帧被重新组合成一个对抗视频片段。
[0028]
本发明提供的从图像域迁移到视频域的生成式跨模态攻击方法，具体操作流程为：
[0029]
(1)在扰动生成器的训练阶段，给定干净图像输入，合成随机的光流；
[0030]
(2)将干净图像输入此时的对抗扰动生成器，得到对抗图像；
[0031]
(3)通过随机运动模块利用随机光流对干净图像和对抗图像进行扭曲；
[0032]
(4)将扭曲后的干净图像输入此时的对抗扰动生成器，得到对应的对抗图像；
[0033]
(5)将干净图像和所有对抗图像输入预训练的图像模型，获取中间特征，并计算特征破坏损失和时序一致性损失；
[0034]
(6)同时优化特征破坏损失和时序一致性损失，来更新扰动生成器的参数；
[0035]
(7)再次执行流程步骤(1)-(6)，直至达到限定轮数；
[0036]
(8)在扰动生成器的推理阶段，输入干净视频片段中的单个帧，生成对抗帧；
[0037]
(9)所有生成的对抗帧被重新组合成一个对抗视频片段。
[0038]
本发明的创新之处在于：
[0039]
(1)提出了用于消除图像数据和视频数据之间域差异的随机运动模块，它在经过随机光流扭曲后的干净图像和对抗图像上进行优化，提升扰动生成器对于视频域的泛化性能；
[0040]
(2)提出了基于中间特征的时序一致性损失，通过对相邻帧的中间特征施加时序一致性，进一步增强对抗视频片段的对抗迁移性。
[0041]
大量的实验证明，本发明攻击方法的有效性，并且在不同的目标视频域上都取得了最先进的性能。
附图说明
[0042]
图1是本发明提出的从图像域迁移到视频域的生成式跨模态攻击方法流程图示。
具体实施方式
[0043]
下面通过具体实施例，进一步描述本发明。
[0044]
步骤1：输入的视频片段xv∈r
t
×h×w×c，其中h和w分别为视频片段的高度和宽度、c是视频片段的通道数(一般为3)，t为视频片段的帧数。视频片段xv的真实标签为y∈{1,2,
…
,k}，k表示类别数。表示视频识别模型，这些模型输出输入视频片段的预测类别。本发明的目标为仅利用图像域的知识(包括图像数据xi和预训练的图像模型)训练一个扰动生成器为视频片段xv的每一帧生成对抗扰动δ，其中||δ||
∞
≤ε用来限制生成的扰动人
眼不可察觉，ε为扰动界限。生成的对抗视频片段能够欺骗视频识别模型使其做出错误的预测
[0045][0046]
步骤2：为了消除图像和视频之间域差异的影响，本发明为每个图像xi合成随机的光流f，并利用随机运动模块rm对干净图像xi和对抗图像进行扭曲，得到扭曲后的干净图像rm(xi)和对抗图像
[0047]
步骤3：将上一步得到的扭曲后的干净图像rm(xi)和对抗图像输入到图像模型中，获取第l层的中间特征和并通过最小化两者之间的余弦相似度来计算特征破坏损失，即其中cossim为计算余弦相似度的函数。
[0048]
步骤4：为了在训练阶段施加时序一致性，本发明将扭曲后的干净图像rm(xi)输入到此时的扰动生成器中，得到扭曲后的干净图像对应的对抗图像rm(xi)
adv
。
[0049]
步骤5：将上一步得到的扭曲后的干净图像对应的对抗图像rm(xi)
adv
输入到图像模型
[0050]
中，获取第l层的中间特征并通过最大化它和扭曲后的对抗图像中间特征之间的余弦相似度来计算损失，即
[0051]
步骤6：同时优化特征破坏损失和时序一致性损失，对扰动生成器的参数进行迭代更新，直至达到限定轮数。
[0052]
步骤7：使用训练好的扰动生成器直接为干净视频片段xv逐帧生成对抗帧，然后将所有生成的对抗帧重新组合成一个对抗视频片段
[0053]
下表是使用imagenet训练集，分别针对四个图像模型训练对抗扰动生成器；然后使用训练好的对抗扰动生成器，在kinetics400验证集上生成对抗视频片段，并攻击了6个视频模型。
shahbaz khan,and fatih porikli.2019.cross-domain transferability of adversarial perturbations.advances in neural information processing systems 32(2019).
[0064]
[7]mathieu salzmann et al.2021.learning transferable adversarial perturbations.advances in neural information processing systems 34(2021),13950
–
13962.
[0065]
[8]qilong zhang,xiaodan li,yuefeng chen,jingkuan song,lianli gao,yuan he,et al.2021.beyond imagenet attack:towards crafting adversarial examples for black-box domains.in international conference on learning representations.
[0066]
[9]omid poursaeed,isay katsman,bicheng gao,and serge belongie.generative adversarial perturbations.in proceedings of the ieee conference on computer vision and pattern recognition,pages 4422
–
4431,2018.
[0067]
[10]wenjing wang,shuai yang,jizheng xu,and jiaying liu.2020.consistent video style transfer via relaxation and regularization.ieee transactions on imageprocessing 29(2020),9125
–
9139.
[0068]
[11]j.y.jason,a.w.harley,and k.g.derpanis,“back to basics:unsupervised learning of optical flow via brightness constancy and motion smoothness,”in european conference on computer vision,pp.3
–
10,springer,2016。

技术特征：
1.一种从图像域迁移到视频域的生成式跨模态攻击方法，其特征在于，仅利用图像域的知识来训练对抗扰动生成器，训练好的对抗扰动生成器用于为来自不同视频域的视频逐帧生成对于不同视频模型具有较高迁移性的对抗扰动；其中，通过缩小图像和视频之间的域差异增强从图像域到视频域的对抗迁移性；并且，设计一个随机运动模块，通过随机合成的光流来模拟相邻视频帧之间不同的时序运动；通过在特征破坏损失中集成随机运动模块，在训练阶段，引入额外的时序线索，还引入基于中间特征的时序一致性损失，以进一步增强生成视频对抗样本的迁移性；通过同时优化特征破坏损失和时序一致性损失来训练扰动生成器；具体步骤包括：(一)在对抗扰动生成器的训练阶段，使用随机运动模块融合动态时序线索；具体地：对每个图像输入，合成随机光流来模拟不同的时序运动，并使用合成的随机光流对图像进行扭曲，以模拟它们的相邻帧；(二)在扰动生成器的训练阶段，还引入时序一致性来进一步增强对抗迁移性；基于特征破坏损失的对抗扰动生成器所生成的对抗视频片段在中间特征上的时序一致性和对抗迁移性之间存在正相关性；具体是让模拟相邻帧的两个对抗图像在中间特征上取得时序一致性；(三)在扰动生成器的训练阶段，同时优化特征破坏损失和时序一致性损失；具体是在训练对抗扰动生成器的时候，同时优化集成随机运动模块的特征破坏损失和基于中间特征的时序一致性损失，直至收敛；(四)在对抗扰动生成器的推理阶段，生成对抗视频。2.根据权利要求1所述的生成式跨模态攻击方法，其特征在于，步骤(一)中所述在对抗扰动生成器的训练阶段，使用随机运动模块融合动态时序线索；具体操作步骤如下：步骤1：给定输入图像x
i
∈r
h
×
w
×
c
，合成一个随机的光流f∈r
h
×
w
×2；其中，h和w分别为图像的高度和宽度，c是图像的通道数；步骤2：将干净图像x
i
输入此时的对抗扰动生成器得到对抗图像步骤3：通过随机运动模块使用合成的随机光流f分别对干净图像x
i
和对抗图像进行扭曲，得到扭曲后的干净图像rm(x
i
)和对抗图像步骤4：将扭曲后的干净图像rm(x
i
)和对抗图像输入预训练好的图像模型得到第l层的中间特征和步骤5：通过最小化中间特征和之间的余弦相似度，计算特征破坏损失，增强扰动生成器对于帧间时序变化的鲁棒性。3.根据权利要求2所述的生成式跨模态攻击方法，其特征在于，步骤(二)中所述在扰动生成器的训练阶段，还引入时序一致性来进一步增强对抗迁移性，具体操作步骤为：步骤1：将扭曲后的干净图像rm(x
i
)输入此时的对抗扰动生成器得到其对应的对抗图像rm(x
i
)
adv
；步骤2：将扭曲后的干净图像对应的对抗图像rm(x
i
)
adv
输入预训练好的图像模型得到第l层的中间特征
步骤3：通过最小化中间特征和之间的余弦相似度，计算时序一致损失，进一步增强生成的对抗视频片段的迁移性。4.根据权利要求3所述的生成式跨模态攻击方法，其特征在于，步骤(四)所述在对抗扰动生成器的推理阶段，生成对抗视频，具体是训练好的扰动生成器接受视频片段中的单个帧作为输入，并通过一次前向传播生成对抗帧；然后，生成的对抗帧被重新组合成一个对抗视频片段。5.根据权利要求4所述的生成式跨模态攻击方法，其特征在于，具体操作流程为：(1)在扰动生成器的训练阶段，给定干净图像输入，合成随机的光流；(2)将干净图像输入此时的对抗扰动生成器，得到对抗图像；(3)通过随机运动模块利用随机光流对干净图像和对抗图像进行扭曲；(4)将扭曲后的干净图像输入此时的对抗扰动生成器，得到对应的对抗图像；(5)将干净图像和所有对抗图像输入预训练的图像模型，获取中间特征，并计算特征破坏损失和时序一致性损失；(6)同时优化特征破坏损失和时序一致性损失，来更新扰动生成器的参数；(7)再次执行流程步骤(1)-(6)，直至达到限定轮数；(8)在扰动生成器的推理阶段，输入干净视频片段中的单个帧，生成对抗帧；(9)所有生成的对抗帧被重新组合成一个对抗视频片段。

技术总结
本发明属于视频识别网络模型安全技术领域，具体为一种从图像域迁移到视频域的生成式跨模态攻击方法。本发明仅利用图像域的知识训练对抗扰动生成器，训练好的对抗扰动生成器用于为来自不同视频域的视频逐帧生成对于不同视频模型具有较高迁移性的对抗扰动；其中，通过缩小图像和视频之间的域差异增强从图像域到视频域的对抗迁移性；设计一个随机运动模块，通过随机合成的光流来模拟相邻视频帧之间不同的时序运动；通过在特征破坏损失中集成随机运动模块；在训练阶段引入额外的时序线索、基于中间特征的时序一致性损失，增强生成视频对抗样本的迁移性；实验证明本发明攻击方法的有效性，并且在不同的目标视频域上有最先进的性能。性能。性能。


技术研发人员：陈静静 陈凯 魏志鹏 姜育刚
受保护的技术使用者：复旦大学
技术研发日：2023.06.26
技术公布日：2023/9/9