基于扰动的显著性图生成算法的制作方法

1.本发明涉及图形处理技术领域，具体为基于扰动的显著性图生成算法。


背景技术：

2.自从机器学习可解释性的问题被广泛关注以来，大量学者立足于局部可解释性提出了种种方法，旨在帮助人们理解机器学习模型针对每一个输入样本的决策过程和决策依据，其中，敏感性分析作为一种代价较小的局部可解释性方法被广泛实验到各个领域。
3.敏感性分析是指给定一个训练好的神经网络模型和一些输入样本，通过对输入样本的修改（包括删除，替换等）来观测模型做出决策的变化，以此推断模型决策过程中最敏感的部分。
4.这种方法完全不需要模型的相关信息，只需要有明确的输入和输出即可，因此适用面较广，视觉领域已经有了较为丰富的实践经验。近两年，深度强化学习领域已有少量的研究，但至今为止，这些方法考量的角度都不太全面，因此生成的显著性图存在不少噪声。


技术实现要素：

5.解决的技术问题
6.针对现有技术的不足，本发明提供了基于扰动的显著性图生成算法，解决了现有的敏感性分析等方法考量的角度都不太全面，因此生成的显著性图存在不少噪声。
7.技术方案
8.为实现以上目的，本发明通过以下技术方案予以实现：基于扰动的显著性图生成算法，包括以下步骤：
9.步骤s1、通过hadamard乘积以及高斯模糊的方式构造关于某一像素的扰动图；
10.步骤s2、提出在“特异性-相关性”和“绝对性-相对性”两个维度上考虑扰动造成的影响；
11.步骤s3、在计算特异性时统筹考虑了其绝对性和相对性；
12.步骤s4、在计算相关性时统筹考虑了其绝对性和相对性；
13.步骤s5、将显著性评分添加到输入图像rgb通道中的b通道，绘制显著性图，进行可视化。
14.优选的，计算扰动后所选择动作的价值与扰动前的绝对变化，变化越大，表征扰动对该行为的特异性影响越大；
15.计算具体步骤如下：
16.。
17.优选的，计算扰动后所选择动作的价值与扰动前的相对变化，变化越大，表征扰动对该行为的特异性影响越大；
18.其计算过程如公式所示：
19.。
20.优选的，将绝对特异性和相对特异性统筹考虑，采用调和平均数，使得结果受制于二者的较小值。同时smgp设置无效扰动影响过滤，即只捕获扰动后变差的影响；
21.扰动的特异性影响计算如公式所示：
22.。
23.优选的，计算扰动后除了所选择的动作之外的其他动作的价值与扰动前的绝对变化，变化越大，表征扰动对所选择行为的相关性越小，同理，也进行扰动影响的过滤；
24.计算具体步骤如下：
25.。
26.优选的，计算扰动后除了所选择的动作之外的其他动作的价值与扰动前的相对变化；
27.smgp采用kl散度来计算扰动前后其他动作价值分布的相似性，kl距离越大，表征扰动对所选择行为越不相关；
28.计算具体步骤如下：
29.。
30.优选的，将绝对性和相对性统筹考虑，采用调和平均数，使得结果受制于二者的较小值；
31.结合特异性度量s和相关性度量r，计算显著性，计算如公式所示：
32.。
33.优选的，通过为每个像素计算来构造一个用于解释当前智能体决策的显著性图，并将显著性评分添加到输入图像rgb通道中的b通道，进行可视化。
34.本发明公开了基于扰动的显著性图生成算法，其具备的有益效果如下：该基于扰动的显著性图生成算法，通过不断扰动原始输入的不同特征，观测深度强化学习网络的动作价值的变化，以此衡量所扰动特征的重要性，最终将重要性以显著性图的形式可视化。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1为本发明算法流程示意图；
37.图2为本发明扰动添加过程示意图；
38.图3为本发明智能体训练结果显著性图一；
39.图4为本发明智能体训练结果显著性图二。
具体实施方式
40.为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.本技术实施例通过提供基于扰动的显著性图生成算法，解决了现有的敏感性分析等方法考量的角度都不太全面，因此生成的显著性图存在不少噪声，通过不断扰动原始输入的不同特征，观测深度强化学习网络的动作价值的变化，以此衡量所扰动特征的重要性，最终将重要性以显著性图的形式可视化。
42.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
43.本发明实施例公开基于扰动的显著性图生成算法。
44.根据附图1-2所示，包括以下步骤：
45.步骤s1、通过hadamard乘积以及高斯模糊的方式构造关于某一像素的扰动图；
46.步骤s2、提出在“特异性-相关性”和“绝对性-相对性”两个维度上考虑扰动造成的影响；
47.步骤s3、在计算特异性时统筹考虑了其绝对性和相对性；
48.步骤s4、在计算相关性时统筹考虑了其绝对性和相对性；
49.步骤s5、将显著性评分添加到输入图像rgb通道中的b通道，绘制显著性图，进行可视化。
50.优选的，计算扰动后所选择动作的价值与扰动前的绝对变化，变化越大，表征扰动对该行为的特异性影响越大；
51.计算具体步骤如下：
52.。
53.优选的，计算扰动后所选择动作的价值与扰动前的相对变化，变化越大，表征扰动对该行为的特异性影响越大；
54.其计算过程如公式所示：
55.。
56.优选的，将绝对特异性和相对特异性统筹考虑，采用调和平均数，使得结果受制于二者的较小值。同时smgp设置无效扰动影响过滤，即只捕获扰动后变差的影响；
57.扰动的特异性影响计算如公式所示：
58.。
59.优选的，计算扰动后除了所选择的动作之外的其他动作的价值与扰动前的绝对变化，变化越大，表征扰动对所选择行为的相关性越小，同理，也进行扰动影响的过滤；
60.计算具体步骤如下：
61.。
62.优选的，计算扰动后除了所选择的动作之外的其他动作的价值与扰动前的相对变化；
63.smgp采用kl散度来计算扰动前后其他动作价值分布的相似性，kl距离越大，表征扰动对所选择行为越不相关；
64.计算具体步骤如下：
65.。
66.优选的，将绝对性和相对性统筹考虑，采用调和平均数，使得结果受制于二者的较小值；
67.结合特异性度量s和相关性度量r，计算显著性，计算如公式所示：
68.。
69.优选的，通过为每个像素计算来构造一个用于解释当前智能体决策的显著性图，并将显著性评分添加到输入图像rgb通道中的b通道，进行可视化。
70.通过不断扰动原始输入的不同特征，观测深度强化学习网络的动作价值的变化，以此衡量所扰动特征的重要性，最终将重要性以显著性图的形式可视化。
71.下面是对于本算法的介绍：
72.假设给定一个智能体，其动作空间为，状态空间为，价值函数定义为，表示处在状态下执行动作的价值，其中，。令智能体遵循贪婪策略，处在状态下，总会选择执行最优动作，使得，经过dqn算法的训练，智能体可以在atari游戏中有出色的表现。下面主要关注于dqn网络输出的动作价值的变化来计算显著性图，并借助智能体进行smgp的说明与实验。
73.添加扰动：对智能体决策做出解释就是找到智能体决策的依据，即找到当前状态下的哪些特征对智能体所采取的行动至关重要。本发明提出的方法从敏感性入手来挖掘不同特征对智能体决策的影响，从而揭示特征的重要性。假设时刻的状态为图像，令表示以像素坐标为中心的扰动。它使用hadamard乘积构造该模糊，以下公式给出了详细定义：
[0074][0075]
其中，是一个高斯模糊核，高斯中心在像素坐标处。中，使得坐标为附近的区域像素设置近似为0，其余区域基本不变。可以基本去除高斯核为中心的区域的信息，完整保留其他区域的信息。中，是全图的模糊图像，随后通过与相作用，提取出像素坐标附近的信息。二者加起来，就形成了扰动后的图像，即像素坐标附近的区域是模糊的，其他区域保持原样。其运算原理示意图见图2。
[0076]
接下来计算显著性：假设表示深度强化学习中状态的特征，表示特征的重要性得分，即表示特征的对所采取的行动的重要性。对于每个特征，首先对其进行扰动，原始状态受到扰动变为。例如，在atari 2600环境中，特征即像素，通过添加以像素坐标为中心的高斯模糊来干扰输入图像。然后，将扰动后得到输入到训练好的智能体中，得到扰动后的动作价值，最后，根据和的差异来计算，即，如果和的差异性越大，则越高。
[0077]
在本发明中，为了更合理的计算，我们在“特异性-相关性”和“绝对性-相对性”两个维度上考虑扰动造成的影响。下面对其做出定义：
[0078]
定义1特异性（specificity）：如果扰动状态和原始状态相比，所选择的动作的价值发生了变化，则称扰动对该动作的影响是特异性的。
[0079]
定义2相关性（relevance）：如果扰动状态和原始状态相比，除了所选择的动作之外的其他动作的价值发生了变化，则称扰动对其他动作的影响是相关性的。
[0080]
定义3绝对性（absoluteness）：在计算特异性影响和相关性影响的时候，关注动作价值的绝对变化。
[0081]
定义4相对性（relativity）：在计算特异性影响和相关性影响的时候，关注动作价值的相对变化。
[0082]
添加扰动前后在两个维度上的影响均采用归一化表示，计算过程如下：
[0083]
首先计算绝对特异性。其目的是计算扰动后所选择动作的价值与扰动前的绝对变化，变化越大，表征扰动对该行为的特异性影响越大，其计算方式如下：
[0084][0085]
接下来计算相对特异性。其目的是计算扰动后所选择动作的价值与扰动前的相对变化，变化越大，表征扰动对该行为的特异性影响越大。如公式所示，采用softmax函数来捕获相对特异性，其变化值的计算过程如公式所示。
[0086][0087][0088]
统筹考虑绝对特异性和相对特异性后计算出特异性。将绝对特异性和相对特异性统筹考虑，采用调和平均数，使得结果受制于二者的较小值。有效地避免了前人仅仅考虑相对性的不足。同时smgp设置无效扰动影响过滤，即只捕获扰动后变差的影响。当扰动后的状态输入到网络中后，如果得到了比之前更好的效果，这并不能说明该扰动涉及到的特征对动作价值函数的“必要性”；而如果得到了变差的扰动效果，才可以作为所选择动作的解释。综上，扰动的特异性影响计算如下所示：
[0089][0090]
我们除了关注的变化外，还希望确保扰动对其他动作的影响尽量小。因此，还需计算其他动作的价值。因此首先计算绝对相关性，即计算扰动后除了所选择的动作之外的其他动作的价值与扰动前的绝对变化。变化越大，表征扰动对所选择行为的相关性越小，同理，也进行扰动影响的过滤。其计算方法如下：
[0091][0092][0093]
然后计算相对相关性，即计算扰动后除了所选择的动作之外的其他动作的价值与扰动前的相对变化。smgp采用kl散度来计算扰动前后其他动作价值分布的相似性，kl距离越大，表征扰动对所选择行为越不相关。其计算方法如下：
[0094][0095]
[0096][0097]
在前面计算的基础上，我们可以统筹考虑绝对相关性以及相对相关性并计算出相关性度量，采用调和平均数，使得结果受制于二者的较小值。其计算方法如下：
[0098][0099]
最后结合特异性度量s和相关性度量r，计算显著性，计算方式如下示：
[0100][0101]
得出显著性后，我们可以重复该过程，直到为每一个像素均计算出其显著性来构造一个用于解释当前智能体决策的显著性图，将每个像素的显著性评分输入至图像rgb通道中的b通道即成其显著性图。为了降低计算成本，我们并不对每一个像素都进行扰动，而是每间隔五个像素进行一次扰动计算。
[0102]
实施案例：街机学习环境（arcade learning environment，ale）是一个建立在 atari 2600 仿真器之上的简单框架，它允许用户通过接收joystick动作、发送screen/ram信息、并模拟平台的方式来与atari 2600交互。ale提供了一个游戏处理层，它通过标记累积得分、以及游戏是否已经结束，可以将每个游戏转化成一个标准的强化学习问题。
[0103]
openai gym是一个强化学习领域常用的工具包，为研究者提供了一套多样化的环境，从简单到困难，涉及许多不同类型的数据，其中含有包括经典的控制环境，2d和3d的机器人以及ale环境。但是其中的atari游戏环境在ale的基础上做了一定的改动，主要体现在对游戏环境在版本上做了区分。在 openai gym 中，每个游戏都有一些变体，通过它们的后缀来区分。通过这些变体，用户可以配置跳帧和粘滞动作。跳帧是一种使用第k帧的技术。换句话说，智能体只在每k帧做一次动作，其他帧执行与上一次相同的操作。粘滞动作是一种在没有智能体控制的情况下设置重复动作的技术，设置重复动作的概率遵循概率参数p。这为确定性的 atari 2600 环境增加了随机性。
[0104]
为了保证所见动作即智能体所得动作，接下来的atari 2600实验环境全部采用无跳帧版本，以便于从连续帧中采样，结合显著性图进行智能体决策的解释。
[0105]
breakout是一款弹射游戏，玩家左右控制木板（智能体）反弹小球。击中砖块后砖块消失，小球反弹且能够加分；如果木板没接住小球则玩家失去一条生命；失去5条生命则游戏结束。
[0106]
我们假设存在事实1：扰动前后，动作的动作价值是不变的或变化很小，其他动作的价值变化是巨大的，即扰动对该行为没有影响或者影响很小。
[0107]
假设存在事实2：扰动之前，当前状态的最优动作为，即，扰动之后其他动作的价值动之后其他动作的价值变化巨大且变化量相当，即扰动对其他行为存在不
可忽视的影响。
[0108]
因此我们设计实验：对atari 2600实验环境中的游戏场景进行扰动，使用smgp方法生成显著性图，验证smgp方法的可用性。接下来我们使用dqn算法训练好的智能体和atari游戏breakout来运行本算法。
[0109]
运行时采用的软件环境如下表所示：
[0110][0111]
硬件环境如下表所示：
[0112][0113]
为了凸显本算法的运行效果，我们在智能体模型的训练过程中保存两个模型，第一个模型使用2000万帧训练，称为normal版本；第二个模型使用4000万帧进行训练，称为better版本。在这个训练程度不断加深的过程中，智能体的策略也会跟着一同进化，这将在显著图中有明显的体现。
[0114]
如图3-4所示，breakout 中的智能体的注意力在早期阶段是集中在木板上的，试图接到小球，这在图片中表现为在附图3中，灰色部分集中在木板附近，而很少在其他地方出现。随着训练的进行，智能体逐渐学习到了隧道的价值，企图将小球击穿隧道，因为这样可以引发连续的碰撞得分，这在图片中表现为在附图4中，灰色部分不仅集中在木板附近，也同样集中在了隧道的较薄弱处，这十分清晰明了的展示了智能体的策略变化过程。
[0115]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其
等效物界定。

技术特征：
1.基于扰动的显著性图生成算法，其特征在于，包括以下步骤：步骤s1、通过hadamard乘积以及高斯模糊的方式构造关于某一像素的扰动图；步骤s2、提出在“特异性-相关性”和“绝对性-相对性”两个维度上考虑扰动造成的影响；步骤s3、在计算特异性时统筹考虑了其绝对性和相对性；步骤s4、在计算相关性时统筹考虑了其绝对性和相对性；步骤s5、将显著性评分添加到输入图像rgb通道中的b通道，绘制显著性图，进行可视化。2.根据权利要求1所述的基于扰动的显著性图生成算法，其特征在于：计算扰动后所选择动作的价值与扰动前的绝对变化，变化越大，表征扰动对该行为的特异性影响越大；计算具体步骤如下：。3.根据权利要求1所述的基于扰动的显著性图生成算法，其特征在于：计算扰动后所选择动作的价值与扰动前的相对变化，变化越大，表征扰动对该行为的特异性影响越大；其计算过程如公式所示：。4.根据权利要求1所述的基于扰动的显著性图生成算法，其特征在于：将绝对特异性和相对特异性统筹考虑，采用调和平均数，使得结果受制于二者的较小值；同时smgp设置无效扰动影响过滤，即只捕获扰动后变差的影响；扰动的特异性影响计算如公式所示：。5.根据权利要求1所述的基于扰动的显著性图生成算法，其特征在于：计算扰动后除了所选择的动作之外的其他动作的价值与扰动前的绝对变化，变化越大，表征扰动对所选择行为的相关性越小，同理，也进行扰动影响的过滤；计算具体步骤如下：。6.根据权利要求1所述的基于扰动的显著性图生成算法，其特征在于：计算扰动后除了所选择的动作之外的其他动作的价值与扰动前的相对变化；smgp采用kl散度来计算扰动前后其他动作价值分布的相似性，kl距离越大，表征扰动对所选择行为越不相关；
计算具体步骤如下：。7.根据权利要求1所述的基于扰动的显著性图生成算法，其特征在于：将绝对性和相对性统筹考虑，采用调和平均数，使得结果受制于二者的较小值；结合特异性度量s和相关性度量r，计算显著性，计算如公式所示：。8.根据权利要求1所述的基于扰动的显著性图生成算法，其特征在于：通过为每个像素计算来构造一个用于解释当前智能体决策的显著性图，并将显著性评分添加到输入图像rgb通道中的b通道，进行可视化。

技术总结
本发明公开基于扰动的显著性图生成算法，涉及图形处理领域。该基于扰动的显著性图生成算法，通过Hadamard乘积以及高斯模糊的方式构造关于某一像素的扰动图；提出在“特异性-相关性”和“绝对性-相对性”两个维度上考虑扰动造成的影响；在计算特异性时统筹考虑了其绝对性和相对性；在计算相关性时统筹考虑了其绝对性和相对性；将显著性评分添加到输入图像RGB通道中的B通道，绘制显著性图，进行可视化。该基于扰动的显著性图生成算法，通过不断扰动原始输入的不同特征，观测深度强化学习网络的动作价值的变化，以此衡量所扰动特征的重要性，最终将重要性以显著性图的形式可视化。终将重要性以显著性图的形式可视化。终将重要性以显著性图的形式可视化。


技术研发人员：孙宇祥 高波 周献中 朱兆全
受保护的技术使用者：南京棋谋智胜信息科技有限公司
技术研发日：2023.09.01
技术公布日：2023/10/7