基于历史信息继承的动态网络分类方法

1.本发明涉及深度学习的技术领域，尤其是指一种基于历史信息继承的动态网络分类方法。


背景技术：

2.图神经网络在图结构数据中拥有强大的建模能力，但是传统的图神经网络针对动态形式的图数据却很难捕捉到不同时间点下图结构数据之间的关联性，现有的针对动态网络数据的图神经网络模型往往采用相同的图神经网络模型和参数来捕捉不同时间点下图结构数据的信息，这使得不同时间点之间图结构数据的关联信息被忽略了，从而极大地影响了对动态网络数据的特征提取和分类任务的表现。
3.然而，动态网络数据往往包含了时间关联信息，不同时间点之间的图结构数据是存在相似性和联结关系的，这些信息对于决定动态网络的分类而言是至关重要的，如果可以把来自此前时间点的图结构数据信息有效利用，就能够帮助图神经网络等深度学习方法在对后续时间点的图结构数据进行信息提取的时候起到更好的作用，也能够使得图神经网络的提取信息能力更具针对性。


技术实现要素：

4.本发明的目的在于克服现有技术的缺点与不足，提出了一种基于历史信息继承的动态网络分类方法，利用动态网络数据的历史信息，通过传递包含历史信息的图分类向量以帮助模型提取当前时间点图结构数据信息，使得模型提取图结构数据特征更具有针对性，从而更好地帮助进行动态网络分类任务。
5.为实现上述目的，本发明所提供的技术方案为：基于历史信息继承的动态网络分类方法，包括以下步骤：
6.1)获取动态网络数据，并按照时间先后顺序构建未处理的序列图u，构建维度大小与动态网络中节点特征相同的图分类向量g和序列分类向量s并初始化，并将序列分类向量s加入到已处理图序列f的第一个位置；
7.2)选取未处理的序列图u的第一个图作为当前处理图p，将图分类向量g作为节点加入到当前处理图p中，并设定图分类向量g与该图中所有节点相连；
8.3)在将图分类向量g作为节点加入到当前处理图p后，将当前处理图p输入到位置信息提取网络中，更新每个节点的特征以获得位置信息，输出包含了位置信息的节点特征p1；
9.4)将位置信息提取网络的输出p1输入到全局信息提取网络进行节点信息的融合，得到包含历史信息的图分类向量g'作为全局信息提取网络的输出，并将包含历史信息的图分类向量g'赋值给图分类向量g，并将包含历史信息的图分类向量g'拼接到已处理图序列f的最后一个位置；
10.5)重复步骤2)-4)直到未处理的序列图u没有图为止，并将已处理图序列f输入到
序列信息提取网络中，得到包含序列信息的序列分类向量s'作为序列信息提取网络的输出；
11.6)得到包含序列信息的序列分类向量s'后，输入到多层感知机中进行动态网络的分类。
12.进一步，在步骤1)中，所述动态网络数据是指具有动态性质的图结构数据，即由若干个不固定数量的节点组成的图结构数据在一定时间内的变化数据，具有节点特征维度统一大小，不存在连边权重，节点之间的连边关系和每个节点的节点特征在每个时间点内都可能不一样的特点；
13.所述初始化的方法有：正态分布初始化、均匀分布初始化、稀疏初始化、全0初始化、全1初始化、xavier初始化和kaiming初始化。
14.进一步，在步骤3)中，所述位置信息提取网络使用的是图卷积网络，且图卷积网络的输出维度和输入维度相同，输入对象是当前处理图p的所有节点的节点特征矩阵x，输入位置信息提取网络后输出包含了位置信息的节点特征p1，其中，图卷积网络由下式决定：
15.p1＝activation(lxw)
16.式中，activation(
·
)是激活函数，l是由当前处理图p的所有节点相连关系计算得到的拉普拉斯算子，w是可学习的权重向量。
17.进一步，在步骤4)中，所述全局信息提取网络包含了自注意力模块和前馈神经网络模块，其输入对象是包含了位置信息的节点特征p1，与通过自注意力模块后的输出做加和及正则化处理得到全局信息提取网络的第一输出p1'，全局信息提取网络的第一输出p1'作为前馈神经网络模块的输入，与通过前馈神经网络模块的输出做加和及正则化处理得到全局信息提取网络的第二输出p2，并对全局信息提取网络的第二输出p2根据图分类向量g在当前处理图p中的位置获取包含历史信息的图分类向量g'。
18.进一步，所述加和为向量相加，且向量相加前后长度不发生变化，所述正则化处理为layer-normalization。
19.进一步，所述自注意力模块由三个神经网络构成，这三个神经网络均接收同一输入，并映射为不同的表征向量，在经过矩阵相乘运算后得到融合自注意力的输出；对于输入特征矩阵x，通过自注意力模块获得自注意力输出y由下式决定：
[0020][0021]
式中，q,k,v是可学习的权重向量，d
x
是输入特征矩阵x的特征维度，softmax(
·
)是softmax加权求和函数。
[0022]
进一步，所述前馈神经网络模块由两个神经网络构成，第一个神经网络将输入原始特征矩阵x'映射到输出维度上，第二个神经网络接收第一个神经网络的输出并映射回输入原始特征矩阵x'的特征维度，对于输入原始特征矩阵x'，通过前馈神经网络模块获得非线性映射输出y'的过程由下式决定：
[0023]
y'＝max(0,x'w1+b1)w2+b
[0024]
式中，w1和w2是可学习的权重向量，b1和b是可学习的偏置量，max(
·
)是取最大元素操作。
[0025]
进一步，在步骤5)中，所述序列信息提取网络包含了序列位置编码层、自注意力模
块和前馈神经网络模块，其输入对象是已处理图序列f，与序列位置编码层根据已处理图序列f的序列长度生成的位置向量进行加和，随后与通过自注意力模块后的输出做加和及正则化处理得到序列信息提取网络的第一输出f1，并作为前馈神经网络模块的输入，与通过前馈神经网络模块的输出做加和及正则化处理得到序列信息提取网络的第二输出f2，最后从序列信息提取网络的第二输出f2取出第一个位置获取包含序列信息的序列分类向量s'。
[0026]
进一步，所述序列位置编码层使用的是正余弦编码，根据序列内第
pos
个节点位置的第i个节点特征值生成位置向量中第
pos
个节点位置的第i个节点特征值的位置编码pe的正余弦编码由下式决定：
[0027][0028]
式中，sin(
·
)是正弦函数，cos(
·
)是余弦函数，d
model
是节点特征维度大小。
[0029]
进一步，在步骤6)中，所述多层感知机由若干层全连接层组成，并对除最后一层全连接层外的每一层全连接层的输出进行dropout操作和batch-normalization操作，对最后一层全连接层进行softmax操作获得分类概率。
[0030]
本发明与现有技术相比，具有如下优点与有益效果：
[0031]
本发明使用历史信息继承机制在对动态网络的图结构信息提取中利用了来自此前时间点的图结构信息来抽取当前时间点的图结构信息，很好地缓解了动态网络跨度较长时模型无法捕捉长距离依赖信息的问题，并且能够通过此前时间点的图结构信息使得提取后续时间点的图结构信息时更具针对性，提高了模型对于各种各样动态网络数据的分类鲁棒性和泛化性的同时，实现了更好的分类效果，具有实际推广价值，值得推广。
附图说明
[0032]
图1为本发明方法的流程示意图。
[0033]
图2为本发明方法的架构图。
具体实施方式
[0034]
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0035]
在本实施例中，动态网络为一系列根据时间前后顺序形成的节点数量不固定，节点连边关系不固定但无连边权重，节点特征维度固定统一的图，节点之间的连边关系和每个节点的节点特征在每个时间点内都可能不一样，且动态网络的时间点数量远大于节点数量。
[0036]
如图1和图2所示，本实施例公开了一种基于历史信息继承的动态网络分类方法，包括以下步骤：
[0037]
1)获取动态网络数据，并按照时间先后顺序构建未处理的序列图u，构建维度大小与动态网络中节点特征相同的图分类向量g和序列分类向量s并初始化，并将序列分类向量s加入到已处理图序列f的第一个位置；
[0038]
其中，未处理的序列图u是通过动态网络的时间顺序，从先到后地排列动态网络中的图结构数据，从而形成未处理的序列图u；
[0039]
其中，所述初始化的方法有：正态分布初始化、均匀分布初始化、稀疏初始化、全0初始化、全1初始化、xavier初始化和kaiming初始化，而在本实施例选择的是正态分布初始化。
[0040]
2)选取未处理的序列图u的第一个图作为当前处理图p，将图分类向量g作为节点加入到当前处理图p中，并设定图分类向量g与该图中所有节点相连。
[0041]
3)在将图分类向量g作为节点加入到当前处理图p后，将当前处理图p输入到位置信息提取网络中，更新每个节点的特征以获得位置信息，输出包含了位置信息的节点特征p1；
[0042]
其中，位置信息提取网络使用的是图卷积网络，且图卷积网络的输出维度和输入维度相同，输入对象是当前处理图p的所有节点的节点特征矩阵x，输入位置信息提取网络后输出包含了位置信息的节点特征p1，其中，图卷积网络由下式决定：
[0043]
p1＝activation(lxw)
[0044]
其中，activation(
·
)是激活函数，l是由当前处理图p的所有节点相连关系计算得到的拉普拉斯算子，w是可学习的权重向量。
[0045]
4)将位置信息提取网络的输出p1输入到全局信息提取网络进行节点信息的融合，得到包含历史信息的图分类向量g'作为全局信息提取网络的输出，并将包含历史信息的图分类向量g'赋值给图分类向量g，并将包含历史信息的图分类向量g'拼接到已处理图序列f的最后一个位置；
[0046]
其中，全局信息提取网络包含了自注意力模块和前馈神经网络模块，其输入对象是包含了位置信息的节点特征p1，与通过自注意力模块后的输出做加和及正则化处理得到全局信息提取网络的第一输出p1'，全局信息提取网络的第一输出p1'作为前馈神经网络模块的输入，与通过前馈神经网络模块的输出做加和及正则化处理得到全局信息提取网络的第二输出p2，并对全局信息提取网络的第二输出p2根据图分类向量g在当前处理图p中的位置获取包含历史信息的图分类向量g'；
[0047]
进一步地，所述加和为向量相加，且向量相加前后长度不发生变化，所述正则化处理为layer-normalization。
[0048]
进一步地，所述自注意力模块由三个神经网络构成，这三个神经网络均接收同一输入，并映射为不同的表征向量，在经过矩阵相乘运算后得到融合自注意力的输出。对于输入特征矩阵x，通过自注意力模块获得自注意力输出y由下式决定：
[0049][0050]
其中，q,k,v是可学习的权重向量，d
x
是输入特征矩阵x的特征维度，softmax(
·
)是softmax加权求和函数。
[0051]
进一步地，所述前馈神经网络模块由两个神经网络构成，第一个神经网络将输入原始特征矩阵x'映射到输入维度的4倍大小的输出维度上，第二个神经网络接收第一个神经网络的输出并映射回输入原始特征矩阵x'的特征维度，对于输入原始特征矩阵x'，通过前馈神经网络模块获得非线性映射输出y'的过程由下式决定：
[0052]
y'＝max(0,x'w1+b1)w2+b
[0053]
其中，w1和w2是可学习的权重向量，b1和b是可学习的偏置量，max(
·
)是取最大元素操作。
[0054]
5)重复步骤2)-4)直到未处理的序列图u没有图为止，并将已处理图序列f输入到序列信息提取网络中，得到包含序列信息的序列分类向量s'作为序列信息提取网络的输出；
[0055]
其中，序列信息提取网络包含了序列位置编码层，自注意力模块和前馈神经网络模块，其输入对象是已处理图序列f，与序列位置编码层根据已处理图序列f的序列长度生成的位置向量进行加和，随后与通过自注意力模块后的输出做加和及正则化处理得到序列信息提取网络的第一输出f1，并作为前馈神经网络模块的输入，与通过前馈神经网络模块的输出做加和及正则化处理得到序列信息提取网络的第二输出f2，最后从序列信息提取网络的第二输出f2取出第一个位置获取包含序列信息的序列分类向量s'。
[0056]
进一步地，所述序列位置编码层使用的是正余弦编码，根据序列内第
pos
个节点位置的第i个节点特征值生成位置向量中第
pos
个节点位置的第i个节点特征值的位置编码pe的正余弦编码由下式决定：
[0057][0058]
其中，sin(
·
)是正弦函数，cos(
·
)是余弦函数，dmodel是节点特征维度大小。
[0059]
6)得到包含序列信息的序列分类向量s'后，输入到多层感知机中进行动态网络的分类；
[0060]
其中，多层感知机由3层全连接层组成，并对除最后一层全连接层外的每一层全连接层的输出进行dropout操作和batch-normalization操作，dropout概率设置为0.5，设置输出维度为向上取整的输入维度大小三分之一，对最后一层全连接层进行softmax操作获得分类概率。
[0061]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：
1.基于历史信息继承的动态网络分类方法，其特征在于，包括以下步骤：1)获取动态网络数据，并按照时间先后顺序构建未处理的序列图u，构建维度大小与动态网络中节点特征相同的图分类向量g和序列分类向量s并初始化，并将序列分类向量s加入到已处理图序列f的第一个位置；2)选取未处理的序列图u的第一个图作为当前处理图p，将图分类向量g作为节点加入到当前处理图p中，并设定图分类向量g与该图中所有节点相连；3)在将图分类向量g作为节点加入到当前处理图p后，将当前处理图p输入到位置信息提取网络中，更新每个节点的特征以获得位置信息，输出包含了位置信息的节点特征p1；4)将位置信息提取网络的输出p1输入到全局信息提取网络进行节点信息的融合，得到包含历史信息的图分类向量g'作为全局信息提取网络的输出，并将包含历史信息的图分类向量g'赋值给图分类向量g，并将包含历史信息的图分类向量g'拼接到已处理图序列f的最后一个位置；5)重复步骤2)-4)直到未处理的序列图u没有图为止，并将已处理图序列f输入到序列信息提取网络中，得到包含序列信息的序列分类向量s'作为序列信息提取网络的输出；6)得到包含序列信息的序列分类向量s'后，输入到多层感知机中进行动态网络的分类。2.根据权利要求1所述的基于历史信息继承的动态网络分类方法，其特征在于：在步骤1)中，所述动态网络数据是指具有动态性质的图结构数据，即由若干个不固定数量的节点组成的图结构数据在一定时间内的变化数据，具有节点特征维度统一大小，不存在连边权重，节点之间的连边关系和每个节点的节点特征在每个时间点内都可能不一样的特点；所述初始化的方法有：正态分布初始化、均匀分布初始化、稀疏初始化、全0初始化、全1初始化、xavier初始化和kaiming初始化。3.根据权利要求1所述的基于历史信息继承的动态网络分类方法，其特征在于：在步骤3)中，所述位置信息提取网络使用的是图卷积网络，且图卷积网络的输出维度和输入维度相同，输入对象是当前处理图p的所有节点的节点特征矩阵x，输入位置信息提取网络后输出包含了位置信息的节点特征p1，其中，图卷积网络由下式决定：p1＝activation(lxw)式中，activation(
·
)是激活函数，l是由当前处理图p的所有节点相连关系计算得到的拉普拉斯算子，w是可学习的权重向量。4.根据权利要求1所述的基于历史信息继承的动态网络分类方法，其特征在于：在步骤4)中，所述全局信息提取网络包含了自注意力模块和前馈神经网络模块，其输入对象是包含了位置信息的节点特征p1，与通过自注意力模块后的输出做加和及正则化处理得到全局信息提取网络的第一输出p1'，全局信息提取网络的第一输出p1'作为前馈神经网络模块的输入，与通过前馈神经网络模块的输出做加和及正则化处理得到全局信息提取网络的第二输出p2，并对全局信息提取网络的第二输出p2根据图分类向量g在当前处理图p中的位置获取包含历史信息的图分类向量g'。5.根据权利要求4所述的基于历史信息继承的动态网络分类方法，其特征在于：所述加和为向量相加，且向量相加前后长度不发生变化，所述正则化处理为layer-normalization。
6.根据权利要求4所述的基于历史信息继承的动态网络分类方法，其特征在于：所述自注意力模块由三个神经网络构成，这三个神经网络均接收同一输入，并映射为不同的表征向量，在经过矩阵相乘运算后得到融合自注意力的输出；对于输入特征矩阵x，通过自注意力模块获得自注意力输出y由下式决定：式中，q,k,v是可学习的权重向量，d
x
是输入特征矩阵x的特征维度，softmax(
·
)是softmax加权求和函数。7.根据权利要求4所述的基于历史信息继承的动态网络分类方法，其特征在于：所述前馈神经网络模块由两个神经网络构成，第一个神经网络将输入原始特征矩阵x'映射到输出维度上，第二个神经网络接收第一个神经网络的输出并映射回输入原始特征矩阵x'的特征维度，对于输入原始特征矩阵x'，通过前馈神经网络模块获得非线性映射输出y'的过程由下式决定：y'＝max(0,x'w1+b1)w2+b式中，w1和w2是可学习的权重向量，b1和b是可学习的偏置量，max(
·
)是取最大元素操作。8.根据权利要求1所述的基于历史信息继承的动态网络分类方法，其特征在于：在步骤5)中，所述序列信息提取网络包含了序列位置编码层、自注意力模块和前馈神经网络模块，其输入对象是已处理图序列f，与序列位置编码层根据已处理图序列f的序列长度生成的位置向量进行加和，随后与通过自注意力模块后的输出做加和及正则化处理得到序列信息提取网络的第一输出f1，并作为前馈神经网络模块的输入，与通过前馈神经网络模块的输出做加和及正则化处理得到序列信息提取网络的第二输出f2，最后从序列信息提取网络的第二输出f2取出第一个位置获取包含序列信息的序列分类向量s'。9.根据权利要求8所述的基于历史信息继承的动态网络分类方法，其特征在于：所述序列位置编码层使用的是正余弦编码，根据序列内第pos个节点位置的第i个节点特征值生成位置向量中第pos个节点位置的第i个节点特征值的位置编码pe的正余弦编码由下式决定：式中，sin(
·
)是正弦函数，cos(
·
)是余弦函数，d
model
是节点特征维度大小。10.根据权利要求1所述的基于历史信息继承的动态网络分类方法，其特征在于：在步骤6)中，所述多层感知机由若干层全连接层组成，并对除最后一层全连接层外的每一层全连接层的输出进行dropout操作和batch-normalization操作，对最后一层全连接层进行softmax操作获得分类概率。

技术总结
本发明公开了一种基于历史信息继承的动态网络分类方法，使用历史信息继承机制在对动态网络的图结构信息提取中利用了来自此前时间点的图结构信息来抽取当前时间点的图结构信息，很好地缓解了动态网络跨度较长时模型无法捕捉长距离依赖信息的问题，并且能够通过此前时间点的图结构信息使得提取后续时间点的图结构信息时更具针对性，提高了模型对于各种各样动态网络数据的分类鲁棒性和泛化性的同时，实现了更好的分类效果，具有实际推广价值，值得推广。值得推广。值得推广。


技术研发人员：胡金龙 黄旸珉 董守斌
受保护的技术使用者：华南理工大学
技术研发日：2023.03.16
技术公布日：2023/7/20