图表示学习系统的训练方法、图数据节点分类方法及装置与流程

未命名 07-20 阅读:120 评论:0


1.本发明涉及图数据处理技术领域,具体来说,涉及图表示学习技术领域,更具体地说,涉及一种图表示学习系统的训练方法、图数据节点分类方法及装置。


背景技术:

2.宇宙中的万物,大到恒星,小到原子分子,都时时刻刻与其他个体存在相互关系,这种个体与个体之间的相互关系可以用图进行表示。现实生活中存在大量的图结构数据,如新浪微博、facebook、twitter等社交网络数据,以及生化分子结构数据、脑网络数据、引文网络数据、知识图谱等等。图是一种比树结构更复杂的非线性结构,图中包含了一系列的顶点与边,其中,顶点可以表示为个体,边可以表示为个体与个体之间的关系,同时顶点或边都可以附带一些描述自身的信息(特征),通过学习顶点和边的特征,可以很好地为处理图数据进行服务。神经网络在数据特征提取上有很优异的表现,但是单纯地将图转化为欧几里得结构数据、交由传统神经网络方法处理会造成拓扑结构信息的损失。因此,更加有效的图结构数据处理方法——图神经网络(graph neural network,gnn)应运而生,并且发展出了多种分支,例如图卷积网络(graph convolutional network,gcn)、图自编码器(graph auto-encoder,gae)、图生成网络(graph generative network,ggn)、图注意力网络(graph attention network,gat)等。
3.作为gnn的重要分支,gcn凭借其优异的性能、简单的网络结构,受到了学术界和工业界的广泛关注。例如,经典的图节点分类系统就主要使用gcn进行构建。但是,gcn仍然存在着一些缺陷,限制了其在图数据处理领域中的广泛应用。gcn主要的缺陷表现在:gcn是通过图空间域上的卷积实现信息传播,且信息传播范围随着卷积层的叠加逐渐扩大,由于gcn网络结构简单,当网络深度较浅时,模型对输入数据的特征提取和表达不足,即存在特征挖掘不足导致信息欠传播的问题。
4.为了扩大gcn模型的信息传播范围、避免可能出现的信息欠传播问题,传统解决方案是从模型深度入手解决信息欠传播的问题,构造深度gcn模型。但是,这种从深度入手的解决方案会面临新的困难:gcn模型在深度增加时会出现梯度消失、图上节点特征分布过度平滑(即信息过传播)、网络性能快速下降甚至崩溃等现象。此外,虽然有研究者在成功避免性能崩溃的同时构造了深度gcn模型,但是模型深度达到了上百层,结构过于复杂,在实际应用中计算量过大,对硬件要求高。
5.gcn模型的信息传递机制是通过邻域节点信息聚合和更新实现,也就是通过聚合邻居节点信息获得目标节点的特征表达。gcn模型作为图表示学习模型来获取节点的特征表示,其通过将信息传播限制在连通的邻居间,显式地提取了图上节点的特征信息,同时隐式地编码了图的拓扑连接信息。这样的信息传播方式使得gcn仅仅基于拓扑连通性对中心节点及其邻居进行拉普拉斯平滑。由于非欧式结构数据的特殊性,图上拓扑连通的两个节点尽管在连通路径上临近,其特征并不一定相似。在这种情况下,gcn的信息传递方式存在以下问题:1)可能存在信息损失和噪声,消息流的信噪比低;2)过于关注邻域内节点,特征
提取不足;3)缺乏对拓扑结构信息的显式利用。因此,仅仅从模型深度入手无法解决gcn模型存在的各种问题。我们需要一种更具表达力、特征提取区域更大、可提取特征更多元的图表示学习模型来获得更好的图节点特征表示,以实现更加有效的图节点分类、图分类、连边预测等应用。


技术实现要素:

6.本发明的目的在于克服上述现有技术的缺陷,提供一种新的图表示学习系统的训练方法、图数据节点分类方法及装置。
7.根据本发明的第一方面,提供一种图表示学习系统的训练方法,所述图学习系统包括图卷积网络,其用于根据图数据中的邻接矩阵对目标节点的邻居节点的特征进行聚合以获得目标节点的特征表示,所述方法包括:s1、获取原始图数据信息,所述原始图数据信息包含节点实际特征矩阵、原始邻接矩阵;s2、基于原始邻接矩阵,在度相同的节点之间建立连边以实现对原始图数据信息的增广处理获得附加特征图及其对应的附加特征图邻接矩阵;s3、基于原始图数据信息以及附加特征图邻接矩阵训练图卷积网络至收敛。
8.优选的,所述步骤s2包括:s21、基于原始邻接矩阵,在度相同的节点之间建立连边以实现对原始图数据信息的增广处理;s22、基于增广处理后的图数据信息获取其对应的度等邻接矩阵;s23、对度等邻接矩阵进行稀疏化处理后获得附加特征图邻接矩阵。
9.优选的,所述度等邻接矩阵为:
[0010][0011]
其中,d
oh
是原始图数据信息中节点度值的独热编码表示矩阵且n表示原始图数据信息中的节点数量,m为原始图数据信息中节点度的最大值,是d
oh
的转置矩阵。
[0012]
优选的,所述步骤s23包括:s231、基于度等邻接矩阵获取附加特征图中连通节点集对应的候选顶点的度集合;s232、从0-1均匀分布中进行多次采样以获得候选顶点度集合中每个度对应的候选概率,并选出对应候选概率大于候选顶点度概率阈值的度作为稀疏化后的顶点度集合,其中,所述候选顶点度概率阈值为可调节的超参数;s233、以稀疏化后的顶点度集合中的度对应的顶点在增广处理后的图数据中的边为候选边集合,从0-1均匀分布中进行多次采样以获得候选边集合中每条边对应的候选概率,并选出对应候选概率大于候选边概率阈值的边作为最终的边集合,其中,所述候选边概率阈值为可调节的超参数;s234、基于步骤s233中最终的候选边集合,删除增广图数据中不属于候选边集合的连边以实现图数据更新,并以更新后的图数据对应的邻接矩阵作为附加特征图邻接矩阵。
[0013]
优选的,以节点实际特征矩阵和附加特征图邻接矩阵为输入、基于前向传播过程获得的节点更新特征矩阵为输出训练图神经网络至收敛,其中,前向传播过程为:
[0014][0015]
其中,z表示节点更新特征矩阵,x表示输入图神经网络的节点特征矩阵,表示基于附加特征图邻接矩阵a
str
的拉普拉斯矩阵,w表示图卷积网络的参数,σ(*)表示激活函数,且
[0016][0017][0018]
其中,in表示单位矩阵且表示单位矩阵且表示附加特征图邻接矩阵a
str
对应的度矩阵且
[0019]
优选的,在所述步骤s3中,以节点实际特征矩阵和附加特征图邻接矩阵为输入,基于预设特征集成策略进行前向传播过程,获得的节点更新特征矩阵为输出,训练图神经网络至收敛。所述预设特征集成策略为:
[0020]
挖掘预集成策略,其对应的前向传播过程为:
[0021][0022]
或,挖掘后集成策略,其对应的前向传播过程为:
[0023][0024]
或,双集成策略,其对应的前向传播过程为:
[0025][0026]
其中,z表示节点更新特征矩阵,x表示输入图神经网络的节点特征矩阵,表示基于原始邻接矩阵和附加特征图邻接矩阵a
str
的与运算矩阵af的拉普拉斯矩阵,表示基于附加特征图邻接矩阵a
str
的拉普拉斯矩阵,表示基于原始邻接矩阵a的拉普拉斯矩阵,w表示图卷积网络的参数,σ(*)表示激活函数。
[0027]
优选的,
[0028]af
=a
str
∪a
[0029][0030][0031]
其中,in表示单位矩阵且表示单位矩阵且表示与矩阵af对应的度矩阵且
[0032][0033][0034]
其中,表示附加特征图邻接矩阵a
str
对应的度矩阵且对应的度矩阵且
[0035][0036]
[0037]
其中,表示原始邻接矩阵对应的度矩阵且
[0038]
优选的,所述图卷积网络包括一个或两个图卷积层。
[0039]
根据本发明的第二方面,提供一种图数据节点分类方法,所述方法包括:t1、获取待进行节点分类的图数据;t2、采用如本发明第一方面所述方法训练的图表示学习系统获取图数据中节点的特征表示;t3、基于步骤t2中获取的节点特征表达对节点进行分类。
[0040]
根据本发明的第三方面,提供一种基于本发明第一方面所述方法的图表示学习系统,用于对图数据进行处理以获得图数据中每个节点的特征表示,所述系统包括:附加特征图生成模块,用于在待处理的图数据中度相同的节点之间建立连边以实现对图数据的增广处理,获得附加特征图及其对应的附加特征图邻接矩阵;图卷积模块,用于基于附加特征图邻接矩阵生成图数据中节点的特征表示。
[0041]
根据本发明的第四方面,提供一种图数据节点分类装置,其特征在于,所述装置包括:如本发明第三方面所述的图表示学习系统,用于获取图数据节点的特征表示;分类器,用于基于节点的特征表示对节点进行分类。
[0042]
与现有技术相比,本发明的优点在于:本发明的图表示学习模型不需要构建深层结构,规避了构造深层网络可能出现的过平滑、过拟合、过挤压或模型过复杂等问题,且随机化的连边方法则有效地提升了模型的鲁棒性;基于连边增广处理获得的附加特征图,提出了不同的特征集成策略,对既往无增广数据的方案,基于以上策略构建的图表示学习模型或系统能提取获得了更好的图节点特征表示性能。
附图说明
[0043]
以下参照附图对本发明实施例作进一步说明,其中:
[0044]
图1为根据本发明实施例的图表示学习系统的训练方法流程示意图;
[0045]
图2为根据本发明实施例的图数据增广处理获得附加特征图的过程示意图。
具体实施方式
[0046]
为了使本发明的目的,技术方案及优点更加清楚明白,以下通过具体实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
[0047]
需要说明的是,本发明中在描述实施例过程中,均重复用到了i、j,其中的i、j并不特定用于指代某个变量,仅为了描述方便在不同的公式中用于泛指。
[0048]
如背景技术中提到的,现有技术下的gcn模型的信息传递机制存在以下问题:1)可能存在信息损失和噪声,消息流的信噪比低;2)过于关注邻域内节点、特征提取不足;3)缺乏对拓扑结构信息的显式利用。因此,为改善gcn模型存在的特征挖掘不足问题,构建更加有效的基于gcn模型的图数据相关应用系统,gcn模型需要具备广泛特征的鲁棒学习能力,同时兼顾特征提取的局部性和全局性,即需要一个更具表达力、特征提取区域更大、可提取特征更多元的信息传递gcn图表示学习模型。现有技术下的解决思路主要是从单一角度入手进行改进,无法综合地解决以上问题。
[0049]
gcn是通过图空间域上的卷积实现信息传播的。其中,所谓空间域上的卷积通过邻域节点信息聚合和更新实现,也就是聚合邻居节点信息获得目标节点的特征表达。这种卷
积过程的关键因素是节点初始感受域,即邻居节点的选取。随着卷积层数加深,每个节点的感受域逐渐扩大,可感知的特征逐渐增多。因此模型获得的节点特征表达与卷积中节点可获得的感受域直接关联。现有技术下,图数据对应的邻接矩阵直接决定了每个目标节点的初始感受域范围,且图数据的邻接矩阵直接来自于图数据原始的拓扑结构,并没有对其进行增广处理。这限制了卷积运算中节点感受域的扩大,导致节点有效特征挖掘不足、感受野小、结构利用不充分,进一步限制了基于节点特征的诸如图节点分类、图分类、连边预测等应用的效果。为此,发明人基于图数据的特性,从改进感受域的角度入手,提出一种基于附加特征图的gcn模型来解决上述问题。所谓附加特征图是利用度特征对原始图进行增广处理获得的。本发明基于附加特征图的邻接矩阵来训练gcn模型。由于附加特征图是原始图的增广数据,扩大了节点的感受域,由此训练获得的图表示学习模型无需构建复杂的深层结构就能更具鲁棒性、信息传播范围更广,避免信息欠传播的问题。
[0050]
根据本发明的一个实施例,本发明提出一种基于附加特征图的图表示学习系统的训练方法,如图1所示,本发明的训练方法包括:s1、获取原始图数据信息,所述原始图数据信息包含节点实际特征矩阵、原始邻接矩阵;s2、基于原始邻接矩阵,在度相同的节点之间建立连边以实现对原始图数据信息的增广处理获得附加特征图及其附加特征图邻接矩阵;s3、基于原始图数据信息以及附加特征图邻接矩阵训练图卷积网络至收敛。
[0051]
为了更好的理解本发明,下面基于附图和实施例详细说明图数据增广处理过程和图表示学习系统的训练过程。
[0052]
一、图数据增广处理
[0053]
图结构数据包括但不限于图像、文本、网络等,选定数据中一定细粒度下的基本元素作为节点(如图像中的像素、实例等,文本中的字、词组等,网络的节点、节点团等),基于距离定义节点间的邻接关系,可以提取出节点特征和图的拓扑连接特征。对于gcn模型来说,其输入是图数据节点信息以及图数据对应的邻接矩阵。gcn模型通过逐层聚合邻居节点信息来获取目标节点的特征表示实现节点信息更新。本发明通过对图数据做增广处理获得附加特征图及其对应的邻接矩阵,并以此作为模型输入。由于附加特征图是利用度特征对图拓扑结构增广处理后获得的,扩大了节点的感受野,使得基于其训练的图表示学习模型不仅能够学习到局部特征,也能学习到全局特征。。
[0054]
如前面实施例所述的,附加特征图是利用度特征对图拓扑结构增广处理后获得的,而度特征是图数据中节点拓扑连接结构的体现,度相同的节点拥有相同的一阶拓扑结构,本发明中通过令度相同的节点之间建立连边,可以改变节点度分布的长尾现象,显著缩短节点间的平均路径长度,提升图数据特征挖掘的效率,有利于实现多种图数据的特征挖掘以获得节点特征表示。具体来说,本发明基于节点的度特征扩大了节点邻居的定义范围,允许度相同节点建立连边,并定义度等邻接矩阵a
deg
如下式
[0055][0056]
其中,d
oh
是原始图数据信息中节点度值的独热编码表示矩阵且是原始图数据信息中节点度值的独热编码表示矩阵且n表示原始图数据信息中的节点数量,m为原始图数据信息中节点度的最大值,是d
oh
的转置矩阵。由于增广处理后图数据中连边增多,扩大了每个节点的邻居节点的范围,直接以此度等邻接矩阵a
deg
作为附加特征图邻接矩阵并作为gcn模型的输入显然可以挖掘到更多的特
征。
[0057]
根据本发明的一个实施例,采用基于度特征的随机生成方法对数据做增广处理,具体来说,从节点度分布中随机选择部分节点度值,将拥有相应度值的节点作为候选节点;然后随机从候选节点中选择度值相同的节点对生成连边以完成增广处理。
[0058]
此外,需要说明的是,真实网络往往具有稀疏连接的特点,其对应的图数据也具备稀疏性,为了更好的保证节点连接的稀疏性和图表示学习模型的可扩展性,本发明还提出一种对度等邻接矩阵进行进一步稀疏化处理来获得附加特征图邻接矩阵的方案。
[0059]
根据本发明的一个实施例,本发明通过如下步骤实现对等邻接矩阵进行进一步稀疏化处理:s231、基于度等邻接矩阵获取附加特征图中连通节点集对应的候选顶点的度集合;s232、从0-1均匀分布中进行多次采样以获得候选顶点度集合中每个度对应的候选概率,并选出对应候选概率大于候选顶点度概率阈值的度作为稀疏化后的顶点度集合,其中,所述候选顶点度概率阈值为可调节的超参数;s233、以稀疏化后的顶点度集合中的度对应的顶点在增广处理后的图数据中的边为候选边集合,从0-1均匀分布中进行多次采样以获得候选边集合中每条边对应的候选概率,并选出对应候选概率大于候选边概率阈值的边作为最终的边集合,其中,所述候选边概率阈值为可调节的超参数;s234、基于步骤s233中最终的候选边集合,删除增广图数据中不属于候选边集合的连边以实现图数据更新,并以更新后的图数据对应的邻接矩阵作为附加特征图邻接矩阵。
[0060]
假设输入图为g=(v,e),其中,v表示图g中的节点集合,e表示图g中的边集合,并以a表示图g的邻接矩阵,图中节点度的集合为d,令附加特征图为g
str
=(v,e
str
),其节点度的集合为d
str
。基于度等邻接矩阵建立附加特征图的候选边集合为e
str

,e
str

中候选顶点度的集合为d
str

,假设度为dn的节点对(vi,vj)建立连边的概率p
link
,dn∈d
str

的概率为p
degree
;{vi,vj}∈e
str
的概率为p
link|
,则
[0061]
p
link
=p
link|degree
p
degree
[0062]
其中p
link|degree
~u(0,1),p
degree
~u(0,1)。
[0063]
根据本发明的一个实施例,首先通过采样概率p
degree
将候选节点的范围缩小,随后再从符合度要求的节点中选取节点对建立连边,这样做的目的是缩小节点对的搜索空间,缩短程序执行时间。设p
degree
的参考阈值为候选顶点度概率阈值p
link|
的参考阈值为候选边概率阈值稀疏化过程为:通过从0到1之间的均匀分布中进行|d
str

|次采样,可以得到集合d
str

中每个度对应的候选概率组成的概率向量p
degree
,,,为集合d
str

中第i个度值对应的候选概率。当时,保留集合d
str

中的度di。缩小后的顶点度集合为对应的候选边集为再从0到1之间的均匀分布中进行次采样,可以得到集合对应的每条连边的候选概率组成的向量p
link|
,,表示集合中第i条连边对应的候选概率,当时,保留
对应的连边,最终得到附加特征图的边集e
str
,基于该边集获得附加特征图对应的邻接矩阵为a
str

[0064]
根据本发明的一个示例,如图2所示,一个具有10个节点的图数据,其对应的邻接矩阵为a,其中,度为1的节点有节点4、节点10,度为2的节点有节点1、节点2、节点7、节点9,度为3的节点有节点5、节点8,度为4的节点有节点3、节点6,在度为2的节点对(节点1、节点7)之间建立连边对图数据做增广处理后获得的邻接矩阵a
str
相比原始邻接矩阵a,明显扩大了节点1和节点7的邻居节点范围。
[0065]
将经稀疏化处理后获得的附加特征图邻接矩阵用于gcn模型进行特征挖掘,不仅能够扩大节点感受野充分挖掘节点有效特征,而且能够更贴近于真实网络、模型更具扩展性。
[0066]
二、图表示学习系统训练
[0067]
gcn模型是基于图卷积层的模型,本发明中的图表示学习系统中采用的gcn模型可以是一层或多层图卷积层,每层图卷积层的工作原理一致,通过接受节点特征(或上一层输出的节点特征表示)进行线性变换和激活函数激活输出节点更新的特征表示,且输出的节点更新的特征表示通过聚合函数实现邻域聚合,可简单理解为通过邻接矩阵集合目标节点的邻居节点特征。
[0068]
以只包含一层图卷积层的图表示学习系统为例,基于节点特征矩阵(以x表示)和附加特征图邻接矩阵a
str
经前向传播获得更新的节点特征矩阵为:
[0069][0070][0071][0072]
其中,z表示节点更新特征矩阵,表示基于附加特征图邻接矩阵a
str
的拉普拉斯矩阵,w表示图卷积层的参数,σ(*)表示激活函数,in表示单位矩阵且表示单位矩阵且表示附加特征图邻接矩阵a
str
对应的度矩阵且由于图卷积层的前向传播过程中的线性变换和激活函数相关知识是本领域技术人员已知的,本发明中对其不做过多赘述,仅以σ(*)来简单描述。
[0073]
为了更好的进行特征挖掘,本发明还提出基于附加特征图的多种特征集成策略以获得更好的节点特征表示。根据本发明的一个实施例,本发明提供三种特征集成策略,分别为;
[0074]
挖掘预集成策略,以节点特征矩阵和混合特征图af作为输入的前向传播过程为:
[0075][0076]af
=a
str
∪a
[0077][0078]
[0079]
其中,in表示单位矩阵且表示单位矩阵且表示与矩阵af对应的度矩阵且
[0080]
或,挖掘后集成策略,以节点特征矩阵、附加特征图a
str
、原始输入图a作为输入的前向传播过程为:
[0081][0082][0083][0084][0085][0086]
其中,表示原始邻接矩阵对应的度矩阵且
[0087]
或,双集成策略,同时使用以上两种策略,并将两个分支策略对应的特征叠加,一支使用混合特征图计算,一支使用原图计算,其对应的前向传播过程为:
[0088][0089]
同理,以两层图卷积层为例:
[0090]
不采用集成策略,仅以节点特征矩阵和附加特征图邻接矩阵a
str
作为输入的前向传播过程为:
[0091][0092]
其中,w
(0)
、w
(1)
分别表示第一个图卷积层和第二个图卷积层的可训练参数;
[0093]
采用挖掘预集成策略,以节点特征矩阵和混合特征图af作为输入的前向传播过程为:
[0094][0095]
采用挖掘后集成策略,以节点特征矩阵、附加特征图a
str
、原始输入图a作为输入的前向传播过程为:
[0096][0097]
采用双集成策略,同时使用以上两种集成策略,前向传播过程为:
[0098][0099]
相对于现有技术来说,本发明的图表示学习模型不需要构建深层结构,规避了构造深层网络可能出现的过平滑、过拟合或过挤压等问题,且随机化的连边方法则有效地提升了模型的鲁棒性。基于连边增广处理获得的附加特征图,提出了不同的特征集成策略,对既往无增广数据的方案,基于以上策略构建的图表示学习模型或系统能够有效扩大节点感受域,获得更大范围、更多元的特征提取。
[0100]
基于不同策略进行gcn模型的训练后,可以获得更具鲁棒性的图表示学习模型,该
模型可以用于图节点分类、图分类、连边预测任务等。对于图节点分类任务,可在基于本发明训练好的gcn模型的输出处连接分类器以构建图节点分类装置,该装置可应用于推荐系统、社交网络监测、异常检测、药物分析等多种场景。对于图分类任务,可在基于本发明训练好的gcn模型的输出处使用池化层(如平均池化、最大值池化)提取图级别的表征,然后送入更新模块得到图级别的类别更新;对于连边预测任务,可在基于本发明训练好的gcn模型的输出处,将节点特征矩阵与其转置矩阵相乘获得节点之间的相似性评估,随后基于阈值或更新函数对不同相似度进行二分类,得到连边预测结果。由于基于图表示学习模型构建其他应用任务的模型或系统的技术是本领域已知的,此处不做过多赘述。
[0101]
为了验证本发明的效果,发明人在在cora、citeseer、pubmed引文网络数据集上,采用gcn模型、resgcn、sgc、graphsage、gat、appnp、mixhop、pna、demo-net、采用了本发明提出的附加特征图模型(afg)的节点分类模型进行节点分类验证,并对比不同模型的准确率,其结果如表1所示。从表1可以看出,基于本发明方案训练的模型的节点分类模型的节点分类效果明显优于未使用附加特征图的原始模型,且原始模型在采用附加特征图后超越了其他gcn改进模型。
[0102]
表1
[0103][0104][0105]
需要说明的是,虽然上文按照特定顺序描述了各个步骤,但是并不意味着必须按照上述特定顺序来执行各个步骤,实际上,这些步骤中的一些可以并发执行,甚至改变顺序,只要能够实现所需要的功能即可。
[0106]
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
[0107]
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存
储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
[0108]
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

技术特征:
1.一种图表示学习系统的训练方法,所述图表示学习系统包括图卷积网络,其用于根据图数据中的邻接矩阵对目标节点的邻居节点的特征进行聚合以获得目标节点的特征表示,其特征在于,所述方法包括:s1、获取原始图数据信息,所述原始图数据信息包含节点实际特征矩阵、原始邻接矩阵;s2、基于原始邻接矩阵,在度相同的节点之间建立连边以实现对原始图数据信息的增广处理获得附加特征图及其对应的附加特征图邻接矩阵;s3、基于原始图数据信息以及附加特征图邻接矩阵训练图卷积网络至收敛。2.根据权利要求1所述的方法,其特征在于,所述步骤s2包括:s21、基于原始邻接矩阵,在度相同的节点之间建立连边以实现对原始图数据信息的增广处理;s22、基于增广处理后的图数据信息获取其对应的度等邻接矩阵;s23、对度等邻接矩阵进行稀疏化处理后获得附加特征图邻接矩阵。3.根据权利要求2所述的方法,其特征在于,所述度等邻接矩阵为:其中,d
oh
是原始图数据信息中节点度值的独热编码表示矩阵且是原始图数据信息中节点度值的独热编码表示矩阵且n表示原始图数据信息中的节点数量,m为原始图数据信息中节点度的最大值,是d
oh
的转置矩阵。4.根据权利要求3所述的方法,其特征在于,所述步骤s23包括:s231、基于度等邻接矩阵获取附加特征图中连通节点集对应的候选顶点的度集合;s232、从0-1均匀分布中进行多次采样以获得候选顶点度集合中每个度对应的候选概率,并选出对应候选概率大于候选顶点度概率阈值的度作为稀疏化后的顶点度集合,其中,所述候选顶点度概率阈值为可调节的超参数;s233、以稀疏化后的顶点度集合中的度对应的顶点在增广处理后的图数据中的边为候选边集合,从0-1均匀分布中进行多次采样以获得候选边集合中每条边对应的候选概率,并选出对应候选概率大于候选边概率阈值的边作为最终的边集合,其中,所述候选边概率阈值为可调节的超参数;s234、基于步骤s233中最终的候选边集合,删除增广图数据中不属于候选边集合的连边以实现图数据更新,并以更新后的图数据对应的邻接矩阵作为附加特征图邻接矩阵。5.根据权利要求4所述的方法,其特征在于,在所述步骤s3中,以节点实际特征矩阵和附加特征图邻接矩阵为输入、基于前向传播过程获得的节点更新特征矩阵为输出训练图神经网络至收敛,其中,前向传播过程为:其中,z表示节点更新特征矩阵,x表示输入图神经网络的节点特征矩阵,表示基于附加特征图邻接矩阵a
str
的拉普拉斯矩阵,w表示图卷积网络的参数,σ(*)表示激活函数。6.根据权利要求5所述的方法,其特征在于,
其中,i
n
表示单位矩阵且表示单位矩阵且表示附加特征图邻接矩阵a
str
对应的度矩阵且7.根据权利要求6所述的方法,其特征在于,在所述步骤s3中,以节点实际特征矩阵、原始邻接矩阵以及附加特征图邻接矩阵为输入、基于预设特征集成策略进行前向传播过程获得的节点更新特征矩阵为输出训练图神经网络至收敛,其中,所述预设特征集成策略为:挖掘预集成策略,其对应的前向传播过程为:或,挖掘后集成策略,其对应的前向传播过程为:或,双集成策略,其对应的前向传播过程为:其中,z表示节点更新特征矩阵,x表示输入图神经网络的节点特征矩阵,表示基于原始邻接矩阵和附加特征图邻接矩阵a
str
的与运算矩阵a
f
的拉普拉斯矩阵,表示基于附加特征图邻接矩阵a
str
的拉普拉斯矩阵,表示基于原始邻接矩阵a的拉普拉斯矩阵,w表示图卷积网络的参数,σ(*)表示激活函数。8.根据权利要求7所述的方法,其特征在于,a
f
=a
str
∪a∪a其中,i
n
表示单位矩阵且表示单位矩阵且表示与矩阵a
f
对应的度矩阵且对应的度矩阵且对应的度矩阵且其中,表示附加特征图邻接矩阵a
str
对应的度矩阵且对应的度矩阵且对应的度矩阵且对应的度矩阵且
其中,表示原始邻接矩阵对应的度矩阵且9.根据权利要求1-8任一所述的方法,其特征在于,所述图卷积网络包括一个或两个图卷积层。10.一种图数据节点分类方法,其特征在于,所述方法包括:t1、获取待进行节点分类的图数据;t2、采用如权利要求1-9任一所述方法训练的图表示学习系统获取图数据中节点的特征表示;t3、基于步骤t2中获取的节点特征表达对节点进行分类。11.一种基于权利要求1-9任一所述方法的图表示学习系统,用于对图数据进行处理以获得图数据中每个节点的特征表示,其特征在于,所述系统包括:附加特征图特征矩阵生成模块,用于在待处理的图数据中度相同的节点之间建立连边以实现对图数据的增广处理,并基于增广处理后的图数据获取其对应的附加特征图邻接矩阵;图卷积模块,用于基于附加特征图邻接矩阵生成图数据中节点的特征表示。12.一种图数据节点分类装置,其特征在于,所述装置包括:如权利要求11所述的图表示学习系统,用于获取图数据节点的特征表示;分类器,用于基于节点的特征表示对节点进行分类。13.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序可被处理器执行以实现权利要求1至10任一所述方法的步骤。14.一种电子设备,其特征在于,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如权利要求1至10中任一项所述方法的步骤。

技术总结
本发明提供一种图表示学习系统的训练方法,所述图学习系统包括图卷积网络,其用于根据图数据中的邻接矩阵对目标节点的邻居节点的特征进行聚合以获得目标节点的特征表示,所述方法包括:S1、获取原始图数据信息,所述原始图数据信息包含节点实际特征矩阵、原始邻接矩阵;S2、基于原始邻接矩阵,在度相同的节点之间建立连边以实现对原始图数据信息的增广处理获得附加特征图及其对应的附加特征图邻接矩阵;S3、基于原始图数据信息以及附加特征图邻接矩阵训练图卷积网络至收敛。本发明不需要构建深层结构,规避了构造深层网络可能出现的过平滑、过拟合、过挤压或模型过复杂等问题,且随机化的连边方法则有效地提升了模型的鲁棒性。机化的连边方法则有效地提升了模型的鲁棒性。机化的连边方法则有效地提升了模型的鲁棒性。


技术研发人员:孙茳 王树徽 赵毅晖 孙隽姝
受保护的技术使用者:北京乾图科技有限公司
技术研发日:2023.03.01
技术公布日:2023/7/19
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐