基于关系正则化的异构图神经网络分类方法

1.本发明属于图神经网络技术领域，具体涉及一种基于关系正则化的异构图神经网络分类方法。


背景技术：

2.异构图数据挖掘常用的一种方法是使用人工定义的元路径方式，将异构图转化为由元路径所定义的同构图。此后，就可以在由元路径所定义的同构图上使用传统的图神经网络进行学习。这种方法分为两个阶段，第一阶段是人工定义元路径，将异构图转化为由元路径定义的同构图，第二阶段是进行同构图上的学习和训练。但这种方式的缺点是，元路径需要该领域的专家人工设定，并且，模型的效果很大程度上依赖人工设定的元路径，如果元路径设置不合适，那么下游任务的效果将大幅降低。
3.使用设置元路径的方法，将异构图转化为由元路径所定义的同构图，其主要困难在于，对于不同任务而言，较为有效的元路径可能具有不同的长度，复合成元路径的关系也可能具有不同的类型。例如，在引文网络中，作者这一类型的节点，可能受到元路径“作者-论文-作者”或者“作者-论文-会议-论文-作者”的影响。
4.对于这个问题，一些学者做出了改进，例如将输入的异构图转化为基于不同元路径的同构图，并端到端地学习图上地节点表示。虽然这些模型可以学习到节点之间的高阶关系，但是基于元路径的方法总是更偏向于聚合高阶邻域的信息，例如对于“作者-论文-作者”的元路径，当中心节点为第一个“作者”时，基于这个元路径聚集到的邻域信息通常是作为其二阶邻居的另一个“作者”，而对其一阶邻居“论文”往往缺少直接的感知。然而，异构图中的高阶关系与基本关系都很重要，如果忽略了对基本关系的建模，可能会导致模型对高阶邻域信息存在潜在的过拟合的问题，从而影响模型的性能。


技术实现要素：

5.考虑异构图数据挖掘常用的一种方法是使用人工定义的元路径方式，将异构图转化为由元路径所定义的同构图，并端到端地学习图上地节点表示。虽然这些模型可以学习到节点之间的高阶关系，但是基于元路径的方法总是更偏向于聚合高阶邻域的信息。
6.因此，本发明提出了一种基于关系正则化的异构图神经网络分类方法，首先得到基于不同元路径的多个元路径图，然后使用图卷积神经网络将节点高阶邻居的重要信息融合进节点表示中，以此来捕获异构图节点间的高阶关系，最后对异构图中的基本关系进行建模，确保在捕获高阶邻域信息的同时，也能够正确捕捉图中的一阶邻域信息，从而避免对高阶邻域信息的过拟合，提高异构图神经网络的分类效果。
7.本发明包含以下设计过程：
8.1.提出了一种基于元路径的高阶邻域信息感知方法，使用图卷积神经网络将节点高阶邻居的重要信息融合进节点表示中，以此来捕获异构图节点间的高阶关系。
9.2.提出了一种基于关系正则化的一阶邻域信息感知方法，对异构图中的基本关系
进行建模，确保在捕获高阶邻域信息的同时，也能够正确捕捉图中的一阶邻域信息，从而避免对高阶邻域信息的过拟合。
10.本发明解决其技术问题具体采用的技术方案是：
11.一种基于关系正则化的异构图神经网络分类方法，其特征在于，首先得到基于不同元路径的多个元路径图，然后使用图卷积神经网络将节点高阶邻居的重要信息融合进节点表示，以此捕获异构图节点间的高阶关系；最后对异构图中的基本关系进行建模，以确保在捕获高阶邻域信息的同时，也能够正确捕捉图中的一阶邻域信息。
12.进一步地，首先通过元路径图生成模块，得到自适应生成元路径图；然后，通过基于元路径的高阶邻域信息感知模块，融合基于不同元路径的高跳邻居信息，从而实现对高阶邻域信息的感知；最后，通过基于关系正则化的一阶邻域信息感知模块，对图中的基本关系建模，使得模型保持对一阶邻域信息的感知，防止出现对高阶邻域信息的过拟合。
13.进一步地，所述元路径图生成模块首先在邻接矩阵集合中进行软选择，得到软选择后的邻接矩阵，然后再对软选择的邻接矩阵进行矩阵乘法计算，得到复合了二阶关系的元路径图。
14.进一步地，所述邻接矩阵集合中包含了图中所有关系所对应的邻接矩阵；所述元路径图生成模块对于四种邻接矩阵设计了一组可学习的参数w
φ
；其中，φ是卷积函数，w
φ
∈r1×1×k是φ的参数，k为关系类型的数量；在进行软选择时，参数w
φ
中的每个注意力分别与对应种类的邻接矩阵对应；再将w
φ
经过softmax函数的处理，即softmax(w
φ
)，使得学习到的参数归一化；处理过后的参数w
φ
视作总数为的k的1
×
1的卷积核；通过在中各个邻接矩阵上进行卷积，得到k个加权后的邻接矩阵；将这些邻接矩阵进行相加，则得到软选择后的邻接矩阵q，计算公式为：
[0015][0016]
进一步地，所述元路径图生成模块设置有多组参数w
φ
，以此获得多个软选择得到的新的邻接矩阵；设参数w
φ1
所得到的新的邻接矩阵为q1，参数w
φ2
所得到的新的邻接矩阵为q2；通过将两个新的邻接矩阵q1和q2进行矩阵乘法运算，即q1q2，以学习到新的元路径图a
(1)
；a
(1)
表示学到的第一个元路径图；为了数值稳定性，通过度矩阵对q1q2的乘积进行归一化操作，即：
[0017]a(1)
＝d-1
q1q
2 (2)
[0018]
通过堆叠多个元路径图生成模块，模型学习到多种元路径，这些元路径所复合的关系类型和长度是任意的；假设模型学习到的元路径长度为l，则通过以下公式计算其邻接矩阵a
p
：
[0019][0020]
其中，指的是关系类型的集合，是关系类型t
l
在对于模型学习到的第l个元路径图的注意力分数；当α不是独热向量时，a
p
看作是所有长度为l的元路径图的邻接矩阵的加权和；因此，假设模型复合成l个元路径图，那么模型将学习到原始异构图基于任何长度为l的元路径所得到的图结构。
[0021]
进一步地，为了解决无法融合基本关系信息的问题，在邻接矩阵集合中添加单位矩阵i，使得a0＝i；以让模型学习到任意长度的元路径；当模型复合出l个元路径图时，其学习到的元路径的长度最长达到l+1。
[0022]
进一步地，为了使模型具备同时考虑多种类型元路径的能力，将所述元路径图生成模块中1
×
1卷积的输出通道设置为c，以使得在模型复合出第l组元路径图时，得到c个包含不同语义的元路径图；元路径图生成模块将产生一组元路径，其中，软选择得到的邻接矩阵q1和q2变成邻接张量和和和
[0023]
所述图卷积神经网络用于学习节点表示，在邻接张量计算得到的c个通道的元路径图上分别进行节点的表示学习，得到节点在不同元路径图上的c组表示，其中，图卷积神经网络公式如下：
[0024][0025]
其中，是邻接矩阵a加上自环的后的矩阵，是的度矩阵，w
(l)
∈rd×d是可训练的权重矩阵，σ是激活函数。
[0026]
进一步地，所述基于元路径的高阶邻域信息感知模块在元路径张量的每个通道上，通过图卷积神经网络学习节到c组节点表示，并将这些节点表示连接起来，组成最终的节点表示，公式如下：
[0027][0028]
其中，‖是连接操作，c指的是通道数，是的第i个通道的邻接矩阵，是的度矩阵，w∈rd×d是可训练的权重矩阵，且所有通道共享；x∈rn×d是节点的特征矩阵；z是c个不同元路径图的节点表示的拼接，这些元路径图包含不同长度的元路径信息；
[0029]
最终的节点表示将通过两个全连接层转换为模型预测的分类概率即：
[0030][0031]
其中，w1、w2、b1和b2分别是可学习的参数，σ为激活函数。
[0032]
进一步地，所述基于关系正则化的一阶邻域信息感知模块包括一个关系正则化模块；用于对异构图中的基本关系进行建模，目的是确保模型在捕获高阶关系的同时，也能够正确捕获图中的基本关系信息，防止模型出现对高阶邻域信息的过拟合；
[0033]
所述关系正则化模块首先对图的所有边类型进行采样，将采样得到的边的集合记为e
p
；对于集合中所有的边e
ij
∈e
p
，将其两端的节点表示进行连接，形成关系表示r
ij
，即：
[0034]rij
＝zi||z
j (7)
[0035]
其中，zi和zj分别是节点vi和节点vj通过基于元路径的高阶邻域信息感知模块得到的最终表示。
[0036]
进一步地，所述基于关系正则化的一阶邻域信息感知模块采用使用随机函数从每种连边中采样固定数量的节点对的方式；并且，为了让模型可以学习到更全面的关系信息，还采样了相同数量的无边节点对，并将这些节点对加入到e
p
中进行训练；
[0037]
再将r
ij
传入全连接层，得到对于不同关系的预测分数：
[0038][0039]
其中，w3和b3是可学习的参数，σ为激活函数；
[0040]
然后，根据节点之间真实的连边关系，计算基于关系的交叉熵，即：
[0041][0042]
其中，p
ij
表示采样节点vi和vj真实的连边关系，表示通过预测的节点vi和节点vj间的连边关系；
[0043]
所述基于关系正则化的一阶邻域信息感知模块的监督信号来自节点的标签，通过标准交叉熵来获取训练时的监督损失；假设为得到的中节点vi的预测分数，则：
[0044][0045]
则总损失函数为：
[0046][0047]
其中，λ为超参数，用于控制各项损失函数的占比。
[0048]
以及，一种基于关系正则化的异构图神经网络分类系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上所述的方法。
[0049]
以及，一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上所述的方法。
[0050]
相比于现有技术，本发明及其优选方案首先得到基于不同元路径的多个元路径图，然后使用图卷积神经网络将节点高阶邻居的重要信息融合进节点表示中，以此来捕获异构图节点间的高阶关系，最后对异构图中的基本关系进行建模，确保在捕获高阶邻域信息的同时，也能够正确捕捉图中的一阶邻域信息，从而避免对高阶邻域信息的过拟合，提高异构图神经网络的分类效果。
附图说明
[0051]
下面结合附图和具体实施方式对本发明进一步详细的说明：
[0052]
图1是本发明实施例元路径图生成示意图。
[0053]
图2是本发明实施例最终节点表示示意图。
[0054]
图3是本发明实施例关系正则化模块示意图。
具体实施方式
[0055]
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
[0056]
应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本说明书使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0057]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0058]
1.模型概述：
[0059]
首先通过元路径图生成模块，得到模型自适应生成元路径图；然后，通过基于元路径的高阶邻域信息感知模块，融合了基于不同元路径的高跳邻居信息，从而实现对高阶邻域信息的感知；最后，通过基于关系正则化的一阶邻域信息感知模块，对图中的基本关系建模，使得模型保持对一阶邻域信息的感知，防止出现对高阶邻域信息的过拟合。
[0060]
2.元路径图生成
[0061]
如图1所示，元路径图生成模块首先在邻接矩阵集合中进行软选择，得到软选择后的邻接矩阵，然后再对软选择的邻接矩阵进行矩阵乘法计算，得到复合了二阶关系的元路径图。
[0062]
邻接矩阵集合中包含了图中所有关系所对应的邻接矩阵。模型对于这四种邻接矩阵设计了一组可学习的参数w
φ
。其中，φ是卷积函数，w
φ
∈r1×1×k是φ的参数，k为关系类型的数量。在进行软选择时，参数w
φ
中的每个注意力分别与对应种类的邻接矩阵对应。本实施例将w
φ
经过softmax函数的处理，即softmax(w
φ
)，使得学习到的参数归一化。处理过后的参数w
φ
可以视作总数为的k的1
×
1的卷积核。通过在中各个邻接矩阵上进行卷积，得到k个加权后的邻接矩阵。将这些邻接矩阵进行相加，则可以得到软选择后的邻接矩阵q，计算公式为：
[0063][0064]
元路径图生成模块可以设置多组参数w
φ
，以此获得多个软选择得到的新的邻接矩阵。如图1所示，参数w
φ1
所得到的新的邻接矩阵为q1，参数w
φ2
所得到的新的邻接矩阵为q2。通过将两个新的邻接矩阵q1和q2进行矩阵乘法运算，即q1q2，可以学习到新的元路径图a
(1)
。a
(1)
表示学到的第一个元路径图。为了数值稳定性，本实施例通过度矩阵来对q1q2的乘积进行归一化操作，即：
[0065]a(1)
＝d-1
q1q
2 (2)
[0066]
通过堆叠多个元路径图生成模块，模型可以学习到多种元路径，这些元路径所复合的关系类型和长度是任意的。假设模型学习到的元路径长度为l，则可以通过以下公式计算其邻接矩阵a
p
：
[0067][0068]
其中，指的是关系类型的集合，是关系类型t
l
在对于模型学习到的第l个元路径图的注意力分数。当α不是独热向量时，a
p
可以看作是所有长度为l的元路径图的邻接矩阵的加权和。因此，假设模型复合成l个元路径图，那么模型将可以学习到原始异构图基于任何长度为l的元路径所得到的图结构。
[0069]
然而，通过这种方式学习到的元路径无法包含基本关系，只能学习到高阶的元路
径信息。在真实世界中，高阶关系与基本关系是同样重要的。为了解决模型无法融合基本关系信息的问题，需要在邻接矩阵集合中添加单位矩阵i，使得a0＝i。通过这种方式，可以让模型学习到任意长度的元路径。当模型复合出l个元路径图时，其学习到的元路径的长度最长可以达到l+1。
[0070]
3.基于元路径的高阶邻域信息感知：
[0071]
为了使模型具备同时考虑多种类型元路径的能力，本实施例将图1中1
×
1卷积的输出通道设置为c，这样，在模型复合出第l组元路径图时，将得到c个包含不同语义的元路径图。元路径图生成模块将可以产生一组元路径，其中，软选择得到的邻接矩阵q1和q2变成邻接张量和本实施例的和
[0072]
本实施例还设置了用于学习节点表示的图卷积神经网络模块，在邻接张量计算得到的c个通道的元路径图上分别进行节点的表示学习，得到节点在不同元路径图上的c组表示，其中，图卷积神经网络的一般公式如下：
[0073][0074]
其中，是邻接矩阵a加上自环的后的矩阵，是的度矩阵，
[0075]w(l)
∈rd×d是可训练的权重矩阵，σ是激活函数，本实施例设置为relu。
[0076]
如图2所示，模型在元路径张量的每个通道上，通过图卷积神经网络学习节到c组节点表示，并将这些节点表示连接起来，组成最终的节点表示，公式如下：
[0077][0078]
其中，‖是连接操作，c指的是通道数，是的第i个通道的邻接矩阵，是的度矩阵，w∈rd×d是可训练的权重矩阵，且所有通道共享。x∈rn×d是节点的特征矩阵。z是c个不同元路径图的节点表示的拼接，这些元路径图包含不同长度的元路径信息。
[0079]
最终的节点表示将通过两个全连接层转换为模型预测的分类概率即：
[0080][0081]
其中，w1、w2、b1和b2分别是可学习的参数，σ为激活函数，本实施例设置为softmax函数。
[0082]
4.基于关系正则化的一阶邻域信息感知：
[0083]
在真实世界中，异构图中的高阶关系和基本关系都很重要。虽然元路径图生成模块在邻接矩阵集合中加入了单位矩阵i，使得模型具备了学习到基本关系信息的能力，但是模型在学习和生成元路径图时，依然可能出现对高阶关系的过拟合情况，从而缺失对基本关系信息捕捉。
[0084]
为了解决这个问题，模型设置了一个关系正则化模块。如图3所示，该模块对异构图中的基本关系进行建模，目的是确保模型在捕获高阶关系的同时，也能够正确捕获图中的基本关系信息，防止模型出现对高阶邻域信息的过拟合。
[0085]
该模块首先对图的所有边类型进行采样，将采样得到的边的集合记为e
p
。对于集
合中所有的边e
ij
∈e
p
，将其两端的节点表示进行连接，形成关系表示r
ij
，即：
[0086]rij
＝zi||z
j (7)
[0087]
其中，zi和zj分别是节点vi和节点vj通过基于元路径的高阶邻域信息感知模块得到的最终表示。
[0088]
考虑对节点进行采样的方式可以有多种，本发明采用了使用随机函数从每种连边中采样固定数量的节点对的方式。为了让模型可以学习到更全面的关系信息，此外，还采样了相同数量的无边节点对，并将这些节点对加入到e
p
中进行训练。
[0089]
本实施例将r
ij
传入全连接层，得到对于不同关系的预测分数：
[0090][0091]
其中，w3和b3是可学习的参数，σ为激活函数，本实施例设置为softmax函数。
[0092]
然后，根据节点之间真实的连边关系，模型计算基于关系的交叉熵，即：
[0093][0094]
其中，p
ij
表示采样节点vi和vj真实的连边关系，表示通过预测的节点vi和节点vj间的连边关系。
[0095]
模型的监督信号来自节点的标签，本实施例通过标准交叉熵来获取训练时的监督损失。假设为得到的中节点vi的预测分数，则：
[0096][0097]
则总损失函数为：
[0098][0099]
其中，λ为超参数，控制各项损失函数的占比。
[0100]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0101]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0102]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0103]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0104]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
[0105]
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于关系正则化的异构图神经网络分类方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

技术特征：
1.一种基于关系正则化的异构图神经网络分类方法，其特征在于，首先得到基于不同元路径的多个元路径图，然后使用图卷积神经网络将节点高阶邻居的重要信息融合进节点表示，以此捕获异构图节点间的高阶关系；最后对异构图中的基本关系进行建模，以确保在捕获高阶邻域信息的同时，也能够正确捕捉图中的一阶邻域信息。2.根据权利要求1所述的基于关系正则化的异构图神经网络分类方法，其特征在于：首先通过元路径图生成模块，得到自适应生成元路径图；然后，通过基于元路径的高阶邻域信息感知模块，融合基于不同元路径的高跳邻居信息，从而实现对高阶邻域信息的感知；最后，通过基于关系正则化的一阶邻域信息感知模块，对图中的基本关系建模，使得模型保持对一阶邻域信息的感知，防止出现对高阶邻域信息的过拟合。3.根据权利要求2所述的基于关系正则化的异构图神经网络分类方法，其特征在于：所述元路径图生成模块首先在邻接矩阵集合中进行软选择，得到软选择后的邻接矩阵，然后再对软选择的邻接矩阵进行矩阵乘法计算，得到复合了二阶关系的元路径图。4.根据权利要求3所述的基于关系正则化的异构图神经网络分类方法，其特征在于：所述邻接矩阵集合中包含了图中所有关系所对应的邻接矩阵；所述元路径图生成模块对于四种邻接矩阵设计了一组可学习的参数w
φ
；其中，φ是卷积函数，w
φ
∈r1×1×
k
是φ的参数，k为关系类型的数量；在进行软选择时，参数w
φ
中的每个注意力分别与对应种类的邻接矩阵对应；再将w
φ
经过softmax函数的处理，即softmax(w
φ
)，使得学习到的参数归一化；处理过后的参数w
φ
视作总数为的k的1
×
1的卷积核；通过在中各个邻接矩阵上进行卷积，得到k个加权后的邻接矩阵；将这些邻接矩阵进行相加，则得到软选择后的邻接矩阵q，计算公式为：5.根据权利要求4所述的基于关系正则化的异构图神经网络分类方法，其特征在于：所述元路径图生成模块设置有多组参数w
φ
，以此获得多个软选择得到的新的邻接矩阵；设参数w
φ1
所得到的新的邻接矩阵为q1，参数w
φ2
所得到的新的邻接矩阵为q2；通过将两个新的邻接矩阵q1和q2进行矩阵乘法运算，即q1q2，以学习到新的元路径图a
(1)
；a
(1)
表示学到的第一个元路径图；为了数值稳定性，通过度矩阵对q1q2的乘积进行归一化操作，即：a
(1)
＝d-1
q1q2ꢀꢀꢀꢀꢀꢀ
(2)通过堆叠多个元路径图生成模块，模型学习到多种元路径，这些元路径所复合的关系类型和长度是任意的；假设模型学习到的元路径长度为l，则通过以下公式计算其邻接矩阵a
p
：其中，指的是关系类型的集合，是关系类型t
l
在对于模型学习到的第l个元路径图的注意力分数；当α不是独热向量时，a
p
看作是所有长度为l的元路径图的邻接矩阵的加权和；因此，假设模型复合成l个元路径图，那么模型将学习到原始异构图基于任何长度为l的元路径所得到的图结构。6.根据权利要求5所述的基于关系正则化的异构图神经网络分类方法，其特征在于：为
了解决无法融合基本关系信息的问题，在邻接矩阵集合中添加单位矩阵i，使得a0＝i；以让模型学习到任意长度的元路径；当模型复合出l个元路径图时，其学习到的元路径的长度最长达到l+1。7.根据权利要求6所述的基于关系正则化的异构图神经网络分类方法，其特征在于：为了使模型具备同时考虑多种类型元路径的能力，将所述元路径图生成模块中1
×
1卷积的输出通道设置为c，以使得在模型复合出第l组元路径图时，得到c个包含不同语义的元路径图；元路径图生成模块将产生一组元路径，其中，软选择得到的邻接矩阵q1和q2变成邻接张量和和所述图卷积神经网络用于学习节点表示，在邻接张量计算得到的c个通道的元路径图上分别进行节点的表示学习，得到节点在不同元路径图上的c组表示，其中，图卷积神经网络公式如下：其中，是邻接矩阵a加上自环的后的矩阵，是的度矩阵，w
(l)
∈r
d
×
d
是可训练的权重矩阵，σ是激活函数。8.根据权利要求7所述的基于关系正则化的异构图神经网络分类方法，其特征在于：所述基于元路径的高阶邻域信息感知模块在元路径张量的每个通道上，通过图卷积神经网络学习节到c组节点表示，并将这些节点表示连接起来，组成最终的节点表示，公式如下：其中，‖是连接操作，c指的是通道数，是的第i个通道的邻接矩阵，是的度矩阵，w∈r
d
×
d
是可训练的权重矩阵，且所有通道共享；x∈r
n
×
d
是节点的特征矩阵；z是c个不同元路径图的节点表示的拼接，这些元路径图包含不同长度的元路径信息；最终的节点表示将通过两个全连接层转换为模型预测的分类概率即：其中，w1、w2、b1和b2分别是可学习的参数，σ为激活函数。9.根据权利要求8所述的基于关系正则化的异构图神经网络分类方法，其特征在于：所述基于关系正则化的一阶邻域信息感知模块包括一个关系正则化模块；用于对异构图中的基本关系进行建模，目的是确保模型在捕获高阶关系的同时，也能够正确捕获图中的基本关系信息，防止模型出现对高阶邻域信息的过拟合；所述关系正则化模块首先对图的所有边类型进行采样，将采样得到的边的集合记为e
p
；对于集合中所有的边e
ij
∈e
p
，将其两端的节点表示进行连接，形成关系表示r
ij
，即：r
ij
＝z
i
||z
j
ꢀꢀꢀꢀꢀꢀꢀ
(7)其中，z
i
和z
j
分别是节点v
i
和节点v
j
通过基于元路径的高阶邻域信息感知模块得到的最终表示。
10.根据权利要求9所述的基于关系正则化的异构图神经网络分类方法，其特征在于：所述基于关系正则化的一阶邻域信息感知模块采用使用随机函数从每种连边中采样固定数量的节点对的方式；并且，为了让模型可以学习到更全面的关系信息，还采样了相同数量的无边节点对，并将这些节点对加入到e
p
中进行训练；再将r
ij
传入全连接层，得到对于不同关系的预测分数：其中，w3和b3是可学习的参数，σ为激活函数；然后，根据节点之间真实的连边关系，计算基于关系的交叉熵，即：其中，p
ij
表示采样节点v
i
和v
j
真实的连边关系，表示通过预测的节点v
i
和节点v
j
间的连边关系；所述基于关系正则化的一阶邻域信息感知模块的监督信号来自节点的标签，通过标准交叉熵来获取训练时的监督损失；假设为得到的中节点v
i
的预测分数，则：则总损失函数为：其中，λ为超参数，用于控制各项损失函数的占比。

技术总结
本发明的目的在于提供一种基于关系正则化的异构图神经网络分类方法，首先得到基于不同元路径的多个元路径图，然后使用图卷积神经网络将节点高阶邻居的重要信息融合进节点表示中，以此来捕获异构图节点间的高阶关系，最后对异构图中的基本关系进行建模，确保在捕获高阶邻域信息的同时，也能够正确捕捉图中的一阶邻域信息，从而避免对高阶邻域信息的过拟合，提高异构图神经网络的分类效果。提高异构图神经网络的分类效果。提高异构图神经网络的分类效果。


技术研发人员：傅仰耿 黄鑫洋 李进 李冰诗 陈金杰
受保护的技术使用者：福州大学
技术研发日：2023.07.14
技术公布日：2023/10/15