基于GCNsformer混合网络和多通道语义的双向跨域会话推荐方法

基于gcnsformer混合网络和多通道语义的双向跨域会话推荐方法
技术领域
1.本发明属于双向跨域会话推荐技术领域，尤其涉及一种基于gcnsformer混合网络和多通道语义的双向跨域会话推荐方法。


背景技术：

2.随着互联网和信息通信技术的不断发展以及移动设备的普及，推荐系统因具有在海量数据中精准链接信息与用户的强大功能，已经作为信息服务的主要工具。然而由于近年来随着互联网企业的快速发展，行业间的数据壁垒正在逐渐消失，基于单领域交互信息和用户偏好的会话推荐算法失效，而基于双向跨域序列化推荐算法的诞生，只需要根据用户在不同域会话中的交互行为记录同时分别预测用户在各个领域中真正感兴趣的项目，发挥了较高的应用价值。
3.图卷积神经网络(graph convolutional network,gcn)因具有构建复杂交互模式的性能已经被广泛应用于多种类型的推荐算法中，如社交推荐、时空兴趣点推荐等推荐应用中不乏其身影。现有相关的研究成果大多数采用图结构的形式构建会话序列结构，并且展现出了良好的推荐性能。
4.西电的学者在2021年提出了一种基于多维度的双向注意力迁移网络，它首先采用结合图结构和循环神经网络的方法学习各个会话中的项目表示，然后利用基于注意力机制的映射建模方法提取用户在不同会话中的表示信息，虽然基于图结构的模型在双向跨域会话推荐领域表现出了不错的适应性，但该方法存在的问题是：1、现有双向跨域会话推荐方法无法同时建模交互项目间的空间中的结构关系和时间中的长距离依赖关系，在集中关注于交互项目间的空间结构关系时，对于会话序列自身固有的长距离依赖关系就不能很好的建模，2、因双向跨域会话推荐场景中存在较为复杂的语义特性，跨域特征交互复杂，而现有方法对特征交叉关系捕获不全，造成生成的会话表示仍然存在拟合性不强，使得不同域的会话推荐结果存在准确性差、泛化性弱的问题。造成会话推荐系统无法准确的为用户提供相应的推荐，降低了系统功能的同时也降低了用户对系统的满意程度。


技术实现要素：

5.本发明提供一种基于gcnsformer混合网络和多通道语义的双向跨域会话推荐方法，针对现有双向跨域会话推荐方法无法同时建模交互项目间的空间中的结构关系和时间中的长距离依赖关系，生成的会话表示存在拟合性不强，使得不同域的会话推荐结果存在准确性差、泛化性弱的问题。
6.为达到本发明的目的，本发明提供的一种基于gcnsformer混合网络和多通道语义的双向跨域会话推荐方法，包括以下步骤：
7.步骤一、分别获取a领域、b领域会话数据，根据每个领域中的会话数据建立对应的全局会话图，获取图中所有节点的连接关系；
8.步骤二、根据全局会话图，使用项目嵌入表示层分别计算各领域中节点向量表示基于节点向量表示，根据当前用户会话数据分别得到a领域和b领域的会话局部偏好和全局偏好。所述项目嵌入表示层的建立过程是：首先采用图结构的方式构建会话中项目间的转移关系，其次基于消息传递机制，根据邻居节点特征表示进行节点特征聚合，随后将聚合形成后的节点表征作为transformer模型的输入；
9.步骤三、基于节点向量表示及a领域和b领域的会话局部偏好和全局偏好，利用多通道语义模块层计算复杂跨域特征，所述多通道语义模块层的建立过程是：根据同一用户在不同域中的交互记录，利用对比学习方法学习用户在跨域交互下的共性特征；采用互注意力机制学习双向跨域会话间的互增强特征，采用对抗机制得到双向跨域会话间的独有特征；
10.步骤四、基于节点向量表示及复杂跨域特征，采用增强门控机制对不同类型的节点向量表示进行自适应的结合，计算不同领域会话向量表示；
11.步骤五、为所有候选节点计算交互概率，并同时生成不同域下的推荐列表。
12.进一步的，上述步骤三的实施步骤如下：
13.(1)给定用户在领域a和领域b中的交互序列为和利用项目嵌入表示层分别建立领域a和领域b的节点最终向量表示和局部和全局偏好进而生成用户在不同领域中的会话表示和
14.(2)将输入至对比学习的框架中，提取出用户跨域不变特征表达，过程表示为：
[0015][0016]
其中|d|为训练样本数量，n为负例样本数量，sim(
·
)为相似性计算函数。
[0017]
(3)将和输入至互注意力机制中，提取出用户双向跨域互增强特征表达，过程表示为：
[0018][0019][0020][0021][0022][0023]
(4)将局部和全局偏好输入至对抗机制中，提取出用户双向跨域独特特征表达，过程表示为：
[0024]
[0025]
其中d(
·
)和g(
·
)分别为会话生成器和领域鉴别器。
[0026]
进一步的，上述步骤二的实施步骤如下：
[0027]
(1)将会话图gs＝(vs,es)输入嵌入层，得到每个节点生成位置向量；
[0028]
(2)将节点向量输入至多头注意力机制中，通过三次线性变化和缩放点积注意力计算该机制输出，过程表示为：
[0029][0030]
其中hi为第h个头注意力所构建的节点表示向量，dh为缩放因子。w
iq
、w
ik
、w
iv
均为可训练的参数矩阵。
[0031]
(3)在多头自注意力机制的输出后接入前馈神经网络，该网络通过线性和激活函数生成项目节点i的最终向量表示zi：
[0032]
zi＝max(0,hiw1+b1)w2+b2[0033]
其中max(
·
)是最大化操作，w1、w2、b1、b2均为可训练的参数矩阵。
[0034]
(1)对于由节点向量组成的会话s，会话局部偏好s
l
和全局偏好sg表示分别为：
[0035]
αi＝softmax(q
t
·
sigmoid(w3zk+w4zi))
[0036][0037][0038]
进一步的，上述步骤四中，增强门控机制的过程表示为：
[0039][0040][0041][0042][0043]
其中ga和gb分别是不同语义和不同领域下会话表示对应的权重，是双向跨域作用下会话在a领域中的向量表示，是双向跨域作用下会话在b领域中的向量表示，是双向跨域作用下会话在b领域中的向量表示，wa、wb均为可训练的参数矩阵。
[0044]
进一步的，上述步骤五的计算过程如下：
[0045][0046][0047]
其中pr
a,j
是项目vj作为a领域会话s在下一时刻的交互的概率，pr
b,j
是项目vj作为b领域会话s在下一时刻的交互的概率；
[0048]
；模型训练过程采用交叉损失函数计算预测值与真值之间的距离，则对于a领域中的会话s，其损失值表示为：
[0049][0050]
同样地，对于a领域中的会话s，其损失值表示为：
[0051][0052]
结合共性特征和独特特征的提取，模型最终的损失函数为：
[0053]
loss＝la+lb+αloss
cl
+βloss
gn
[0054]
与现有技术相比，本发明的优点是：
[0055]
1、本发明分别从空间、时间、双向协同等多个角度挖掘会话表示的语义信息，并通过同时建立双向跨域的共性特征、增强特征、独特特征。不仅有效建模了当前会话的多维动态偏好转移，同时将不同语义空间的会话信息进行深度捕获和融合，显著提高了各个领域会话表征的全面性。具体而言，本发明根据不同领域中的全局会话信息构建全局会话图，并利用项目嵌入表示层中的gcnsformer混合网络从空间结构信息和时间依赖关系的角度对项目进行编码，生成各个节点的最终向量表示；利用多通道语义模块层中的对比学习、互注意力机制、对抗机制得到双向跨域会话推荐场景中不同领域下的复杂特征交叉信息；采用增强门控机制得到不同领域下的会话最终表示，然后结合各个域中候选项目表示计算下一时刻用户可能与之产生交互的概率，并生成下一个交互项目的推荐信息，从而实现会话推荐效果。其中模型在训练过程中通过权值引入了不同跨域共性特征或独特特征作用下的推荐。
[0056]
2、本发明以双向跨域会话推荐场景为目标，通过设计的项目嵌入表示层和多通道语义模块层，有效建模了动态偏好转移模式和引入了双向协同信息，缓解了会话推荐中的数据稀疏问题和双域会话推荐的时效性问题，大大提高了双向跨域会话推荐模型的泛化能力和推荐召回率，从而实现根据用户跨域交互行为解决用户商品需求的目的。
附图说明
[0057]
图1为本发明连接矩阵a的示意图；
[0058]
图2为本发明gcnsformer混合网络结构图；
[0059]
图3为本发明方法流程图；
[0060]
图4为本发明方法结构图。
具体实施方式
[0061]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附和实施例对本发明作进一步地详细描述。显然，所描述的实施例仅是本发明一部分实施例，只用于说明本发明，但不用来限制本发明的范围。
[0062]
本发明设计了一种基于gcnsformer混合网络和多通道语义的双向跨域会话推荐方法。本发明通过对双向跨域会话序列的时空建模和双向跨域的多通道语义信息的挖掘，使得最终的会话表示具有构建多维动态偏好转移模式和建立完整用户偏好表征的能力，以解决现有会话推荐仍然存在的推荐准确性差、模型泛化性弱的问题。具体实现上，通过gcnsformer混合网络学习各个域内交互项目嵌入表示；基于域内局部会话图结构和域间全
局会话图结构，采用本文提出的多通道语义模块对双向跨域会话推荐场景中的共性特征、互增强特征、独有特征分别进行提取；最后基于门控机制，利用动态权重自适应分别对各个域中的会话特征进行整合会话，进而形成不同域下的最终会话表示。
[0063]
参见图3和图4，本发明提供的一种基于gcnsformer混合网络和多通道语义的双向跨域会话推荐方法，包括以下步骤：
[0064]
步骤一、分别获取a领域、b领域会话数据，根据每个领域中的会话数据建立对应的全局会话图，获取图中所有节点的连接关系：
[0065]
面向双向跨域会话推荐场景，分别采用vd＝{v1,v2,...,vm}表示单域会话中唯一的节点。给定用户交互记录，首先根据交互记录时序关系建立会话序列；然后对每个领域的会话信息，基于图论相关理论和域内所有用户交互记录，利用图结构构建域内全局会话图gs＝(vs,es)，以表征交互项目间复杂的转化关系。参见图1，其中vs表示全局会话图中的节点，es表示全局会话图中的边，任意边(vi,v
i+1
)表示用户点击vi之后与v
i+1
进行了交互；最后根据全局会话图结构，构建连接矩阵a表征节点之间的连接关系。考虑到节点之间可能会出现多次连接，为了消除维度不一致的情况，对边权值采用归一化处理。
[0066]
步骤二、根据全局会话图，使用项目嵌入表示层分别计算各领域中节点向量表示基于节点向量表示，根据当前用户会话数据分别得到a领域和b领域的会话局部偏好和全局偏好。所述项目嵌入表示层的建立过程是：首先采用图结构的方式构建会话中项目间的转移关系，其次基于消息传递机制，根据邻居节点特征表示进行节点特征聚合，随后将聚合形成后的节点表征作为transformer模型的输入；参见图2，具体的实施步骤如下：
[0067]
(1)将会话图gs＝(vs,es)输入嵌入层，采用随机化嵌入的方式将节点特征以低维稠密向量ei＝embedding_layer(num_v,emb_dim)进行表示，其中num_v为全局会话图中节点数，emb_dim为节点特征向量的维度；
[0068]
(2)在连接矩阵a作用下邻居节点与当前节点之间的l层信息传播过程表示为：其中n(vi)为vi节点及其l阶邻居节点集合，任意会话s中各个节点所对应的节点向量表示为
[0069]
(3)对于会话s中的节点向量为了刻画项目之间的顺序关系，使用sin和cos函数的线性变换为每个节点生成位置向量，过程表示为：
[0070][0071][0072]
其中p为会话中第i个项目的位置，d为项目向量维度，和分别表示节点的位置嵌入向量。
[0073]
(4)将节点向量输入至多头注意力机制中，通过三次线性变化和缩放点积注意力计算该机制输出，过程表示为：
[0074][0075]
其中hi为第h个头注意力所构建的节点表示向量，dh为缩放因子。w
iq
、w
ik
、w
iv
均为可
训练的参数矩阵。
[0076]
(5)为了增加gcnsformer混合网络的非线性，在多头自注意力机制的输出后接入前馈神经网络，该网络通过线性和激活函数生成项目节点i的最终向量表示zi：
[0077]
zi＝max(0,hiw1+b1)w2+b2[0078]
其中max(
·
)是最大化操作，w1、w2、b1、b2均为可训练的参数矩阵。
[0079]
(6)对于由节点向量组成的会话s，会话局部偏好s
l
和全局偏好sg表示分别为：
[0080]
αi＝softmax(q
t
·
sigmoid(w3zk+w4zi))
[0081][0082][0083]
步骤三、基于节点向量表示及a领域和b领域的会话局部偏好和全局偏好，利用多通道语义模块层计算复杂跨域特征，其中重点是建立多通道语义模块层，所述多通道语义模块层的建立过程是：根据同一用户在不同域中的交互记录，利用对比学习方法学习用户在跨域交互下的共性特征；采用互注意力机制学习双向跨域会话间的互增强特征，采用对抗机制得到双向跨域会话间的独有特征，具体的实施步骤如下：
[0084]
(1)给定用户在领域a和领域b中的交互序列为和利用项目嵌入表示层分别建立领域a和领域b的节点最终向量表示和局部和全局偏好进而生成用户在不同领域中的会话表示和
[0085]
(2)为获取共性特征，将输入至对比学习的框架中，通过缩小用户在不同领域中的会话表示的差异，从而达到提取出用户跨域不变特征表达的目的，过程表示为：
[0086][0087]
其中|d|为训练样本数量，n为负例样本数量，sim(
·
)为相似性计算函数。
[0088]
(3)为获取互增强特征，将和输入至互注意力机制中，通过建立不同域间交互项目间的相关性，从而达到提取出用户双向跨域互增强特征表达的目的，过程表示为：
[0089][0090][0091][0092]
[0093][0094]
(4)为获取独特特征，将局部和全局偏好输入至对抗机制中，通过分辨会话在当前域中的向量表示和跨域全局向量表示，从而达到提取出用户双向跨域独特特征表达的目的，过程表示为：
[0095][0096]
其中d(
·
)和g(
·
)分别为会话生成器和领域鉴别器。
[0097]
步骤四、基于节点向量表示及复杂跨域特征，采用增强门控机制对不同类型的节点向量表示进行自适应的结合，计算不同领域会话向量表示，所述增强门控机制的过程表示为：
[0098][0099][0100][0101][0102]
其中ga和gb分别是不同语义和不同领域下会话表示对应的权重，是双向跨域作用下会话在a领域中的向量表示，是双向跨域作用下会话在b领域中的向量表示，是双向跨域作用下会话在b领域中的向量表示，wa、wb均为可训练的参数矩阵。
[0103]
步骤五、为所有候选节点计算交互概率，并同时生成不同域下的推荐列表：在各个领域中，对每个会话下一时刻可能交互项目的预测是通过计算会话表示与各个域中所有候选项目的概率分布实现的，具体计算过程如下：
[0104][0105][0106]
其中pr
a,j
是项目vj作为a领域会话s在下一时刻的交互的概率，pr
b,j
是项目vj作为b领域会话s在下一时刻的交互的概率，然后分别对概率值按照从大到小进行排序，概率越大的项目越有可能被推荐。
[0107]
由于会话推荐问题本质上属于分类任务，因此模型训练过程采用交叉损失函数计算预测值与真值之间的距离，则对于a领域中的会话s，其损失值表示为：
[0108][0109]
同样地，对于a领域中的会话s，其损失值表示为：
[0110][0111]
结合共性特征和独特特征的提取，模型最终的损失函数为：
[0112]
loss＝la+lb+αloss
cl
+βloss
gn
。
[0113]
以上所述是对本发明的具体实施的说明，而非对本发明的限制。有关技术领域的技术人员在不脱离本发明的范围的情况下，还可以作出各种同等技术方案，因此所有同等
的技术方案均应该归入本发明的专利保护范围。

技术特征：
1.一种基于gcnsformer混合网络和多通道语义的双向跨域会话推荐方法，其特征在于：包括以下步骤：步骤一、分别获取a领域、b领域会话数据，根据每个领域中的会话数据建立对应的全局会话图，获取图中所有节点的连接关系；步骤二、根据全局会话图，使用项目嵌入表示层分别计算各领域中节点向量表示；基于节点向量表示，根据当前用户会话数据分别得到a领域和b领域的会话局部偏好和全局偏好，所述项目嵌入表示层的建立过程是：首先采用图结构的方式构建会话中项目间的转移关系，其次基于消息传递机制，根据邻居节点特征表示进行节点特征聚合，随后将聚合形成后的节点表征作为transformer模型的输入；步骤三、基于节点向量表示及a领域和b领域的会话局部偏好和全局偏好，利用多通道语义模块层计算复杂跨域特征，所述多通道语义模块层的建立过程是：根据同一用户在不同域中的交互记录，利用对比学习方法学习用户在跨域交互下的共性特征；采用互注意力机制学习双向跨域会话间的互增强特征，采用对抗机制得到双向跨域会话间的独有特征；步骤四、基于节点向量表示及复杂跨域特征，采用增强门控机制对不同类型的节点向量表示进行自适应的结合，计算不同领域会话向量表示；步骤五、为所有候选节点计算交互概率，并同时生成不同域下的推荐列表。2.根据权利要求1所述的一种基于gcnsformer混合网络和多通道语义的双向跨域会话推荐方法，其特征在于：所述步骤三的实施步骤如下：(1)给定用户在领域a和领域b中的交互序列为和利用项目嵌入表示层分别建立领域a和领域b的节点最终向量表示和局部和全局偏好进而生成用户在不同领域中的会话表示和(2)将输入至对比学习的框架中，提取出用户跨域不变特征表达，过程表示为：其中|d|为训练样本数量，n为负例样本数量，sim(
·
)为相似性计算函数；(3)将和输入至互注意力机制中，提取出用户双向跨域互增强特征表达，过程表示为：跨域互增强特征表达，过程表示为：跨域互增强特征表达，过程表示为：跨域互增强特征表达，过程表示为：
(4)将局部和全局偏好输入至对抗机制中，提取出用户双向跨域独特特征表达，过程表示为：其中d(
·
)和g(
·
)分别为会话生成器和领域鉴别器。3.根据权利要求2所述的一种基于gcnsformer混合网络和多通道语义的双向跨域会话推荐方法，其特征在于：所述步骤二的实施步骤如下：(1)将会话图g
s
＝(v
s
,e
s
)输入嵌入层，得到每个节点生成位置向量；(2)将节点向量输入至多头注意力机制中，通过三次线性变化和缩放点积注意力计算该机制输出，过程表示为：其中h
i
为第h个头注意力所构建的节点表示向量，d
h
为缩放因子。w
iq
、w
ik
、w
iv
均为可训练的参数矩阵；(3)在多头自注意力机制的输出后接入前馈神经网络，该网络通过线性和激活函数生成项目节点i的最终向量表示z
i
：z
i
＝max(0,h
i
w1+b1)w2+b2其中max(
·
)是最大化操作，w1、w2、b1、b2均为可训练的参数矩阵；(4)对于由节点向量组成的会话s，会话局部偏好s
l
和全局偏好s
g
表示分别为：α
i
＝soft max(q
t
·
sigmoid(w3z
k
+w4z
i
))))4.根据权利要求3所述的一种基于gcnsformer混合网络和多通道语义的双向跨域会话推荐方法，其特征在于：所述步骤四中，增强门控机制的过程表示为：推荐方法，其特征在于：所述步骤四中，增强门控机制的过程表示为：推荐方法，其特征在于：所述步骤四中，增强门控机制的过程表示为：推荐方法，其特征在于：所述步骤四中，增强门控机制的过程表示为：其中g
a
和g
b
分别是不同语义和不同领域下会话表示对应的权重，是双向跨域作用下会话在a领域中的向量表示，是双向跨域作用下会话在b领域中的向量表示，是双向跨域作用下会话在b领域中的向量表示，w
a
、w
b
均为可训练的参数矩阵。5.根据权利要求1-4任意权利要求所述的一种基于多通道语义的双向跨域会话推荐方
法，其特征在于：所述步骤五的计算过程如下：法，其特征在于：所述步骤五的计算过程如下：其中pr
a,j
是项目v
j
作为a领域会话s在下一时刻的交互的概率，pr
b,j
是项目v
j
作为b领域会话s在下一时刻的交互的概率；模型训练过程采用交叉损失函数计算预测值与真值之间的距离，则对于a领域中的会话s，其损失值表示为：同样地，对于a领域中的会话s，其损失值表示为：结合共性特征和独特特征的提取，模型最终的损失函数为：loss＝l
a
+l
b
+αloss
cl
+βloss
gn
。

技术总结
本发明涉及一种基于GCNsformer混合网络和多通道语义的双向跨域会话推荐方法，包括以下步骤：一、分别获取A领域、B领域会话数据，根据每个领域中的会话数据建立对应的全局会话图；二、根据全局会话图，使用项目嵌入表示层分别计算各领域中节点向量表示；三、利用多通道语义模块层计算复杂跨域特征；四、采用增强门控机制对不同类型的节点向量表示进行自适应的结合；步骤五、为所有候选节点计算交互概率，并同时生成不同域下的推荐列表。本发明提高了各个领域会话表征的全面性；缓解了数据稀疏问题和双域会话推荐的时效性，大大提高了双向跨域会话推荐模型的泛化能力和推荐召回率，实现根据用户跨域交互行为解决用户商品需求的目的。的。的。


技术研发人员：张金金 华翔 宋鹏 石成泷
受保护的技术使用者：西安工业大学
技术研发日：2023.04.21
技术公布日：2023/7/25