一种融入评论信息的电商网络商品推荐方法及系统

1.本发明涉及互联网服务推荐领域，特别涉及一种融入评论信息的电商网络商品推荐方法及系统。


背景技术：

2.互联网和智能设备的普及与发展使得全球数据迅猛增长，海量数据蕴含着巨大的价值，但也导致用户难以获取真正需要的信息，“信息过载”问题严重影响了用户的网络体验。推荐系统应运而生，用以解决信息过载问题。推荐系统根据用户的兴趣特征和历史行为，预测用户对目标商品的评分，该算法的优劣会对推荐的性能产生重大影响。在推荐算法中，学习用户偏好、商品特征和其它辅助信息特征，对用户和商品之间存在的显式和潜在关系进行建模是准确推荐的关键。在推荐系统中，用户的购买数据可以表示成图的形式，通常将用户的购买数据建模为电商网络，其中用户和商品为电商网络中的节点，若用户对商品存在购买行为，则两种节点之间存在连边，电商网络从本质上说是二分图。由于图表示学习方法具有优秀的节点表示能力，可以从图数据中学习复杂的关系，利用图神经网络进行推荐已成为一种趋势。基于图神经网络的推荐系统主要研究如何挖掘图中节点间的隐藏关系，通过聚合高阶邻居节点信息来优化节点的表示。在电商推荐中，这类方法忽视了用户(user)对商品(item)的评论信息，仅仅依靠user和item的交互信息不能对二分图中的节点进行有效编码。现实中，绝大多数的user只会与小部分item进行交互，存在数据稀疏的问题。为此，在本发明中，通过利用user-item评论信息中评论主体的属性来丰富图中节点的关联关系，继而提升推荐的准确性。


技术实现要素：

3.本发明提供了一种融入评论信息的电商网络商品推荐方法及系统，能够为电商平台网络中的用户提供准确推荐。
4.为了达到上述目的，本发明采用了下列技术方案：本发明基于用户的购买信息，利用用户针对商品发布的评论信息，挖掘用户所关心商品的实体属性，从而进行更细粒度的分析。在传统用户-商品交互二分图的基础上，融入评论信息中评论主体的实体属性及其情感倾向，在电商网络中得到更加精确的节点表示，生成可靠有效的商品推荐结果。
5.一种融入评论信息的电商网络商品推荐方法，包括以下步骤：
6.s10、对电商交易日志系统中用户购买数据集中的评论文本数据进行处理，利用实体属性-情感对联合抽取任务获取评论数据中的评价主体的实体属性及其情感倾向；
7.s20、基于步骤s10获得的实体属性及其情感倾向，构建用户-实体属性二分图、实体属性-商品二分图和用户-商品交互二分图；
8.s30、基于步骤s20获得的用户-实体属性、实体属性-商品二分图和用户-商品交互二分图，利用图注意力神经网络构建电商网络商品推荐模型；
9.s40、基于步骤s30构建的电商网络商品推荐模型，通过迭代计算方式对模型进行
训练，确定模型的最优参数；
10.s50、利用步骤s30构建的电商网络商品推荐模型以及步骤s40确定的模型最优参数，计算用户商品间的推荐得分，排序后确定推荐结果并输出。
11.进一步地，所述步骤s10具体包含以下步骤：
12.s11、使用预训练好的bert模型对评论文本进行初始化，得到每个单词包含丰富上下文信息的向量表示，该过程的形式化的表示如式(1)所示：
13.x
t
＝bert(w
t
)
ꢀꢀꢀ
(1)
14.通过bert(
·
)模型获取w
t
的相应词向量表示；其中，w
t
为评论文本中第t个单词，x
t
为该单词的向量表示；
15.s12、边界预测：使用lstm模型对向量x
t
进一步编码，采用一个lstm模型取名为lstmb，配合crf框架预测其边界标签序列，边界标签集yb为{i,o}，其中，i是inside，代表评论中该词的标签是i，此词属于实体属性；o是outside，代表评论该词的标签是o，此词不属于实体属性，其形式化的过程如式(2)所示：
[0016][0017]
其中，为第t个词对应的隐藏层向量表示，lstmb(x
t
)上的箭头表示正向编码和反向编码；
[0018]
s13、统一标签预测：基于s12使用另外一个lstm模型取名为lstmu，进行统一标签预测，将s12中的lstmb和lstmu进行串联，使lstmb生成的向量表示直接作为引导信息提供给lstmu，具体来说，该过程如式(3)所示：
[0019][0020]
其中，为第t个词对应的隐藏层向量表示，上的箭头表示正向编码和反向编码；
[0021]
利用crf计算统一预测标签，概率计算方式如式(4)所示：
[0022][0023]
其中，表示实体属性情感倾向的概率分数，wu和bu为编码权重和偏置；
[0024]
边界信息有助于提高序列标注任务的性能，通过构建一个标签转移矩阵w
bg
，来连接边界标签和统一标签，边界标签和统一标签之间的转移概率设为相同的概率，如式(5)所示：
[0025][0026]
使用crf计算边界预测的标签，概率计算方式如式(6)所示：
[0027][0028]
其中，表示边界预测概率分数，wb和bb为编码权重和偏置；
[0029]
通过w
bg
将边界标签的概率分数映射到统一的标签空间，由此，可以得到统一标
签概率分数
[0030][0031]
其中，为边界预测标签的概率分数，w
bg
为转移矩阵；
[0032]
为了融合直接得到的统一标签和经过转移得到的统一标签使用了一个超参数α，利用门控机制融合直接得到的统一标签和经过转移得到的统一标签的信息，如式(8)所示：
[0033][0034]
其中，为融合直接得到的统一标签和经过转移得到的统一标签的最终标签概率分数，为式(4)概率分数，为式(7)所示统一标签概率分数；
[0035]
s14、构建联合优化目标函数进行训练，其形式化的过程如式(9)、式(10)和式(11)所示：
[0036][0037][0038]
l＝lb+luꢀꢀꢀ
(11)
[0039]
其中，lb为边界预测任务的损失，lu为统一标签预测任务的损失函数，通过最小化边界预测任务和统一标签预测损失函数进行模型训练，l代表损失函数，t代表每条评论中单词数；
[0040]
s15、实体属性-情感关系确定：对任意一个评论文本text∈d
ij
，使用s14中训练好的模型进行预测，得到评论文本中实体属性及其情感倾向概率分数；其中，某实体属性在积极标签pos上的概率为其包含词的积极标签pos概率的均值，消极标签neg和中立标签neu使用类似手段进行处理，将以上三类标签空间中的概率通过softmax函数进行归一化，其概率最大的一类即为实体属性相应的标签，对于用户ui能得到实体属性集t
iu
及其对应的情感概率，item能得到实体属性集及其对应的情感概率。
[0041]
进一步，所述步骤s20具体包含以下步骤：
[0042]
基于步骤s10抽取出实体属性term及其情感标签信息，将其转化为用户-实体属性二分图g＝(x,y,e)，其中：
[0043]
x＝{x1,x2,...,xm}表示用户-商品购买关系数据集中m个用户构成的集合，其中xm表示第m个用户，m∈[1,m]；
[0044]
y＝{y1,y2,...,yn}表示n个实体属性构成的集合，其中yn表示第n个实体属性，n∈[1,n]；
[0045]
e＝{e
mn
}
m＝1,2,...,m,n＝1,2,...,n
表示用户对不同实体属性的情感态度偏好，e
mn
表示用户xm对实体属性yn的偏好概率分数；同理，构建实体属性-商品二分图。
[0046]
进一步，所述步骤s30中利用图注意力神经网络构建电商网络商品推荐模型包含嵌入层、传播层和预测层三个部分。
[0047]
进一步，所述步骤s30具体包含以下步骤：
[0048]
s31、使用图注意力神经网络将用户-实体属性二分图、实体属性-商品二分图编码为低维空间中的向量表示；在user-term中，设t为s10获得的实体属性，分别为实体属性term_j被分为3种情感的概率；t_num为实体属性term_j在user_i中出现的次数；利用实体属性的情感来确定其连边的权重，实体属性第i次的初始化方式如式(12)所示：
[0049][0050]
将多次出现的实体属性term_j的权重平均值作为该实体属性在user-term图中边w
ij
的权重；由此，得到user-term图中边的权重；其中，为实体属性积极情感的概率；为实体属性消极情感的概率；为实体属性中性情感的概率；weightj表示实体属性term_j的权重；
[0051]
s32、利用图注意力神经网络进行图卷积操作，经过多层卷积操作用户和商品的向量表示中包含实体属性的特征，k层卷积操作形式化的过程如式(13)、式(14)所示：
[0052][0053][0054]
其中，表示聚合k+1阶邻居信息的用户u的向量表示；表示聚合k阶邻居信息的实体属性的向量表示；nu表示用户u评论过的实体属性term的集合，这些实体属性表示为用户的偏好，|nu|表示用户u评论过的实体属性的数量；n
t
表示评论过实体属性t的用户的集合，|n
t
|表示在评论中提及过实体属性t的用户的数量；为归一化项；weight
ij
为用户ui与实体属性tj间的权重，weight
ij
值的大小表示用户的情感倾向，即用户对此实体属性的偏好程度；
[0055]
与user-term图类似，item-term更新操作一致，如式(15)、式(16)所示：
[0056][0057][0058]
其中，表示聚合k+1阶邻居信息的商品i的向量表示；表示聚合k阶邻居信
息的实体属性的向量表示；ni表示从评论中得到的具备的实体属性t的集合，|ni|表示该商品具备的实体属性的数量；n
t
表示具备该实体属性t的商品的集合，|n
t
|表示具备该实体属性t的商品的数量；为归一化项；weight
it
为商品i与实体属性t间的权重，weight
it
值的大小表示该商品具备的特性；
[0059]
s33、基于s32得到user和item的向量表示作为用户-商品交互二分图的初始嵌入向量表示；进一步地，基于电商平台的购物数据，用户-商品交互二分图g＝(u,i,e)，其中：
[0060]
u＝{u1,u2,...,un}表示n个用户构成的集合，n表示用户的数量，其中un表示第n个用户，n＝{1,2,...,n}；
[0061]
i＝{i1,i2,...,im}表示m个商品构成的集合，m表示商品的数量，其中im表示第m个商品，m＝{1,2,...,m}；
[0062]
e＝{e
nm
}
n＝1,2,...,n,m＝1,2,...,m
表示用户对不同商品的购买集合；若用户un购买商品im，则用户un和商品im有交互关系，否则，没有交互关系；e
nm
表示用户un和商品im的交互关系，如果用户un与商品im有交互，则e
nm
＝1，否则，e
nm
＝0；
[0063]
s34、使用图卷积网络进行卷积操作，形式化的过程如式(17)、式(18)所示：
[0064][0065][0066]
其中，和分别是用户u和商品i的k阶向量表示，即聚合k阶邻居信息的向量表示；和分别是用户u和商品i的k+1阶向量表示，即聚合k+1阶邻居信息的向量，融合了用户购买的商品的信息，捕获了用户的兴趣偏好；nu表示用户u购买的商品集合，|nu|为用户u购买的商品数量；ni表示购买商品i的用户集合，|ni|为购买商品i的用户数量；为归一化项；
[0067]
经过k层的卷积操作后，得到每一层用户的节点表示，即同理得到商品的不同层的节点表示，即不同层的输出代表不同阶的信息；最后，采用式(19)、式(20)将各层的向量表示进行拼接：
[0068][0069][0070]
其中，是用户的向量表示，是商品的向量表示；
[0071]
s35、使用内积公式如(21)式所示，来预测用户u对商品i的偏好，完成电商网络商品推荐模型；
[0072]
[0073]
其中，表示用户特征向量和商品特征向量的内积即用户对商品的预测偏好；是用户的向量表示；是商品的向量表示；t表示矩阵相乘的转置符号。
[0074]
进一步，所述步骤s40具体包含以下步骤：
[0075]
s41、将s30所述电商网络商品推荐模型进行联合训练，目标函数如式(22)所示：
[0076][0077]
其中，ο＝{(u,i
+
,i-)|(u,i
+
)∈r
+
,(u,i-)∈r-}表示训练集，r
+
表示训练集中用户与商品有交互行为，r-表示训练集中用户和商品没有交互行为；表示有交互行为的用户和商品的预测偏好；表示没有交互行为的用户和商品的预测偏好；i
+
表示有交互行为的用户，i-表示没有交互行为的用户；λ和θ分别表示模型的正则化参数和模型参数；σ激活函数如式(23)定义：
[0078][0079]
s42、利用梯度下降方法进行反向传播，对电商网络商品推荐模型中的连接权重矩阵进行更新，保存recall最高时的模型参数，在训练集上进行训练，验证集中进行测试。
[0080]
进一步，所述步骤s50包含以下具体步骤：
[0081]
s51、使用公式(21)计算用户和商品的预测偏好，对于某一用户，根据该用户的用户特征向量与各商品特征向量的内积获得该用户对所有商品的预测偏好，根据该用户对所有商品的预测偏好选取排名前20的商品进行推荐；
[0082]
s52、将电商网络商品推荐的结果输出至用户和相关电商平台运营分析人员，用于向用户推荐其感兴趣的商品，为用户提供个性化的推荐服务；运营分析人员通过分析用户偏好进行准确的推荐，提高用户满意度和忠诚度，提升销售量创造更多的经济价值。
[0083]
一种基于上述推荐方法的融入评论信息的电商网络商品推荐系统，包括计算机处理器和内存、实体属性及其情感倾向获取单元、用户-实体属性、实体属性-商品构建单元、融入评论信息的电商网络商品推荐模型训练单元、融入评论信息的电商网络商品推荐结果输出单元。
[0084]
进一步，所述实体属性及其情感倾向获取单元，抽取评论文本中用户提及的实体属性及其情感倾向，并加载到计算机内存中；所述用户-实体属性、实体属性-商品构建单元，根据抽取出的实体属性和概率分数，构建user-term和term-item二分图，并加载到计算机内存中；所述融入评论信息的电商网络商品推荐模型训练单元，训练图注意力神经网络搭建的电商网络商品推荐模型，并通过迭代计算确定模型中参数的最优值，根据模型中参数的最优值，计算内积，获取推荐结果；所述融入评论信息的电商网络商品推荐结果输出单元用于将电商网络商品推荐结果输出至用户和相关电商平台运营分析人员，用于各电商平台进行商品推荐。
[0085]
与现有技术相比本发明具有以下优点：
[0086]
1、一种融入评论信息的电商网络商品推荐方法，利用评论信息构建更加丰富的用户-商品的关联关系，评论信息的加入一定程度上缓解了用户与商品的交互数据稀疏的问
题；抽取出的评论信息可以看作用户对商品特定属性的偏好增加了推荐的可解释性。
[0087]
2、一种电商网络商品推荐方法，利用图注意力网络构建电商网络商品推荐模型，能够更加准确的捕获用户和商品的高阶协同过滤信号，充分挖掘用户和商品的关系，得到用户的潜在兴趣偏好。
附图说明
[0088]
图1为本发明所述步骤s10中的实体属性及其情感抽取模型结构图；
[0089]
图2为本发明所述步骤s30中的电商网络商品推荐的模型结构图；
[0090]
图3为本发明所述电商网络商品推荐系统的系统结构图；
[0091]
图4为本发明所述电商网络商品推荐方法的流程图。
具体实施方式
[0092]
为了进一步阐述本发明的技术方案，下面结合附图及实施例对本发明进行进一步说明。
[0093]
本发明所述的电商网络异常用户检测方法通过计算机程序实施，下面将按照图4所示流程详述本发明提出的技术方案的具体实施方式。下面，本发明选取具有标注信息的laptop和相同领域的亚马逊数据集electronics为例进行说明。laptop数据集大约有2000左右样本，其属性级情感分析可看作四分类序列标注问题：o、i-pos、i-neg、i-neu。使用该数据集进行模型训练抽取实体属性及其情感倾向。常见的实体属性包括：price、quality、screen等。进一步的，使用electronics数据集进行模型训练，该数据集包括用户id、商品id、评价日期、评分信息以及评论文本数据。通过本发明的技术方案，使用electronics数据集实现对亚马逊电子产品的推荐。
[0094]
实施方式主要包含以下关键内容：
[0095]
s10、对电商交易日志系统中用户购买数据集中的评论文本数据进行处理，利用实体属性-情感对联合抽取任务获取评论数据中的评价主体的实体属性及其情感倾向；其实体属性及其情感抽取模型结构如图1所示。
[0096]
s20、基于步骤s10获得的实体属性及其情感倾向，构建用户-实体属性二分图、实体属性-商品二分图和用户-商品交互二分图；
[0097]
s30、基于步骤s20获得的用户-实体属性、实体属性-商品二分图和用户-商品交互二分图，利用图注意力神经网络搭建电商网络商品推荐模型；其电商网络商品推荐的模型结构如图2所示。
[0098]
s40、基于步骤s30构建的电商网络商品推荐模型，通过迭代计算方式对模型进行训练，确定模型的最优参数；
[0099]
s50、利用步骤s30构建的电商网络商品推荐模型以及步骤s40确定的模型最优参数，计算用户商品间的推荐得分，排序后确定推荐结果并输出。
[0100]
进一步，所述步骤s10具体包含以下步骤：
[0101]
s11、使用预训练好的bert模型对评论文本进行初始化，得到每个单词包含丰富上下文信息的向量表示，该过程的形式化的表示如式(1)所示：
[0102]
x
t
＝bert(w
t
) (1)
[0103]
通过bert(
·
)模型获取w
t
的相应词向量表示；其中，w
t
为评论文本中第t个单词，x
t
为该单词的向量表示；
[0104]
s12、边界预测：使用lstm模型对向量x
t
进一步编码，采用一个lstm模型取名为lstmb，配合crf框架预测其边界标签序列，边界标签集yb为{i,o}，其中，i是inside，代表评论中该词的标签是i，此词属于实体属性；o是outside，代表评论该词的标签是o，此词不属于实体属性，其形式化的过程如式(2)所示：
[0105][0106]
其中，为第t个词对应的隐藏层向量表示，lstmb(x
t
)上的箭头表示正向编码和反向编码；
[0107]
s13、统一标签预测：基于s12使用另外一个lstm模型，取名为lstmu，进行统一标签预测，将s12中的lstmb和lstmu进行串联，使lstmb生成的向量表示直接作为引导信息提供给lstmu，具体来说，该过程如式(3)所示：
[0108][0109]
其中，为第t个词对应的隐藏层向量表示，上的箭头表示正向编码和反向编码；
[0110]
利用crf计算统一预测标签，概率计算方式如式(4)所示：
[0111][0112]
其中，表示实体属性情感倾向的概率分数，wu和bu为编码权重和偏置；
[0113]
边界信息有助于提高序列标注任务的性能，通过构建一个标签转移矩阵w
bg
，来连接边界标签和统一标签，边界标签和统一标签之间的转移概率设为相同的概率，如式(5)所示：
[0114][0115]
使用crf计算边界预测的标签，概率计算方式如式(6)所示：
[0116][0117]
其中，表示边界预测概率分数，wb和bb为编码权重和偏置；
[0118]
通过w
bg
将边界标签的概率分数映射到统一的标签空间，由此，可以得到统一标签概率分数
[0119][0120]
其中，为边界预测标签的概率分数，w
bg
为转移矩阵；
[0121]
为了融合直接得到的统一标签和经过转移得到的统一标签使用了一个超参数α，利用门控机制融合直接得到的统一标签和经过转移得到的统一标签的信息，如式(8)所示：
[0122][0123]
其中，为融合直接得到的统一标签和经过转移得到的统一标签的最终标签概率分数，为式(4)概率分数，为式(7)所示统一标签概率分数；
[0124]
s14、构建联合优化目标函数进行训练，其形式化的过程如式(9)、式(10)和式(11)所示：
[0125][0126][0127]
l＝lb+luꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0128]
其中，lb为边界预测任务的损失，lu为统一标签预测任务的损失函数，通过最小化边界预测任务和统一标签预测损失函数进行模型训练，l代表损失函数，t代表每条评论中单词数；
[0129]
s15、实体属性-情感关系确定：对任意一个评论文本text∈d
ij
，使用s14中训练好的模型进行预测，得到评论文本中实体属性及其情感倾向概率分数；其中，某实体属性在积极标签pos上的概率为其包含词的积极标签pos概率的均值，消极标签neg和中立标签neu使用类似手段进行处理，将以上三类标签空间中的概率通过softmax函数进行归一化，其概率最大的一类即为实体属性相应的标签，对于用户ui能得到实体属性集t
iu
及其对应的情感概率，item能得到实体属性集及其对应的情感概率。
[0130]
进一步，所述步骤s20具体包含以下步骤：
[0131]
基于步骤s10抽取出实体属性term及其情感标签信息，将其转化为用户-实体属性二分图g＝(x,y,e)，其中：
[0132]
x＝{x1,x2,...,xm}表示用户-商品购买关系数据集中m个用户构成的集合，其中xm表示第m个用户，m∈[1,m]；
[0133]
y＝{y1,y2,...,yn}表示n个实体属性构成的集合，其中yn表示第n个实体属性，n∈[1,n]；
[0134]
e＝{e
mn
}
m＝1,2,...,m,n＝1,2,...,n
表示用户对不同实体属性的情感态度偏好，e
mn
表示用户xm对实体属性yn的偏好概率分数；同理，构建实体属性-商品二分图。
[0135]
所述步骤s30中利用图注意力神经网络构建电商网络商品推荐模型包含嵌入层、传播层和预测层三个部分。
[0136]
所述步骤s30具体包含以下步骤：
[0137]
s31、使用图注意力神经网络将用户-实体属性二分图、实体属性-商品二分图编码为低维空间中的向量表示；在user-term中，设t为s10获得的实体属性，分别为实体属性term_j被分为3种情感的概率；t_num为实体属性term_j在user_i中出现的次数；利用实体属性的情感来确定其连边的权重，实体属性第i次的初始化方式如式(12)所示：
[0138][0139]
将多次出现的实体属性term_j的权重平均值作为该实体属性在user-term图中边w
ij
的权重；由此，得到user-term图中边的权重；其中，为实体属性积极情感的概率；为实体属性消极情感的概率；为实体属性中性情感的概率；weightj表示实体属性term_j的权重；
[0140]
s32、利用图注意力神经网络进行图卷积操作，经过多层卷积操作用户和商品的向量表示中包含实体属性的特征，k层卷积操作形式化的过程如式(13)、式(14)所示：
[0141][0142][0143]
其中，表示聚合k+1阶邻居信息的用户u的向量表示；表示聚合k阶邻居信息的实体属性的向量表示；nu表示用户u评论过的实体属性term的集合，这些实体属性表示为用户的偏好，|nu|表示用户u评论过的实体属性的数量；n
t
表示评论过实体属性t的用户的集合，|n
t
|表示在评论中提及过实体属性t的用户的数量；为归一化项；weight
ij
为用户ui与实体属性tj间的权重，weight
ij
值的大小表示用户的情感倾向，即用户对此实体属性的偏好程度；
[0144]
与user-term图类似，item-term更新操作一致，如式(15)、式(16)所示：
[0145][0146][0147]
其中，表示聚合k+1阶邻居信息的商品i的向量表示；表示聚合k阶邻居信息的实体属性的向量表示；ni表示从评论中得到的具备的实体属性t的集合，|ni|表示该商品具备的实体属性的数量；n
t
表示具备该实体属性t的商品的集合，|n
t
|表示具备该实体属性t的商品的数量；为归一化项；weight
it
为商品i与实体属性t间的权重，weight
it
值的大小表示该商品具备的特性；
[0148]
s33、基于s32得到user和item的向量表示作为用户-商品交互二分图的初始嵌入
向量表示；进一步地，基于电商平台的购物数据，用户-商品交互二分图g＝(u,i,e)，其中：
[0149]
u＝{u1,u2,...,un}表示n个用户构成的集合，n表示用户的数量，其中un表示第n个用户，n＝{1,2,...,n}；
[0150]
i＝{i1,i2,...,im}表示m个商品构成的集合，m表示商品的数量，其中im表示第m个商品，m＝{1,2,...,m}；
[0151]
e＝{e
nm
}
n＝1,2,...,n,m＝1,2,...,m
表示用户对不同商品的购买集合；若用户un购买商品im，则用户un和商品im有交互关系，否则，没有交互关系；e
nm
表示用户un和商品im的交互关系，如果用户un与商品im有交互，则e
nm
＝1，否则，e
nm
＝0；
[0152]
s34、使用图卷积网络进行卷积操作，形式化的过程如式(17)、式(18)所示：
[0153][0154][0155]
其中，和分别是用户u和商品i的k阶向量表示，即聚合k阶邻居信息的向量表示；和分别是用户u和商品i的k+1阶向量表示，即聚合k+1阶邻居信息的向量，融合了用户购买的商品的信息，捕获了用户的兴趣偏好；nu表示用户u购买的商品集合，|nu|为用户u购买的商品数量；ni表示购买商品i的用户集合，|ni|为购买商品i的用户数量；为归一化项；
[0156]
经过k层的卷积操作后，得到每一层用户的节点表示，即同理得到商品的不同层的节点表示，即不同层的输出代表不同阶的信息；最后，采用式(19)、式(20)将各层的向量表示进行拼接：
[0157][0158][0159]
其中，是用户的向量表示，是商品的向量表示；
[0160]
s35、使用内积公式如(21)式所示，来预测用户u对商品i的偏好，完成电商网络商品推荐模型；
[0161][0162]
其中，表示用户特征向量和商品特征向量的内积即用户对商品的预测偏好；是用户的向量表示；是商品的向量表示；t表示矩阵相乘的转置符号。
[0163]
进一步，所述步骤s40具体包含以下步骤：
[0164]
s41、将s30所述电商网络商品推荐模型进行联合训练，目标函数如式(22)所示：
[0165]
[0166]
其中，ο＝{(u,i
+
,i-)|(u,i
+
)∈r
+
,(u,i-)∈r-}表示训练集，r
+
表示训练集中用户与商品有交互行为，r-表示训练集中用户和商品没有交互行为；表示有交互行为的用户和商品的预测偏好；表示没有交互行为的用户和商品的预测偏好；i
+
表示有交互行为的用户，i-表示没有交互行为的用户；λ和θ分别表示模型的正则化参数和模型参数；σ激活函数如式(23)定义：
[0167][0168]
s42、利用梯度下降方法进行反向传播，对电商网络商品推荐模型中的连接权重矩阵进行更新，保存recall最高时的模型参数，在训练集上进行训练，验证集中进行测试。
[0169]
进一步，所述步骤s50具体包含以下步骤：
[0170]
s51、使用公式(21)计算用户和商品的预测偏好，对于某一用户，根据该用户的用户特征向量与各商品特征向量的内积获得该用户对所有商品的预测偏好，根据该用户对所有商品的预测偏好选取排名前20的商品进行推荐；
[0171]
s52、将电商网络商品推荐的结果输出至用户和相关电商平台运营分析人员，用于向用户推荐其感兴趣的商品，为用户提供个性化的推荐服务；运营分析人员通过分析用户偏好进行准确的推荐，提高用户满意度和忠诚度，提升销售量创造更多的经济价值。
[0172]
技术效果评价：
[0173]
为验证本发明提出技术方案的有效性和先进性，将本发明与几种经典的推荐方法进行比较，对比方法包括神经协同方法(ngcf)、轻量级卷积网络(light-gcn)、兴趣感知卷积网络(imp-gcn)，以20次实验的平均准确率和归一化互信息为评价指标，将上述匹配结果进行对比分析，比较结果如表1所示：
[0174]
表1结果对比分析
[0175][0176]
由表中结果可以看出，本发明技术方案在对电商网络进行商品推荐时，能获得更优的召回率和归一化折损累计增益。
[0177]
如图3所示，一种融入评论信息的电商网络商品推荐系统，包括计算机处理器和内存、实体属性及其情感倾向获取单元、用户-实体属性、实体属性-商品构建单元、融入评论信息的电商网络商品推荐模型训练单元、融入评论信息的电商网络商品推荐结果输出单元；所述实体属性及其情感倾向获取单元，抽取评论文本中用户提及的实体属性及其情感倾向，并加载到计算机内存中；所述用户-实体属性、实体属性-商品构建单元，根据抽取出的实体属性和概率分数，构建user-term和term-item二分图，并加载到计算机内存中；所述融入评论信息的电商网络商品推荐模型训练单元，训练图注意力神经网络搭建的电商网络商品推荐模型，并通过迭代计算确定模型中参数的最优值，根据模型中参数的最优值，计算内积，获取推荐结果；所述融入评论信息的电商网络商品推荐结果输出单元用于将电商网
络商品推荐结果输出至用户和相关电商平台运营分析人员，用于各电商平台进行商品推荐。

技术特征：
1.一种融入评论信息的电商网络商品推荐方法，其特征在于，包括以下步骤：s10、对电商交易日志系统中用户购买数据集中的评论文本数据进行处理，利用实体属性-情感对联合抽取任务获取评论数据中的评价主体的实体属性及其情感倾向；s20、基于步骤s10获得的实体属性及其情感倾向，构建用户-实体属性二分图、实体属性-商品二分图和用户-商品交互二分图；s30、基于步骤s20获得的用户-实体属性、实体属性-商品二分图和用户-商品交互二分图，利用图注意力神经网络构建电商网络商品推荐模型；s40、基于步骤s30构建的电商网络商品推荐模型，通过迭代计算方式对模型进行训练，确定模型的最优参数；s50、利用步骤s30构建的电商网络商品推荐模型以及步骤s40确定的模型最优参数，计算用户商品间的推荐得分，排序后确定推荐结果并输出。2.根据权利要求1所述一种融入评论信息的电商网络商品推荐方法，其特征在于，所述步骤s10具体包含以下步骤：s11、使用预训练好的bert模型对评论文本进行初始化，得到每个单词包含丰富上下文信息的向量表示，该过程的形式化的表示如式(1)所示：x
t
＝bert(w
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)通过bert(
·
)模型获取w
t
的相应词向量表示；其中，w
t
为评论文本中第t个单词，x
t
为该单词的向量表示；s12、边界预测：使用lstm模型对向量x
t
进一步编码，采用一个lstm模型取名为lstm
b
，配合crf框架预测其边界标签序列，边界标签集y
b
为{i,o}，其中，i是inside，代表评论中该词的标签是i，此词属于实体属性；o是outside，代表评论该词的标签是o，此词不属于实体属性，其形式化的过程如式(2)所示：其中，为第t个词对应的隐藏层向量表示，lstm
b
(x
t
)上的箭头表示正向编码和反向编码；s13、统一标签预测：基于s12使用另外一个lstm模型，取名为lstm
u
，进行统一标签预测，将s12中的lstm
b
和lstm
u
进行串联，使lstm
b
生成的向量表示直接作为引导信息提供给lstm
u
，具体来说，该过程如式(3)所示：其中，为第t个词对应的隐藏层向量表示，上的箭头表示正向编码和反向编码；利用crf计算统一预测标签，概率计算方式如式(4)所示：其中，表示实体属性情感倾向的概率分数，w
u
和b
u
为编码权重和偏置；边界信息有助于提高序列标注任务的性能，通过构建一个标签转移矩阵w
bg
，来连接边界标签和统一标签，边界标签和统一标签之间的转移概率设为相同的概率，如式(5)所示：
使用crf计算边界预测的标签，概率计算方式如式(6)所示：其中，表示边界预测概率分数，w
b
和b
b
为编码权重和偏置；通过w
bg
将边界标签的概率分数映射到统一的标签空间，由此，可以得到统一标签概率分数率分数其中，为边界预测标签的概率分数，w
bg
为转移矩阵；为了融合直接得到的统一标签和经过转移得到的统一标签使用了一个超参数α，利用门控机制融合直接得到的统一标签和经过转移得到的统一标签的信息，如式(8)所示：其中，为融合直接得到的统一标签和经过转移得到的统一标签的最终标签概率分数，为式(4)概率分数，为式(7)所示统一标签概率分数；s14、构建联合优化目标函数进行训练，其形式化的过程如式(9)、式(10)和式(11)所示：示：l＝l
b
+l
u
ꢀꢀꢀꢀꢀꢀꢀ
(11)其中，l
b
为边界预测任务的损失，l
u
为统一标签预测任务的损失函数，通过最小化边界预测任务和统一标签预测损失函数进行模型训练，l代表损失函数，t代表每条评论中单词数；s15、实体属性-情感关系确定：对任意一个评论文本text∈d
ij
，使用s14中训练好的模型进行预测，得到评论文本中实体属性及其情感倾向概率分数；其中，某实体属性在积极标签pos上的概率为其包含词的积极标签pos概率的均值，消极标签neg和中立标签neu使用类似手段进行处理，将以上三类标签空间中的概率通过softmax函数进行归一化，其概率最大的一类即为实体属性相应的标签，对于用户u
i
能得到实体属性集及其对应的情感概率，item能得到实体属性集及其对应的情感概率。3.根据权利要求1所述一种融入评论信息的电商网络商品推荐方法，其特征在于，所述步骤s20具体包含以下步骤：基于步骤s10抽取出实体属性term及其情感标签信息，将其转化为用户-实体属性二分
图g＝(x,y,e)，其中：x＝{x1,x2,...,x
m
}表示用户-商品购买关系数据集中m个用户构成的集合，其中x
m
表示第m个用户，m∈[1,m]；y＝{y1,y2,...,y
n
}表示n个实体属性构成的集合，其中y
n
表示第n个实体属性，n∈[1,n]；e＝{e
mn
}
m＝1,2,...,m,n＝1,2,...,n
表示用户对不同实体属性的情感态度偏好，e
mn
表示用户x
m
对实体属性y
n
的偏好概率分数；同理，构建实体属性-商品二分图。4.根据权利要求1所述一种融入评论信息的电商网络商品推荐方法，其特征在于，所述步骤s30中利用图注意力神经网络构建电商网路商品推荐模型包含嵌入层、传播层和预测层三个部分。5.根据权利要求1所述一种融入评论信息的电商网络商品推荐方法，其特征在于，所述步骤s30具体包含以下步骤：s31、使用图注意力神经网络将用户-实体属性二分图、实体属性-商品二分图编码为低维空间中的向量表示；在user-term中，设t为s10获得的实体属性，分别为实体属性term_j被分为3种情感的概率；t_num为实体属性term_j在user_i中出现的次数；利用实体属性的情感来确定其连边的权重，实体属性第i次的初始化方式如式(12)所示：将多次出现的实体属性term_j的权重平均值作为该实体属性在user-term图中边w
ij
的权重；由此，得到user-term图中边的权重；其中，为实体属性积极情感的概率；为实体属性消极情感的概率；为实体属性中性情感的概率；weight
j
表示实体属性term_j的权重；s32、利用图注意力神经网络进行图卷积操作，经过多层卷积操作用户和商品的向量表示中包含实体属性的特征，k层卷积操作形式化的过程如式(13)、式(14)所示：示中包含实体属性的特征，k层卷积操作形式化的过程如式(13)、式(14)所示：其中，表示聚合k+1阶邻居信息的用户u的向量表示；表示聚合k阶邻居信息的实体属性的向量表示；n
u
表示用户u评论过的实体属性term的集合，这些实体属性表示为用户的偏好，|n
u
|表示用户u评论过的实体属性的数量；n
t
表示评论过实体属性t的用户的集
合，|n
t
|表示在评论中提及过实体属性t的用户的数量；为归一化项；weight
ij
为用户u
i
与实体属性t
j
间的权重，weight
ij
值的大小表示用户的情感倾向，即用户对此实体属性的偏好程度；与user-term图类似，item-term更新操作一致，如式(15)、式(16)所示：term更新操作一致，如式(15)、式(16)所示：其中，表示聚合k+1阶邻居信息的商品i的向量表示；表示聚合k阶邻居信息的实体属性的向量表示；n
i
表示从评论中得到的具备的实体属性t的集合，|n
i
|表示该商品具备的实体属性的数量；n
t
表示具备该实体属性t的商品的集合，|n
t
|表示具备该实体属性t的商品的数量；为归一化项；weight
it
为商品i与实体属性t间的权重，weight
it
值的大小表示该商品具备的特性；s33、基于s32得到user和item的向量表示作为用户-商品交互二分图的初始嵌入向量表示；进一步地，基于电商平台的购物数据，用户-商品交互二分图g＝(u,i,e)，其中：u＝{u1,u2,...,u
n
}表示n个用户构成的集合，n表示用户的数量，其中u
n
表示第n个用户，n＝{1,2,...,n}；i＝{i1,i2,...,i
m
}表示m个商品构成的集合，m表示商品的数量，其中i
m
表示第m个商品，m＝{1,2,...,m}；e＝{e
nm
}
n＝1,2,...,n,m＝1,2,...,m
表示用户对不同商品的购买集合；若用户u
n
购买商品i
m
，则用户u
n
和商品i
m
有交互关系，否则，没有交互关系；e
nm
表示用户u
n
和商品i
m
的交互关系，如果用户u
n
与商品i
m
有交互，则e
nm
＝1，否则，e
nm
＝0；s34、使用图卷积网络进行卷积操作，形式化的过程如式(17)、式(18)所示：s34、使用图卷积网络进行卷积操作，形式化的过程如式(17)、式(18)所示：其中，和分别是用户u和商品i的k阶向量表示，即聚合k阶邻居信息的向量表示；和分别是用户u和商品i的k+1阶向量表示，即聚合k+1阶邻居信息的向量，融合了用户购买的商品的信息，捕获了用户的兴趣偏好；n
u
表示用户u购买的商品集合，|n
u
|为用户u购买的商品数量；n
i
表示购买商品i的用户集合，|n
i
|为购买商品i的用户数量；为归一化项；
实体属性、实体属性-商品构建单元、融入评论信息的电商网络商品推荐模型训练单元、融入评论信息的电商网络商品推荐结果输出单元。9.根据权利要求8所述的一种融入评论信息的电商网络商品推荐系统，其特征在于，所述实体属性及其情感倾向获取单元，抽取评论文本中用户提及的实体属性及其情感倾向，并加载到计算机内存中；所述用户-实体属性、实体属性-商品构建单元，根据抽取出的实体属性和概率分数，构建user-term和term-item二分图，并加载到计算机内存中；所述融入评论信息的电商网络商品推荐模型训练单元，训练图注意力神经网络搭建的电商网络商品推荐模型，并通过迭代计算确定模型中参数的最优值，根据模型中参数的最优值，计算内积，获取推荐结果；所述融入评论信息的电商网络商品推荐结果输出单元用于将电商网络商品推荐结果输出至用户和相关电商平台运营分析人员，用于各电商平台进行商品推荐。

技术总结
本发明提供一种融入评论信息的电商网络商品推荐方法及系统，属于互联网服务推荐领域。方法包括实体属性及其情感抽取环节、用户-实体属性和实体属性-商品构建单元、融入评论信息的电商网络商品推荐模型构建及训练环节、融入评论信息的电商网络商品推荐结果输出环节四个部分组成。电商网络商品推荐方法利用图注意力神经网络构建电商网络商品推荐模型，融入评论信息的实体属性及其情感，一定程度上缓解了数据稀疏的问题并且提高了推荐的可解释性。系统包括计算机处理器和内存、实体属性及其情感倾向获取单元、用户-实体属性和实体属性-商品构建单元、融入评论信息的电商网络商品推荐模型训练单元、融入评论信息的电商网络商品推荐结果输出单元。商品推荐结果输出单元。商品推荐结果输出单元。


技术研发人员：杜航原 白雪 王文剑 白亮 梁吉业
受保护的技术使用者：山西大学
技术研发日：2023.05.18
技术公布日：2023/8/13