目标序列推荐模型的构建方法、实体预测方法及相关设备与流程

1.本公开涉及数据处理技术领域，尤其涉及一种目标序列推荐模型的构建方法、实体预测方法及相关设备。


背景技术：

2.随着深度神经网络的发展，通常使用固定的特征向量表示实体。然而，这种实体表示方式不能适应各种类型的实体关系，并且存在特征选择不准确的问题。
3.有鉴于此，如何准确地进行特征选择成为亟待解决的技术问题。


技术实现要素：

4.有鉴于此，本公开的目的在于提出一种目标序列推荐模型的构建方法、实体预测方法及相关设备用以解决或部分解决上述技术问题。
5.基于上述目的，本公开的第一方面提出了一种目标序列推荐模型的构建方法，所述方法包括：对初始序列推荐模型进行初始化，得到初始模型参数；获取历史实体的历史序列向量和历史实体特征，对所述历史序列向量和所述历史实体特征进行组合处理，得到特征向量；对所述特征向量进行向量处理得到特征矩阵；根据所述特征向量和所述特征矩阵进行特征提取，得到所述历史实体特征对应处理状态下的预估奖励；基于所述预估奖励从所述历史实体特征中进行有效特征选择，得到目标实体特征，并基于所述目标实体特征确定目标序列向量；基于所述目标序列向量确定所述历史实体特征与所述目标实体特征的相似度；依据实体维度和特征维度对所述相似度进行分解，得到所述历史实体特征对应处理状态下的观测奖励，并对所述预估奖励与所述观测奖励进行处理得到损失函数；基于所述损失函数对所述初始序列推荐模型中的所述初始模型参数进行更新，得到目标序列推荐模型。
6.基于同一个发明构思，本公开的第二方面提出了一种实体预测方法，所述方法包括：获取当前实体的当前序列向量；将所述当前序列向量输入至通过第一方面的构建方法得到的目标序列推荐模型，得到目标实体预测结果；其中，所述目标序列推荐模型是对初始序列推荐模型进行训练得到的；基于所述目标实体预测结果确定所述目标序列推荐模型的评测指标，以供基于所述评测指标对所述目标序列推荐模型进行评价测试。
7.基于同一个发明构思，本公开的第三方面提出了一种目标序列推荐模型的构建装
置，包括：初始化模块，被配置为对初始序列推荐模型进行初始化，得到初始模型参数；组合处理模块，被配置为获取历史实体的历史序列向量和历史实体特征，对所述历史序列向量和所述历史实体特征进行组合处理，得到特征向量；向量处理模块，被配置为对所述特征向量进行向量处理得到特征矩阵；特征提取模块，被配置为根据所述特征向量和所述特征矩阵进行特征提取，得到所述历史实体特征对应处理状态下的预估奖励；特征选择模块，被配置为基于所述预估奖励从所述历史实体特征中进行有效特征选择，得到目标实体特征，并基于所述目标实体特征确定目标序列向量；相似度确定模块，被配置为基于所述目标序列向量确定所述历史实体特征与所述目标实体特征的相似度；相似度分解模块，被配置为依据实体维度和特征维度对所述相似度进行分解，得到所述历史实体特征对应处理状态下的观测奖励，并对所述预估奖励与所述观测奖励进行处理得到损失函数；模型更新模块，被配置为基于所述损失函数对所述初始序列推荐模型中的所述初始模型参数进行更新，得到目标序列推荐模型。
8.基于同一发明构思，本公开的第四方面提出了一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上所述的方法。
9.基于同一发明构思，本公开的第五方面提出了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上所述的方法。
10.从上面所述可以看出，本公开提供的目标序列推荐模型的构建方法、实体预测方法及相关设备。对初始序列推荐模型进行初始化，得到初始模型参数。获取历史实体的历史序列向量和历史实体特征，对所述历史序列向量和所述历史实体特征进行组合处理，得到特征向量。对所述特征向量进行向量处理得到特征矩阵。根据所述特征向量和所述特征矩阵进行特征提取，得到所述历史实体特征对应处理状态下的预估奖励。基于所述预估奖励从所述历史实体特征中进行有效特征选择，得到目标实体特征，并基于所述目标实体特征确定目标序列向量，通过硬编码的形式对特征进行选择，避免噪声累积，适应各种类型的实体关系，并且可以准确地进行特征选择。另外，通过端到端的模型训练方法可以自动进行有效特征的筛选，不需要手动添加规则等先验知识，提高模型训练效率。基于所述目标序列向量确定所述历史实体特征与所述目标实体特征的相似度。依据实体维度和特征维度对所述相似度进行分解，得到所述历史实体特征对应处理状态下的观测奖励，并对所述预估奖励与所述观测奖励进行处理得到损失函数，通过预估奖励和观测奖励确定损失函数，使得确定的损失函数更加准确，从而有效地对特征选择过程进行监督，保证目标序列向量的质量。基于所述损失函数对所述初始序列推荐模型中的所述初始模型参数进行更新，得到目标序列推荐模型，确定的目标序列推荐模型结构灵活，可以实现对各种类型实体的特征进行选择，大大提高了目标序列推荐模型进行特征选择的效率。
附图说明
11.为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
12.图1a为本公开实施例的目标序列推荐模型的构建方法的流程图；图1b为本公开实施例的算法框架的结构示意图；图1c为本公开实施例的算法整体的流程图；图2为本公开实施例的实体预测方法的流程图；图3为本公开实施例的目标序列推荐模型的构建装置的结构示意图；图4为本公开实施例的电子设备的结构示意图。
具体实施方式
13.为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
14.需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
15.如上所述，如何准确地进行特征选择，成为了一个重要的研究问题。
16.基于上述描述，如图1a所示，本实施例提出的目标序列推荐模型的构建方法，所述方法包括：步骤101，对初始序列推荐模型进行初始化，得到初始模型参数。
17.具体实施时，对初始序列推荐模型进行随机初始化，得到初始模型参数。其中，初始模型参数包括初始序列向量，初始序列向量是通过循环神经网络（gate recurrent unit，简称gru）对初始实体特征聚合得到的，作为初始序列推荐模型的输入。
18.步骤102，获取历史实体的历史序列向量和历史实体特征，对所述历史序列向量和所述历史实体特征进行组合处理，得到特征向量。
19.具体实施时，历史序列向量为上一轮序列向量，即历史序列向量表示第轮的序列向量。
20.将历史序列向量与历史实体特征进行组合前，先对历史实体特征的处理状态进行判断，不同的处理状态采用不同的组合方式对历史序列向量和历史实体特征进行组合。其中，处理状态包括保留特征和删除特征。
21.步骤103，对所述特征向量进行向量处理得到特征矩阵。
22.具体实施时，对特征向量进行向量处理得到特征矩阵。其中，所述特征矩阵用于计算探索项的值。
23.步骤104，根据所述特征向量和所述特征矩阵进行特征提取，得到所述历史实体特征对应处理状态下的预估奖励。
24.具体实施时，利用多节点网络根据特征向量和特征矩阵进行特征提取，利用多节点网络进行特征提取，能够解决特征提取过程中损失不可导的问题，同时可以在较少的反馈下进行高效的学习。分别计算保留历史实体特征和删除历史实体特征的预估奖励以及探索项，通过对保留历史实体特征对应的第一预估奖励和删除历史实体特征对应的第一预估奖励进行判断，确定执行动作为保留历史实体特征还是删除历史实体特征。其中，将第一预估奖励和第二预估奖励中奖励值大对应的处理方式作为执行动作。同时，基于探索项对执行动作进行探索，通过设置探索项能够在较少的反馈下进行高效的特征学习。
25.例如，当第一预估奖励大于第二预估奖励时，确定执行动作为保留历史实体特征；当第二预估奖励大于第一预估奖励时，确定执行动作为删除历史实体特征。
26.步骤105，基于所述预估奖励从所述历史实体特征中进行有效特征选择，得到目标实体特征，并基于所述目标实体特征确定目标序列向量。
27.具体实施时，基于预估奖励从历史实体中进行有效特征选择，得到去除噪声后的目标实体特征。当基于预估奖励确定的执行动作为删除历史实体特征，则将目标实体特征设置为0；当基于预估奖励确定的执行动作为保留历史实体特征，则将历史实体特征作为目标实体特征。
28.通过循环神经网络（gate recurrent unit，简称gru）对所述目标实体特征进行聚合处理，得到更新后的目标序列向量。重复上述步骤102至步骤105，并对目标序列向量进行判断，当目标序列向量收敛于预设的参数时，停止迭代，结束特征选择过程。
29.步骤106，基于所述目标序列向量确定所述历史实体特征与所述目标实体特征的相似度。
30.步骤107，依据实体维度和特征维度对所述相似度进行分解，得到所述历史实体特征对应处理状态下的观测奖励，并对所述预估奖励与所述观测奖励进行处理得到损失函数。
31.具体实施时，由于缺乏监督信号，初始序列推荐模型无法判断每次选择的目标实体特征的具体质量，因此无法进行高质量准确地特征选择。
32.针对上述问题，通过设置观测奖励来确定选择的目标实体特征的质量，从而对特征进行高质量准确的选择。首先，基于目标序列向量确定历史实体特征与目标实体特征之间的相似度，对相似度进行实体维度和特征维度的分解，得到历史实体特征对应处理状态下的观测奖励，从而基于观测奖励确定特征选择的质量。
33.其中，观测奖励为一个行方向表示实体信息、列方向表示特征信息的矩阵。
34.步骤108，基于所述损失函数对所述初始序列推荐模型中的所述初始模型参数进行更新，得到目标序列推荐模型。
35.具体实施时，对预估奖励和观测奖励进行均方差处理，得到损失函数。基于损失函数进行反向传播，对初始序列推荐模型中的初始模型参数进行更新，得到更新后的目标序列推荐模型。
36.通过上述实施例，通过硬编码的形式对特征进行选择，避免噪声累积，适应各种类型的实体关系，并且可以准确地进行特征选择。另外，通过端到端的模型训练方法可以自动进行有效特征的筛选，不需要手动添加规则等先验知识，提高模型训练效率。通过预估奖励和观测奖励确定损失函数，使得确定的损失函数更加准确，从而有效地对特征选择过程进行监督，保证目标序列向量的质量。确定的目标序列推荐模型结构灵活，可以实现对各种类型实体的特征进行选择，大大提高了目标序列推荐模型进行特征选择的效率。
37.在一些实施例中，步骤102包括：步骤1021，对所述历史实体特征的处理状态进行判断。
38.具体实施时，对所述历史实体特征的处理状态进行判断。其中，历史实体特征的处理状态包括保留特征和删除特征。
39.步骤1022，响应于确定所述处理状态为保留特征，对所述历史序列向量和所述历史实体特征按照第一组合方式进行组合处理，得到所述特征向量。
40.具体实施时，当处理状态为保留特征，对所述历史序列向量和所述历史实体特征按照第一组合方式进行组合处理，得到所述特征向量。表示为：。
41.或者，步骤1023，响应于确定所述处理状态为删除特征，对所述历史序列向量和所述历史实体特征按照第二组合方式进行组合处理，得到所述特征向量。
42.具体实施时，当处理状态为删除特征，对所述历史序列向量和所述历史实体特征按照第二组合方式进行组合处理，得到所述特征向量。表示为：。
43.对所述历史序列向量和所述历史实体特征进行组合处理，得到特征向量，，其中，为所述特征向量，为所述历史序列向量，为所述历史实体特征，表示第i个实体的第k个特征，表示组合连接操作，为历史实体特征的处理状态，表示处理状态为保留特征，表示处理状态为删除特征。
44.通过上述方案，通过判断历史实体特征的处理状态，不同处理状态采用不同的组合方式对历史序列向量和历史实体特征进行组合，使得组合得到的特征向量更加准确，并且便于后续分别计算保留历史实体特征和删除历史实体特征对应的预估奖励。
45.在一些实施例中，步骤103包括：步骤1031，基于所述特征向量确定所述特征向量的特征转置向量。
46.具体实施时，基于所述特征向量确定所述特征向量的特征转置向量。其中，特征向量为，特征转置向量表示为。
47.步骤1032，将所述特征向量和所述特征转置向量进行乘积处理，得到第一矩阵。
48.具体实施时，将所述特征向量和所述特征转置向量进行乘积处理，得到第一矩阵。其中，第一矩阵表示为。
49.步骤1033，将所述第一矩阵进行叠加处理得到第二矩阵。
50.具体实施时，将所述第一矩阵进行叠加处理得到第二矩阵。其中，第二矩阵表示为
。
51.步骤1034，获取与所述特征向量维度相同的单位矩阵，并将预设参数与所述单位矩阵进行乘积处理得到第三矩阵。
52.具体实施时，获取与特征向量维度相同的单位矩阵。例如，特征矩阵的维度为6，则确定的单位矩阵为6维的单位矩阵。
53.将预设参数与单位矩阵进行乘积处理得到第三矩阵。其中，第三矩阵表示为，为预设参数，为单位矩阵。
54.步骤1035，将所述第二矩阵与所述第三矩阵进行求和处理，得到所述特征矩阵。
55.具体实施时，将第二矩阵和第三矩阵进行求和处理，得到所述特征矩阵。其中，特征矩阵表示为。
56.对所述特征向量进行向量处理得到特征矩阵，，其中，为所述特征矩阵，为预设参数，是一个常数，为单位矩阵，为所述特征向量，为所述特征转置向量。
57.通过上述方案，通过对特征向量进行处理得到特征矩阵，使得确定的特征矩阵更加准确，从而使得基于特征矩阵计算的预估奖励更加准确。
58.在一些实施例中，步骤104包括：步骤1041，根据所述特征向量和所述特征矩阵进行特征提取，得到所述历史实体特征对应处理状态下的预估奖励，，其中，为执行动作，为将所述特征向量转化为所述预估奖励的映射关系，为所述预估奖励，为探索项，表示所述历史实体特征的处理状态，表示保留所述历史实体特征，表示删除所述历史实体特征。
59.具体实施时，根据所述特征向量和所述特征矩阵进行特征提取，分别计算保留历史实体特征和删除历史实体特征的预估奖励，，其中，当时，为保留历史实体特征对应的特征向量，表示执行动作为保留历史实体特征。当时，为删除历史实体特征对应的特征向量，表示执行动作为删除历史实体特征。
60.其中，探索项用来进行探索，通过设置探索项能够在较少的反馈下进行高效的特征学习。
61.对第一预估奖励和第二预估奖励进行判断，确定执行动作为保留历史实体特征还是删除历史实体特征。例如，当第一预估奖励大于第二预估奖励时，确定执行动作为保留历史实体特征；当第二预估奖励大于第一预估奖励时，确定执行动作为删除历史实体特征。
62.通过上述方案，通过分别计算保留历史实体特征的第一预估奖励和删除历史实体特征的第二预估奖励，对第一预估奖励和第二预估奖励进行判断来确定执行动作，从而使得确定的执行动作更加准确。
63.在一些实施例中，步骤106包括：步骤1061，将所述目标序列向量和所述目标实体特征进行乘积处理，得到向量处理结果。
64.具体实施时，将所述目标序列向量和所述目标实体特征进行乘积处理，得到向量处理结果。其中，向量处理结果表示为，为目标序列向量，为目标实体特征。
65.步骤1062，将所述目标序列向量的模与所述目标实体特征的模进行乘积处理，得到模处理结果。
66.具体实施时，将所述目标序列向量的模与所述目标实体特征的模进行乘积处理，得到模处理结果。其中，模处理结果表示为，为目标序列向量的模，为目标实体特征的模。
67.步骤1063，对所述向量处理结果和所述模处理结果进行比值处理，得到所述历史实体特征与所述目标实体特征的相似度。
68.具体实施时，对所述向量处理结果和所述模处理结果进行比值处理，得到所述历史实体特征与所述目标实体特征的相似度。其中，相似度表示为。
69.基于所述目标序列向量确定所述历史实体特征与所述目标实体特征的相似度，，其中，为所述历史实体与所述目标实体的相似度，为所述目标序列向量，为所述目标实体特征。
70.通过上述方案，基于目标序列向量确定历史实体特征与目标实体特征的相似度，使得到的相似度更加准确，从而基于相似度确定观测函数，实现对特征的高质量选择。
71.在一些实施例中，步骤107包括：步骤1071，将预设的实体维度系数、预设的特征维度系数与所述相似度进行乘积处理，得到所述历史实体特征对应处理状态下的观测奖励。
72.其中，所述观测奖励为一个行方向表示实体信息、列方向表示特征信息的矩阵。
73.具体实施时，依据实体维度和特征维度对所述相似度进行分解，得到所述历史实体特征对应处理状态下的观测奖励，
，其中，为所述观测奖励，表示实体维度系数，表示特征维度系数，为所述历史实体与所述目标实体的相似度，为第i个实体的特征，为目标实体特征，为第i个实体的第k个特征，为目标实体的第k个特征。
74.在进行特征选择后，通过gru模型对目标序列向量进行更新，再根据更新后的目标序列向量进行特征选择得到目标实体特征，重复上述过程，使得确定的目标实体特征更加准确，保证目标实体特征的质量。
75.通过上述方案，通过设置观测奖励来确定选择的目标实体特征的质量，从而对特征进行高质量准确的选择。另外，观测函数是对相似度进行实体维度和特征维度两个维度进行分解得到的，这样，观测函数中包括实体维度和特征维度两个维度的信息，更加全面且易于识别处理。
76.步骤1072，对所述预估奖励与所述观测奖励进行均方差处理得到损失函数，，其中，为所述损失函数，为训练次数，为将所述目标序列向量转化为所述预估奖励的映射关系，为所述特征向量，为待训练的参数。
77.具体实施时，对预估奖励和观测奖励进行均方差处理，得到损失函数。基于损失函数进行反向传播，对初始序列推荐模型中的初始模型参数进行更新，得到更新后的目标序列推荐模型。
78.通过上述方案，基于预估奖励和观测奖励确定的损失函数更加准确，基于损失函数对初始序列推荐模型中的初始模型参数进行更新，使得到的目标序列推荐模型更加精准，从而实现对目标序列的精准推荐。
79.通过上述实施例，通过硬编码的形式对特征进行选择，避免噪声累积，适应各种类型的实体关系，并且可以准确地进行特征选择。另外，通过端到端的模型训练方法可以自动进行有效特征的筛选，不需要手动添加规则等先验知识，提高模型训练效率。通过预估奖励和观测奖励确定损失函数，使得确定的损失函数更加准确，从而有效地对特征选择过程进行监督，保证目标序列向量的质量。确定的目标序列推荐模型结构灵活，可以实现对各种类型实体的特征进行选择，大大提高了目标序列推荐模型进行特征选择的效率。
80.需要说明的是，本公开的实施例还可以以下方式进一步描述：如图1b所示，图1b为本公开实施例的算法框架的结构示意图。将历史实体的历史序列向量和历史实体特征输入初始序列推荐模型中的双臂神经网络，输出执行动作和预估奖励。其中，执行动作包括保留历史实体特征或者删除历史实体特征。基于预估奖励确定从历史实体特征中进行有效特征选择，得到目标实体特征。通过gru模型对目标实体特征进行聚合处理，得到目标序列向量。对目标序列向量进行处理，得到历史实体特征对应处理状态下的观测奖励，并对预估奖励与观测奖励进行处理得到损失函数。基于损失函数对初始序
列推荐模型中的初始模型参数进行更新，得到目标序列推荐模型。
81.如图1c所示，图1c为本公开实施例的算法整体的流程图。步骤a1，对初始序列推荐模型的参数进行初始化；步骤a2，将历史实体特征输入gru模型，得到历史序列向量；步骤a3，并行计算保留或者删除历史实体特征对应的预估奖励，进行特征选择；步骤a4，对历史序列向量是否收敛进行判断；当历史序列向量收敛，执行步骤a5；当历史序列向量不收敛，返回步骤a2；步骤a5，根据奖励分配机制，计算保留或者删除历史实体特征对应的观测奖励；步骤a6，基于预估奖励和观测奖励计算损失函数，并进行反向传播，更新初始模型参数；步骤a7，输入当前序列向量，输出目标实体预测结果；步骤a8，确定评测指标，对目标序列推荐模型进行评价测试；步骤a9，对目标序列推荐模型是否收敛进行判断；模型收敛则结束；模型不收敛则返回步骤a2。
82.如图2所示，本实施例还提出了一种基于所述构建方法的实体预测方法，所述实体预测方法包括：步骤201，获取当前实体的当前序列向量。
83.步骤202，将所述当前序列向量输入目标序列推荐模型，得到目标实体预测结果；其中，所述目标序列推荐模型是对初始序列推荐模型进行训练得到的。
84.具体实施时，将当前实体的当前序列向量输入目标序列推荐模型，得到目标实体预测结果。其中，所述目标实体预测结果为与历史序列向量比较后选取的推荐结果。
85.步骤203，基于所述目标实体预测结果确定所述目标序列推荐模型的评测指标，以供基于所述评测指标对所述目标序列推荐模型进行评价测试。
86.具体实施时，所述评测指标包括召回率或者归一化折损累计增益。根据召回率或者归一化折损累计增益对目标序列推荐模型进行评价测试。
87.通过上述实施例，通过将当前序列向量输入目标序列推荐模型得到目标实体预测结果，可以实现对当前序列向量的预测。另外，基于目标实体预测结果确定评测指标，可以通过不同类型的评测指标对目标序列推荐模型进行准确评价测试，从而对目标序列推荐模型进行进一步训练或者优化，使得目标序列推荐模型更加准确。
88.需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
89.需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
90.基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种目标序列推荐模型的构建装置。
91.参考图3，所述目标序列推荐模型的构建装置，包括：初始化模块301，被配置为对初始序列推荐模型进行初始化，得到初始模型参数。
92.组合处理模块302，被配置为获取历史实体的历史序列向量和历史实体特征，对所
述历史序列向量和所述历史实体特征进行组合处理，得到特征向量。
93.向量处理模块303，被配置为对所述特征向量进行向量处理得到特征矩阵。
94.特征提取模块304，被配置为根据所述特征向量和所述特征矩阵进行特征提取，得到所述历史实体特征对应处理状态下的预估奖励。
95.特征选择模块305，被配置为基于所述预估奖励从所述历史实体特征中进行有效特征选择，得到目标实体特征，并基于所述目标实体特征确定目标序列向量。
96.相似度确定模块306，被配置为基于所述目标序列向量确定所述历史实体特征与所述目标实体特征的相似度。
97.相似度分解模块307，被配置为依据实体维度和特征维度对所述相似度进行分解，得到所述历史实体特征对应处理状态下的观测奖励，并对所述预估奖励与所述观测奖励进行处理得到损失函数。
98.模型更新模块308，被配置为基于所述损失函数对所述初始序列推荐模型中的所述初始模型参数进行更新，得到目标序列推荐模型。
99.在一些实施例中，所述组合处理模块302包括：处理状态判断单元，被配置为对所述历史实体特征的处理状态进行判断。
100.第一组合处理单元，被配置为响应于确定所述处理状态为保留特征，对所述历史序列向量和所述历史实体特征按照第一组合方式进行组合处理，得到所述特征向量。
101.或者，第二组合处理单元，被配置为响应于确定所述处理状态为删除特征，对所述历史序列向量和所述历史实体特征按照第二组合方式进行组合处理，得到所述特征向量。
102.在一些实施例中，所述向量处理模块303包括：特征转置向量确定单元，被配置为基于所述特征向量确定所述特征向量的特征转置向量。
103.第一矩阵确定单元，被配置为将所述特征向量和所述特征转置向量进行乘积处理，得到第一矩阵。
104.第二矩阵确定单元，被配置为将所述第一矩阵进行叠加处理得到第二矩阵。
105.第三矩阵确定单元，被配置为获取与所述特征向量维度相同的单位矩阵，并将预设参数与所述单位矩阵进行乘积处理得到第三矩阵。
106.特征矩阵确定单元，被配置为将所述第二矩阵与所述第三矩阵进行求和处理，得到所述特征矩阵。
107.在一些实施例中，所述特征提取模块304包括：预估奖励确定单元，被配置为根据所述特征向量和所述特征矩阵进行特征提取，得到所述历史实体特征对应处理状态下的预估奖励，，其中，为执行动作，为将所述特征向量转化为所述预估奖励的映射关系，为所述预估奖励，为探索项，表示所述历史实体特征的处理状态，表示保留所述历史实体特征，表示删除所述历史实体特征。
108.在一些实施例中，所述相似度确定模块306包括：
向量处理单元，被配置为将所述目标序列向量和所述目标实体特征进行乘积处理，得到向量处理结果。
109.模处理单元，被配置为将所述目标序列向量的模与所述目标实体特征的模进行乘积处理，得到模处理结果。
110.相似度确定单元，被配置为对所述向量处理结果和所述模处理结果进行比值处理，得到所述历史实体特征与所述目标实体特征的相似度。
111.在一些实施例中，所述相似度分解模块307包括：观测奖励确定单元，被配置为将预设的实体维度系数、预设的特征维度系数与所述相似度进行乘积处理，得到所述历史实体特征对应处理状态下的观测奖励。
112.其中，所述观测奖励为一个行方向表示实体信息、列方向表示特征信息的矩阵。
113.损失函数确定单元，被配置为对所述预估奖励与所述观测奖励进行均方差处理得到损失函数，，其中，为所述损失函数，为训练次数，为将所述目标序列向量转化为所述预估奖励的映射关系，为所述特征向量，为待训练的参数。
114.为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
115.上述实施例的装置用于实现前述任一实施例中相应的目标序列推荐模型的构建方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
116.基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的目标序列推荐模型的构建方法或者实体预测方法。
117.图4示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图， 该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线 1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
118.处理器1010可以采用通用的cpu（central processing unit，中央处理器）、微处理器、应用专用集成电路（application specific integrated circuit，asic）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
119.存储器1020可以采用rom（read only memory，只读存储器）、ram（random access memory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
120.输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/ 模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中
输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
121.通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如usb（universal serial bus，通用串行总线）、网线等）实现通信，也可以通过无线方式 （例如移动网络、wifi（wireless fidelity，无线网络通信技术）、蓝牙等）实现通信。
122.总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
123.需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
124.上述实施例的电子设备用于实现前述任一实施例中相应的目标序列推荐模型的构建方法或者实体预测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
125.基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的目标序列推荐模型的构建方法或者实体预测方法。
126.本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（pram）、静态随机存取存储器（sram）、动态随机存取存储器（dram）、其他类型的随机存取存储器（ram）、只读存储器（rom）、电可擦除可编程只读存储器（eeprom）、快闪记忆体或其他内存技术、只读光盘只读存储器（cd-rom）、数字多功能光盘（dvd）或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
127.上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的目标序列推荐模型的构建方法或者实体预测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
128.所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围（包括权利要求）被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
129.另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路（ic）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因
此，这些描述应被认为是说明性的而不是限制性的。
130.尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态ram（dram））可以使用所讨论的实施例。
131.本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

技术特征：
1.一种目标序列推荐模型的构建方法，其特征在于，所述方法包括：对初始序列推荐模型进行初始化，得到初始模型参数；获取历史实体的历史序列向量和历史实体特征，对所述历史序列向量和所述历史实体特征进行组合处理，得到特征向量；对所述特征向量进行向量处理得到特征矩阵；根据所述特征向量和所述特征矩阵进行特征提取，得到所述历史实体特征对应处理状态下的预估奖励；基于所述预估奖励从所述历史实体特征中进行有效特征选择，得到目标实体特征，并基于所述目标实体特征确定目标序列向量；基于所述目标序列向量确定所述历史实体特征与所述目标实体特征的相似度；依据实体维度和特征维度对所述相似度进行分解，得到所述历史实体特征对应处理状态下的观测奖励，并对所述预估奖励与所述观测奖励进行处理得到损失函数；基于所述损失函数对所述初始序列推荐模型中的所述初始模型参数进行更新，得到目标序列推荐模型。2.根据权利要求1所述的方法，其特征在于，所述对所述历史序列向量和所述历史实体特征进行组合处理，得到特征向量，包括：对所述历史实体特征的处理状态进行判断；响应于确定所述处理状态为保留特征，对所述历史序列向量和所述历史实体特征按照第一组合方式进行组合处理，得到所述特征向量；或者，响应于确定所述处理状态为删除特征，对所述历史序列向量和所述历史实体特征按照第二组合方式进行组合处理，得到所述特征向量。3.根据权利要求1所述的方法，其特征在于，所述对所述特征向量进行向量处理得到特征矩阵，包括：基于所述特征向量确定所述特征向量的特征转置向量；将所述特征向量和所述特征转置向量进行乘积处理，得到第一矩阵；将所述第一矩阵进行叠加处理得到第二矩阵；获取与所述特征向量维度相同的单位矩阵，并将预设参数与所述单位矩阵进行乘积处理得到第三矩阵；将所述第二矩阵与所述第三矩阵进行求和处理，得到所述特征矩阵。4.根据权利要求1所述的方法，其特征在于，所述根据所述特征向量和所述特征矩阵进行特征提取，得到所述历史实体特征对应处理状态下的预估奖励，包括：根据所述特征向量和所述特征矩阵进行特征提取，得到所述历史实体特征对应处理状态下的预估奖励，，其中，为执行动作，为将所述特征向量转化为所述预估奖励的映射关系，为所述预估奖励，为探索项，表示所述历史实体特征
的处理状态，表示保留所述历史实体特征，表示删除所述历史实体特征。5.根据权利要求1所述的方法，其特征在于，所述基于所述目标序列向量确定所述历史实体特征与所述目标实体特征的相似度，包括：将所述目标序列向量和所述目标实体特征进行乘积处理，得到向量处理结果；将所述目标序列向量的模与所述目标实体特征的模进行乘积处理，得到模处理结果；对所述向量处理结果和所述模处理结果进行比值处理，得到所述历史实体特征与所述目标实体特征的相似度。6.根据权利要求1所述的方法，其特征在于，所述依据实体维度和特征维度对所述相似度进行分解，得到所述历史实体特征对应处理状态下的观测奖励，并对所述预估奖励与所述观测奖励进行处理得到损失函数，包括：将预设的实体维度系数、预设的特征维度系数与所述相似度进行乘积处理，得到所述历史实体特征对应处理状态下的观测奖励；其中，所述观测奖励为一个行方向表示实体信息、列方向表示特征信息的矩阵；对所述预估奖励与所述观测奖励进行均方差处理得到损失函数，，其中，为所述损失函数，为训练次数，为将所述目标序列向量转化为所述预估奖励的映射关系，为所述特征向量，为待训练的参数。7.一种实体预测方法，其特征在于，所述方法包括：获取当前实体的当前序列向量；将所述当前序列向量输入至通过权利要求1至6任意一项所述的构建方法得到的目标序列推荐模型，得到目标实体预测结果；其中，所述目标序列推荐模型是对初始序列推荐模型进行训练得到的；基于所述目标实体预测结果确定所述目标序列推荐模型的评测指标，以供基于所述评测指标对所述目标序列推荐模型进行评价测试。8.一种目标序列推荐模型的构建装置，其特征在于，包括：初始化模块，被配置为对初始序列推荐模型进行初始化，得到初始模型参数；组合处理模块，被配置为获取历史实体的历史序列向量和历史实体特征，对所述历史序列向量和所述历史实体特征进行组合处理，得到特征向量；向量处理模块，被配置为对所述特征向量进行向量处理得到特征矩阵；特征提取模块，被配置为根据所述特征向量和所述特征矩阵进行特征提取，得到所述历史实体特征对应处理状态下的预估奖励；特征选择模块，被配置为基于所述预估奖励从所述历史实体特征中进行有效特征选择，得到目标实体特征，并基于所述目标实体特征确定目标序列向量；相似度确定模块，被配置为基于所述目标序列向量确定所述历史实体特征与所述目标实体特征的相似度；相似度分解模块，被配置为依据实体维度和特征维度对所述相似度进行分解，得到所述历史实体特征对应处理状态下的观测奖励，并对所述预估奖励与所述观测奖励进行处理
得到损失函数；模型更新模块，被配置为基于所述损失函数对所述初始序列推荐模型中的所述初始模型参数进行更新，得到目标序列推荐模型。9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至7任意一项所述的方法。

技术总结
本公开提供一种目标序列推荐模型的构建方法、实体预测方法及相关设备。所述方法包括：对历史序列向量和历史实体特征进行组合处理得到特征向量；对特征向量进行向量处理得到特征矩阵；根据特征向量和特征矩阵进行特征提取，得到历史实体特征对应处理状态下的预估奖励；基于预估奖励从历史实体特征中进行有效特征选择得到目标实体特征，并确定目标序列向量；基于目标序列向量确定历史实体与目标实体的相似度；依据实体维度和特征维度对相似度进行分解，得到历史实体特征对应处理状态下的观测奖励，并对预估奖励与观测奖励进行处理得到损失函数；基于损失函数对初始序列推荐模型进行更新，得到目标序列推荐模型。得到目标序列推荐模型。得到目标序列推荐模型。


技术研发人员：冯志超 王鹏飞 朱亚东
受保护的技术使用者：北京元灵数智科技有限公司
技术研发日：2023.09.05
技术公布日：2023/10/11