用于估计给定实体的度量的时间序列预测模型的制作方法

用于估计给定实体的度量的时间序列预测模型
1.相关申请交叉引用
2.本技术是要求2021年2月3日提交的美国专利申请第63/145,404号的提交日的权益的国际专利申请，所述美国专利申请出于所有目的以全文引用的方式并入本文中。


背景技术：

3.多变量时间序列可用于估计与交互数据库中的实体相关联的交互度量。估计与实体在支付处理网络内的跨国行为相关联的交互度量对于系统监测至关重要。从实体过去的交易历史汇总的多变量时间序列可以提供用于估计交互度量的见解。一般的多变量时间序列预测已应用于包括制造、医学和昆虫学的若干领域。然而，除了大规模处理支付数据的实时要求之外，还存在与支付数据相关联的若干领域相关挑战，例如概念漂移和多模态。
4.本公开的实施例单独地和共同地解决了此问题和其它问题。


技术实现要素：

5.本发明的一个实施例包括一种由计算机执行的方法。所述方法包括接收多个实体的电子装置之间的交互数据。交互数据用于形成实体交互向量，所述实体交互向量包含多个实体中的选定实体的电子装置与多个实体之间的交互数目。交互数据另外用于形成实体时间序列，所述实体时间序列包含选定实体的电子装置的交互的每单位时间的多个度量。计算机可以使用交互编码器来使用多个实体的嵌入生成实体交互向量的交互隐藏表示。嵌入可以表示多个实体的电子装置之间的交互。计算机可以使用时间编码器来生成实体时间序列的时间隐藏表示。时间隐藏表示可以捕获多个实体的电子装置之间的交互的时变模式。交互隐藏表示和时间隐藏表示均可用于生成包括目标交互度量的量值的预测尺度。交互隐藏表示和时间隐藏表示均可用于另外生成目标交互度量的形状估计。然后，计算机可以使用预测尺度和形状估计来生成时间周期的估计的交互度量。
6.本发明的另一实施例包括一种计算机。所述计算机包括处理器和非瞬态计算机可读介质，所述非瞬态计算机可读介质包括可由处理器执行以执行操作的指令，所述操作包括：接收多个实体的电子装置之间的交互数据，其中所述交互数据用于形成(1)实体交互向量，所述实体交互向量包含多个实体中的选定实体的电子装置与多个实体之间的交互数目，以及(2)实体时间序列，所述实体时间序列包含选定实体的电子装置的交互的每单位时间的多个度量；生成实体交互向量的交互隐藏表示，其中所述交互隐藏表示捕获关于多个实体的电子装置之间的交互的信息；生成实体时间序列的时间隐藏表示，其中所述时间隐藏表示捕获多个实体的电子装置之间的交互的固有模式；生成交互数据的包括交互数据的形状估计的量值和偏移的预测尺度；生成交互数据的形状估计；以及使用交互数据的预测尺度和交互数据的形状估计来生成时间周期的估计的交互度量。
7.可参考以下详细描述和附图来更好地理解本发明的实施例的性质和优点。
附图说明
8.图1示出多个实体的示范性交互时间序列。
9.图2示出多个实体的交互向量的二维投影。
10.图3示出根据本发明的实施例的交互度量估计系统的框图。
11.图4示出根据本发明的实施例的交互度量估计模型的框图。
12.图5示出根据本发明的实施例的交互编码器的框图。
13.图6示出根据本发明的实施例的时间编码器的框图。
14.图7示出根据本发明的实施例的尺度解码器的框图。
15.图8示出根据本发明的实施例的形状解码器的框图。
16.图9示出根据本发明的实施例的形状解码器的中间视图的框图。
17.图10示出根据本发明的实施例的合并层的框图。
18.图11示出根据本发明的实施例的训练算法。
19.图12示出根据本发明的实施例的修改的fluss算法。
20.图13示出根据本发明的实施例的时间序列数据、校正的弧数和相关联的采样概率。
21.图14示出根据本发明的实施例的第一基线模型。
22.图15示出根据本发明的实施例的包括作为输入的实体交互向量的第二基线模型。
23.图16示出展示使用实体时间序列的改进的表。
24.图17示出展示使用形状和尺度解码器的改进的表。
25.图18示出展示通过若干机器学习模型来改进交互度量估计模型的表。
26.图19示出展示除离线训练之外使用在线训练的改进的表。
27.图20示出展示改进在线训练方案的性能益处的表。
28.图21示出展示基于时间的采样技术和非基于时间的采样技术的若干组合的rmse性能度量的表。
29.图22示出展示基于时间的采样技术和非基于时间的采样技术的若干组合的nrmse性能度量的表。
30.图23示出展示基于时间的采样技术和非基于时间的采样技术的若干组合的r2性能度量的表。
31.图24示出根据本发明的实施例的用于生成时间周期的估计的交互度量的方法。
32.图25示出根据本发明的实施例的示范性计算机系统的框图。
具体实施方式
33.交互可以由网络的多个用户执行以发送接收通信，并且可以在例如国家的不同地理区域之间进行。举例来说，持有支付处理网络的信用卡的用户可以进行交易以购买杂货、精致餐饮或其它以执行其它购买。另一实例可包括用户经由第一电子装置(例如，计算机、移动装置、膝上型计算机等)连接到第二电子装置以在两个计算机之间传输数据(例如，用户可以使用第一计算机登录到由第二计算机维护的帐户)。以上实例是访问请求的实例，其中用户请求从另一计算机访问资源。
34.为了改善服务和用户体验，处理网络可以研究网络内的实体交互行为。对于网络
内的每个实体，其交互行为可以建模为具有多个时变特征的多变量时间序列。另外，可以基于不同标准(例如，发行支付网络用户的信用卡或帐户的地方)进一步汇总实体特定的多变量时间序列，以提供额外宏观层次的见解。在一些实例中，由于处理网络的限制，例如计算交互度量时的资源限制、手动报告的延迟或通信故障，真实交互度量可能无法立即在系统中可用。在一些实例中，在相当长的时间里，真实交互度量可能不可用于处理网络，且因此，必须对处理网络进行交互度量的估计，以监测处理网络。当建立模型以估计交互度量时，产生重大挑战，包括概念漂移、多种模态的使用和大型交互数据集。
35.概念偏移随着在处理网络内执行交互的实体的交互行为的不断发展而发生。如果静态预测模型不随着实体的行为主动地发展，那么静态预测模型可以在几天或几个月之后变得无用。此外，在更高的汇总水平上，例如经济、地缘政治和其它因素(例如，全球大流行)的额外因素可对实体的多变量时间序列和交互度量内的模式产生影响，从而引起概念漂移。与静态且经过良好清洁的实验数据相反，概念漂移在现实世界应用中造成重大挑战。在线学习技术用于解决概念漂移的挑战。受监督的在线学习是一种学习方案，其中随着时间推移，训练数据逐渐可供模型使用。
36.对网络的实体之间的关系或交互进行建模的多模态方法为优选的。如图1中所示，实体的交互时间序列可以展现与另一实体类似的趋势。如果额外模态进一步区分具有类似时间序列的实体，那么模型可以使用此类模态来更好地估计目标实体特定的交互度量。然而，许多常规方法缺乏利用额外模态的能力和手段。
37.对于许多处理网络来说，由于在网络内执行的大量交互(例如，支付处理网络可以每天进行数百万次交易)，对交互度量进行每小时估计是不可行的。为了克服这一限制，更现实的方法是同时预测多个时步。此方法被称为多水平时间序列预测，并且需要独特模型设计来处理这种情况。以滚动方式应用单步预测模型可能导致较差的结果，因为对较晚时步的预测是基于估计输入作出的。也就是说，来自较早时步的误差传播到较晚时步。
38.在一些实施例中，能够使用时间序列的多模态来估计多水平交互度量的学习模型用于处理上述多模态和资源限制的两个限制。学习模型可包括五个独特组件，所述五个独特组件包括交互编码器、时间编码器、尺度解码器、形状解码器和合并层。交互编码器可用于处理交互模态(例如，实体如何在交互数据中彼此交互)。时间编码器可以剖析时间数据并学习交互数据的固有模式。尺度解码器和形状解码器可以提供关于估计的多水平交互度量的两个不同但相关的视角。合并层可以组合尺度和形状解码器的输出以合成输出。
39.i.实体交互
40.交互数据集包括由实体执行的交互的数据。交互的一个实例是访问请求。访问请求可以是第一实体请求从第二实体访问资源，例如实物商品或访问计算机帐户。交互数据可以包含执行交互的时间。可以使用交互时间来形成交互数据集的时间序列。举例来说，实体可以是国家，并且交互数据集可以是交易数据集，所述交易数据集包括由所述国家的信用卡用户执行的交易的交易数据。交易数据可以指示执行交易的时间。交易时间序列可以使用时间来形成，并且可以指示在每个时步期间执行的交易数目(例如，每分钟交易、每小时交易等)。可以使用交互数据形成的时间序列的其它实例包括在每个时步期间使用拒绝的交易数目的交互时间序列、在每个时步期间尝试登录计算机帐户的次数、在每个时步期间由支付处理网络的用户持有的独特信用卡所执行的交易量等。
41.图1示出多个实体的示范性交互时间序列。第一实体可以是第一国家，第二实体可以是第二国家，第三实体可以是第三国家，并且第四实体可以是第四国家。一个国家的交互时间序列可能包括在某一时间在所述国家中执行的交互数目。举例来说，第一实体时间序列100可以是在第一国家中执行的交互的量。类似地，第二实体时间序列102、第三实体时间序列104和第四实体时间序列106可以分别是第二国家、第三国家和第四国家的交互时间序列。类似的国家(例如，基于位置)可能展现出行为。举例来说，第一实体时间序列100和第二实体时间序列102彼此的时间序列更接近，且因此它们可以在地理上接近(例如，第一实体可能是澳大利亚，且第二实体可能是新西兰)。
42.ii.交互建模
43.实体可以用若干视图的交互数据来表示。一个视图包括实体交互时间序列。实体e的实体交互时间序列是多变量时间序列，表示为其中τe是时间序列的长度，并且d是特征的数目。te[i:j]可以表示子序列，所述子序列在第i个时间戳处开始并在第j个时间戳处结束。
[0044]
在实例系统中，每个实体可以是国家，并且按小时计算交互数据统计。使用2017年1月1日至2017年12月31日的若干国家的交易数据来训练原型模型。交易数据中的时间序列的长度τe等于24
×
365＝8,760。特征的数目d是交易数据等于14，其为每小时窗口期间提取的交易数据统计的数目。
[0045]
实体的另一视图包括实体交互向量。指定包含总共k个实体的实体集内的实体e，实体交互向量被定义为实体e与其它总共k个实体中的每一个之间的交互的量。实体交互向量ie可以随时间变化，并且ie[i]可以表示在i个时间戳处的实体交互向量。
[0046]
在用于训练的全球交易数据中，共有233个县。国家i的实体交互向量为长度向量233。每个实体交互向量记录在过去三十天内在不同国家的商家处由在国家i内发行的卡(例如，信用卡)进行的交易的数目。按天计算实体交互向量，这意味着交易数据中的每个国家共有365个实体交互向量。实体时间序列te以更精细的时间分辨率(例如，每小时而不是每天)捕获实体e的行为，而实体交互向量ie以更粗的时间分辨率(例如，三十天窗口)提供关于不同国家之间的关系的视图。2017年第一个月的每个国家的交互向量被投影为二维，且在图2中示出。
[0047]
图2示出多个实体的交互向量的二维投影。地理上接近的国家(例如，墨西哥、加拿大和美国)在绘图200中通常接近。所有国家交互向量的绘图200捕获用于训练原型模型的全球交易数据的国家之间的地理和政治关系。概念漂移可以通过绘图200中的国家的移动而看出。举例来说，利用支付处理网络处理交易的加拿大商家可能会选择不再从法国的供应商处购买商品，而是从德国的另一供应商处购买商品。随着时间的推移，商家交易行为的改变会导致概念漂移。
[0048]
实体交互度量是时间序列，表示为其中τm是时间序列的长度。实体交互度量me可以随时间而变化，并且me[i:j]表示子序列，所述子序列在第i个时间戳处开始并在第j个时间戳处结束。对于应用程序中呈现的系统和模型，实体交互度量序列将在每个时间周期存储实体的目标交互度量中的每一个。由于me和te均具有相同的采样率，因此两个时间序列具有相同的长度(例如，对于全球交易数据，长度τe等于8,760，且等于长度τm)。
[0049]
iii.交互度量估计系统
[0050]
指定实体e、实体交互向量ie[i]和实体时间序列te[i-t
p
:j]，交互度量估计的目标是学习可用于预测实体在时间i-ta与i+tb之间的交互度量的模型f。ta是倒退时步的数目，并且tb是估计交互度量所需的前进时步的数目。模型f可以如下制定：
[0051][0052]
其中是i-ta和i+tb的估计的交互度量。
[0053]
在估计模型f中使用多水平时间序列，以在每个连续预测之间创建缓冲时间，从而确保生产环境中不出现停机时间。作为运行实例，预测交互度量的时间周期等于24小时(例如，tb＝24)。对于一些交互度量，如果在模型f可以访问真实交互度量之前存在延迟，那么还需要估计过去度量。通过观察实体的过去交互行为，模型f可以在真实交互度量可用于模型f之前生成用于分析的更准确的估计。估计模型f估计过去24小时(例如，ta＝24)的交互度量。对于输入实体时间序列，为了提高效率，仅使用t
p
时步，而非所有可用时间序列。在运行实例中，使用总共168小时(例如，ta＝168)或七天作为时步t
p
。过去目标度量不是估计模型f的输入的一部分，因为模型f可以观察到真实交互度量之前的延迟超过七天。
[0054]
指定由实体时间序列和实体交互向量两者组成的从实体集e中的每个实体e的时步1至时步τe的训练数据集，通过最小化以下损失函数来学习模型f：
[0055][0056]
其中loss()可以是任何回归损失函数，例如均方误差。
[0057]
a.系统概述
[0058]
交互度量估计系统具有两个训练阶段：第一离线训练阶段和在线训练阶段。在部署交互度量估计系统之前，离线训练模块可以从交互数据库拉取数据以训练初始交互度量估计模型。
[0059]
图3示出根据本发明的实施例的交互度量估计系统的框图。交互度量估计系统包括交互计算机300、交互数据库302、离线训练模块304、在线训练模块306、估计模块308和gui显示器310。交互计算机300可以由例如支付处理网络的处理网络来操作。交互计算机300可以配置成接收关于多个实体的电子装置之间的交互的信息。交互计算机300可以与多个实体的电子装置通信以执行交互。
[0060]
交互计算机300可以接收针对多个实体中的目的地实体的访问请求。访问请求可以包括用于发送方实体与接收方实体之间的交互的交互数据。访问请求的交互数据可用于更新与多个实体中的目的地实体相关联的实体交互向量和实体时间序列。举例来说，交互计算机300可以与由位于第一国家(例如，接收方实体)的商家操作的访问装置(例如，pos终端)和位于第二国家(例如，发送方实体)的与用户的信用卡相关联的发行方计算机通信，以执行商家与用户之间的交易以接收与交易有关的交易数据。访问装置和发行方计算机(或信用卡)可以是多个实体的电子装置的实例。
[0061]
在步骤312处，交互计算机300可以将交互数据存储在交互数据库302中。交互数据可以包括交互上的多个特征(例如，进行的交互的类型、进行交互的位置、进行交互的时间)。可以基于进行交互的时间来汇总交互数据，以形成与执行交互的实体有关的实体交互
向量和交互时间序列。举例来说，交互计算机300可以使用接收到的交互数据来修改与执行交互的实体相关联的现有时间序列和交互向量。在另一实例中，交互计算机300可以使用与实体相关联的所有存储的交互数据来生成实体时间序列和实体交互向量。
[0062]
在步骤314处，离线训练模块304可以从交互数据库302拉取交互数据。离线训练模块304可以使用交互数据来训练初始交互度量估计模型。实体交互向量和实体交互时间序列可以由离线训练模块304使用离线训练算法训练初始交互度量估计模型。
[0063]
交互计算机300可以继续处理交互并更新由交互数据库302持有的交互数据以包括新交互。新交互可以用于在接收到实体交互向量和时间序列时更新所述实体交互向量和时间序列。
[0064]
在步骤316处，在训练初始交互度量估计模型之后，在线训练模块306可以从离线训练模块304检取初始交互度量估计模型。
[0065]
在步骤318处，在线训练模块306可以从交互数据库302检取更新的交互数据。在线训练模块306可以使用在线训练算法使用更新的交互数据来更新初始交互度量估计模型。
[0066]
另外，在步骤318处，估计模块308可以从交互数据库302检取更新的交互数据。在步骤320处，在在线训练模块306更新初始交互度量估计模型之后，估计模块308可以从在线训练模块306检取更新的交互度量估计模型。估计模块308可以产生实体的下一时间周期和前一时间周期的估计的交互度量。举例来说，估计模块308可以产生过去24小时和未来24小时的实体的估计的交互度量。
[0067]
在步骤322处，在产生实体的估计的交互度量之后，可以由估计模块308存储在交互数据库302中。
[0068]
在步骤324处，交互数据库302中的估计的交互度量可以显示在gui显示器310上。举例来说，gui显示器310可以显示最近估计的交互度量的图形表示。交互度量估计系统的用户可以通过视觉地查看图形表示，或通过将估计的交互度量与真实交互度量(在其可用时)进行比较(例如，计算估计的交互度量与真实交互度量之间的差)来监测系统。可以将估计的交互度量馈送到交互计算机300的外部模块。举例来说，可以将估计的交互度量馈送到欺诈检测模块，使得可以使用估计的交互度量来训练欺诈检测模块，以更好地检测欺诈性访问请求(例如，以检测欺诈性交易或登录尝试)。另一实例可以包括计算估计的交互度量与真实交互度量之间的差的评估模块。评估模块可标识其中估计的交互度量和真实交互度量明显不同的时间周期，使得交互度量估计系统的用户可以在所标识时间周期期间更紧密地分析交互数据。步骤316至324可以作为日常例程的一部分发生，如虚线框350所示。
[0069]
b.实例模型
[0070]
上述交互度量估计系统中的交互度量估计模型用于生成估计的交互度量。交互度量估计模型包括可基于接收到的新交互数据而更新的可学习参数。
[0071]
图4示出根据本发明的实施例的交互度量估计模型400的框图。交互度量估计模型400由五个组件组成，所述五个组件包括交互编码器404、时间编码器408、尺度解码器和形状解码器412以及合并层412。交互度量估计模型400可以采用实体交互向量ie402和实体时间序列te406作为输入。
[0072]
交互编码器404可以处理实体交互向量ie402。在图4中所示的实例中，实体交互向量ie402的长度k等于九。因此，由向量表示的实体将与总共九个实体(例如，九个不同的国
家)交互。交互编码器404的输出可以是交互隐藏表示其中nk是每个实体的嵌入大小。嵌入可以表示交互数据库中不同实体的电子装置之间的交互(例如，通过捕获关于所述交互的信息)，并且当与交互向量402组合(例如，使用向量矩阵乘法)时，所得交互隐藏表示hi可以捕获关于交互数据库中不同实体之间的交互的信息。可以通过增加交互度量估计模型400中的交互编码器404的量来集成多种交互类型。
[0073]
时间编码器408可以从输入实体时间序列406提取时间隐藏表示其中nk是输出隐藏表示向量的大小，t
p
是输入时间序列的长度，并且d是输入时间序列的维度。
[0074]
尺度/形状解码器412将时间隐藏表示h
t
与交互隐藏表示hi组合，以生成用于交互度量的尺度(例如，量值σ和偏移μ)和形状估计。
[0075]
合并层412通过利用从尺度/形状解码器412获得的尺度处理形状估计来生成估计的交互度量me414。
[0076]
iv.模型架构
[0077]
两个编码器(例如，交互编码器404和时间编码器408)独立地从输入(例如，实体交互向量ie402和实体时间序列te406)提取隐藏表示(例如，交互隐藏表示hi和时间隐藏表示h
t
)。每个编码器仅负责输入实体的一个方面。使用两个提取的隐藏表示，每个解码器接着独立地提供关于估计的交互度量的不同方面的信息。尺度解码器提供尺度信息(例如，量值σ和偏移μ)，而形状解码器提供形状信息。合并层412组合形状和尺度信息以生成估计的交互度量me414。下文描述交互度量估计模型400的每个组件的其它细节。
[0078]
a.交互编码器
[0079]
图5示出根据本发明的实施例的交互编码器500的框图。交互编码器500的输入可以是实体交互向量ie502。实体的实体交互向量ie502存储关于选定实体e与其它实体之间的关系的信息。实体交互向量ie502可以通过和为一归一化模块504而归一化。举例来说，如图5中所示，实体交互向量ie502[0,5,0,1,0,0,3,0,1]可以被归一化以获得归一化交互向量506[0,0.5,0,1,0,0,0.3,0,1]，使得归一化交互向量506的量值等于一。和为一归一化模块504用于对交互数据库中的不同实体之间的交互进行建模。举例来说，在用作运行实例的国家级交易度量估计问题中，实体交互向量ie502的l1向量范数与国家的人口成比例。和为一归一化确保隐藏表示专注于捕获关于不同国家之间交互的信息，而不是国家的人口差异。
[0080]
归一化交互向量506与实体嵌入矩阵c508组合以生成交互隐藏表示hi512(图5中示出存根版本)。向量矩阵乘法模块510可以计算交互隐藏表示，实体嵌入矩阵c508包含对应于每个国家的嵌入。因此，交互隐藏表示hi512是实体嵌入矩阵c508的嵌入的加权和。实体嵌入矩阵c508的嵌入是交互编码器500的可学习参数。实体嵌入矩阵c508可以随机地初始化或使用现有嵌入。交互隐藏表示hi512的大小取决于每个国家的嵌入向量大小。在运行实例中，国家总数等于233，并且嵌入向量设置为64。
[0081]
b.时间编码器
[0082]
图6示出根据本发明的实施例的时间编码器600的框图。时间编码器600的输入可以是实体时间序列其中t
p
是输入时间序列的长度，并且d是输入时间序
列的维度。时间编码器600的输出可以是时间隐藏表示向量其中nk是输出的向量大小。时间编码器600通过提取特征并减小输入实体时间序列te602的维度来分析时间模式。时间隐藏表示向量h
t
640捕获实体时间序列te的时间模式。向量大小nk取决于最后一个卷积层的超参数设置(例如，卷积层的内核的大小)。在运行实例中，t
p
等于168(例如，七天的每小时数据)，并且d等于14。
[0083]
在此实例中，时间编码器600的主体包括一系列相同的残差块。举例来说，除了第一卷积层conv 604之外，时间编码器600中的所有卷积层都具有三的内核大小。类似地，除第一卷积层之外的所有卷积层都具有64个内核。在通过relu层(例如，relu 614或relu 624)之前，使用conv-relu-conv-relu层处理主要通道(例如，conv 606至relu 608至conv 610至relu 612的路径，或conv 616至relu 618至conv 620至relu 622的路径等)。第一残差块(例如，从conv 606开始至relu 614的层)具有卷积层conv 604，其用于解决主要通道的输出与残差通道的输出之间的不匹配。举例来说，第一块的残差通道的输入具有14个信道(例如，实体时间序列te602的维度d)。残差通道中的卷积层将输入转换成64个信道，所述64个信道匹配主要通道的输出(例如，主要通道的最后一个卷积层conv610的内核数目)。第一卷积层conv 604的内核大小等于一。输出时间隐藏表示向量h
t
640是通过将残差块的随时间推移的输出与由avgpool层638给出的全局平均池化进行汇总而生成的。时间隐藏表示向量h
t
640的长度匹配最后一个卷积层conv 632的内核数目，其等于64。
[0084]
c.尺度解码器
[0085]
图7示出根据本发明的实施例的尺度解码器700的框图。尺度解码器700的输入可以是时间隐藏表示向量h
t
702和交互隐藏表示hi712。左侧的linear 704至relu 706至linear 708至relu 710层进一步处理时间隐藏表示向量h
t
702以专注于与用于预测交互度量的尺度有关的信息。右侧的linear 714至relu 716至linear 718层产生矩阵其用于映射左侧层的输出以生成量值σ和偏移μ。具有类似交互表示的实体使用类似矩阵w来估计目标交互度量的尺度。
[0086]
d.形状解码器
[0087]
图8示出根据本发明的实施例的形状解码器800的框图。形状解码器800的输入可以是交互隐藏表示向量h
t
802和时间隐藏表示hi812。形状解码器800的结构类似于尺度解码器700的结构。左侧的linear 804至relu 806至linear 808层的输出对交互隐藏表示向量h
t
802进行操作以生成形状组810。形状组810存储用于估计目标交互度量的形状的基础形状。右侧由linear 814至relu 816至linear 818至softmax 820层组成。用于处理时间隐藏表示hi812的最后一个层是softmax 820层，而不是尺度解码器700的relu 710层。softmax 820层的输出指示哪些形状组的基础形状组合以及所述形状组的基础形状如何组合以形成形状预测822。举例来说，输出提供将用于组合形状组810中的基础形状的权重。具有类似交互表示的实体应使用类似基础形状来估计目标交易度量的形状。图9提供关于形状组810的其它细节。
[0088]
图9示出根据本发明的实施例的形状解码器的中间视图的框图。中间输出900可以是形状解码器800的relu 816层的输出。其余层(例如，linear818和softmax 820层)形成softmax回归模型。softmax回归模型906的输出始终为正且始终和为一，其迫使模型从形状
组908中仅选取相关的基础形状以用于形状估计910。如图9中所示，形状估计910是通过组合形状组910中的基础形状而生成的(例如，第一形状具有0.5的权重，第二形状具有0.4的权重，且第三形状具有0.1的权重等)。
[0089]
e.合并层
[0090]
图10示出根据本发明的实施例的合并层1000的框图。合并层1000将来自形状解码器的形状估计1002与来自尺度解码器的预测尺度1004组合。预测尺度1004可包括量值σ和偏移μ。形状估计1002可以乘以量值σ，接着可以将偏移μ添加到形状估计1002。可以最小化以下损失函数(根据方程(3)改编)以改进估计的交互度量1006：
[0091][0092]
当mse()是计算均方误差的函数时，nmse()是计算归一化均方误差的函数，γ是确保mse()和nmse()的输出具有类似尺度的超参数，是估计的交互度量1006，且是形状解码器的输出。归一化均方误差是通过以下而计算的：z归一化地面真值，接着计算z归一化地面真值与估计的交互度量1006之间的均方误差。
[0093]
v.在线学习方案
[0094]
如第iii.a.节中所描述，可以训练交互度量估计模型以改进估计的交互度量。交互度量估计模型的训练可以包括离线训练阶段和在线训练阶段。
[0095]
a.训练算法
[0096]
图11示出根据本发明的实施例的训练算法1100。训练算法1100将一组实体作为输入。第2行，初始化交互度量估计模型。接下来，在第3行中，使用可用交互数据离线训练交互度量估计模型(例如，如在图3的步骤314中所描述)。在第4行中，可以发起在线训练阶段。在第5行和第6行中，所述函数可以检查是否是时候更新模型。举例来说，如果每天更新交互度量估计模型，那么更新变量的时间可以是按24小时计数的变量。在第7行中，在确定要更新交互度量估计模型之后，可以从交互数据库拉取最新交互数据(例如，由更新变量的时间的当前值确定)。在第8行至第10行中，可以更新总共n
iter
个迭代的模型。在第9行中，可以从所述组实体中对一批实体及其相关联的交互向量、时间序列和交互度量进行采样。采样步骤对交互度量估计模型的性能具有明显影响。当遇到概念漂移时，经常遇到不相关数据。在第10行中，使用小批次更新交互度量估计模型。在第11行中，生成所述组实体中的每个实体的估计的交互度量，并且在第12行中返回估计的交互度量。
[0097]
b.修改的fluss算法
[0098]
可以改进小批次的采样方法，以应对概念漂移。时间序列分割可用于以数据驱动的方式标识要在小批次中使用的数据窗口以及时间衰减函数。当在在线训练期间更新模型时，可以使用几种采样技术来对小批次进行采样。鉴定了两类采样技术，包括基于时间的和非基于时间的采样方法。
[0099]
基于时间的采样技术可以包括固定窗口采样、时间衰减采样和时间序列分割采样。固定窗口采样对最近x天内的训练样本进行均匀采样，其中x为超参数(例如，它忽略较旧的数据)。时间衰减采样以随着数据老化而衰减的概率对训练样本进行采样。在随后的实例中，时间衰减采样使用线性衰减。分割采样基于矩阵轮廓以数据驱动方式使用窗口和时
间衰减函数。矩阵轮廓包括时间序列的子序列之间的最近邻关系。
[0100]
非时间采样技术可以包括相似性、高误差、低误差和基于训练动态的采样。在非时间采样技术中，在采样过程中不考虑每个候选样本的时间位置。相似性偏向于更类似于当前时间序列(例如，te[i-t
p
:i]，其中i是当前时间)的实例。由于其仅查看当前时间序列，因此当概念漂移影响时间序列时其会有所帮助。当前交互度量估计模型的高误差偏向于“困难”实例。将交互度量估计模型推向困难实例通常见于基于增强的集成方法中。低误差偏向于可基于当前模型良好预测的实例。目标交互度量可以是有噪声的，并且可以使用低误差偏差来去除噪声样本，因为噪声样本往往会引入大误差。基于训练动态的采样使用置信度和可变性来对数据进行采样。
[0101]
图12示出根据本发明的实施例的修改的fluss算法1200。修改的fluss算法1200建立在矩阵轮廓上。矩阵轮廓可用于有效地探索时间序列的子序列之间的最近邻关系。修改的fluss算法1200的输入是实体时间序列te。在第2行至第5行中，循环的每个迭代独立地处理实体时间序列te的每个维度。在第3行中，计算输入时间序列第i维度的矩阵轮廓索引。矩阵轮廓索引示出输入实体时间序列te中的每个子序列的最近邻点，其中使用的子序列长度为t
p
。每个子序列使用基于矩阵轮廓索引中的信息的弧与其最近邻点连接，如图13中所示。为了进一步处理矩阵轮廓索引，在第4行中计算校正的弧数曲线。校正的弧数曲线记录通过时间序列中的每个时间位置的弧的数目。校正的弧数曲线包括用于校正弧更有可能通过时间序列的中心而非弧通过时间序列的末端的校正。通过将实际弧数与预期计数进行比较来应用校正。一旦计算了正确的弧数曲线，校正的弧数曲线便转换为采样概率。从第6行至第11行，使用循环来强制执行非递减约束以确保属于最新机制的子序列(例如，在最新分割点之后的子序列)与来自旧机制的子序列相比具有更高的采样概率。在第12行中，将非递减校正的弧数曲线转换成概率，并且在第13行中返回。概率可以用于训练算法1100的第9行中以更有效地对小批次进行采样。
[0102]
图13示出根据本发明的实施例的时间序列数据1300、校正的弧数1302和相关联的采样概率1304。时间序列1300的第一半部分和第二半部分明显不同。弧仅连接类似子序列，并且因此几乎没有通过连接类似子序列的时间序列的中心的弧。出于此原因，校正的弧数1302在机制改变附近出现下降。校正的弧数1302转换成采样概率1304。将非递减约束(例如，修改的fluss算法1200的第6行至第11行)应用于校正的弧数1302以确保属于最新机制的子序列具有更高的采样概率。在机制改变之前，非递减约束使校正的弧数1302变平以形成采样概率1304。
[0103]
vi.模型评估
[0104]
交互度量估计模型提供许多优点。交互度量估计模型允许处理网络更有效且更准确地预测交互度量。图18中所示的实例模型的设计与常规方法相比有许多改进。
[0105]
a.模型验证
[0106]
图14示出根据本发明的实施例的第一基线模型1400。第一基线模型1400可以采用实体时间序列te1402作为输入。第一基线模型1400不包括交互向量。此外，第一基线模型1400比图4中所示的交互度量估计模型更简单，因为其不包括形状或尺度解码器。
[0107]
图15示出根据本发明的实施例的包括作为输入的实体交互向量，i
e 1514的第二基线模型1500。第二基线模型1500比图4中所示的交互度量估计模型更简单，因为其不包括
形状或尺度解码器。通过最小化mse损失函数来使用方程(2)训练第二基线模型1500。处理实体交互向量，i
e 1514的通道输出矩阵矩阵w乘以处理实体时间序列te1602的通道的输出以生成估计的交互度量1624。
[0108]
图16示出展示使用实体时间序列的改进的表1600。第一基线模型1400和第二基线模型1500的时间编码器可以基于卷积神经网络(cnn)，如图6中所示，或其可以基于具有门控循环单元(gru)的两层循环神经网络(rnn)。与第一基线模型1400相比，通过使用第二基线模型1500观察到一致的改进。使用的性能测量包括均方根误差(rmse)、归一化均方根误差(nrmse)和确定系数(r2)。通过使用基于cnn和rnn的两个时间编码器，这些改进是一致的，其中基于rnn的时间编码器比基于cnn的时间编码器表现略好。
[0109]
图17示出展示使用形状和尺度解码器的改进的表1700。将图15的第二基线模型1500与图4的交互度量估计模型400进行比较。同样，使用形状和尺度解码器的改进与使用基于rnn和基于cnn的时间编码器以及不同的性能测量是一致的。根据表1700，最佳性能是在交互度量估计模型使用基于cnn的时间编码器(例如，交互度量估计模型400)时。
[0110]
图18示出展示通过若干机器学习模型来改进交互度量估计模型的表1800。将交互度量估计模型400与生产环境中的若干现成机器学习解决方案进行比较。基于每个性能测量，针对最佳替代方案计算改进百分比。由于nrmse和r2都是在归一化尺度上计算的，并且测量估计趋势与地面真值的匹配程度，因此交互度量估计模型比替代机器学习模型捕获交互度量中的更多细节。
[0111]
a.在线学习
[0112]
图19示出展示除离线训练之外使用在线训练的改进的表1900。图4的交互度量估计模型400用于验证在线训练的益处。离线训练行使用存储在交互数据库中的交互数据来计算交互度量估计模型仅训练一次时的性能度量。在线训练行使用图11的训练算法1100来计算更新的交互度量估计模型的性能度量。在线训练比仅使用离线训练在所有使用的性能度量上都有所改进，并且在r2性能度量上提供明显改进。
[0113]
图20示出展示改进在线训练方案的性能益处的表2000。优化用于训练交互度量估计模型的在线训练方案可以进一步提高性能度量。将基线在线训练方案(例如，时间序列的均匀采样)与改进的在线训练方案进行比较，所述改进的在线训练方案在对时间序列进行采样时实现分割和相似性。所有三个性能度量都有所提高。
[0114]
基于时间的采样技术(例如，均匀采样、90天固定窗口采样、365天固定窗口采样、时间衰减采样和时间序列分割采样)和非基于时间的采样技术(例如，均匀、相似性、高误差、低误差、高置信度、低置信度、高可变性和低可变性)可用于在线学习方案中。将基于时间的采样技术和非基于时间的采样技术组合。
[0115]
图21示出展示基于时间的采样技术和非基于时间的采样技术的若干组合的rmse性能度量的表2100。一般来说，为了学习更好的交互度量估计模型，需要查看90天以上的交互数据，因为90天固定窗口的表现比基线更差。对于非基于时间的方法，相似性、低误差、高置信度和低可变性优于基线。低误差、高置信度和低可变性推动交互度量估计模型推动模型以专注于训练交互数据中的简单或一致的实例。改进可能是由于去除了噪声训练实例而引起的。将低误差采样与分割采样组合，得出最佳rmse性能度量。
[0116]
图22示出展示基于时间的采样技术和非基于时间的采样技术的若干组合的nrmse性能度量的表2200。根据表2200，对于基于时间的方法，分割与其它方法相比具有优越的性能。当将分割与非基于时间的方法组合时，结论与表2100类似。更好的方法包括相似、低误差、高置信度和低可变性。整体来说，将相似与分割组合会产生最佳的nrmse性能度量。
[0117]
图23示出展示基于时间的采样技术和非基于时间的采样技术的若干组合的r2性能度量的表2300。与rmse相比，2更类似于nrmse，且因此在仅检查基于时间的采样技术或非基于时间的采样技术时，得出与表2200相同的结论。类似与90天固定窗口的组合产生最佳的r2性能度量。
[0118]
考虑表2100、表2200和表2300，相似采样与分割采样的组合以及低误差偏差与分割采样的组合在所有性能度量中都具有较高的平均排名。图4的交互度量估计模型400是使用相似采样与分割采样呈现的。
[0119]
vii.方法
[0120]
图24示出根据本发明的实施例的用于生成时间周期的估计的交互度量的方法2400。估计的交互度量可以提供对所述时间周期的真实交互度量的估计值。举例来说，估计的交互度量可以估计未来24小时的真实交互度量。方法2400可以由计算机执行，例如图3的交互计算机300。方法2400可以由计算机在每个时间周期之后执行(例如，如果时间周期为24小时，那么计算机可以每天执行所述方法，使得每天估计交互度量)。计算机可以通过训练包括交互编码器、时间编码器、尺度解码器、形状解码器和合并层的交互度量估计模型来选择生成估计的交互度量的时间周期。举例来说，计算机可以使用最接近于选定时间周期的交互数据来使用图11和12的算法。
[0121]
在步骤2402处，计算机可以接收多个实体的电子装置之间的交互数据。交互数据可用于形成(1)实体交互向量(例如，如第ii节中所描述)和(2)实体时间序列(例如，如第i节中所描述)。实体交互向量提供多个实体之间的关系的视图。实体交互向量可以包含多个实体中的选定实体的电子装置与多个实体之间的交互数目。实体时间序列可以包含选定实体的电子装置的交互的每单位时间的多个度量。度量的实例可以包括每单位时间的交互(例如，访问请求)数目(例如，所执行的交易数目、在计算机帐户中尝试的登录数目)、每单位时间的拒绝的交互数目(例如，拒绝的交易数目)或每单位时间的用于执行交互的独特帐户的数目(例如，用于执行交易的独特信用卡的数目、登录的独特的帐户的数目)。
[0122]
在步骤2404处，计算机可以生成实体交互向量的交互隐藏表示。交互隐藏表示捕获关于多个实体的电子装置之间的交互的信息。计算机可以使用利用实体交互向量和实体嵌入矩阵来生成交互隐藏表示的交互编码器生成实体交互向量的交互隐藏表示。实体嵌入矩阵可以包含对应于多个实体中的每一个的嵌入。举例来说，计算机可以使用图5的交互编码器500以及作为输入的实体交互向量来生成实体交互向量的交互隐藏表示。如图5中所描述，交互编码器可以包括对实体交互向量进行操作以生成归一化实体交互向量的归一化模块。此外，对实体嵌入矩阵和归一化实体交互向量进行操作的向量矩阵乘法模块可用于生成交互隐藏表示。
[0123]
在步骤2406处，计算机可以生成实体交互向量的时间隐藏表示。时间隐藏表示捕获多个实体的电子装置之间的交互的固有模式。计算机可以使用利用实体时间序列来生成时间隐藏表示的时间编码器生成实体时间序列的时间隐藏表示。举例来说，计算机可以使
用图6的时间编码器600以及作为输入的实体时间序列来生成实体时间序列的时间隐藏表示。如图6中所描述，时间编码器可以包括对输入的实体时间序列进行操作的多个残差块和平均池化层。
[0124]
在步骤2408处，计算机可以生成交互数据的包括交互数据的形状估计的量值和偏移的预测尺度。预测尺度可以包括交互数据的形状估计的量值和偏移。计算机可以使用利用交互隐藏表示和时间隐藏表示来生成预测尺度的尺度解码器生成交互数据的预测尺度。举例来说，计算机可以使用图7的尺度解码器700以及交互隐藏表示和时间隐藏表示来生成包括交互数据的形状估计的量值和偏移的预测尺度。如图7中所描述，尺度解码器可以包括多个线性激活层和整流器。
[0125]
在步骤2410处，计算机可以生成交互数据的形状估计。计算机可以使用利用交互隐藏表示和时间隐藏表示来生成形状估计的形状解码器生成交互数据的形状估计。举例来说，计算机可以使用图7的形状解码器700以及交互隐藏表示和时间隐藏表示来生成形状估计。如图7中所描述，形状解码器可以包括形状组、线性激活、整流器和softmax回归层，其中所述形状组存储用于估计估计的交互度量的形状。
[0126]
在步骤2412处，计算机可以使用交互数据的尺度和交互数据的形状估计来生成时间周期的估计的交互度量。计算机可以使用利用交互数据的预测尺度与交互数据的形状估计的合并层来生成所述时间周期的估计的交互度量。可以将估计的交互度量馈送到计算机的外部模块以进行进一步处理，例如欺诈检测模块(例如，估计的交互度量可以用于训练欺诈检测模块)。
[0127]
viii.计算机系统
[0128]
图25示出根据本发明的实施例的示范性计算机系统2400的框图。
[0129]
本文所提及的任何计算机系统都可以使用任何合适数目的子系统。图25中示出计算机设备2500中的此类子系统的实例。在一些实施例中，计算机系统包括单个计算机设备，其中子系统可以是计算机设备的组件。在其它实施例中，计算机系统可以包括多个计算机设备，每个计算机设备都是具有内部组件的子系统。计算机系统可包括台式计算机和膝上型计算机、平板计算机、移动电话和其它移动装置。
[0130]
图25中所示的子系统经由系统总线75互连。示出了额外子系统，例如打印机74、键盘78、存储装置79、耦合到显示适配器82的监测器76等。耦合到输入/输出(i/o)控制器71的外围装置和i/o装置可以通过本领域中已知的各种构件连接到计算机系统，所述构件例如是输入/输出(i/o)端口77(例如usb、)。例如，i/o端口77或外部接口81(例如以太网、wi-fi等)可用于将计算机系统10连接到广域网(例如互联网)、鼠标输入装置或扫描仪。经由系统总线75的互连允许中央处理器73与每个子系统连通且控制来自系统存储器72或存储装置79(例如固定磁盘，如硬盘驱动器或光盘)的多个指令的执行，以及子系统之间的信息交换。系统存储器72和/或存储装置79可以体现计算机可读介质。另一子系统是数据收集装置85，例如照相机、麦克风、加速度计等等。在本文中提及的任何数据可从一个组件输出到另一组件并且可输出到用户。
[0131]
计算机系统可以包括多个相同组件或子系统，所述组件或子系统例如通过外部接口81、通过内部接口或经由可装卸式存储装置连接在一起，所述可装卸式存储装置可以从一个组件连接和移除到另一组件。在一些实施例中，计算机系统、子系统或设备可通过网络
通信。在此类情况下，一个计算机可视为客户端，并且另一计算机可视为服务器，其中每台计算机可以是同一计算机系统的一部分。客户端和服务器可以各自包括多个系统、子系统或组件。
[0132]
实施例的各个方面可以使用硬件电路(例如，专用集成电路或现场可编程门阵列)和/或以模块化或集成方式借助大体上可编程处理器使用计算机软件以控制逻辑的形式实施。如本文所使用，处理器可以包括单核处理器、在同一集成芯片上的多核处理器，或在单个电路板上或联网的多个处理单元，以及专用硬件。基于本文中提供的公开内容和教示，本领域普通技术人员将知道并了解到使用硬件及硬件和软件的组合实施本发明的实施例的其它方式和/或方法。
[0133]
本文所描述的任何方法可完全或部分地通过计算机系统执行，所述计算机系统包括可被配置成执行所述步骤的一个或多个处理器。因此，实施例可以涉及配置成执行本文中所描述的任何方法的步骤、可能具有执行相应步骤或相应步骤群组的不同组件的计算机系统。虽然呈现为带编号的步骤，但本文的方法的步骤可以同时或在不同时间或以不同次序执行。另外，这些步骤的部分可与其它方法的其它步骤的部分一起使用。另外，步骤的全部或部分可以是任选的。另外，任何方法的任一个步骤可以利用用于执行这些步骤的模块、单元、电路或系统的其它构件来执行。
[0134]
可在不脱离本公开的实施例的精神和范围的情况下以任何合适方式组合特定实施例的具体细节。不过，本公开的其它实施例可以涉及与每个单独的方面有关的特定实施例，或者这些单独的方面的特定组合。
[0135]
上文对本公开的示例性实施例的描述已经出于图示和描述的目的呈现。其并不意图为详尽的或将本公开限制在所描述的精确形式，并且根据上文的教示许多修改和变化形式是可能的。
[0136]
除非明确指示为相反情况，否则“一(a/an)”或“所述(the)”的叙述旨在表示“一个或多个”。除非明确指示为相反情况，否则“或”的使用旨在表示“包括性的或”，而不是“排除性的或”。对“第一”组件的引用不一定要求提供第二组件。此外，除非明确说明，否则对“第一”或“第二”组件的引用并不将所引用的组件限制到特定位置。术语“基于”旨在表示“至少部分地基于”。
[0137]
本文和附录中提及的所有专利、专利申请、出版物和描述出于所有目的以其全文引用的方式并入本文中。并非承认它们是现有技术。当本技术与本文提供的参考文献之间存在冲突时，以本技术为准。

技术特征：
1.一种方法，包括由计算机执行以下操作：接收多个实体的电子装置之间的交互数据，其中所述交互数据用于形成(1)实体交互向量，所述实体交互向量包含所述多个实体中的选定实体的所述电子装置与所述多个实体之间的交互数目，以及(2)实体时间序列，所述实体时间序列包含所述选定实体的所述电子装置的所述交互的每单位时间的多个度量；使用交互编码器，使用所述多个实体的嵌入来生成所述实体交互向量的交互隐藏表示，其中所述嵌入表示所述多个实体的所述电子装置之间的交互；使用时间编码器生成所述实体时间序列的时间隐藏表示，其中所述时间隐藏表示捕获所述多个实体的所述电子装置之间的所述交互的时变模式；使用所述交互隐藏表示和所述时间隐藏表示生成包括目标交互度量的量值的预测尺度；使用所述交互隐藏表示和所述时间隐藏表示生成所述目标交互度量的形状估计；以及使用所述预测尺度和所述形状估计生成时间周期的估计的交互度量。2.根据权利要求1所述的方法，还包括：将所述估计的交互度量提供到交互数据库，其中所述估计的交互度量被提供到所述计算机的外部模块。3.根据权利要求1所述的方法，其中所述实体交互向量的所述交互隐藏表示是使用利用所述实体交互向量和实体嵌入矩阵来生成所述交互隐藏表示的交互编码器生成的。4.根据权利要求3所述的方法，其中所述交互编码器包括：归一化模块，所述归一化模块对所述实体交互向量进行操作以生成归一化实体交互向量；以及向量矩阵乘法模块，所述向量矩阵乘法模块对所述实体嵌入矩阵和所述归一化实体交互向量进行操作以生成所述交互隐藏表示。5.根据权利要求1所述的方法，其中所述实体时间序列的所述时间隐藏表示是使用利用所述实体时间序列来生成所述时间隐藏表示的时间编码器生成的。6.根据权利要求5所述的方法，其中所述时间编码器包括多个残差块和平均池化层。7.根据权利要求1所述的方法，其中所述预测尺度还包括所述目标交互度量的偏移。8.根据权利要求7所述的方法，其中所述预测尺度是使用包括多个线性激活层和整流器的尺度解码器生成的。9.根据权利要求1所述的方法，其中所述交互的每单位时间的所述多个度量包括每单位时间的交互数目、每单位时间的拒绝的交互数目或每单位时间的用于执行交互的独特帐户的数目中的一个或多个。10.根据权利要求1所述的方法，其中所述交互数据的所述形状估计是使用利用所述交互隐藏表示和所述时间隐藏表示来生成所述形状估计的形状解码器生成的。11.根据权利要求10所述的方法，其中所述形状解码器包括形状组、线性激活、整流器和softmax回归层。12.根据权利要求11所述的方法，其中所述形状组存储用于估计所述估计的交互度量的形状。13.根据权利要求1所述的方法，其中所述估计的交互度量是使用利用所述交互数据的所述预测尺度与所述交互数据的所述形状估计的合并层生成的，且其中所述合并层与最小
化所述估计的交互度量和所述形状估计之差的损失函数相关联。14.根据权利要求1所述的方法，还包括：由所述计算机从多个实体的电子装置接收包括所述交互数据的访问请求，其中每个访问请求是针对所述多个实体中的目的地实体；以及使用所述访问请求的所述交互数据更新与所述多个实体中的所述目的地实体相关联的所述实体交互向量和所述实体时间序列。15.一种计算机，包括：处理器；以及非瞬态计算机可读介质，所述非瞬态计算机可读介质包括能够由所述处理器执行以执行操作的指令，所述操作包括：接收多个实体的电子装置之间的交互数据，其中所述交互数据用于形成(1)实体交互向量，所述实体交互向量包含所述多个实体中的选定实体的所述电子装置与所述多个实体之间的交互数目，以及(2)实体时间序列，所述实体时间序列包含所述选定实体的所述电子装置的所述交互的每单位时间的多个度量；生成所述实体交互向量的交互隐藏表示，其中所述交互隐藏表示捕获关于所述多个实体的所述电子装置之间的交互的信息；生成所述实体时间序列的时间隐藏表示，其中所述时间隐藏表示捕获所述多个实体的所述电子装置之间的所述交互的固有模式；生成所述交互数据的包括所述交互数据的形状估计的量值和偏移的预测尺度；生成所述交互数据的所述形状估计；以及使用所述交互数据的所述预测尺度和所述交互数据的所述形状估计生成时间周期的估计的交互度量。16.根据权利要求15所述的计算机，其中所述实体交互向量的所述交互隐藏表示是使用利用所述实体交互向量和实体嵌入矩阵来生成所述交互隐藏表示的交互编码器生成的，且其中所述交互编码器包括：归一化模块，所述归一化模块对所述实体交互向量进行操作以生成归一化实体交互向量；以及向量矩阵乘法模块，所述向量矩阵乘法模块对所述实体嵌入矩阵和所述归一化实体交互向量进行操作以生成所述交互隐藏表示。17.根据权利要求15所述的计算机，其中所述实体时间序列的所述时间隐藏表示是使用利用所述实体时间序列来生成所述时间隐藏表示的时间编码器生成的，且其中所述时间编码器包括多个残差块和平均池化层。18.根据权利要求15所述的计算机，其中所述交互数据的所述预测尺度包括量值和偏移且是使用利用所述交互隐藏表示和所述时间隐藏表示来生成所述尺度的尺度解码器生成的，且其中所述尺度解码器包括多个线性激活和整流器。19.根据权利要求15所述的计算机，其中所述交互数据的所述形状估计是使用利用所述交互隐藏表示和所述时间隐藏表示来生成所述形状估计的形状解码器生成的，且其中所述形状解码器包括存储用于估计所述估计的交互度量的形状的形状组、线性激活、整流器和softmax回归。20.根据权利要求15所述的计算机，其中所述估计的交互度量是使用利用所述交互数据的所述预测尺度与所述交互数据的所述形状估计的合并层生成的，且其中所述合并层与
最小化所述估计的交互度量和所述形状估计之差的损失函数相关联。

技术总结
公开一种由计算机执行的方法。所述方法包括接收多个实体的电子装置之间的交互数据。所述交互数据用于形成：实体交互向量，所述实体交互向量包含选定实体的所述电子装置之间的交互数目；以及实体时间序列，所述实体时间序列包含所述交互的每单位时间的多个度量。所述计算机的交互编码器可以使用所述多个实体的嵌入来生成所述实体交互向量的交互隐藏表示。所述计算机的时间编码器可以生成所述实体时间序列的时间隐藏表示。所述交互隐藏表示和所述时间隐藏表示可用于生成目标交互度量的预测尺度和形状估计。然后，所述计算机可以使用所述预测尺度和所述形状估计来生成时间周期的估计的交互度量。的估计的交互度量。的估计的交互度量。


技术研发人员：M
受保护的技术使用者：维萨国际服务协会
技术研发日：2022.02.01
技术公布日：2023/10/7