一种基于时序卷积的知识表示方法及系统与流程

1.本发明涉及自然语言处理技术，具体涉及一种针对时序知识图谱补全的知识表示方法及系统。


背景技术：

2.知识表示是一门研究如何将知识图谱进行向量化表示的技术
[1][2]
，它的本质是将现实中的知识转化成一种计算机可以识别的信息描述方式。知识表示是知识图谱构建与应用的基础，它在知识推理
[2-4]
、智能问答
[5]
、知识融合
[6]
等知识图谱下游任务中也有着广泛应用。传统的知识表示方法是将知识图谱表示成一系列三元组{实体1，关系，实体2}，通过一定方法将三元组的词向量信息映射到高维向量空间，形成知识图谱的向量表征。但现实中的知识图谱是随时间不断变化的，即每个知识单元仅在一定时间范围内成立，如何有效表征知识图谱在时间维度上的特征是当前知识表示研究的关注点之一
[5][6]
。
[0003]
针对时序知识图谱表示学习的问题，学者提出来许多时序知识表示模型
[7-13]
,这些模型可以分为两大类：基于线性张量的模型
[7-10]
和基于序列式深度学习模型
[11-13]
。基于线性张量的模型，通过投影、矩阵分解和旋转等线性张量操作，在语义空间中，将时间信息融入到向量化表征的实体与关系中，完成时序知识表示。该类方法计算效率高，但由于时序知识图谱中实体-关系-时间存在许多复杂的高阶联系，线性张量模型难以有效表达时序知识图谱中反映的语义特征信息。基于序列式深度学习模型，则借助rnn、lstm和gru等深度学习模型对序列信息天然的表征优势，可实现实体-关系语义特征与时间信息之间的深度关联。但由于串行化的计算，将基于序列式深度学习模型运用在大型知识图谱上需要花费大量时间。此外，序列深度学习模型自身还存在特征稀疏的问题，即在各个时间段内常常只有少量的实体关系出现在图谱中，一定程度限制了其在时序知识上的表达能力。
[0004]
[1]马忠贵,倪润宇,余开航.知识图谱的最新进展,关键技术和挑战.
[0005]
[2]yang b,yih w t,he x,et al.embedding entities and relations for learning and inference in knowledgebases[j].2014.
[0006]
[3]崔员宁,李静,陈琰,陆正嘉.transpath:一种基于深度迁移强化学习的知识推理方法[j].小型微型计算机系统:1-8.2021.
[0007]
[4]trouillon t,welbl j,riedel s,et al.complex embeddings for simple link prediction.jmlr.org,2016.
[0008]
[5]kazemi s m,goel r,jain k,et al.representation learning for dynamic graphs:asurvey[j].2019.
[0009]
[6]ji s,pan s,cambria e,et al.a survey on knowledge graphs:representation,acquisition andapplications[j].2020.
[0010]
[7]shib sankar dasgupta,swayambhu nath ray,and partha talukdar.hyte:hyperplane-based temporally aware knowledge graph embedding.in proceedings of the 2018conference on empiricalmethods innatural languageprocessing,pp.2001
–
2011,2018.
[0011]
[8]rishab goel,seyed mehran kazemi,marcus brubaker,and pascal poupart.diachronic embedding fortemporal knowledge graph completion.in proceedings oftheaaai conference on artificial intelligence,volume 34,pp.3988
–
3995,2020.
[0012]
[9]lacroix t,obozinski g,usunier n.tensor decompositions for temporal knowledge base completion[j].2020.
[0013]
[10]xu c,nayyeri m,alkhoury f,et al.tero:a time-aware knowledge graph embedding via temporal rotation[c]//proceedings of the 28th international conference on computationallinguistics.2020.
[0014]
[11]jin w,qu m,jin x,et al.recurrent event network:autoregressive structure inference overtemporal knowledge graphs[j].2019.
[0015]
[12]wu j,cao m,cheung j,et al.temp:temporal message passing for temporal knowledge graph completion[j].2020.
[0016]
[13]temporal knowledge graph reasoning based on evolutional representation learning.arxivpreprintarxiv:2104.10353,2021.


技术实现要素：

[0017]
本发明的目的在于提出一种基于时序卷积的知识图谱表示方法及系统。
[0018]
需要特别说明的是，本发明提出的时序卷积是完全自主设计的新网络模型。本发明提出的时序卷积(time-aware convolution)和其他研究中的时序卷积(temporal convolution)虽然同名但不是同一个网络模型。本发明中的时序卷积与其他研究中的时序卷积，在针对的问题、数据输入和卷积核构造上完全不同。具体的，本发明设计的时序卷积是用于解决时序知识图谱的表示学习问题，现有其他研究提出的时序卷积是用于解决序列数据的预测问题；本发明设计的时序卷积需要结构化网络数据作为输入，现有其他研究提出的时序卷积需要一维的序列数据作为输入；本发明设计的时序卷积是根据时间标签动态生成对应的卷积核，生成的卷积核具有时间感知能力，而有其他研究提出的时序卷积是随机初始化的，不具备时间感知能力。
[0019]
实现本发明目的的技术解决方案为：一种基于时序卷积的知识表示方法，包括如下步骤：
[0020]
步骤1，在采集的时序知识图谱数据上，分别构建实体、关系和时间的语义向量对照表，并在语义空间中随机初始化对应的语义向量；
[0021]
步骤2，根据时间信息及其对应的时间语义向量，动态构造时序卷积核，得到具有时间特征的时序卷积核；
[0022]
步骤3，利用时序卷积核与实体和关系对应的语义向量进行卷积，将时间信息融入实体语义向量和关系语义向量中，得到时序知识图谱中的动态特征信息；
[0023]
步骤4，利用随机初始化的卷积核与实体和关系对应的语义向量进行卷积，得到时序知识图谱中的静态特征信息；
[0024]
步骤5，通过多层神经网络融合提取的动态特征信息和静态特征信息，得到综合的
特征信息；
[0025]
步骤6，基于提取的综合特征信息，计算该特征信息下全部实体的概率值，取概率最高的实体作为预测结果，从而完成知识表示学习。
[0026]
步骤1，在采集的时序知识图谱数据上，分别将实体、关系和时间映射至语义向量空间中并随机初始化，具体方法为：
[0027]
基于采集到的时序知识图谱数据，对图谱中的全部实体、关系和时间进行统计，分别得到实体集合关系集合和时间集合t＝{t|t∈t}，其中s,o分别代表头实体和尾实体，r代表关系，t代表时间；
[0028]
对实体、关系和时间对应集合的元素进行id编号，为每个元素生成对应的语义向量，并对语义向量每个维度上的值赋上随机值，其中，头尾实体语义向量分别表示为和其中es代表头实体，eo中o代表尾实体，ds代表头实体语义向量的维数，do代表尾实体语义向量的维数；关系语义向量表示为其中dr代表关系语义向量的维数；时间语义向量表示为其中d
t
代表时间语义向量的维数。
[0029]
步骤2，根据时间信息及其对应的时间语义向量，动态构造时序卷积核，得到具有时间特征的时序卷积核，具体方法为：
[0030]
首先，通过时间信息获取对应的时间语义向量e
t
；接着，将其作为构造时序卷积核的全连接神经网络fc的输入，得到中间量v
t
；然后，通过向量拆分操作，得到一组时序卷积核其中代表一个卷积核，n代表第n个卷积核，c代表最后一个卷积核的序号，计算公式如下：
[0031]ft
＝vec-1
(fc(e
t
))#(1)
[0032]
其中vec-1
表示向量拆分操作。
[0033]
步骤3，利用时序卷积核与实体和关系对应的语义向量进行卷积，将时间信息融入实体语义向量和关系语义向量中，得到时序知识图谱中的动态特征信息，具体方法为：
[0034]
首先根据实体关系找到相应的头实体语义向量es和关系语义向量er，然后利用步骤2中得到的时序卷积核f
t
，对头实体语义向量和关系语义向量进行卷积，得到充分融入时间信息的动态特征信息a
temp
，计算公式如下：
[0035]atemp
＝f
temp
([es；er]3*f
t
)#(2)
[0036]
其中，f
temp
代表用于动态特征信息提取的全连接神经网络，[es；er]3表示由头实体语义向量es和关系语义向量er叠加得到的向量，*表示卷积操作。
[0037]
步骤4，利用随机初始化的卷积核与实体和关系对应的语义向量进行卷积，得到时序知识图谱中的静态特征信息，具体方法为：
[0038]
首先根据实体关系找到相应的头实体语义向量es和关系语义向量er，然后利用随机初始化的卷积核f，对实体和关系对应的语义向量进行卷积，进而得到静态特征信息a
stat
，计算公式如下：
[0039]astat
＝f
stat
([es；er]3*f)#(3)
[0040]
其中，f
stat
代表用于静态特征提取的全连接神经网络。
[0041]
步骤5，通过多层神经网络融合提取的动态特征信息和静态特征信息，得到综合的特征信息，具体方法为：
[0042]
基于得到的动态特征信息a
temp
和静态特征信息a
stat
，通过多层的神经网络得到综合的特征信息a，计算公式如下所示：
[0043][0044]
其中，[a
temp
；a
stat
]表示两个向量的拼接操作，n代表神经网络层数，fn代表第n层的全连接神经网络，σn代表第n层的激活函数，ln代表第n层输出结果，最后一层输出结果就是综合的特征信息a。
[0045]
步骤6，基于提取的综合特征信息，计算该特征信息下全部实体的概率值，取概率最高的实体作为预测结果，从而完成知识表示学习的预测任务，具体方法为：
[0046]
将步骤5中得到综合的特征信息a和尾实体对应语义向量eo代入得分函数中计算，得到相应的概率值，通过在候选实体中比较，得到概率最大的作为预测结果，得分函数计算公式如下所示：
[0047][0048]
其中，代表得分函数，f是激活函数。
[0049]
一种基于时序卷积的知识表示系统，基于所述的基于时序卷积的知识表示方法，实现基于时序卷积的知识表示。
[0050]
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，基于所述的基于时序卷积的知识表示方法，实现基于时序卷积的知识表示。
[0051]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，基于所述的基于时序卷积的知识表示方法，实现基于时序卷积的知识表示。
[0052]
本发明与现有技术相比，其显著优点为：1)创新性地提出了一种动态构造卷积过程的技术，通过卷积的方式实现时间信息与实体、关系的充分融入，使得时序知识图谱中的高阶非线性的特征信息得以有效表征，极大提升了模型知识表示学习的能力，有效保证了下游知识推理或预测能力，区别于基于序列式神经网络的时序模型，该方法计算效率高，且不易出现由于数据稀疏导致的过拟合问题；2)提取了时序知识图谱中的动态特征和静态特征，能够确保模型全面的表征时序知识图谱中的特征信息；3)该模型结构易于引入实体的其它描述信息，除叠加时间维度信息外，还可以将表达组织机构的地理位置信息、人物性别信息、人物行为发生的地位置信息等加入，有助于模型更好地扩展到时空知识推理，时空轨迹分析等下游应用领域中。
附图说明
[0053]
图1为基于时序卷积的知识表示的技术流程图；
[0054]
图2为实施例的方法流程示意图。
具体实施方式
[0055]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0056]
本发明假设知识图谱中的实体和关系要素随时间共同发生变化，巧妙地将知识单元中的时间维度信息构造成动态序列卷积核，作用于知识单元内实体和关系向量，从而有效地将时间信息注入到知识单元中，使得知识图谱在高维空间的向量映射过程中具有时间特性。基于该方法获得的知识图谱表示模型，赋予了知识图谱本身成立的时效性及动态演化能力，进而用于下游的知识推理或知识融合等任务，可有效提高其模拟预测精度。一种基于时序卷积网络的知识表示方法，流程如图1所示，包括以下步骤：
[0057]
步骤1：将实体、关系和时间映射至语义向量空间
[0058]
基于采集到的时序知识图谱数据，对图谱中涉及到全部实体、关系和时间进行统计，分别得到实体集合(s,o分别代表头实体和尾实体)，关系集合(r代表关系)和时间集合(t代表时间)，对实体、关系和时间对应集合的元素进行id编号，并为每个元素生成其对应的语义向量，并对语义向量每个维度上的值赋上随机值。其中，头尾实体语义向量分别表示为和其中es中s代表头实体，eo中o代表头实体，ds代表头实体语义向量的维数，do代表尾实体语义向量的维数；关系语义向量表示为其中dr代表关系语义向量的维数；时间语义向量表示为其中d
t
代表时间语义向量的维数。
[0059]
步骤2：根据时间信息对应的时间语义向量，动态构造时序卷积核
[0060]
首先，通过时间信息获取对应的时间语义向量e
t
。接着，将其作为用于专门构造时序卷积核的全连接神经网络fc的输入，得到中间量v
t
。然后，通过向量拆分操作，得到一组时序卷积核其中代表一个卷积核，n代表第n个卷积核，c代表最后一个卷积核的序号。该组卷积核就是由前面时间语义向量经过上述步骤处理得到的。在步骤2中，基于时间语义向量e
t
，得到时序卷积核f
t
的步骤可以描述为公式(1)：
[0061]ft
＝vec-1
(fc(e
t
))#(1)
[0062]
其中vec-1
表示向量拆分操作，公式中其他变量的含义在上文中提到过，这里不再赘述。
[0063]
步骤3：提取时序知识图谱中的动态特征信息
[0064]
根据实体关系找到相应的头实体语义向量es和关系语义向量er，根据步骤2中得到的时序卷积核，对头实体语义向量和关系语义向量进行卷积，得到充分融入时间信息的动态特征信息a
temp
。步骤3的计算公式如下：
[0065]atemp
＝f
temp
([es；er]3*f
t
)#(2)
[0066]
其中，f
temp
代表专门用于动态特征信息提取的全连接神经网络，[es；er]3表示由头实体语义向量es和关系语义向量er叠加得到的向量，*表示卷积操作。
[0067]
步骤4：提取时序知识图谱中的静态特征信息
[0068]
根据实体关系找到相应的头实体语义向量es和关系语义向量er，利用随机初始化
的卷积核f，对实体和关系对应的语义向量进行卷积，进而得到静态特征信息a
stat
。步骤4的计算公式如下：
[0069]astat
＝f
stat
([es；er]3*f)#(3)
[0070]
其中，f
stat
代表专门用于静态特征提取的全连接神经网络。
[0071]
步骤5：融合动态特征信息和静态特征信息
[0072]
基于步骤3中得到的动态特征信息a
temp
和静态特征信息a
stat
，通过多层的神经网络得到综合的特征信息a，步骤5的计算公式如下所示：
[0073][0074]
其中，[a
temp
；a
stat
]表示两个向量的拼接操作，这里n代表神经网络层数,fn代表第n层的全连接神经网络,σn代表第n层的激活函数，ln代表第n层输出结果，最后一层输出结果就是综合的特征信息a。
[0075]
步骤6：计算尾实体概率，得到最佳尾实体预测
[0076]
将步骤5中得到综合的特征信息a和尾实体对应语义向量eo代入得分函数中计算，得到相应的概率值，通过在候选实体中比较，得到概率最大的作为预测结果。得分函数计算公式如下所示：
[0077][0078]
其中，代表得分函数，f是激活函数。
[0079]
步骤7：训练最优时序知识表示模型
[0080]
将训练集中的实体关系时间四元组输入步骤1中进行预处理，之后按批次输入步骤2中构造时序卷积核，将得到的时序卷积核输入步骤3中并结合实体关系语义向量进行卷积，进而得到动态特征向量，在步骤4中得到静态特征向量，在步骤5中融合动态特征信息和静态特征信息，并在步骤6中基于综合的特征信息计算候选尾实体的概率值。在训练集上使用交叉熵损失函数衡量模型预测结果与训练集真值之间的差距，借助随机梯度下降优化器反向传播更新层级神经网络中的参数。在每一轮训练结束时，计算mrr值，并保留模型。经过多轮训练，挑选其中mrr值最大的那一轮得到模型作为最优模型。
[0081]
具体实施方式
[0082]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0083]
下面结合附图2对本发明实施例中的具体步骤进行详细说明。该说明基于已训练得到最优时序知识表示模型，利用测试集中的测试语料开展最佳尾实体预测。
[0084]
由于时序知识表示效果可通过知识推理的方式来加以验证，即通过时序知识表示可以推测出特定人物的兴趣点、工作单位、政治倾向等方面，这里选择以推测enrico fermi这个人的工作单位作为具体的实施例，来展示时序知识表示的效果，基于的数据集是yago15k。
[0085]
步骤1：将实体enrico fermi、关系works at和时间2005/01/01映射至语义向量空间
[0086]
步骤1.1：根据推理的任务，即推测enrico fermi这个人的工作单位，构造待推理四元组，即(enrico fermi,works at,？,2005/01/01)。
[0087]
步骤1.2：根据实体enrico fermi、关系works at和时间2005/01/01的id编号对应关系，找到其对应的id号，实体enrico fermi对应的id编号是3，关系works at对应的id编号是12，时间2005/01/01对应id编号是8。测试样本可简化为(3,12,？,8)。
[0088]
步骤1.3：根据实体enrico fermi、关系works at和时间2005/01/01的id编号，找到模型中enrico fermi,words at,？,2005/01/01对应的200维实体、关系和时间语义向量和
[0089]
步骤2：根据时间信息2005/01/01对应的时间语义向量，动态构造时序卷积核
[0090]
步骤2.1：将步骤1.3中的时间语义向量e
t
代入公式(1)中计算，得到其对应的一组卷积核其中代表一个卷积核，n代表第n个卷积核，c代表最后一个卷积核的序号。
[0091]
步骤2.2：将得到的一组卷积核f
t
按步骤2.1计算出的顺序进行向量叠加，即将f
t
中全部卷积核在垂直于向量长宽方向上进行向量拼接操作，保证后续步骤时序卷积的卷积核对应顺序正确。
[0092]
步骤3：提取时序知识图谱中的动态特征信息
[0093]
步骤3.1：将步骤1.3中的头实体enrico fermi与关系works at对应的语义向量ed和er进行叠加，得到实体enrico fermi与关系works at的叠加向量，为代入公式(2)做准备。
[0094]
步骤3.2：将步骤2.2中的时序卷积核f
t
和步骤3.1中的叠加向量代入到公式(2)中进行计算，得到动态特征信息。
[0095]
步骤4：提取时序知识图谱中的静态特征信息
[0096]
步骤4.1：将步骤1.3中的头实体与关系对应的语义向量进行叠加，得到实体与关系的叠加向量，为代入公式(3)做准备。
[0097]
步骤4.2：将卷积核f与步骤4.1中的叠加向量代入到公式(3)中进行计算，得到静态特征信息。
[0098]
步骤5：融合动态特征信息和静态特征信息
[0099]
将步骤3.2中的动态特征信息和步骤4.2中的静态特征信息作为输入，通过公式(4)进行动态信息和静态信息和融合，最终得到综合的特征信息。
[0100]
步骤6：计算尾实体概率，得到最佳尾实体columbia university
[0101]
将知识图谱中全部实体作为候选尾实体，在yago15k中候选实体共计15403个，将步骤5中得到综合的特征信息与候选尾实体的语义向量代入公式(5)计算，最终得到候选尾实体的概率值，选取其中概率最大的尾实体作为实体预测的结果，在本例中columbia university的概率值最大，因此，最终实体预测结果为columbia university,即enrico fermi这个人在2005/01/01这一天是在columbia university这个地方工作的，进而得到完整的四元组(enrico fermi,works at,columbia university,2005/01/01)。
[0102]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0103]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种基于时序卷积的知识表示方法，其特征在于，包括如下步骤：步骤1，在采集的时序知识图谱数据上，分别构建实体、关系和时间的语义向量对照表，并在语义空间中随机初始化对应的语义向量；步骤2，根据时间信息及其对应的时间语义向量，动态构造时序卷积核，得到具有时间特征的时序卷积核；步骤3，利用时序卷积核与实体和关系对应的语义向量进行卷积，将时间信息融入实体语义向量和关系语义向量中，得到时序知识图谱中的动态特征信息；步骤4，利用随机初始化的卷积核与实体和关系对应的语义向量进行卷积，得到时序知识图谱中的静态特征信息；步骤5，通过多层神经网络融合提取的动态特征信息和静态特征信息，得到综合的特征信息；步骤6，基于提取的综合特征信息，计算该特征信息下全部实体的概率值，取概率最高的实体作为预测结果，从而完成知识表示学习。2.根据权利要求1所述的基于时序卷积的知识表示方法，其特征在于：步骤1，在采集的时序知识图谱数据上，分别将实体、关系和时间映射至语义向量空间中并随机初始化，具体方法为：基于采集到的时序知识图谱数据，对图谱中的全部实体、关系和时间进行统计，分别得到实体集合ε＝{s,o|s,o∈ε}、关系集合和时间集合t＝{t|t∈t}，其中s,o分别代表头实体和尾实体，r代表关系，t代表时间；对实体、关系和时间对应集合的元素进行id编号，为每个元素生成对应的语义向量，并对语义向量每个维度上的值赋上随机值，其中，头尾实体语义向量分别表示为和其中e
s
代表头实体，e
o
中o代表尾实体，d
s
代表头实体语义向量的维数，d
o
代表尾实体语义向量的维数；关系语义向量表示为其中d
r
代表关系语义向量的维数；时间语义向量表示为其中d
t
代表时间语义向量的维数。3.根据权利要求1所述的基于时序卷积的知识表示方法，其特征在于，步骤2，根据时间信息及其对应的时间语义向量，动态构造时序卷积核，得到具有时间特征的时序卷积核，具体方法为：首先，通过时间信息获取对应的时间语义向量e
t
；接着，将其作为构造时序卷积核的全连接神经网络f
c
的输入，得到中间量v
t
；然后，通过向量拆分操作，得到一组时序卷积核其中代表一个卷积核，n代表第n个卷积核，c代表最后一个卷积核的序号，计算公式如下：f
t
＝vec-1
(f
c
(e
t
))#(1)其中vec-1
表示向量拆分操作。4.根据权利要求1所述的基于时序卷积的知识表示方法，其特征在于，步骤3，利用时序卷积核与实体和关系对应的语义向量进行卷积，将时间信息融入实体语义向量和关系语义向量中，得到时序知识图谱中的动态特征信息，具体方法为：首先根据实体关系找到相应的头实体语义向量e
s
和关系语义向量e
r
，然后利用步骤2中
得到的时序卷积核f
t
，对头实体语义向量和关系语义向量进行卷积，得到充分融入时间信息的动态特征信息a
temp
，计算公式如下：a
temp
＝f
temp
([e
s
；e
r
]3*f
t
)＃(2)其中，f
temp
代表用于动态特征信息提取的全连接神经网络，[e
s
；e
r
]3表示由头实体语义向量e
s
和关系语义向量e
r
叠加得到的向量，*表示卷积操作。5.根据权利要求1所述的基于时序卷积的知识表示方法，其特征在于，步骤4，利用随机初始化的卷积核与实体和关系对应的语义向量进行卷积，得到时序知识图谱中的静态特征信息，具体方法为：首先根据实体关系找到相应的头实体语义向量e
s
和关系语义向量e
r
，然后利用随机初始化的卷积核f，对实体和关系对应的语义向量进行卷积，进而得到静态特征信息a
stat
，计算公式如下：a
stat
＝f
stat
([e
s
；e
r
]3*f)#(3)其中，f
stat
代表用于静态特征提取的全连接神经网络。6.根据权利要求1所述的基于时序卷积的知识表示方法，其特征在于，步骤5，通过多层神经网络融合提取的动态特征信息和静态特征信息，得到综合的特征信息，具体方法为：基于得到的动态特征信息a
temp
和静态特征信息a
stat
，通过多层的神经网络得到综合的特征信息a，计算公式如下所示：其中，[a
temp
；a
stat
]表示两个向量的拼接操作，n代表神经网络层数，f
n
代表第n层的全连接神经网络，σ
n
代表第n层的激活函数，l
n
代表第n层输出结果，最后一层输出结果就是综合的特征信息a。7.根据权利要求1所述的基于时序卷积的知识表示方法，其特征在于，步骤6，基于提取的综合特征信息，计算该特征信息下全部实体的概率值，取概率最高的实体作为预测结果，从而完成知识表示学习的预测任务，具体方法为：将步骤5中得到综合的特征信息a和尾实体对应语义向量e
o
代入得分函数中计算，得到相应的概率值，通过在候选实体中比较，得到概率最大的作为预测结果，得分函数计算公式如下所示：其中，代表得分函数，f是激活函数。8.一种基于时序卷积的知识表示系统，其特征在于，基于权利要求1-7任一项所述的基于时序卷积的知识表示方法，实现基于时序卷积的知识表示。9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，基于权利要求1-7任一项所述的基于时序卷积的知识表示方法，实现基于时序卷积的知识表示。10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行
时，基于权利要求1-7任一项所述的基于时序卷积的知识表示方法，实现基于时序卷积的知识表示。

技术总结
本发明提出一种基于时序卷积的知识表示方法，构建实体、关系和时间的语义向量对照表，并在语义空间中随机初始化对应的语义向量；根据时间信息及其对应的时间语义向量，动态构造时序卷积核；利用时序卷积核与实体和关系对应的语义向量进行卷积，得到时序知识图谱中的动态特征信息；利用随机初始化的卷积核与实体和关系对应的语义向量进行卷积，得到时序知识图谱中的静态特征信息；通过多层神经网络融合提取的动态特征信息和静态特征信息，得到综合的特征信息；基于提取的综合特征信息，计算该特征信息下全部实体的概率值，取概率最高的实体作为预测结果，从而完成知识表示学习的预测任务。本发明可用于下游知识推理或融合，且提高了模拟预测精度。了模拟预测精度。了模拟预测精度。


技术研发人员：罗晋 胡岩峰 沈红 彭晨 陶昊然 付啟明 姜添 向镐鹏 闵飞
受保护的技术使用者：苏州空天信息研究院
技术研发日：2023.01.10
技术公布日：2023/8/4