图谱嵌入系统和装置的制作方法

图谱嵌入系统和装置
1.本技术涉及用于将图谱或图谱结构嵌入非欧几里得空间的装置、系统和方法和/或其应用。


背景技术：

2.基于观测数据的大规模因果推理在机器学习中越来越重要。传统上，这种实体之间关系的推理依赖于应用于嵌入在潜在欧几里得空间中的知识图谱实体的基于距离的方法。不幸的是，除了假阳性导致错误地归因的直接因果关系之外，当前的方法经常不能完全解释因果关系，或者由于混杂因素和中介因素而漏掉因果关系。
3.希望生成克服上述间题的改进的图谱嵌入，用于链接预测或机器学习算法、模型等的更改进的训练和/或输入。
4.下面描述的实施例不限于解决上述已知方法的任何或所有缺点的实施方式。


技术实现要素：

5.提供本发明内容是为了以简化形式介绍概念的选择，这些概念将在下面的详细描述中进一步描述。本发明内容并不旨在鉴定所要求保护的主题的关键特征或必要特征，也不旨在用于确定所要求保护的主题的范围；促进本发明的实施和/或用于实现基本相似的技术效果的变体和可替代的特征应该被认为落入本文公开的本发明的范围。
6.提供了用于图谱中的有向链接预测的方法、装置和系统，该图谱包括知识图谱和/或使用非欧几里得几何/空间/流形中的知识图谱嵌入的任何有向图谱，非欧几里得几何/空间/流形例如为但不限于伪黎曼(pseudo-riemannian)流形。例如，可以使用闵可夫斯基(minkowski)、反德西特(anti-de sitter)和/或德西特(de sitter)时空等。通过在这些几何形状和/或非平凡拓扑结构(例如圆柱形拓扑结构)内嵌入知识图谱，并应用包括链接预测函数(如本文所述的三重费米-狄拉克函数)的特有的损失函数或成本函数，嵌入方法、装置、系统使得算法能够预测有向边、连接或链接，这是因为利用了捕获任何关系的方向性的几何形状的类时间维度。
7.在第一方面，本公开提供了一种生成图谱的嵌入的计算机实现的方法，其中，所述图谱包括多个节点，并且每个节点包括到所述多个节点中的另一个或多个的连接，所述方法包括：接收表示所述图谱的至少一部分的数据；将所述图谱的所述节点转换为非欧几里得几何；基于因果损失函数和与所述非欧几里得几何关联的链接预测函数，迭代地更新基于转换后的所述非欧几里得几何中的节点的嵌入模型。
8.任选地，第一方面的计算机实现的方法，其中：转换所述图谱的所述节点还包括将所述图谱的所述节点转换为所述非欧几里得几何的坐标；并且其中，所述嵌入模型基于使用所述因果损失函数在节点坐标上操作的非欧几里得随机梯度下降算法。
9.作为一种选择，第一方面的计算机实现的方法，其中，更新所述嵌入模型还包括通过至少基于所述嵌入和所述链接预测函数最小化所述因果损失函数来更新节点坐标。
10.作为另一种选择，第一方面的计算机实现的方法，还包括迭代地更新所述嵌入模
型，直到确定所述嵌入模型待被训练；已经达到最大迭代次数，和/或直到已经满足所有节点坐标的平均损失阈值；并且输出表示训练后的图谱嵌入的数据。
11.作为另一种选择，第一方面的计算机实现的方法，其中，所述图谱是有向图谱。
12.作为一种选择，第一方面的计算机实现的方法，其中，所述图谱是循环有向图谱。
13.作为一种选择，第一方面的计算机实现的方法，其中，所述图谱是非循环有向图谱。
14.作为另一种选择，第一方面的计算机实现的方法，其中，所述非欧几里得几何是伪黎曼几何。
15.任选地，第一方面的计算机实现的方法，其中，所述非欧几里得几何是伪黎曼几何或伪黎曼空间。
16.作为一种选择，第一方面的计算机实现的方法，其中，所述伪黎曼几何或伪黎曼空间是闵可夫斯基几何或闵可夫斯基空间。
17.作为一种选择，第一方面的计算机实现的方法，其中，所述伪黎曼几何或伪黎曼空间是反德西特几何或反德西特空间。
18.作为一种选择，第一方面的计算机实现的方法，其中，所述非欧几里得几何或非欧几里得空间是双曲几何或双曲空间。
19.任选地，第一方面的计算机实现的方法，其中，所述图谱是包括多个实体节点和多个边/连接/链接的实体-实体图谱，其中每个实体节点通过边/连接/链接连接到另一个实体节点，每个边/连接/链接表示所述每个实体节点与所连接的所述其它实体节点之间的关系。
20.作为一种选择，第一方面的计算机实现的方法，其中，所述实体-实体图谱中的实体节点表示来自以下组的任何实体：基因；疾病；化合物/药物；蛋白质；生物实体；途径；生物过程；细胞系；细胞类型；症状；临床试验；任何其它生物医学概念；或与所述实体-实体图谱中的另一实体至少具有实体-实体关系的任何其它实体。
21.作为另一种选择，第一方面的计算机实现的方法，还包括：从训练的实体模型输出所述图谱的所述嵌入，以用于下游过程，所述下游过程包括来自以下组中的一个或多个：药物发现；药物优化；和/或用于任何其它ml模型或训练任何其它ml模型以在药物发现或优化过程中预测或分类。
22.作为一种选择，第一方面的计算机实现的方法，还包括：基于将表示第一节点和第二节点的数据输入到所述链接预测函数中，预测所述图谱的所述嵌入中的节点或实体节点之间的链接关系；以及从所述链接预测函数接收所述第一节点与所述第二节点之间存在链接关系的可能性的指示。
23.在第二方面，本公开提供了一种用于图谱中的链接预测的计算机实现的方法，还包括：生成根据第一方面的任何特征的图谱嵌入；以及从所述图谱嵌入中选择至少第一节点坐标和第二节点坐标；基于向链接预测函数输入所选择的第一节点坐标和第二节点坐标来输出有向链接预测，其中，所述有向链接预测包括所述第一节点坐标与所述第二节点坐标之间存在链接关系的可能性的指示。
24.在第三方面，本公开提供了一种用于预测图谱中实体之间的有向关系的计算机实现的方法，还包括：基于根据第一和/或第二方面的任何特征的图谱生成图谱嵌入；以及从
所述图谱嵌入中选择至少第一实体节点坐标和第二实体节点坐标，所述至少第一实体节点坐标和第二实体节点坐标与所述图谱的至少第一实体和第二实体相关联；基于向链接预测函数输入所选择的至少第一实体节点坐标和第二实体节点坐标来输出有向关系预测，其中，所述有向关系预测包括所述至少第一实体节点坐标与第二实体节点坐标之间存在链接关系的可能性的指示。
25.作为一种选择，第一、第二和/或第三方面的计算机实现的方法，其中，对于具有时空流形的非欧几里得空间，所述链接预测函数基于费米-狄拉克函数。
26.作为一种选择，第一、第二和/或第三方面的计算机实现的方法，其中，所述链接预测函数基于三重费米-狄拉克函数，所述三重费米-狄拉克函数包括：
[0027][0028]
其中，k＞0是可调比例因子，并且
[0029][0030][0031][0032]
是三个fd分布项，s2是p与q之间的测地线距离的平方，δt≡t
q-t
p
是时间坐标的差值，并且τ1、τ2、r和α是来自下式的参数：
[0033][0034]
其中，参数τ、r≥0且0≤α≤1，用于表示无向图谱边的概率作为节点嵌入距离的函数。
[0035]
作为一种选择，第一、第二和/或第三方面的计算机实现的方法，其中，所述因果损失函数包括链接预测函数。
[0036]
作为一种选择，第一、第二和/或第三方面的计算机实现的方法，其中，所述因果损失函数包括与所述链接预测函数组合的交叉熵损失函数。
[0037]
作为一种选择，第一、第二和/或第三方面的计算机实现的方法，其中，所述交叉熵损失函数包括多项式对数损失函数或其它对数损失函数，所述多项式对数损失函数或所述其它对数损失函数使用所述链接预测函数作为多项式对数损失函数或其它对数损失函数的概率。
[0038]
作为另一种选择，第一、第二和/或第三方面的计算机实现的方法，其中，所述因果损失函数用于根据所述图谱嵌入进行链接预测，所述链接预测捕获所述图谱中节点之间关系的方向性。
[0039]
作为另一种选择，第一、第二和/或第三方面的计算机实现的方法，还包括：通过将一维的非欧几里得空间包裹成圆来创建流形拓扑结构或圆柱形拓扑结构，以创建更高维的圆柱体。
[0040]
作为一种选择，第一、第二和/或第三方面的计算机实现的方法，其中，所述流形拓扑结构或圆柱形拓扑结构是伪黎曼流形。
[0041]
在第四方面，提供了一种用于生成图谱的嵌入的装置，其中，所述图谱包括多个节点，并且每个节点包括到所述多个节点中的另一个或多个的连接，所述装置包括耦合到通信接口的处理器，其中：所述通信接口被配置为接收表示所述图谱的至少一部分的数据；所述处理器被配置为：将所述图谱的所述节点转换为非欧几里得几何；以及基于与所述非欧几里得几何关联的因果损失函数，迭代地更新基于转换后的所述非欧几里得几何中的节点的嵌入模型，其中，所述因果损失函数包括链接预测函数。
[0042]
作为一种选择，第四方面的计算机实现的方法，其中，所述通信接口被配置为输出所述图谱嵌入。
[0043]
作为一种选择，第四方面的计算机实现的方法，其中，所述装置被配置为实现根据前述权利要求中任一项所述的计算机实现的方法。
[0044]
在第五方面，如本文所描述的和/或如应用所要求的，提供了由如第一、第二、第三和/或第四方面中的任何方面所述的计算机实现的方法获得的嵌入模型、对其的修改、其组合。
[0045]
在第六方面，如本文所描述的和/或如应用所要求的，提供了由如第一、第二、第三、第四和/或第五方面中的任何方面所述的计算机实现的方法获得的图谱的图谱嵌入、对其的修改、其组合。
[0046]
在第七方面，提供了一种基于根据第六方面所述的图谱嵌入从训练数据集获得的ml模型。
[0047]
在第八方面，如本文所描述的和/或如应用所要求的，提供了一种基于根据第一、第二、第三、第四和/或第五方面中的任何方面所述的计算机实现的方法所基于的图谱嵌入从训练数据集获得的ml模型、对其的修改、其组合。
[0048]
在第九方面，提供了一种有形的(或非瞬时性的)计算机可读介质，包括：用于生成图谱的嵌入的数据或指令代码，当所述数据或指令代码在一个或多个处理器上执行时，使得所述一个或多个处理器中的至少一个实施以下步骤中的至少一个：接收表示所述图谱的至少一部分的数据；将所述图谱的节点转换为非欧几里得几何；以及基于与所述非欧几里得几何关联的因果损失函数，迭代地更新基于转换后的所述非欧几里得几何中的节点的嵌入模型，其中，所述因果损失函数包括链接预测函数。
[0049]
在第十方面，如本文所描述的和/或如应用所要求的，提供了一种包括程序数据或指令代码的计算机可读介质、对其的修改、其组合；当所述程序数据或指令代码在处理器上执行时，使得所述处理器实施根据第一、第二、第三、第四和/或第五方面中的任何方面所述的计算机实现的方法的一个或多个步骤。
[0050]
作为一种选择，所述图谱的所述节点在伪黎曼空间中相对于空间和时间参数区别地分开。
[0051]
作为一种选择，所述图谱以拓扑方式嵌入流形中。
[0052]
作为一种选择，所述因果损失函数或所述链接预测函数被配置为通过改变所述函数的衰减率来基于时间替换所述图谱的节点。
[0053]
作为一种选择，所述因果损失函数或所述链接预测函数被配置为基于所述函数的时间衰减来放松节点的传递。
[0054]
本文描述的方法可以由软件以机器可读形式在有形存储介质上执行，例如以计算
机程序的形式，该计算机程序包括计算机程序代码模块，该计算机程序代码模块适于当程序在计算机上运行时实施本文描述的任何方法的所有步骤，并且其中计算机程序可以体现在计算机可读介质上。有形的(或非瞬时性的)存储介质的示例包括磁盘、拇指驱动器、存储卡等，并且不包括传播的信号。软件可适于在并行处理器或串行处理器上执行，使得可以以任何合适的顺序或同时实施方法步骤。
[0055]
本技术认可固件和软件可以是有价值的、可单独交易的商品。它旨在包括在“非智能”或标准硬件上运行或控制“非智能”或标准硬件的软件，以实施所需的功能。它还旨在包括“描述”或定义硬件的配置的软件，如硬件描述语言(hdl，hardware description language)软件，其用于设计硅芯片或配置通用可编程芯片，以实施期望的功能。
[0056]
优选的特征或选项可以适当地组合，这对于本领域技术人员而言是显而易见的，并且可以与本发明的任何方面组合。
附图说明
[0057]
将参照以下附图以示例的方式描述本发明的实施例，其中：
[0058]
图1是示出与根据本发明的嵌入模型一起使用的各种示例费米-狄拉克函数的示意图；
[0059]
图2是示出以下示例的示意图：a)三部图图谱，b)三部图图谱的欧几里得嵌入；以及c)基于根据本发明的嵌入模型的三部图图谱的闵可夫斯基嵌入；
[0060]
图3是示出根据本发明的用于闵可夫斯基嵌入的嵌入模型的示例性能的示意图；
[0061]
图4a是根据本发明用作嵌入模型训练数据的示例5节点链的示意图；
[0062]
图4b是在图4a的训练数据上使用2-d闵可夫斯基嵌入的示例嵌入模型的示意图；
[0063]
图4c是在图4a的训练数据上使用圆柱形闵可夫斯基嵌入的示例嵌入模型的示意图；
[0064]
图4d是在图4a的训练数据上使用圆柱形反德西特嵌入的示例嵌入模型的示意图；
[0065]
图4e是示出根据本发明使用图4b的闵可夫斯基嵌入、图4c的圆柱形闵可夫斯基嵌入和图4d的反德西特(anti-de sitter，ads)嵌入的5节点循环的边概率(edge probability)的示例的示意图；
[0066]
图5是示出根据本发明的链接预测上的示例平均精度值的图表；
[0067]
图6是示出根据本发明的用于嵌入图谱的示例过程的流程图；
[0068]
图7a是根据本发明的计算系统的示意图；以及
[0069]
图7b是根据本发明的系统的示意图。
[0070]
图8是与图4a至图4e相关的训练数据的另外的示例的示意图。
[0071]
在附图中使用共同的附图标记来表示相似的特征。
具体实施方式
[0072]
下面仅通过示例的方式描述本发明的实施例。这些实施例表示申请人目前已知的实施本发明的最佳模式，尽管它们不是可以实现这一点的仅有方式。说明书阐述了示例的功能以及用于构建和操作示例的步骤的顺序。然而，相同或等效的功能和顺序可以通过不同的示例来实现。
[0073]
本发明涉及一种系统、装置和方法，用于有效地生成并训练稳健的嵌入模型，该嵌入模型用于在非欧几里得空间中嵌入图谱或图谱结构的节点以改进链接预测，并且特别是用于有向链接预测等，和/或用于输出图谱或图谱结构的嵌入作为输入和/或由下游过程使用的特征，例如但不限于，训练用于药物设计和/或优化等的一个或多个模型和/或ml算法；和/或输入到为药物设计和/或优化等而训练的一个或多个模型和/或ml算法。
[0074]
在训练方面，可以理解的是，参见图4a，使用诸如5节点链等数据来实施多组实验。使用小的合成图谱，演示了本发明的编码与伪黎曼嵌入模型相关的特定于图谱的特征的特定集合的能力。具体地，特定于图谱的特征包括但不限于图谱的循环和非传递关系。对于第一组实验，该模型基于一系列基准和消融研究运行，以表征本文描述的嵌入在下游应用中的实用程序(utility)。对于第二组实验，依赖以下三类有向图谱数据集。
[0075]
复制分歧模型：一种模拟大型蛋白质-蛋白质相互作用网络生长和进化的双参数模型(ispolatov等人，2005)。取决于初始种子图谱的拓扑结构，最终图谱为dag图谱或有向循环图谱。这里我们模拟了两者。
[0076]
dream5：来自基因组规模的网络推理挑战的金标准边缘，包括一组跨生物体的基因调控网络和一个计算机模拟(in silico)的示例(marbach等人，2012)。这些网络包含相对较少的循环次数。
[0077]
wordnet：一种非循环的、分层的、树状的名词的网络，每个名词的原型相对较少，子代有许多。我们考虑了具有不同比例的传递闭包的网络。wordnet数据集的使用与dag的示例相关。
[0078]
通过这些组实验，基于以下各节中给出的等式(14)或(15)的概率，寻求最小化负对数似然损失。例如，始终为4的负采样比是固定的。类似于nickel和kiela(2017)，我们在原点附近的一个小随机补丁中初始化我们的嵌入(对于ads，x＝(1，0，...，0))并实施若干个时期(epoch)的烧录(bum-in)阶段，学习速率以0.01的因子缩放。
[0079]
用于训练的数据的附加示例在本技术中并通过附图进行了描述。图8显示了至少一个示例。
[0080]
非欧几里得空间是n维非欧几里得空间(例如，n≥2)，包括但不限于：伪黎曼几何；伪黎曼几何或伪黎曼空间；闵可夫斯基几何或闵可夫斯基空间；反德西特几何或反德西特空间；德西特几何或德西特空间；双曲几何或双曲空间；任何其它合适的几何、合适的非欧几里得几何、和/或时空几何/空间；它们的组合、它们的修改和/或如本文所述。图谱或图谱结构可以是基于两个或更多个节点由一个或多个边、连接或链接而连接的实体-实体图谱结构，每个节点表示一个实体，并且每个边/连接/链接表示一个实体与另一个实体之间的关系。
[0081]
图谱表示学习算法的归纳偏置通常编码在其嵌入空间的背景几何中。在本公开中，示出了一般有向图谱可以由嵌入模型有效地表示，该嵌入模型组合但不限于例如三个分量：伪黎曼度量结构、非平凡全局拓扑结构以及将优选方向显式结合在嵌入空间中的独特似然函数。
[0082]
通过将该方法应用于来自自然语言应用和生物学(例如，生物信息学/化学信息学)的一系列合成的和真实的有向图谱的链接预测的任务，证明了该方法的表示能力。特别地，它表明低维圆柱形闵可夫斯基和反德西特时空可以产生与更高维的弯曲黎曼流形相等
或更好的图谱表示。
[0083]
图谱结构可以是包括多个节点的知识图谱，并且每个节点通过边连接到多个节点中的另一个节点，其中节点表示特征或实体，而边包括表示节点对之间关系的数据。边可以是两个节点之间的连接或链接。例如，图谱结构可以基于但不限于由多个实体节点表示的实体-实体图谱，其中，每个实体节点通过一个或多个对应的关系边连接到多个实体节点中的一个或多个实体节点，其中，每个关系边表示一对实体之间的关系。有向图谱是这样一种图谱，其中从一个节点到另一个节点的每条边都具有特定的方向，其中，该边表示从该节点到另一个节点的有向关系。术语图谱、有向图谱、实体-实体图谱、实体-实体知识图谱、图谱或图谱数据集可在本公开中互换使用。在本发明的示例中，图谱是有向循环图谱或有向非循环图谱或知识图谱等。
[0084]
实体可以包括或表示与另一部分信息或另一事实有关系的任何部分信息或事实。例如，在生物信息学、化学信息学或生物信息学空间中，实体可以包括或表示生物实体，例如，仅作为示例但不限于，疾病、基因、蛋白质、化合物、化学品、药物、生物途径、生物过程、解剖部位或实体、组织、细胞系或细胞类型，或任何其它生物学或生物医学实体等。在另一个示例中，实体可以包括与疾病或一类疾病相关的一组专利、文献、引文或一组临床试验。
[0085]
在另一个示例中，在数据信息学领域等中，实体可以包括或表示关联于下列各项的实体，例如但不限于新闻、娱乐、体育、游戏、家庭成员、社交网络和/或群组、电子邮件、传输网络、互联网、维基百科页面、图书馆中的文档、已公布的专利、事实和/或信息的数据库、和/或可以与其它信息或部分信息或事实等有关的任何其它信息或部分信息或事实。实体和关系可以从信息语料库中提取，例如但不限于：文本、文献、文档、网页的语料库；分布式资源，如互联网；事实和/或关系的数据库；和/或专家知识库系统等；或者任何其它系统，用于存储或能够检索可能与(例如关系)其它信息或部分信息或事实(例如其它实体)等有关的部分信息或事实(例如实体)。
[0086]
例如，在生物信息学、化学信息学或生物信息学空间中，实体-实体图谱可以由多个实体形成，其中，每个实体可以表示来自以下组的生物实体：疾病、基因、蛋白质、化合物、化学品、药物、生物途径、生物过程、解剖部位或实体、组织、细胞系或细胞类型、临床试验、任何其它生物学或生物医学实体等。多个实体中的每一个可以与多个实体中的另一个或多个实体具有关系。因此，实体-实体图谱可以由包括数据的实体节点形成，该数据表示实体和连接实体的关系边/连接/链路，包括表示实体之间的关系(relation)/关系(relationship)的数据。实体-实体图谱可以包括实体之间具有关系的不同实体的混合，和/或可以包括实体之间具有关系的一组同质实体。
[0087]
尽管可以描述本公开的细节，仅作为示例，但不限于，关于生物信息学、化学信息学或生物信息学实体、实体-实体图谱等，本领域技术人员应理解，根据应用需求，本公开的细节可应用于任何其它类型的实体、信息、数据信息学领域等。
[0088]
符号对象的表示学习是机器学习的核心关注领域。除了深度学习架构和通用学习算法的设计，结合正确水平的归纳偏置是有效构建可信和可概括的实体和关系嵌入的关键(battaglia等人，2018)。
[0089]
在图谱表示学习(graph representation learning)中，嵌入空间几何本身编码了许多此类归纳偏置，即使在最简单的空间中也是如此。例如，作为点嵌入欧几里得流形中
的顶点，具有引导图谱遍历和链接预测的节点间距离，携带作为度量函数的同质性和节点相似性的潜在假设(grover和leskovec，2016；perozziet等人，2014)。
[0090]
人们越来越认识到，欧几里得几何缺乏灵活性而无法在不损失信息的情况下以易处理的等级编码大型图谱上的复杂关系，这引起了许多具有非欧几里得几何的嵌入模型(nickel等人，2011；bouchard等人，2015)。示例范围从用于同时编码对称和反对称关系的复杂流形(trouillon等人，2016)到用于表示不确定性的统计流形(vilnis和mccallum，2015)。
[0091]
一个关键的发展是为分层表示学习引入双曲嵌入，这证明了揭露潜在图谱特征的能力(nickel和kiela，2017，2018)。鉴于其局限性(sala等人，2018)，这种方法随后被扩展以包括顺序嵌入(vendrov等人，2016)、双曲蕴涵锥(hyperbolicentailmentcone)(ganea等人，2018)和双曲圆盘嵌入(hyperbolic disk embedding)(suzuki等人，2019)等方法中的有向非循环图谱(directedacyclicgraph，dag)结构，后者在原型和子代数量指数增长的复杂dag上实现了良好的性能。
[0092]
虽然这些方法继续捕获更复杂的图谱拓扑结构，但它们在很大程度上局限于具有传递关系的dag，因此无法表示许多自然发生的图谱，其中循环和非传递关系是常见的特征。
[0093]
在非欧几里得空间中嵌入图谱的方法可用于解决这些问题。为了直接解决这些问题，在本公开中，非欧几里得几何，例如但不限于dag和循环图谱的伪黎曼嵌入，特别考虑例如但不限于闵可夫斯基和反德西特时空等中和/或根据应用要求的嵌入。通过构造测地线距离的平方和时间间隔的新似然函数，可以学习有意义的图谱结构，如有向循环。这种方法提供了消除语义相似性和直接边、连接、链接连接性的额外能力，导致但不限于例如改进的图谱嵌入作为下游过程的特征输入。
[0094]
在非欧几里得空间中嵌入图谱的方法的一些优点和/或特征包括但不限于例如：
[0095]
·
伪黎曼空间中节点(或实体节点)的空间和类时间分离的差别允许模型解决语义和基于边的相似性；
[0096]
·
拓扑非平凡流形中图谱的嵌入能够捕获复杂的图谱结构信息，如有向循环，这是以前的嵌入方法不能有效表示的；
[0097]
·
改变我们的损失函数的未来和过去类时间维度的衰减率的能力使我们能够同时表示有向关系以及灵活违反偏序传递条件。通过将节点放置在遥远的未来，传递不能得到保证，这是本方法的一个新特征。
[0098]
为简单起见，在非欧几里得空间中嵌入图谱的方法的前述特征是基于一系列小的模拟玩具网络来说明的，但本发明不限于此。使用这些，在使用合成蛋白质-蛋白质相互作用(protein-protein interaction，ppi)网络和模拟因果基因调控网络的结构的dream5金标准图谱的实验中，证明了伪黎曼嵌入的质量优于欧几里得嵌入和双曲嵌入。此外，研究表明，在非欧几里得空间中嵌入图谱的方法与特定于dag的方法(如wordnet链接预测基准上的圆盘嵌入)具有相当的性能。最后，反德西特嵌入的能力被探索，以进一步捕获独特的图谱结构，通过利用流形的关键特征，如其固有的用于表示不同长度的有向循环的拓扑结构。
[0099]
在相关工作中，相比于非欧几里得几何例如但不限于，用于图谱表示学习的闵可
夫斯基时空，欧几里得几何的缺点首次在sun等人(2015)的文章中被强调。随后，clough和evans(2017)从bombelli等人(1987)的因果集的理论中借鉴思想，探索了闵可夫斯基空间中dag表示。目前的工作在概念上明显类似于suzuki等人(2019)的双曲圆盘嵌入方法，该方法嵌入一组具有偏序关系的符号对象≤作为(拟)度量空间中(x，d)广义形式圆盘。形式圆盘由中心x∈x和定义(例如，suzuki等人概括了形式圆盘/球的标准定义，以允许负半径)。圆盘的包括定义了形式圆盘上的偏序，这使得偏序集能够自然地表示为形式圆盘集。
[0100][0101]
这些方法都保留了偏序传递假设，其中平方距离在未来和过去单调地减少。此假设在本文中被放宽，除了考虑具有除闵可夫斯基时空之外的循环和流形的图谱。
[0102]
如本文所述，节点是流形上的点边的概率是节点坐标的函数，并且挑战是通过在节点坐标上通过伪黎曼随机梯度下降(stochastic gradient descent，sgd)更新嵌入模型来推测最佳嵌入。
[0103]
虽然，以下各节包括进一步描述根据本发明的嵌入模型、成本函数、链接预测函数和数学函数等的另外的示例和/或修改，但是，为了简单起见，仅以示例的方式描述，并且本发明不限于此，因此，本领域技术人员应当理解的是，可以与本发明相关和/或根据应用需求来应用在以下各节中描述的一个或多个特征、组件和/或等式，用于实施和/或使用嵌入模型/链路预测/成本函数，所述嵌入模型/链路预测/成本函数用于使用伪黎曼sgd和/或用于在非欧几里得空间/几何结构等各节中嵌入图谱的任何其它合适的sgd算法在非欧几里得空间和/或伪黎曼空间中嵌入图谱。
[0104]
欧几里得流形上平滑函数f的基于梯度的优化与本文所描述的任何非欧几里得流形之间的关键区别在于，对于后者，平凡同构，对于任何p∈m，在流形m与切线空间t
p
m之间不再普遍适用。特别地，sgd更新步骤对于学习率λ和梯度概括为两个方面(bonnabel，2013)：
[0105]
首先，在黎曼流形优化的情况下，用黎曼梯度向量场代替
[0106][0107]
其中，g-1：是正定度量g的倒数，并且df为微分一型。其次，指数映射exp
p
：t
pm→
m概括了更新等式中的向量空间加法。对于任何v
p
∈t
p
m一阶泰勒展开式(taylor expansion)为
[0108]
f(exp
p
(vp))≈f(p)+g(gradf|p，vp)，
ꢀꢀ
(2)
[0109]
由此推理出梯度f定义最陡下降的方向，即黎曼-sgd(rsgd)更新步骤简单为：
[0110]
pj←
exp
p
(-λgradf|p).
ꢀꢀ
(3)
[0111]
这里考虑的各类流形都有指数映射的解析表达式(见下文)。由对于t∈r，expp(tvp)描绘出的曲线被称为测地线——将直线概括为曲线流形。
[0112]
另一方面，伪黎曼流形(或者等价地，半黎曼流形)是这样的流形，其中g是非简并的，但不再是正定的。如果g与
±
1条目对角，那么它是洛伦兹流形(lorentzian manifold)。如果g只有一个负特征值，那么它通常被称为时空流形。如果g(vp，vp)为负，vp被标记为类时间；如果其为正，则被标记为类空间；并且如果为零，则为类光或空值。
[0113]
gao等人(2018)首先指出，当在伪黎曼流形上优化f时，梯度f不是保证的上升方向，因为它的平方范数不再是严格正的，参见上面的等式(2）。对于对角线坐标图，可以简单地实施威克转动(wick-rotation)(visser，2017)；gao等人(2018)给出它们的黎曼对应物，并合理地应用上述等式(3)；在所有其它情况下，需要额外的步骤来重新引入保证(见以下等式(11))。
[0114]
闵可夫斯基时空是最简单的具有度量g＝diag(-1，1，....，1)的洛伦兹流形。n+1坐标函数是(x0，x1，...，xn)(x0，x)，其中，x0为时间坐标。坐标为x和y的两点之间的平方距离s2是
[0115][0116]
因为度量是对角线和平坦的，所以rsgd更新是用简单的映射进行的
[0117]
exp
p
(vp)＝p+vp，
ꢀꢀ
(5)
[0118]
其中，vp是分量(vp)i＝δ
ij
(dfp)j的向量，其中，δ
ij
是恒等式欧几里得度量。
[0119]
(n+1)维反德西特时空adsn可以定义为具有两个时间坐标的(n+2)维洛伦兹流形(l，gl)中的嵌入。给定正则坐标(x-1，x0，x1，...，xn)≡(x-1，x0，x)，adsn为由gl(x，x)≡《x，x》l＝-1定义的二次曲面，或者详细地为，
[0120][0121]
另一组有用的坐标涉及极坐标的重新参数化(x-1，x0)
→
(r，θ)：
[0122]
x-1
＝r sinθ，x0＝r cosθ，
ꢀꢀ
(7)
[0123]
其中，通过简单替换
[0124][0125]
将循环时间坐标定义为弧长
[0126][0127]
具有依赖于x的周期性t～t+2πr(x)。
[0128]
正则坐标与度量gl不是流形固有的，因此等式(1)中的伪黎曼梯度必须用投影算子п
p
：t
p
l
→
t
p
adsn来处理，为任何v
p
∈t
p
l定义为(robbin和salamon，2013)：
[0129]
π
pvp
＝v
p
+g
l
(v
p
，p)p.
ꢀꢀ
(10)
[0130]
此外，正如(law和stam，2020)最近所证明的那样，对于一般的二次曲面，可以通过实施双投影来避免实施计算量大的gram-schmidt正交化，即具有
[0131][0132]
作为我们保证的下降切向量。
[0133]
p，q∈adsn之间的平方距离s2由下式给出
[0134]
[0135]
其中，前三种情况分别是类时间、类空间和类光分离的点之间的测地线距离的平方。对于＜p，q＞
l
＞1，不存在连接这些点的测地线。然而，这将要求s2中的平滑损失函数完全覆盖所有p、q对，因此s2被设置为在类时间极限的值＜p，q＞
l
＝1。
[0136]
指数映射由下式给出
[0137][0138]
再次分别对于类时间、类空间和类光并且其中，
[0139]
费米-狄拉克(fermi-dira，fd)分布函数是一类概率函数，用于评估图谱中任意两个节点之间的有向边。fd分布函数，其中α＝1是常规参数化：
[0140][0141]
其中，x∈r，参数τ、r≥0且0≤a≤1，用于表示作为节点嵌入距离的函数的无向图谱边的概率(krioukov等人，2010；nickel和kiela等人，2017)。对于一般有向图谱，需要在嵌入空间中指定一个优选方向。在这种情况下，概率函数是各向同性的，但是图谱的特征实现了“自发对称性破缺(spontaneous symmetry breaking)”形式，其中节点嵌入鉴定了自然方向，即树状图谱和双曲嵌入，其中，指数体积增长的方向与沿着树向上的节点数量的指数增长一致。然而，对于一般有向图谱，函数中可能需要显式的对称性破缺项。suzuki(2019)等人采用了这种最初的有向方法，使用半径坐标，而我们的方法遵循同样的原理。
[0142]
f(τ1，τ2，α，r，k)(p，q)：＝k(f1f2f3)
ꢀꢀ
(15)
[0143]
对于时空流形，时间维度是自然坐标，表示优选方向。对于两点p，q∈m，提出以下分布f，其被称为三重费米-狄拉克(triplefermi-dirac，tfd)函数：其中，k＞0是可调比例因子，并且
[0144]
f1：＝f(τ1，r，1)(s2)，
ꢀꢀ
(16)
[0145]
f2：＝f(τ2，0，1)(-δt)，
ꢀꢀ
(17)
[0146]
f3：＝f(τ2，0，α)(δt)，
ꢀꢀ
(18)
[0147]
是三个fd分布项，τ1、τ2、r和α是来自分量fd项的参数，等式(14)中，s2是p和q之间的测地线距离的平方，以及δt是时间坐标差，在闵可夫斯基时空的情况下，它简单地为x0(q)-x0(p)。很容易看出k≤1，f(p，q)是介于0和1之间的有效概率值。
[0148]
等式(15)背后的动机可以通过2d闵可夫斯基时空上f及其分量fd项的一系列图表来理解(见图1)。
[0149]
除了f1 fd分布(e)，在图1中示出的是表示欧几里得流形(f)上的tfd函数的六个图表100。具体地，在该图中，(标记的)图表a 101、图表b 103、图表c 105示出了关于改变tfd函数f中的参数α的2d闵可夫斯基时空的不同表示，参见等式(15)。图表d 107指的是fd函数f1，参见闵可夫斯基空间中的等式(16)。图表e 109指的是在欧几里得空间中的f1，并且图表f111指的是欧几里得空间中的f。具体地，证明了tfd函数与伪黎曼度量结构相结合以编码一般有向图谱中固有的三种特定的归纳偏置：1.语义相似性和基于边缘的相似性并存，2.不同水平的传递，以及3.图谱循环的存在。此外，只要指定一个坐标作为时间维度，tfd函数同样适用于黎曼空间。
[0150]
对于典型的图谱，图谱顶点对x，y可以通过两种方式相似。它们可以定义一条边，在这种情况下，它们只是邻近，或者它们可以有重叠的邻近集nx和ny。然而，在黎曼流形图谱嵌入模型中，其中，节点距离确定边概率，后者语义的高度相似性表明x与y非常接近，特别是如果nx和ny本身是稀疏连接的(sun等人，2015)。这可能与顶点对之间缺少边相冲突。
[0151]
在时空流形中嵌入图谱解决了此不一致性——给定一对不共享一条边的顶点，对jaccard指数(nx∩ny)/(nx∪ny)没有约束。可以通过检查第一个fd项f1的贡献来验证此要求，参见tfd函数中的等式(16)。如图1所示，当x和y类空间分开时，图表d107 f1是低的，当x和y类空间在彼此的过去和未来光锥内时，图表d107 f1是高的。然后，我们的要求可以用几何术语重新措辞，即两个类空间分离的点(因此边概率低)可以在它们的光锥中(因此在它们的邻近集中)具有任意大的重叠。
[0152]
简单地将f1用于边概率在两个方面是有问题的。首先，过去和未来是不可区分的，因此任何节点对的两个边方向的概率也是不可区分的。其次，光锥作为锥，在图谱上定义了严格的偏序。具体地，作为s2的单独函数，预测以下有向链的概率函数
[0153]
p1
→
p2
→
p3
ꢀꢀ
(19)
[0154]
将总是以比p1
→
p2和p2
→
p3更高的概率预测传递关系p1
→
p3，参见等式(16)。这是由伪黎曼流形上的朴素图谱嵌入所施加的高度限制性条件。
[0155]
通过来自等式(17)和(18)的另外两个fd项f2和f3，需要边反对称和灵活的传递闭包约束。这两项都将指数衰减引入各自的过去和未来类时间方向，从而打破了严格的偏序。重要的是，由于f3中参数α引入了不同的衰减率，它们不是时间对称的。
[0156]
在图1中进一步示出了图表a101，其中tfd在接近类时间的未来具有局部最大值。α控制推理的图谱嵌入中的传递水平，见图1(图表a-c，101，103，107)。欧几里得圆盘嵌入(suzuki等人，2019)可以被视为近似等价于平坦闵可夫斯基时空中α＝0的情形，其中，高的边概率的区域延伸到遥远的未来光锥。
[0157]
等式(15)中tfd概率模型的另一个特征是，光锥边界是软过渡，其可以通过调节温度超参数τ1和τ2来修改。具体地，相对于原点节点，过去或类空间方向的短的(在坐标值意义上)有向链接具有接近1/2的概率，这可以通过围绕p＝q＝0的等式(15)的泰勒展开式来验证(参见图1，图表d 107)。
[0158]
此特征单独并不构成一个足够的基础来促进用tfd分布作为循环图谱表示模型的伪黎曼嵌入。以这种方式嵌入长的有向循环不是很有效。例如，具有o(n2)个可能的(和缺失的)传递边的长度为n的链在概率上无法与全连接团区分开。为此，我们将注意力转向流形的全局特征。
[0159]
通过支持未来类时间有向链接的模型嵌入循环的问题是不可避免地出现至少一个低概率的过去有向边。这里我们提出循环时间维度作为全局拓扑解决方案。我们考虑了两个这样的具有s1×rn
拓扑结构的伪黎曼流形——修正的圆柱形闵可夫斯基时空和反德西特时空。
[0160]
对于具有时间坐标(x0，x)的(n+1)维时空流形，我们通过识别下式来构建我们的圆柱体：
[0161]
x0～x0+nc，
ꢀꢀ
(20)
[0162]
对于某些圆周，c＞0且n∈z。为了确保圆柱体上的平滑tfd函数，我们将包裹的tfd
函数定义为
[0163][0164]
其中，在所有其它坐标相等的情况下，与包裹的正态分布的情况不同，没有(已知的)f的封闭形式的表达。然而，如果α＞0，从f2和f3分别到遥远的过去和未来时间方向的指数递减概率使得人们能够通过从-m到m的整数上的和来逼近等式(21)中的无穷和。等式(15)中的比例因子k可用于确保最大f≤1。
[0165]
在这种拓扑结构中，类空间和类时间分离的点的概念纯粹是局部特征，因为在流形上的任意两点之间将有多条类时间路径。这与现实世界的网络有一些相似之处，在现实世界的网络中，简单的线性路径只是更复杂的全局图像的局部近似。
[0166]
与闵可夫斯基时空不同，ads已经具有固有的s1×rn
拓扑结构。为了使tfd分布适应ads空间，我们采用极坐标，并且使p和q之间的角度差为
[0167]
θ
pq
：＝θ
q-θ
p
ꢀꢀ
(22)
[0168]
其中θ是等式(7)中的极角。然后我们定义
[0169]
δt
pq
：＝rqθ
pq
ꢀꢀ
(23)
[0170]
类似于圆柱形闵可夫斯基的情况，我们修改f使得对于两点p和q，我们具有
[0171]
f(p，q)＝f(p，q
(n)
)，
ꢀꢀꢀꢀ
(24)
[0172]
其中，q
(n)
∈adsn具有与q相同的坐标，除了
[0173]rq
(n)＝rq+2πnrq，
ꢀꢀ
(25)
[0174][0175]
包裹的tfd分布与等式(21)相同，其中，δt
pq
作为f等式(15)定义中的时差变量。
[0176]
如果当特征被编码时未连接的节点对具有任意大的重叠邻近集，则可能适合构建由未连接的节点对和两大组未连接的公共前承节点和后继节点组成的图谱，参见图2，图表a 201。用fd边概率函数训练的欧几里得嵌入模型不能调和节点对的高语义相似性与缺失。
[0177]
图2示出了三部图、欧几里得嵌入以及闵可夫斯基嵌入的图谱表示200。特别地，图表a201指的是具有大的公共前承节点和后继节点的未连接节点对的三部图图谱。图表b 203指的是节点对之间的边概率为0.50的欧几里得嵌入。图表c 205指的是边概率为0.01的闵可夫斯基嵌入。
[0178]
图3是示出闵可夫斯基嵌入的性能的数据表示300。x轴上是α值，y轴上是概率。图中示出了两个示例图谱(分别为样本链301和完全传递303)上的闵可夫斯基嵌入对于tfd函数中变化的α值的性能。左边是10个节点的简单链(简单链301)，而右边是具有所有传递边的10个节点的链(完全传递305)。α值对应于图1中描述的两种概率情况。黑色标记表示正边。还注释了图谱的负对数似然(negative log likelihood，nll)。
[0179]
图4a是用作训练数据示例的5节点链400的图示。5节点链用作训练数据。5节点链包括节点1-5，401、402、403、404和405。这些节点以顺时针方式形成了有向循环图谱。图4b是5节点链410的圆柱形闵可夫斯基嵌入。图4c是5节点链420的ads嵌入。图4d是学习嵌入430的2d投影。对于ads嵌入，显示了两个时间维度，其中空间位置由标记大小表示。为了突出ads空间中的循环时间，我们在节点上覆盖了说明性的循环。图4e是使用闵可夫斯基
(min.)440、圆柱形闵可夫斯基(cyl.min.)和反德西特(ads)嵌入的5节点循环的边概率。以黑色表示正边。
[0180]
在前面的图的背景下的边；节点对不可避免地比它们的大多数相邻连接彼此更接近，例如参见图2的图表b 203。相反，闵可夫斯基模型有效地将三部图图谱编码为在对的节点的光锥中具有高度重叠的三组类空间分离点，例如参见图2的图表c 205。
[0181]
可以调节函数f来编码具有不同传递关系比例的网络。可以构建简单的10节点链和完全传递的变体，探索将tfd损耗调节以最佳捕获图谱传递结构的能力，使用α参数来改变时间方向上的概率衰减。使用两个α值，α＝0.001和α＝0.075，对应于图1的图表a101和图表c103中所示的热图。并且，在图3中可以看出，较小的α值能够更成功地捕获完全传递。在简单链的情况下，与α＝0.075的情况相比，设置α＝0.001会导致更高的概率被分配给负边。
[0182]
关于环绕s1维的图谱循环，可以嵌入2d闵可夫斯基、圆柱形闵可夫斯基(见图4b)和反德西特(见图4c)时空中的简单五节点环(见图4a)。在所有三个流形嵌入中，真实的节点排序被恢复，反映在有序的时间坐标中(见图4b-图4d)。然而，对于闵可夫斯基流形，有一条正边(在这种情况下是12)不可避免地被分配了错误的低概率。相反，圆柱形闵可夫斯基和ads时空的s1时间维度确保所有边都具有高概率(见图4e)，从而证明了循环时间维度的效用。
[0183]
下表1涉及有向循环图谱的链接预测。该表显示了对于不同的嵌入维度d，根据随机保持测试集计算的随机初始化(n＝20)上的中值平均精度(averageprecision，ap)的百分比。以灰色或斜体突出显示的是给定维度的最佳实施模型；以粗体注释的是整体最佳实施模型(越高越好)。用于参考，渐近随机基线ap为20％。
[0184]
表1
[0185][0186]
关于表1，还有一项消融研究以检查以下相对贡献：1.伪黎曼几何，反映在负平方距离的存在，2.全局圆柱形拓扑结构，以及3.tfd与fd似然模型。结果如图5所示。结果可以理解的是，所有分量在反德西特和圆柱形闵可夫斯基流形嵌入的优越性能中的重要性，s1拓扑结构可以认为是性能的最大贡献者。
[0187]
图5是模型m1至m7的平均精度值的表示500。在该图中，显示了关于跨流形/似然模型组合和嵌入维度的复制分歧模型图谱上的链接预测的平均精度值。在图上用相应的嵌入维度510标注模型。x轴是模型m1到m7。y轴是值小于1的平均精度。各模型为：m1：具有tfd的欧几里得流形，m2：双曲面+fd，m3：具有fd的欧几里得，m4：圆柱形欧几里得+tfd，m5：闵可夫
斯基+tfd，m6：反德西特+tfd，m7：圆柱形闵可夫斯基+tfd。
[0188]
下表2显示了伪黎曼方法在链接预测任务上的性能，以一组竞争方法为基准(结果取自suzuki等人(2019))。它将这些方法拆解为平坦空间和弯曲空间嵌入模型。可以看出，我们的方法优于所有其它平坦空间以及一些弯曲空间的方法，包括庞加莱(poincare)嵌入(nickel和kiela，2017)。此外，闵可夫斯基嵌入模型实现了双曲和球面方法的竞争性能。考虑到这些方法非常适合于表示以wordnet为中心的分层关系，该结果表明，伪黎曼模型非常能够通过编码边方向来表示分层结构。此外，我们可以证明三重费米-狄拉克概率(的一个特例)在平坦闵可夫斯基时空上的表示能力类似于欧几里得圆盘嵌入的表示能力。欧几里得圆盘嵌入与我们的模型在这项任务上的性能差异可能是由于tfd概率函数允许的额外灵活性，或者是由于由此产生的优化问题的差异，这些可以在未来的工作中进一步探索。
[0189]
表2
[0190][0191][0192]
在表2中，f1为wordnet的测试数据上的百分比分数。每个数据集/嵌入维度组合的最佳平坦空间性能(上半部分)已经以灰色或斜体突出显示，并且整体最佳性能以粗体显示。基准方法的结果取自suzuki等人(2019)。
[0193]
总之，从错综复杂的架构到预料不到的缺失环节，现实世界的图谱扑朔迷离。虽然使用黎曼流形的标准嵌入方法在表示复杂图谱拓扑结构方面取得了显著进步，但是这些方法仍然存在不足之处，这主要是由于所使用的度量空间的固有限制，或者伪黎曼结构的过度基本使用。证明了伪黎曼流形中的图谱嵌入能够有效地克服图谱表示学习中的一些开放区域，总结为三个关键结果。
[0194]
首先，反德西特和圆柱形闵可夫斯基嵌入能够使用新的三重费米-狄拉克损失函数和流形的圆柱形拓扑结构成功地表示有向循环图谱。
[0195]
其次，伪黎曼嵌入能够从功能相似的节点中消除直接邻居，正如在合成数据集上的一系列实验中所证明的那样。
[0196]
最后，在有向循环图谱中，闵可夫斯基嵌入在链接预测任务上优于黎曼基线，并在dag上获得了与最先进方法相当的结果。
[0197]
此外，应用我们的伪黎曼方法允许我们有效地解除由于tfd概率函数的时间衰减而导致的节点偏序集中传递的约束。利用这些特征，我们在许多有向循环图谱上证明了优异的性能：复制-分歧模型和一组三个dream5金标准基因调控网络。
[0198]
本发明旨在探索伪黎曼嵌入表达图谱对象的关键特征的潜力。在本文的范围内，目的是展示这些嵌入在玩具和合成数据集上的关键属性，在wordnet上的性能作为与现有
最先进方法进行比较的主要基础。在这方面的进一步研究存在两个直接途径。我们旨在继续探索这些流形的特征，同时也观察如德西特空间这样的变体捕获独特图谱结构的能力。此外，除了有向图谱中的链接预测之外，使用观测数据推理因果网络是具有广泛应用的关键问题——例如，在生物学中，从基因表达数据推理基因调控网络是高度感兴趣的研究领域。在这样的应用中，稀疏的“基准真值(ground-truth)”连接性是已知的，因此这里提出的模型的逻辑扩展将是混合版本，其将有向图谱链接预测与结合基因表达相关信息的更标准的基于相似性的方法相结合。通过这些创新，我们希望继续优化受物理学启发的时空捕获重要、复杂的图谱拓扑结构的能力，并解决网络推理的紧迫问题。
[0199]
此外，本发明旨在用于药物靶点鉴定，特别是鉴定与感兴趣的疾病或机制有因果关系的治疗靶点。也就是说，使用我们的知识图谱的有向子集，我们能够以更高的准确性推理给定机制或疾病的治疗基因，因为该模型的建模复杂图谱结构的能力增加了。给定一组在测定中显示出功效的基因，我们能够使用伪黎曼嵌入来推理有用的、与测定中成功的基因有因果联系的基因，以鉴定成功调节疾病生物学的相似的和可能的新的基因。
[0200]
本发明的不同应用是在精确医疗中。例如，在高度增殖的肌成纤维细胞(pmpt)的分布方面：pmpt的主要目标之一是识别并理解疾病内型。这可以使用我们的伪黎曼嵌入来完成，伪黎曼嵌入可用于通过推理缺失的链接来丰富从疾病共病数据构建的现有疾病-疾病图谱。然后，这可以加深对未揭露的内型的疾病特异性的理解。可以扩增使用观测数据推理的现有基因调控网络。
[0201]
本发明相关的另一个可以使用的领域是化学。该模型消除语义相似性和直接链接的能力可以应用于我们的人工智能化学管道中的击中扩展(hitexpansion)阶段门，允许我们有区别地推理与击中id中的成功分子具有相似作用模式的分子以及直接链接(通过文献、先前的实验等)到感兴趣分子的分子，以及那些独立的分子。
[0202]
图6是示出根据本发明的用于生成图谱嵌入的示例方法600的流程图。参考图1至5描述的和/或本文中描述的嵌入模型、成本函数和/或tfd等可以基于参考图6描述的方法600进一步修改和/或组合或概括。该图谱包括多个节点，并且每个节点包括到另一个或多个节点的边。方法600还可以包括以下步骤中的一个或多个：在步骤602中，接收表示所述图谱的至少一部分的数据；在步骤604中，将所述图谱的所述节点转换为非欧几里得几何；在步骤606中，基于因果损失函数和与所述非欧几里得几何关联的链接预测函数，迭代地更新基于转换后的所述非欧几里得几何中的节点的嵌入模型；作为一种选择，在步骤608中，方法600可以输出图谱的嵌入和/或一个或多个链接预测等。
[0203]
输出的图谱嵌入和链接预测函数可用于链接预测。例如，图谱中的链接预测可以包括：根据方法600和/或如本文参考任何附图、其组合、对其的修改和/或根据应用需求所描述的，生成图谱嵌入；从所述图谱嵌入中选择至少第一节点坐标和第二节点坐标；基于向链接预测函数输入所选择的第一节点坐标和第二节点坐标来输出有向链接预测，其中，所述有向链接预测包括所述第一节点坐标与所述第二节点坐标之间存在链接关系的可能性的指示。
[0204]
可替代地或附加地，输出的图谱嵌入和链接预测函数可用于预测图谱中实体之间的有向关系。例如，这可以包括：根据方法600和/或如本文参考任何附图所描述的，基于图谱嵌入来生成图谱嵌入；以及从所述图谱嵌入中选择至少第一实体节点坐标和第二实体节
点坐标，所述至少第一实体节点坐标和第二实体节点坐标与所述图谱的至少第一实体和第二实体相关联；基于向链接预测函数输入所选择的至少第一实体节点坐标和第二实体节点坐标来输出有向关系预测，其中，所述有向关系预测包括所述至少第一实体节点坐标与第二实体节点坐标之间存在链接关系的可能性的指示。
[0205]
图7a是示出计算装置700的示意图，该计算装置700可用于实现根据本发明的嵌入模型和/或图谱嵌入系统、图谱嵌入的一个或多个方面，和/或包括参考图1a至图6描述的方法、过程和/或系统和装置、其组合、其修改和/或如本文所描述的。计算装置700包括一个或多个处理器单元702、存储器单元704和通信接口706，其中，一个或多个处理器单元702连接到存储器单元704和通信接口706。通信接口706可以通过网络710将计算装置700与一个或多个数据库或其它处理系统或计算装置连接。存储器单元704可以存储一个或多个程序指令、代码或组件，例如，仅作为示例但不限于，用于操作计算装置700的操作系统704a和用于存储附加数据和/或另外的程序指令、代码和/或组件的数据存储704b，该附加数据和/或另外的程序指令、代码和/或组件与实现功能和/或与如本文所述和/或参考至少一幅附图所述的装置、模块、机制和/或系统/平台/架构的一个或多个方法和/或过程相关联的一个或多个功能或功能性相关联。
[0206]
本发明的另外方面可以包括一个或多个设备和/或装置，所述设备和/或装置包括通信接口、存储器单元以及处理器单元，所述处理器单元连接到通信接口和存储器单元，其中，所述处理器单元、存储单元、通信接口被配置为实施如本文参考附图所描述的系统、装置、方法和/或过程或其组合。
[0207]
图7b是示出根据本发明的用于生成图谱模型的系统720的示意图。系统720包括嵌入生成模块722，其被配置为生成嵌入模型、生成嵌入和/或输出嵌入在实体-实体图谱或有向图谱上的图谱。所述实体-实体图谱或包括多个实体节点的图谱，其中，每个实体节点通过一个或多个对应的关系边连接到多个实体节点中的一个或多个实体节点。图谱嵌入包括n维非欧几里得空间的多个节点坐标，该n维非欧几里得空间包括但不限于：伪黎曼几何；伪黎曼几何或伪黎曼空间；闵可夫斯基几何或闵可夫斯基空间；反德西特几何或反德西特空间；双曲几何或双曲空间；任何其它合适的几何或时空几何/空间；其组合、其修改和/或如本文所描述的。系统720还包括链接预测模块724，其被配置为预测链接关系和/或提供由嵌入生成模块722生成的图谱嵌入的第一实体节点与第二实体节点之间是否存在链接和/或关系的预测或概率。系统720还可以包括机器学习模块726，其被配置为：使用嵌入生成模块722的图谱嵌入和/或来自链接预测模块724的一个或多个链接预测来训练ml模型和/或用于输入到ml模型，该ml模型被配置为对图谱和/或图谱的图谱嵌入等中表示的数据进行操作。如本文所述或如参考附图所述，系统720可以包括与本发明关联的方法、过程和/或系统的功能，用于提供嵌入模型、图谱嵌入、链接预测、与其关联的另外的下游ml模型和/或过程等。
[0208]
如本文和/或图7b中所述，一个或多个ml模型可以被训练和/或使用图谱嵌入和/或链接预测输出，该图谱嵌入和/或链接预测输出可以从嵌入模型和/或链接预测函数等输出，如参考附图、其修改、其组合和/或如本文所描述的。可以使用ml算法/ml技术训练和/或生成这种ml模型，所述ml算法/ml技术可以用于训练和生成一个或多个具有与化合物关联的相同或相似输出目标的训练模型。根据本发明在本文所描述的图谱嵌入可以用于ml技
bottleneck，ib)方法和能够推理函数以描述隐藏结构和/或从未标记的数据和/或通过忽略标记的训练数据集中的标签等生成模型的任何其它ml技术或ml任务。半监督ml技术的一些示例可包括或基于，仅作为示例但不限于以下一种或多种：主动学习、生成模型、低密度分离、基于图谱的方法、共同训练、转导或任何其它能够利用未标记的数据集和标记的数据集进行训练的ml技术、任务或监督ml技术类别(例如，典型地，训练数据集可以包括与大量未标记的数据组合的少量标记的训练数据等)。
[0213]
人工神经网络(artificialnn，ann)ml技术的一些示例可包括或基于，仅作为示例但不限于以下一种或多种：人工神经网络、前馈神经网络、递归神经网络(recursivenn，rnn)、卷积神经网络(convolutionalnn，cnn)、自动编码器神经网络、极限学习机、逻辑学习机、自组织映射以及其它ann ml技术或连接主义系统/计算系统，这些受构成动物大脑的生物神经网络启发，并且能够基于标记的和/或未标记的数据集学习或生成模型。深度学习ml技术的一些示例可包括或基于，仅作为示例但不限于以下一种或多种：深度信念网络、深度玻尔兹曼机、dnn、深度cnn、深度rnn、分层时间记忆(hierarchical temporal memory)、深度玻尔兹曼机(deep boltzmann machine，dbm)、堆叠自动编码器和/或能够基于从标记的和/或未标记的数据集学习数据表示来学习或生成模型的任何其它ml技术。
[0214]
应当理解，有无数的ml技术可用于训练和生成多个训练模型，其中，每个训练模型与关于化合物的相同或相似的输出目标相关联。每种不同的ml技术可以使用由嵌入模型输出的图谱嵌入或表示它的数据来训练和生成每个训练模型和/或作为训练模型的输入等。
[0215]
每个训练模型可以包括或表示表示分析模型的数据，该分析模型与对与信息学、化学信息学和/或生物信息学领域中的化合物关联的特定过程、问题和/或预测进行建模相关联，并且通过训练数据集和/或基于图谱的包括实体节点及其关系边等的图谱嵌入的数据进行训练，其中实体基于来自信息学、化学信息学和/或生物信息学领域的数据。
[0216]
与信息学、化学信息学和/或生物信息学领域中的化合物相关的输出目标和/或建模过程、问题和/或预测的示例可以包括以下一个或多个，仅作为示例但不限于，化合物与其它化合物和/或蛋白质的相互作用、化合物的物理化学性质、化合物的溶剂化性质、化合物的药物性质、化合物的结构和/或材料性质等，和/或建模感兴趣的化学或生物学问题/过程/预测，这些问题/过程/预测可仅作为示例但不限于有助于药物发现、鉴定和/或优化中对化合物和/或药物的预测。
[0217]
输出目标和/或对与化合物相关的过程、问题和/或预测进行建模的其它示例可以包括，仅作为示例但不限于，建模或预测化合物的特征和/或性质，建模和/或预测化合物是否具有特定性质，建模或预测化合物是否结合至，仅作为示例但不限于，一种特定蛋白质，建模或预测一种化合物是否与另一种化合物对接以形成稳定的复合物，建模或预测一种特定的性质是否与一种化合物与另一种化合物的对接有关(例如，配体与靶蛋白的对接)；建模和/或预测化合物是否与一种或多种靶蛋白对接或结合；建模或预测化合物是否具有特定的溶解度或溶解度的范围，或任何其它性质。
[0218]
输出目标和/或对与化合物相关的过程、问题和/或预测进行建模的其它示例可以包括，仅作为示例但不限于，输出、建模和/或预测化合物的物理化学性质，如仅作为示例但不限于以下一种或多种，logp、pka、冰点、沸点、熔点、极性表面积或与化合物相关的任何其它感兴趣的物理化学性质；输出、建模和/或预测化合物的溶剂化性质，例如，仅作为示例但
不限于，相分配、溶解度、依数性质或与化合物相关的感兴趣的任何其它性质；建模和/或预测化合物的一种或多种药物性质，如仅作为示例但不限于，剂量、剂量方案、结合亲和力、吸附(如肠道、细胞等)、代谢、脑外显率、毒性和与化合物相关的感兴趣的任何其它药物性质；输出、建模和/或预测化合物的结合模式，如仅作为示例但不限于，受体的配体的一种或多种预测共晶结构等；输出、建模和/或预测化合物的晶体结构，如仅作为示例但不限于以下一种或多种，化合物的晶体堆积、蛋白质折叠以及可能与化合物相关的感兴趣的任何其它晶体结构类型，等；输出、建模和/或预测化合物的材料性质，如仅作为示例但不限于以下一种或多种，导电性、表面张力、摩擦系数、渗透性、硬度、拉伸强度、照度等，以及与化合物相关的可能感兴趣的任何其它材料性质；输出、建模和/或预测任何其它感兴趣的性质、感兴趣的相互作用、感兴趣的特征或与信息学、化学信息学和/或生物信息学领域中的化合物相关的任何其它感兴趣的事物。
[0219]
本文描述的本发明的实施例的另外的示例、实施例和/或修改由以下编号条款中的一个或多个来描述。
[0220]
条款
[0221]
第1条.一种生成图谱的嵌入的计算机实现的方法，其中，所述图谱包括多个节点，并且每个节点包括到所述多个节点中的另一个或多个的边、连接或链接，所述方法包括：接收表示所述图谱的至少一部分的数据；将所述图谱的所述节点转换为非欧几里得几何；基于因果损失函数和与所述非欧几里得几何关联的链接预测函数，迭代地更新基于转换后的所述非欧几里得几何中的节点的嵌入模型。
[0222]
第2条.如第1条所述的计算机实现的方法，其中：转换所述图谱的所述节点还包括将所述图谱的所述节点转换为所述非欧几里得几何的坐标；并且其中，所述嵌入模型基于使用所述因果损失函数在节点坐标上操作的非欧几里得随机梯度下降算法。
[0223]
第3条.如第1条或第2条所述的计算机实现的方法，其中，更新所述嵌入模型还包括通过至少基于所述嵌入和所述链接预测函数最小化所述因果损失函数来更新节点坐标。
[0224]
第4条.如第1条至第3条中任一项所述的计算机实现的方法，还包括迭代地更新所述嵌入模型，直到确定所述嵌入模型待被训练；已经达到最大迭代次数，和/或直到已经满足所有节点坐标的平均损失阈值；并且输出表示训练后的图谱嵌入的数据。
[0225]
第5条.如前述条款中任一项所述的计算机实现的方法，其中，所述图谱是有向图谱。
[0226]
第6条.如前述条款中任一项所述的计算机实现的方法，其中，所述图谱是循环有向图谱。
[0227]
第7条.如第1条至第5条中任一项所述的计算机实现的方法，其中，所述图谱是非循环有向图谱。
[0228]
第8条.如前述条款中任一项所述的计算机实现的方法，其中，所述非欧几里得几何是伪黎曼几何。
[0229]
第9条.如前述条款中任一项所述的计算机实现的方法，其中，所述非欧几里得几何是伪黎曼几何或伪黎曼空间。
[0230]
第10条.如前述条款中任一项所述的计算机实现的方法，其中，所述伪黎曼几何或伪黎曼空间是闵可夫斯基几何或闵可夫斯基空间。
[0231]
第11条.如前述条款中任一项所述的计算机实现的方法，其中，所述伪黎曼几何或伪黎曼空间是反德西特几何或反德西特空间或者德西特几何或德西特空间。
[0232]
第12条.如前述条款中任一项所述的计算机实现的方法，其中，所述非欧几里得几何或非欧几里得空间是双曲几何或双曲空间。
[0233]
第13条.如前述条款中任一项所述的计算机实现的方法，其中，所述图谱是包括多个实体节点和多个边的实体-实体图谱，其中每个实体节点通过边连接到另一个实体节点，每个边表示所述每个实体节点与所连接的所述其它实体节点之间的关系。
[0234]
第14条.如前述条款中任一项所述的计算机实现的方法，其中，所述实体-实体图谱中的实体节点表示来自以下组的任何实体：基因；疾病；化合物/药物；蛋白质；生物实体；途径；生物过程；细胞系；细胞类型；症状；临床试验；任何其它生物医学概念；或与所述实体-实体图谱中的另一实体至少具有实体-实体关系的任何其它实体。
[0235]
第15条.如前述条款中任一项所述的计算机实现的方法，还包括：从训练的实体模型输出所述图谱的所述嵌入，以用于下游过程，所述下游过程包括来自以下组中的一个或多个：药物发现；药物优化；和/或用于任何其它ml模型或训练任何其它ml模型以在药物发现或优化过程中预测或分类。
[0236]
第16条.如前述条款中任一项所述的计算机实现的方法，还包括：基于将表示第一节点和第二节点的数据输入到所述链接预测函数中，预测所述图谱的所述嵌入中的节点或实体节点之间的链接关系；并且，从所述链接预测函数接收所述第一节点与所述第二节点之间存在链接关系的可能性的指示。
[0237]
第17条.一种用于图谱中的链接预测的计算机实现的方法，还包括：生成根据第1条至第16条中任一项所述的图谱嵌入；以及从所述图谱嵌入中选择至少第一节点坐标和第二节点坐标；基于向链接预测函数输入所选择的第一节点坐标和第二节点坐标来输出有向链接预测，其中，所述有向链接预测包括所述第一节点坐标与所述第二节点坐标之间存在链接关系的可能性的指示。
[0238]
第18条.一种用于预测图谱中实体之间的有向关系的计算机实现的方法，还包括：基于根据第1条至第17条中任一项所述的图谱生成图谱嵌入；以及从所述图谱嵌入中选择至少第一实体节点坐标和第二实体节点坐标，所述至少第一实体节点坐标和第二实体节点坐标与所述图谱的至少第一实体和第二实体相关联；基于向链接预测函数输入所选择的至少第一实体节点坐标和第二实体节点坐标来输出有向关系预测，其中，所述有向关系预测包括所述至少第一实体节点坐标与第二实体节点坐标之间存在链接关系的可能性的指示。
[0239]
第19条.如前述条款中任一项所述的计算机实现的方法，其中，对于具有时空流形的非欧几里得空间，所述链接预测函数基于费米-狄拉克函数。
[0240]
第20条.如第19条所述的计算机实现的方法，其中，所述链接预测函数基于三重费米-狄拉克函数，所述三重费米-狄拉克函数包括：
[0241][0242]
其中，k＞0是可调比例因子，并且
[0243]
[0244][0245][0246]
是三个fd分布项，s2是p与q之间的测地线距离的平方，δt≡t
q-t
p
是时间坐标的差值，并且τ1、τ2、t和α是来自下式的参数：
[0247][0248]
其中，参数τ、r≥0且0≤α≤1，用于表示无向图谱边的概率作为节点嵌入距离的函数。
[0249]
第21条.如前述条款中任一项所述的计算机实现的方法，其中，所述因果损失函数包括链接预测函数。
[0250]
第22条.如第20条或第21条所述的计算机实现的方法，其中，所述因果损失函数包括与所述链接预测函数组合的交叉熵损失函数。
[0251]
第23条.如前述条款中任一项所述的计算机实现的方法，其中，所述交叉熵损失函数包括多项式对数损失函数或其它对数损失函数，所述多项式对数损失函数或所述其它对数损失函数使用所述链接预测函数作为多项式对数损失函数或其它对数损失函数的概率。
[0252]
第24条.如前述条款中任一项所述的计算机实现的方法，其中，所述因果损失函数用于根据所述图谱嵌入进行链接预测，所述链接预测捕获所述图谱中节点之间关系的方向性。
[0253]
第25条.一种用于生成图谱的嵌入的装置，其中，所述图谱包括多个节点，并且每个节点包括到所述多个节点中的另一个或多个的边、连接或链接，所述装置包括耦合到通信接口的处理器，所述通信接口被配置为接收表示所述图谱的至少一部分的数据；所述处理器被配置为：将所述图谱的所述节点转换为非欧几里得几何；基于与所述非欧几里得几何关联的因果损失函数，迭代地更新基于转换后的所述非欧几里得几何中的节点的嵌入模型，其中，所述因果损失函数包括链接预测函数。
[0254]
第26条.如第25条所述的装置，其中，所述通信接口被配置为输出所述图谱嵌入。
[0255]
第27条.如第25条或第26条所述的装置，其中，所述装置被配置为实现根据前述条款中任一项所述的计算机实现的方法。
[0256]
第28条.一种由根据第1条至第24条中任一项所述的计算机实现的方法获得的嵌入模型。
[0257]
第29条.一种由根据第1条至第24条中任一项所述的计算机实现的方法获得的图谱的图谱嵌入。
[0258]
第30条.一种基于根据第29条所述的图谱嵌入从训练数据集获得的ml模型。
[0259]
第31条.一种基于根据第1条至第35条中任一项所述的计算机实现的方法所基于的图谱嵌入从训练数据集获得的ml模型。
[0260]
第32条.一种有形的(或非瞬时性的)计算机可读介质，包括：用于生成图谱的嵌入的数据或指令代码，当所述数据或指令代码在一个或多个处理器上执行时，使得所述一个或多个处理器中的至少一个实施以下步骤中的至少一个：接收表示所述图谱的至少一部分的数据；将所述图谱的节点转换为非欧几里得几何；基于与所述非欧几里得几何关联的因果损失函数，迭代地更新基于转换后的所述非欧几里得几何中的节点的嵌入模型，其中，所
述因果损失函数包括链接预测函数。
[0261]
第33条.一种包括程序数据或指令代码的计算机可读介质，当所述程序数据或指令代码在处理器上执行时，使得所述处理器实施根据第1条至第35条中任一项所述的计算机实现的方法的一个或多个步骤。
[0262]
第34条.如前述条款中任一项所述的计算机实现的方法，还包括：通过将一维的非欧几里得空间包裹成圆来创建流形拓扑结构或圆柱形拓扑结构，以创建更高维的圆柱体。
[0263]
第35条.如前述条款中任一项所述的计算机实现的方法，其中，所述流形拓扑结构或圆柱形拓扑结构是伪黎曼流形。
[0264]
第36条.根据前述权利要求中任一项所述的计算机实现的方法、装置、有形的(或非瞬时性的)计算机可读介质或计算机可读介质，其中，所述图谱的所述节点在伪黎曼空间中相对于空间和时间参数区别地分开。
[0265]
第37条.根据前述权利要求中任一项所述的计算机实现的方法、装置、有形的(或非瞬时性的)计算机可读介质或计算机可读介质，其中，所述图谱以拓扑方式嵌入流形中。
[0266]
第38条.根据前述权利要求中任一项所述的计算机实现的方法、装置、有形的(或非瞬时性的)计算机可读介质或计算机可读介质，其中，所述因果损失函数或所述链接预测函数被配置为通过改变所述函数的衰减率来基于时间替换所述图谱的节点。
[0267]
第39条.根据前述权利要求中任一项所述的计算机实现的方法、装置、有形的(或非瞬时性的)计算机可读介质或计算机可读介质，其中，所述因果损失函数或所述链接预测函数被配置为基于所述函数的时间衰减来放松节点的传递。
[0268]
在上述实施例中，服务器可以包括单个服务器或服务器网络。在一些示例中，服务器的功能可以由分布在地理区域上的服务器网络提供，如全球分布式服务器网络，并且用户可以基于用户位置连接到服务器网络中合适的服务器。
[0269]
为了清楚起见，以上描述参考单个用户讨论了本发明的实施例。应当理解，在实践中，系统可以由多个用户共享，并且可能由非常多的用户同时共享。
[0270]
上述实施例是全自动的。在一些示例中，系统的用户或操作者可以手动指示待实施的方法的一些步骤。
[0271]
本文描述的本发明的实施例的另外的示例、实施例和/或修改由以下编号条款中的一个或多个来描述。
[0272]
在本发明所描述的实施例中，系统可以被实现为任何形式的计算和/或电子装置。这样的装置可以包括一个或多个处理器，该处理器可以是微处理器、控制器或用于处理计算机可执行指令以控制装置的操作以便收集和记录路由信息的任何其它合适类型的处理器。在一些示例中，例如在使用片上系统架构的情况下，处理器可以包括一个或多个固定功能块(也称为加速器)，其以硬件(而不是软件或固件)实现该方法的一部分。可以在基于计算的装置处提供包括操作系统的平台软件或任何其它合适的平台软件，以使得应用软件能够在装置上执行。
[0273]
可以以硬件、软件或其任意组合来实现本文描述的各种功能。如果用软件实现，这些功能可以作为计算机可读介质上的一个或多个指令或代码存储或传输。例如，计算机可读介质可以包括计算机可读存储介质。计算机可读存储介质可以包括以用于存储信息(如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术实现的易失性或非易
失性、可移动或不可移动介质。计算机可读存储介质可以是可由计算机访问的任何可用的存储介质。以示例而非限制性的方式，这种计算机可读存储介质可以包括：ram、rom、eeprom、闪存或其它存储器装置、cd-rom或其它光盘存储器、磁盘存储器或其它磁存储装置，或者可以用来以指令或数据结构的形式携带或存储所需程序代码并且可以由计算机访问的任何其它介质。如本文所使用的光盘(disc)与磁盘(disk)包括压缩光盘(compact disc，cd)、激光盘、光盘(optical disc)、数字多功能光盘(digital versatile disc，dvd)、软盘和蓝光光盘(blu-ray disc，bd)。此外，传播的信号不包括在计算机可读存储介质的范围内。计算机可读介质还包括通信介质，其包括有助于将计算机程序从一个地方传输到另一个地方的任何介质。例如，连接可以是通信介质。例如，如果使用同轴电缆、光纤电缆、双绞线、dsl或无线技术(如红外、无线电和微波)从网站、服务器或其它远程源传输软件，则包括在通信介质的定义中。上述组合也应当包括在计算机可读介质的范围内。
[0274]
可替代地或附加地，本文描述的功能可以至少部分地由一个或多个硬件逻辑组件来实施。可以使用的硬件逻辑组件可以包括，例如但不限于，现场可编程门阵列(field-programmable gate array，fpga)、程序专用集成电路(program-specific integrated circuit，asic)、程序专用标准产品(program-specific standard product，assp)、片上系统(system-on-a-chip system，soc)、复杂可编程逻辑器件(complex programmable logic device，cpld)等。
[0275]
尽管描述为单个系统，但是应当理解，计算装置可以是分布式系统。因此，例如，若干个装置可以通过网络连接的方式通信，并且可以共同实施被描述为由计算装置实施的任务。
[0276]
尽管描述为本地装置，但应当理解，计算装置可以位于远程并经由网络或其它通信链接(例如使用通信接口)来访问。
[0277]
术语“计算机”在此用于指代具有处理能力使得其能够执行指令的任何装置。本领域技术人员将意识到，这种处理能力被结合到许多不同的装置中，因此术语“计算机”包括pc、服务器、移动电话、个人数字助理和许多其它装置。
[0278]
本领域技术人员将意识到，用于存储程序指令的存储装置可以分布在整个网络中。例如，远程计算机可以存储被描述为软件的过程的示例。本地或终端计算机可以访问远程计算机并下载部分或全部软件以运行程序。可替代地，本地计算机可以根据需要下载软件的片段，或者在本地终端执行一些软件指令，并且在远程计算机(或计算机网络)执行一些软件指令。本领域技术人员还将意识到，通过利用本领域技术人员已知的常规技术，所有或部分软件指令可以由专用电路(如dsp、可编程逻辑阵列等)来实施。
[0279]
应当理解，上述益处和优点可以涉及一个实施例，或者可以涉及若干个实施例。实施例不限于解决任何或所有所述问题的实施例或者具有任何或所有所述益处和优点的实施例。变体应该被认为包括在本发明的范围内。
[0280]
对“一个”项目的任何引用都是指这些项目中的一个或多个。术语“包括”在此用于表示包括所鉴定的方法步骤或元件，但是这些步骤或元件不包括排他性清单，并且方法或装置可以包含附加的步骤或元件。
[0281]
如本文所使用的，术语“组件”和“系统”旨在包括配置有计算机可执行指令的计算机可读数据存储器，当计算机可执行指令由处理器执行时，计算机可执行指令导致某些功
能被实施。计算机可执行指令可以包括例行程序、函数等。还应当理解，组件或系统可以定位在单个装置上，或分布于若干个装置。
[0282]
此外，如本文所使用的，术语“示例性的”旨在表示“用作某物的说明或示例”。
[0283]
此外，在具体实施方式或权利要求中使用术语“包括(include)”的程度上，该术语旨在以类似于术语“包含(comprising)”的方式被包括，如“包含(comprising)”在权利要求中用作过渡词时所解释的。
[0284]
这些图描绘了方法的示例。尽管所述方法被示出和描述为以特定顺序实施的一系列动作，但是应当理解和意识到的是，所述方法不受顺序的限制。例如，一些动作可以以与本文描述的不同的顺序发生。此外，一个动作可以与另一个动作同时发生。此外，在一些情况下，可能并不需要所有动作来实施本文描述的方法。
[0285]
此外，本文描述的动作可以包括可以由一个或多个处理器实施和/或存储在计算机可读介质上的计算机可执行指令。计算机可执行指令可以包括例行程序、子例行程序、程序、执行线程等。此外，这些方法的动作的结果可以存储在计算机可读介质中，显示在显示装置和/或类似装置上。
[0286]
本文描述的方法的步骤的顺序是示例性的，但是这些步骤可以以任何合适的顺序实施，或者在适当的情况下同时实施。此外，在不脱离本文所述主题的范围的情况下，可以在任何方法中添加或替换步骤，或者可以从任何方法中删除单个步骤。上述任何示例的方面可以与所描述的任何其它示例的方面相结合，以形成进一步的示例，而不会失去所寻求的效果。
[0287]
应当理解，优选实施例的上述描述仅仅作为示例给出，本领域技术人员可以进行各种修改。上文已经描述的内容包括一个或多个实施例的示例。当然，出于描述以上各方面的目的，不可能描述上述装置或方法的每一个可以想到的修改和改变，但是本领域普通技术人员可以认识到，各个方面的许多进一步的修改和排列是可能的。因此，所描述的方面旨在包含落入所附权利要求范围内的所有此类改变、修改和变体。
[0288]
出于充分公开的目的，以下每个参考文献以其整体并入本文：battaglia，p.w.，hamrick，j.b.，bapst，v.，sanchez-gonzalez，a.，zambaldi，v.，malinowski，m.，tacchetti，a.，raposo，d.，santoro，a.，faulkner，r.，gulcehre，c.，song，f.，ballard，a.，gilmer，j.，dahl，g.，vaswani，a.，allen，k.，nash，c.，langston，v.，dyer，c.，heess，n.，wierstra，d.，kohli，p.，botvinick，m.，vinyals，o.，li，y.，and pascanu，r.relational inductive biases，deep leaming，and graph networks.arxiv，2018.bombelli，l.，lee，j.，meyer，d.，and sorkin，r.d.space-time as a causal set.physical review letters，59(5)：521，1987.bonnabel，s.stochastic gradient descent on riemannian manifolds.ieee transactions on automatic control，58(9)：22172229，2013.bouchard，g.，singh，s.，and trouillon，t.on approximate reasoning capabilities of low-rank vector spaces.aaai spring symposia，2015.bradbury，j.，frostig，r.，hawkins，p.，johnson，m.j.，leary，c.，maclaurin，d.，necula，g.，paszke，a.，vanderplas，j.，wanderman-milne，s.，and zhang，q.jax：composable transformations of python+numpy programs，2018.url http：//github.com/google/jax.clough，j.r.and evans，t.s.embedding graphs in lorentzian spacetime.plos one，12(11)：e0187301，
2017.ganea，o.，becigneul，g.，and hofmann，t.hyperbolic entailment conesfor learning hierarchical embeddings.in dy，j.and krause，a.(eds.)，proceedings ofthe 35th intemational conference on machine learning，pp.1646-1655，stockholmsm”assan，stockholm sweden，2018.gao，t.，lim，l.-h.，and ye，k.semi-riemannian manifold optimization.arxiv，2018.grover，a.and leskovec，j.node2vec：scalable feature leaming for networks.in proceedings of the 22nd acm sigkddintemational conference on knowledge discovery and data mining，pp.855-864，2016.isham，c.j.modem differential geometry for physicists.1999.issn 1793-1436.ispolatov，i.，krapivsky，p.l.，and yuryev，a.duplication-divergence model of protein interaction network.phys.rev.e，71：061911，jun 2005.krioukov，d.，papadopoulos，f.，kitsak，m.，vahdat，a.，and bogun～
′
a，m.hyperbolic geometry of complex networks.phys.rev.e，82：036106，sep 2010.law，m.t.and stam，j.ultrahyperbolic representation leaming.in larochelle，h.，ranzato，m.，hadsell，r.，balcan，m.，and lin，h.(eds.)，advances in neural information processing systems 33，2020.marbach，d.，costello，j.c.，ku”ffner，r.，vega，n.m.，prill，r.j.，camacho，d.m.，allison，k.r.，aderhold，a.，allison，k.r.，bonneau，r.，camacho，d.m.，chen，y.，collins，j.j.，cordero，f.，costello，j.c.，crane，m.，dondelinger，f.，drton，m.，esposito，r.，foygel，r.，fuente，a.d.l.，gertheiss，j.，geurts，p.，greenfield，a.，grzegorczyk，m.，haury，a.-c.，holmes，b.，hothom，t.，husmeier，d.，huynh-thu，v.a.，irrthum，a.，kellis，m.，karlebach，g.，ku”ffner，r.，l`ebre，s.，leo，v.d.，madar，a.，mani，s.，marbach，d.，mordelet，f.，ostrer，h.，ouyang，z.，pandya，r.，petri，t.，pinna，a.，poultney，c.s.，prill，r.j.，rezny，s.，ruskin，h.j.，saeys，y.，shamir，r.，s^1rbu，a.，song，m.，soranzo，n.，statnikov，a.，stolovitzky，g.，vega，n.，vera-licona，p.，vert，j.-p.，visconti，a.，wang，h.，wehenkel，l.，windhager，l.，zhang，y.，zimmer，r.，kellis，m.，collins，j.j.，and stolovitzky，g.wisdom of crowds for robust gene network inference.nature methods，9(8)：796804，2012.issn 1548-7091.nickel，m.and kiela，d.poincar
′
e embeddings for leaming hierarchical representations.in guyon，i.，luxburg，u.v.，bengio，s.，wallach，h.，fergus，r.，vishwanathan，s.，and garnett，r.(eds.)，advances in neural information processing systems 30，pp.6338-6347，2017.nickel，m.and kiela，d.learning continuous hierarchies in the lorentz model of hyperbolic geometry.in dy，j.and krause，a.(eds.)，proceedings of the 35th intemational conference on machine learning，volume 80，pp.3779-3788，2018.nickel，m.，tresp，v.，and kriegel，h.-p.a three-way model for collective leaming on multi-relational data.in getoor，l.and scheffer，t.(eds.)，proceedings of the 28th intemational conference on machine learning，pp.809-816，2011.perozzi，b.，al-rfou，r.，and skiena，s.deepwalk：online leaming of social representations.in proceedings of the 20th acm sigkddintemational conference on knowledge discovery and data mining，pp.701-710，2014.robbin，j.w.and salamon，d.a.introduction to differential geometry，march 2013.sala，f.，
de sa，c.，gu，a.，and re，c.representation tradeoffs for hyperbolic embeddings.in dy，j.and krause，a.(eds.)，proceedings of the 35th intemational conference on machine learning，volume 80 of proceedings of machine learning research，pp.4460-4469，2018.sun，k.，wang，j.，kalousis，a.，and marchand-maillet，s.space-time local embeddings.in cortes，c.，lawrence，n.，lee，d.，sugiyama，m.，and garnett，r.(eds.)，advances in neural information processing systems 28，pp.100-108，2015.suzuki，r.，takahama，r.，and onoda，s.hyperbolic disk embeddings for directed acyclic graphs.in chaudhuri，k.and salakhutdinov，r.(eds.)，proceedings of the 36th intemational conference on machine learning，pp.6066-6075，2019.trouillon，t.，welbl，j.，riedel，s.，gaussier，e.，and bouchard，g.complex embeddings for simple link prediction.in balcan，m.f.and weinberger，k.q.(eds.)，proceedings of the 33rd intemational conference on machine learning，pp.2071-2080，2016.vendrov，i.，kiros，r.，fidler，s.，and urtasun，r.order-embeddings of images and language.in bengio，y.and lecun，y.(eds.)，4th intemational conference on learning representations，2016.vilnis，l.and mccallum，a.word representations via gaussian embedding.in bengio，y.and lecun，y.(eds.)，3rd intemational conference on learning representations，2015.visser，m.how to wick rotate generic curved spacetime.arxiv，2017。

技术特征：
1.一种生成图谱的嵌入的计算机实现的方法，其中，所述图谱包括多个节点，并且每个节点包括到所述多个节点中的另一个或多个的连接，所述方法包括：接收表示所述图谱的至少一部分的数据；将所述图谱的所述节点转换为非欧几里得几何；基于因果损失函数和与所述非欧几里得几何关联的链接预测函数，迭代地更新基于转换后的所述非欧几里得几何中的节点的嵌入模型。2.根据权利要求1所述的计算机实现的方法，其中：转换所述图谱的所述节点还包括将所述图谱的所述节点转换为所述非欧几里得几何的坐标；以及其中，所述嵌入模型基于使用所述因果损失函数在节点坐标上操作的非欧几里得随机梯度下降算法。3.根据权利要求1或2所述的计算机实现的方法，其中，更新所述嵌入模型还包括通过至少基于所述嵌入和所述链接预测函数最小化所述因果损失函数来更新节点坐标。4.根据权利要求1至3中任一项所述的计算机实现的方法，还包括迭代地更新所述嵌入模型，直到确定所述嵌入模型待被训练；已经达到最大迭代次数，和/或直到已经满足所有节点坐标的平均损失阈值；并且输出表示训练后的图谱嵌入的数据。5.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述图谱是有向图谱。6.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述图谱是循环有向图谱。7.根据权利要求1至5中任一项所述的计算机实现的方法，其中，所述图谱是非循环有向图谱。8.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述非欧几里得几何是伪黎曼几何。9.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述非欧几里得几何是伪黎曼几何或伪黎曼空间。10.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述伪黎曼几何或伪黎曼空间是闵可夫斯基几何或闵可夫斯基空间。11.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述伪黎曼几何或伪黎曼空间是反德西特几何或反德西特空间，或德西特几何或德西特空间。12.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述非欧几里得几何或非欧几里得空间是双曲几何或双曲空间。13.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述图谱是包括多个实体节点和多个连接的实体-实体图谱，其中每个实体节点通过连接连接到其它实体节点，每个连接表示所述每个实体节点与所连接的所述其它实体节点之间的关系。14.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述实体-实体图谱中的实体节点表示来自以下组的任何实体：基因；疾病；化合物/药物；蛋白质；生物实体；途径；生物过程；细胞系；细胞类型；症状；临床试验；任何其它生物医学概念；或与所述实体-实体图谱中的另一实体至少具有实体-实体关系的任何其它实体。15.根据前述权利要求中任一项所述的计算机实现的方法，还包括：从训练的实体模型
输出所述图谱的所述嵌入，以用于下游过程，所述下游过程包括来自以下组中的一个或多个：药物发现；药物优化；和/或用于任何其它ml模型或训练任何其它ml模型以在药物发现或优化过程中预测或分类。16.根据前述权利要求中任一项所述的计算机实现的方法，还包括：基于将表示第一节点和第二节点的数据输入到所述链接预测函数中，预测所述图谱的所述嵌入中的节点或实体节点之间的链接关系；以及从所述链接预测函数接收所述第一节点与所述第二节点之间存在链接关系的可能性的指示。17.一种用于图谱中的链接预测的计算机实现的方法，还包括：生成根据权利要求1至16中任一项所述的图谱嵌入；以及从所述图谱嵌入中选择至少第一节点坐标和第二节点坐标；基于向链接预测函数输入所选择的第一节点坐标和第二节点坐标来输出有向链接预测，其中，所述有向链接预测包括所述第一节点坐标与所述第二节点坐标之间存在链接关系的可能性的指示。18.一种用于预测图谱中实体之间的有向关系的计算机实现的方法，还包括：基于根据权利要求1至17中任一项所述的图谱生成图谱嵌入；以及从所述图谱嵌入中选择至少第一实体节点坐标和第二实体节点坐标，所述至少第一实体节点坐标和第二实体节点坐标与所述图谱的至少第一实体和第二实体相关联；基于向链接预测函数输入所选择的至少第一实体节点坐标和第二实体节点坐标来输出有向关系预测，其中，所述有向关系预测包括所述至少第一实体节点坐标与第二实体节点坐标之间存在链接关系的可能性的指示。19.根据前述权利要求中任一项所述的计算机实现的方法，其中，对于具有时空流形的非欧几里得空间，所述链接预测函数基于费米-狄拉克函数。20.根据权利要求19所述的计算机实现的方法，其中，所述链接预测函数基于三重费米-狄拉克函数，所述三重费米-狄拉克函数包括：其中，k＞0是可调比例因子，并且其中，k＞0是可调比例因子，并且其中，k＞0是可调比例因子，并且是三个fd分布项，s2是p与q之间的测地线距离的平方，δt≡t
q-t
p
是时间坐标的差值，并且τ1、τ2、r和α是来自下式的参数：其中，参数τ、r≥0且0≤α≤1，用于表示无向图谱边的概率作为节点嵌入距离的函数。21.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述因果损失函数包
括所述链接预测函数。22.根据权利要求20或21所述的计算机实现的方法，其中，所述因果损失函数包括与所述链接预测函数组合的交叉熵损失函数。23.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述交叉熵损失函数包括多项式对数损失函数或其它对数损失函数，所述多项式对数损失函数或所述其它对数损失函数使用所述链接预测函数作为多项式对数损失函数或其它对数损失函数的概率。24.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述因果损失函数用于根据所述图谱嵌入进行链接预测，所述链接预测捕获所述图谱中节点之间关系的方向性。25.根据前述权利要求中任一项所述的计算机实现的方法，还包括：通过将一维的非欧几里得空间包裹成圆来创建流形拓扑结构或圆柱形拓扑结构，以创建更高维的圆柱体。26.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述流形拓扑结构或圆柱形拓扑结构是伪黎曼流形。27.一种用于生成图谱的嵌入的装置，其中，所述图谱包括多个节点，并且每个节点包括到所述多个节点中的另一个或多个的连接，所述装置包括耦合到通信接口的处理器，其中：所述通信接口被配置为接收表示所述图谱的至少一部分的数据；所述处理器被配置为：将所述图谱的所述节点转换为非欧几里得几何；以及基于与所述非欧几里得几何关联的因果损失函数，迭代地更新基于转换后的所述非欧几里得几何中的节点的嵌入模型，其中，所述因果损失函数包括链接预测函数。28.根据权利要求27所述的装置，其中，所述通信接口被配置为输出所述图谱嵌入。29.根据权利要求27或28所述的装置，其中，所述装置被配置为实现根据前述权利要求中任一项所述的计算机实现的方法。30.一种由根据权利要求1至26中任一项所述的计算机实现的方法获得的嵌入模型。31.一种由根据权利要求1至26中任一项所述的计算机实现的方法获得的图谱的图谱嵌入。32.一种基于根据权利要求31所述的图谱嵌入从训练数据集获得的ml模型。33.一种基于根据权利要求1至26中任一项所述的计算机实现的方法所基于的图谱嵌入从训练数据集获得的ml模型。34.一种有形的(或非瞬时性的)计算机可读介质，包括：用于生成图谱的嵌入的数据或指令代码，当所述数据或指令代码在一个或多个处理器上执行时，使得所述一个或多个处理器中的至少一个实施以下步骤中的至少一个：接收表示所述图谱的至少一部分的数据；将所述图谱的节点转换为非欧几里得几何；以及基于与所述非欧几里得几何关联的因果损失函数，迭代地更新基于转换后的所述非欧几里得几何中的节点的嵌入模型，其中，所述因果损失函数包括链接预测函数。35.一种包括程序数据或指令代码的计算机可读介质，当所述程序数据或指令代码在处理器上执行时，使得所述处理器实施根据权利要求1至26中任一项所述的计算机实现的
方法的一个或多个步骤。36.根据前述权利要求中任一项所述的计算机实现的方法、装置、有形的(或非瞬时性的)计算机可读介质或计算机可读介质，其中，所述图谱的所述节点在伪黎曼空间中相对于空间和时间参数区别地分开。37.根据前述权利要求中任一项所述的计算机实现的方法、装置、有形的(或非瞬时性的)计算机可读介质或计算机可读介质，其中，所述图谱以拓扑方式嵌入流形中。38.根据前述权利要求中任一项所述的计算机实现的方法、装置、有形的(或非瞬时性的)计算机可读介质或计算机可读介质，其中，所述因果损失函数或所述链接预测函数被配置为通过改变所述函数的衰减率来基于时间替换所述图谱的节点。39.根据前述权利要求中任一项所述的计算机实现的方法、装置、有形的(或非瞬时性的)计算机可读介质或计算机可读介质，其中，所述因果损失函数或所述链接预测函数被配置为基于所述函数的时间衰减来放松节点的传递。

技术总结
提供了用于生成图谱的嵌入的方法和装置。所述图谱包括多个节点，并且每个节点包括到所述多个节点中的另一个或多个的连接。所述方法包括和/或所述装置被配置为：接收表示所述图谱的至少一部分的数据；将所述图谱的所述节点转换为非欧几里得几何；基于因果损失函数和与所述非欧几里得几何关联的链接预测函数，迭代地更新基于转换后的所述非欧几里得几何中的节点的嵌入模型。节点的嵌入模型。节点的嵌入模型。


技术研发人员：A
受保护的技术使用者：伯耐沃伦人工智能科技有限公司
技术研发日：2021.05.28
技术公布日：2023/10/7