一种关键信息挖掘的多模态企业知识图谱补全方法及装置与流程

1.本技术涉及数据处理技术领域，尤其涉及一种关键信息挖掘的多模态企业知识图谱补全方法及装置。


背景技术：

2.知识图谱是一种以实体、概念为节点、以概念之间的各种语义关系为边的大规模语义网络，利用图的方式关联信息，将知识结构化、标准化。知识图谱目前被广泛应用于企业关系的描述，由于企业通常涉及实际控制人、股东、关联方、受益人等网络关系，利用知识图谱构建企业关系知识库可以满足银行、金融、工商等领域对企业及关系人的信息获取。
3.目前用于企业关系描述的知识图谱数据来源大多为工商数据、金融市场数据、司法数据等文本结构数据，因此大多使用传统的文本形式的知识图谱构建知识库。通常，一个企业知识图谱包含如企业基本信息、企业主要人员信息、自然人股东信息、非自然人股东信息等等多源信息。基于图谱，用户可以更好地理解企业的组织结构、人员分布、股权关系及各个企业和自然人之间的关系网络。
4.然而随着金融市场的发展，越来越多的企业通过无法通过官方获取到的人物关系进行关联，隐性人物关联数据的缺失如相关人员的社交关系，使得图谱无法准确描述企业及人物实体的关系，从而对分析和决策产生影响。


技术实现要素：

5.本技术实施例提供一种关键信息挖掘的多模态企业知识图谱补全方法及装置，用以对多模态知识图谱进行补全，能够更全面及时地掌握企业信息，增强了语义，提高信息分析和挖掘的准确性。
6.本技术实施例提供一种关键信息挖掘的多模态企业知识图谱补全方法，包括如下步骤：
7.利用图注意力网络gats对预先创建的企业知识图谱进行嵌入表示，以将每个实体映射到一个低维向量空间，以获得企业知识图谱特征嵌入；
8.获取舆情图像，提取所述舆情图像中包含的关键对象信息，以获得视觉特征嵌入；
9.获取舆情文本，利用文本嵌入模型对所述舆情文本进行嵌入表示，以获得文本特征嵌入；
10.融合所述企业知识图谱嵌入特征、视觉嵌入特征以及所述文本嵌入特征，以获得多模态融合嵌入特征；
11.对于任意两个候选实体，基于对应的多模态融合嵌入特征，进行关键信息挖掘，以确定任意两个候选实体之间的联系；
12.基于确定的任意两个候选实体之间的联系补全企业知识图谱。
13.可选的，所述企业知识图谱用以描述企业之间以及企业与自然人之间的关系，其包括实体集合和关系集合；
14.利用图注意力网络gats对预先创建的企业知识图谱进行嵌入表示，以将每个实体映射到一个低维向量空间，以获得企业知识图谱特征嵌入包括：
15.对于每个实体e，利用gats模型计算其邻居实体的加权和，并将其作为实体e的注意力权重；
16.基于gats模型，使用注意力权重对相应特征向量进行加权求和，得到实体e的嵌入向量；
17.基于gats模型，拼接所有实体的嵌入向量，以形成整个知识图谱的嵌入向量矩阵。
18.可选的，所述舆情图像包括新闻宣传图像以及社交网络发布图像；
19.提取所述舆情图像中包含的关键对象信息，以获得视觉特征嵌入包括：
20.对任意舆情图像，使用r-cnn检测模型进行物体检测，以识别所述任意舆情图像中的人物及场所相关信息；
21.对检测到人物相关信息包含人脸的舆情图像，进行特征提取；
22.若任意舆情图像包含两个人物，则将提取的人脸特征两两连接，在最后嵌入二者检测框位置信息，以获得实体的视觉特征嵌入；
23.若任意舆情图像包含两个以上的人物，则对于提取的人脸特征，进行两两遍历，以获得实体的视觉特征嵌入。
24.可选的，对检测到人物相关信息包含人脸的舆情图像，进行特征提取包括：
25.将舆情图像中的人脸子图像进行预处理，所述预处理包括剪裁、角度校正以及去噪；
26.在预处理之后，将所述人脸子图像输入预先训练的vggface人脸识别网络，去除softmax层，将最后一层fc层的输出，作为提取的人脸特征。
27.可选的，利用文本嵌入模型对所述舆情文本进行嵌入表示，以获得文本特征嵌入包括：
28.将所述舆情文本由词汇表中的索引表示；
29.将索引表表示转换为初始化词向量，并利用bert模型进行词嵌入；
30.利用transformer编码器，对所述词嵌入进行自注意力和前馈网络的计算，以获得各词的上下文相关表示；
31.对所述transformer编码器编码层的输出进行adain操作，以对各词的上下文相关表示进行域适应；
32.对adain层的输出进行最大池化或平均池化，以获得文本特征嵌入。
33.可选的，融合所述企业知识图谱嵌入特征、视觉嵌入特征以及所述文本嵌入特征，以获得多模态融合嵌入特征包括：
34.采用mutan双线性模型，融合所述企业知识图谱嵌入特征、视觉嵌入特征以及所述文本嵌入特征，在融合的过程中，采用对比学习方法，以拉近相同实体不同模态嵌入的距离，并推远不同实体嵌入的距离。
35.可选的，对于任意两个候选实体，基于对应的多模态融合嵌入特征，进行关键信息挖掘包括：
36.利用基于距离的评分函数，对任意两个候选实体进行评分，使得在两个实体存在客观联系的情况下，输出高评分，在两个实体不存在客观联系的情况下，输出低评分。
37.本技术实施例还提出一种关键信息挖掘的多模态企业知识图谱补全装置，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的关键信息挖掘的多模态企业知识图谱补全方法的步骤。
38.本技术实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的关键信息挖掘的多模态企业知识图谱补全方法的步骤。
39.本技术实施例的方法用于对多模态知识图谱进行补全，能够更全面及时地掌握企业信息，增强了语义，提高信息分析和挖掘的准确性。
40.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
41.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
42.图1为本技术实施例多模态企业知识图谱补全方法的基本流程示意；
43.图2为本技术实施例多模态企业知识图谱补全方法的企业知识图谱本体模型示例；
44.图3为本技术实施例多模态企业知识图谱补全装置的架构示例。
具体实施方式
45.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
46.新闻社交媒体的兴起使得人们频繁地通过图片、视频等方式记录、分享自己或他人的社会关系。而该信息可以作为文本数据的补充纳入图谱，对图谱进行补全，提高图谱的完整性和准确性，有助于分析和决策。
47.多模态知识图谱是能够充分融合和利用语言、视觉等多种模态来源数据的知识图谱，多模态数据可以被用来增强知识图谱，实现实体对齐、链接预测和关系推理的效果。通过新闻媒体以及社交媒体相关人员发布的如合影、视频等数据，可以对图谱的人物社会关系、人物与企业的关系以及企业关联关系进行增强补全。
48.该知识图谱相较传统知识图谱拥有更多源的数据来源，融入了非官方社会关系信息，能够更加准确、全面地描述企业及人物关系，可用于银行、金融、保险等领域，用于客户关联信息查询。同时该图谱也可服务于监管部门，对重点企业、人物的关系及属性有更加全面的了解，如查询两家企业的实际关系，或企业的实际股权控制人，在处理各类案件及审批业务时，提供所需的背景信息。
49.本技术实施例提供一种关键信息挖掘的多模态企业知识图谱补全方法，如图1所
示，包括如下步骤：
50.在步骤s101中，利用图注意力网络gats对预先创建的企业知识图谱进行嵌入表示，以将每个实体映射到一个低维向量空间，以获得企业知识图谱特征嵌入。在一些实施例中，所述企业知识图谱用以描述企业之间以及企业与自然人之间的关系，其包括实体集合和关系集合。预先创建企业知识图谱的一种示例性的过程包括：
51.依托企业基本信息、企业主要人员信息、自然人股东信息、非自然人股东信息等等业务数据，搭建企业知识图谱本体模型，如图2所示。申请人在一些应用实例中创建了一个包含上亿数量的实体、多关系的企业知识图谱，利用该企业知识图谱展示企业之间以及企业与自然人之间的复杂关系。通过该企业知识图谱，可以更好地理解企业的组织结构、人员分布和股权关系。一些具体示例中，用g表示企业知识图谱，将知识图谱的实体集合表示为e(用e表示实体，e∈e)，将知识图谱的关系集合表示为r(用r表示关系，r∈r)。
52.为获取企业知识图谱的丰富语义，本实施例中采用图注意力网络(graph attention networks,gats)模型对企业知识图谱进行嵌入表示，gats将每个实体e映射到一个低维向量空间中的向量e。在一些实施例中，利用图注意力网络gats对预先创建的企业知识图谱进行嵌入表示，以将每个实体映射到一个低维向量空间，以获得企业知识图谱特征嵌入包括：
53.首先，gats模型通过注意力机制学习每个实体的重要性。对于每个实体e，利用gats模型计算其邻居实体的加权和，并将其作为实体e的注意力权重。
54.接着，基于gats模型，使用注意力权重对相应特征向量进行加权求和，得到实体e的嵌入向量；
55.最后，基于gats模型，拼接所有实体的嵌入向量，以形成整个知识图谱的嵌入向量矩阵g＝{e1,e2,...,en},其中n为知识图谱中实体的数量。通过学习节点的嵌入表示来最小化损失函数。
56.在步骤s102中，获取舆情图像，提取所述舆情图像中包含的关键对象信息，以获得视觉特征嵌入。在一些实施例中，所述舆情图像包括新闻宣传图像以及社交网络发布图像，对于这些图像，本技术实施例提取图像中包含的关键人物及场所相关信息，并获得视觉特征嵌入，包括如下步骤：
57.提取所述舆情图像中包含的关键对象信息，以获得视觉特征嵌入包括：
58.对任意舆情图像，使用r-cnn检测模型进行物体检测，以识别所述任意舆情图像中的人物及场所相关信息，也即本技术示例利用r-cnn检测模型重点识别图像中人脸，以及铭牌、展板的物体。保留检测框位置信息以及分类信息。对于新闻宣传等图像包含的人物铭牌、活动展板等场所信息，可使用ocr技术对文本进行识别，将识别的文本送入舆情文本嵌入模块进行进一步处理。
59.对检测到人物相关信息包含人脸的舆情图像，进行特征提取；
60.若任意舆情图像包含两个人物，则将提取的人脸特征两两连接，在最后嵌入二者检测框位置信息，以获得实体的视觉特征嵌入；
61.若任意舆情图像包含两个以上的人物，则对于提取的人脸特征，进行两两遍历，以获得实体的视觉特征嵌入。一些具体的示例中，针对一副图像中两个人物，使用前述的方法提取人脸特征，将两个人脸特征直接连接，并在最后嵌入二者检测框位置信息，得到实体的
视觉特征嵌入，当一副图像中存在三人或三人以上，重复提取人脸特征、特征两两连接，遍历图像中所有两人组合关系，获得多个实体视觉特征嵌入。
62.在步骤s103中，获取舆情文本，利用文本嵌入模型对所述舆情文本进行嵌入表示，以获得文本特征嵌入。具体可以使用gpt-3的text-embedding-ada-002文本嵌入模型对对新闻宣传、社交网络发布的文本进行嵌入表示，获取文本的语义信息。
63.在步骤s104中，融合所述企业知识图谱嵌入特征、视觉嵌入特征以及所述文本嵌入特征，以获得多模态融合嵌入特征。
64.在步骤s105中，对于任意两个候选实体，基于对应的多模态融合嵌入特征，进行关键信息挖掘，以确定任意两个候选实体之间的联系。
65.在步骤s106中，基于确定的任意两个候选实体之间的联系补全企业知识图谱。
66.本技术实施例的方法用于对多模态知识图谱进行补全，能够更全面及时地掌握企业信息，增强了语义，提高信息分析和挖掘的准确性。
67.在一些实施例中，对检测到人物相关信息包含人脸的舆情图像，进行特征提取包括：
68.将舆情图像中的人脸子图像进行预处理，所述预处理包括剪裁、角度校正以及去噪。
69.在预处理之后，将所述人脸子图像输入预先训练的vggface人脸识别网络，去除softmax层，将最后一层fc层的2622维输出，作为人脸语义深度特征，也即所提取的人脸特征。
70.text-embedding-ada-002基于adain(adaptive instance normalization)，采用动态调整特征分布的技术提高嵌入向量的泛化能力和对齐性。在一些实施例中，利用文本嵌入模型对所述舆情文本进行嵌入表示，以获得文本特征嵌入包括：
71.首先接收一个文本序列，例如舆情文本，将所述舆情文本由词汇表中的索引表示。
72.将索引表表示转换为初始化词向量，并利用bert模型进行词嵌入。一些具体示例中，将输入的索引转换为初始化词向量，并使用预训练的bert模型开展词嵌入。
73.利用12层的transformer编码器，对所述词嵌入进行自注意力和前馈网络的计算，以获得各词的上下文相关表示。
74.对所述transformer编码器编码层的输出进行adain操作，即先对每个样本进行实例归一化，再乘以一个域相关的缩放因子和偏移量，以对各词的上下文相关表示进行域适应。
75.最后，对adain层的输出进行最大池化或平均池化，得到最终的文本向量，作为文本嵌入的结果进行输出，也即文本特征嵌入。
76.通过企业知识图谱嵌入、本技术实施例语义嵌入以及视觉语义嵌入的交互融合，进行多个模态信息互补，输出具有更强判别能力的多模态融合嵌入。在一些实施例中，融合所述企业知识图谱嵌入特征、视觉嵌入特征以及所述文本嵌入特征，以获得多模态融合嵌入特征包括：
77.采用mutan双线性模型，融合所述企业知识图谱嵌入特征、视觉嵌入特征以及所述文本嵌入特征，在融合的过程中，采用对比学习方法，以拉近相同实体不同模态嵌入的距离，并推远不同实体嵌入的距离。
78.在一些具体示例中，在使用mutan双线性模型进行融合的过程中，添加令同一实体的不同模态嵌入之间的相关性更强的约束。具体来讲，采用对比学习方法，拉近相同实体不同模态嵌入的距离，推远不同实体嵌入的距离，对比学习的公示表示为：
79.d(fi(x),fj(x
+
))《《d(fi(x),fj(x-))
80.其中，fk(
·
)为各个模态的嵌入函数，(fi(x),fj(x
+
))为正样本对，由同一实体的不同模态嵌入组成，(fi(x),fj(x-))为负样本对，由不同实体的不同模态嵌入组成，上标+、-表示正负样本；d(
·
)为距离度量函数，采用余弦距离作为度量函数，限制负样本的距离大于正样本。
81.在一些实施例中，对于任意两个候选实体，基于对应的多模态融合嵌入特征，进行关键信息挖掘包括：
82.利用基于距离的评分函数，对任意两个候选实体进行评分，使得在两个实体存在客观联系的情况下，输出高评分，在两个实体不存在客观联系的情况下，输出低评分。
83.具体一些示例中，本技术实施例挖掘候选的两个实体之间是否存在关系，即对输入的实体关系三元组《h,r,t》进行评分。h为头实体，t为尾实体，r为关系。该部分可采用基于距离的评分函数，使用transe模型进行评分。当两个实体存在客观联系时，输出较高的评分，当两个实体不存在客观联系时，输出较低评分。
84.具体流程为：
85.对于三元组《h,r,t》使用两个投影矩阵m
r,1
，m
r,2
和l1距离学习其结构嵌入，其中h,t的初始值为实体的多模态融合嵌入，h+r应该接近t的嵌入。
86.fr(h,t)＝||m
r,1
h—m
r,2
t||
l1
87.计算实体的关系投影之间的欧几里德距离，结构嵌入其评分函数在l2约束下定义为：
88.fr(h,t)＝||h+r-t||
l2
89.本技术的方法利用多模态数据融合，包括：知识图谱、舆论文本、舆论图谱信息，对多模态知识图谱进行补全，能够更全面及时地掌握企业信息，增强了语义，提高了信息分析和挖掘的准确性。通过结合舆论信息和多模态图谱两种不同的数据源，解析舆论信息中的文本、图像知识，对多模态知识图谱进行补全，从而提高了数据挖掘的效果。同时，本专利还利用神经网络进行图谱、图像、文本的嵌入学习，获取更深层次的语义信息，实现了语义增强，进一步提高了数据挖掘的准确性。
90.本技术的方法中的语义信息既包括了从舆情多模态数据中捕获的外部语义，又包括了神经网络嵌入学习中获取的本地语义，从两个角度为知识图谱补全提供更加丰富和准确的语义信息。本技术的方法中的多模态知识图谱构建补全技术可以应用于其他领域，如金融风险评估、社交网络分析等领域。该方法能够在不同领域中进行迁移复用，为不同领域数据分析工作提供支持。
91.本技术的方法中的多模态知识图谱和图谱补全技术也可服务于监管部门，对重点企业、人物的关系及属性有更加全面的了解，如查询两家企业的实际关系，或企业的实际股权控制人，在处理各类案件及审批业务时，提供所需的背景信息。因此，本专利的方法能够提高企业风险评估的准确性，对于金融机构、企业评估机构和监管部门都具有重要的应用价值。本技术的方法适用范围广，不仅可以应用于企业领域，还可以应用于公安、教育、社交
网络等不同领域。因此，本技术的方法具有较高的可迁移性和应用价值，能够为各种数据分析工作提供支持，具有广泛的应用前景。
92.本技术实施例还提出一种关键信息挖掘的多模态企业知识图谱补全装置，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的关键信息挖掘的多模态企业知识图谱补全方法的步骤。如图3所示，一些具体示例中，可以通过对应的软件模块或者硬件模块来实现。
93.本技术实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的关键信息挖掘的多模态企业知识图谱补全方法的步骤。
94.需要说明的是，在本技术各实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
95.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
96.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
97.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本技术的保护之内。

技术特征：
1.一种关键信息挖掘的多模态企业知识图谱补全方法，其特征在于，包括如下步骤：利用图注意力网络gats对预先创建的企业知识图谱进行嵌入表示，以将每个实体映射到一个低维向量空间，以获得企业知识图谱特征嵌入；获取舆情图像，提取所述舆情图像中包含的关键对象信息，以获得视觉特征嵌入；获取舆情文本，利用文本嵌入模型对所述舆情文本进行嵌入表示，以获得文本特征嵌入；融合所述企业知识图谱嵌入特征、视觉嵌入特征以及所述文本嵌入特征，以获得多模态融合嵌入特征；对于任意两个候选实体，基于对应的多模态融合嵌入特征，进行关键信息挖掘，以确定任意两个候选实体之间的联系；基于确定的任意两个候选实体之间的联系补全企业知识图谱。2.如权利要求1所述的关键信息挖掘的多模态企业知识图谱补全方法，其特征在于，所述企业知识图谱用以描述企业之间以及企业与自然人之间的关系，其包括实体集合和关系集合；利用图注意力网络gats对预先创建的企业知识图谱进行嵌入表示，以将每个实体映射到一个低维向量空间，以获得企业知识图谱特征嵌入包括：对于每个实体e，利用gats模型计算其邻居实体的加权和，并将其作为实体e的注意力权重；基于gats模型，使用注意力权重对相应特征向量进行加权求和，得到实体e的嵌入向量；基于gats模型，拼接所有实体的嵌入向量，以形成整个知识图谱的嵌入向量矩阵。3.如权利要求2所述的关键信息挖掘的多模态企业知识图谱补全方法，其特征在于，所述舆情图像包括新闻宣传图像以及社交网络发布图像；提取所述舆情图像中包含的关键对象信息，以获得视觉特征嵌入包括：对任意舆情图像，使用r-cnn检测模型进行物体检测，以识别所述任意舆情图像中的人物及场所相关信息；对检测到人物相关信息包含人脸的舆情图像，进行特征提取；若任意舆情图像包含两个人物，则将提取的人脸特征两两连接，在最后嵌入二者检测框位置信息，以获得实体的视觉特征嵌入；若任意舆情图像包含两个以上的人物，则对于提取的人脸特征，进行两两遍历，以获得实体的视觉特征嵌入。4.如权利要求3所述的关键信息挖掘的多模态企业知识图谱补全方法，其特征在于，对检测到人物相关信息包含人脸的舆情图像，进行特征提取包括：将舆情图像中的人脸子图像进行预处理，所述预处理包括剪裁、角度校正以及去噪；在预处理之后，将所述人脸子图像输入预先训练的vggface人脸识别网络，去除softmax层，将最后一层fc层的输出，作为提取的人脸特征。5.如权利要求3所述的关键信息挖掘的多模态企业知识图谱补全方法，其特征在于，利用文本嵌入模型对所述舆情文本进行嵌入表示，以获得文本特征嵌入包括：将所述舆情文本由词汇表中的索引表示；
将索引表表示转换为初始化词向量，并利用bert模型进行词嵌入；利用transformer编码器，对所述词嵌入进行自注意力和前馈网络的计算，以获得各词的上下文相关表示；对所述transformer编码器编码层的输出进行adain操作，以对各词的上下文相关表示进行域适应；对adain层的输出进行最大池化或平均池化，以获得文本特征嵌入。6.如权利要求5所述的关键信息挖掘的多模态企业知识图谱补全方法，其特征在于，融合所述企业知识图谱嵌入特征、视觉嵌入特征以及所述文本嵌入特征，以获得多模态融合嵌入特征包括：采用mutan双线性模型，融合所述企业知识图谱嵌入特征、视觉嵌入特征以及所述文本嵌入特征，在融合的过程中，采用对比学习方法，以拉近相同实体不同模态嵌入的距离，并推远不同实体嵌入的距离。7.如权利要求5所述的关键信息挖掘的多模态企业知识图谱补全方法，其特征在于，对于任意两个候选实体，基于对应的多模态融合嵌入特征，进行关键信息挖掘包括：利用基于距离的评分函数，对任意两个候选实体进行评分，使得在两个实体存在客观联系的情况下，输出高评分，在两个实体不存在客观联系的情况下，输出低评分。8.一种关键信息挖掘的多模态企业知识图谱补全装置，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的关键信息挖掘的多模态企业知识图谱补全方法的步骤。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的关键信息挖掘的多模态企业知识图谱补全方法的步骤。

技术总结
本申请公开了一种关键信息挖掘的多模态企业知识图谱补全方法及装置，包括：利用图注意力网络GATs对预先创建的企业知识图谱进行嵌入表示，以获得企业知识图谱特征嵌入；提取舆情图像中包含的关键对象信息，以获得视觉特征嵌入；利用文本嵌入模型对舆情文本进行嵌入表示，以获得文本特征嵌入；融合企业知识图谱嵌入特征、视觉嵌入特征以及文本嵌入特征，以获得多模态融合嵌入特征；对于任意两个候选实体，基于对应的多模态融合嵌入特征，进行关键信息挖掘，以确定两个候选实体之间的联系；基于确定的两个候选实体之间的联系补全企业知识图谱。本申请能够对多模态知识图谱进行补全，能够更全面及时地掌握企业信息，提高信息分析和挖掘的准确性。分析和挖掘的准确性。分析和挖掘的准确性。


技术研发人员：刘晨羽 白然 欧阳小叶 刘小晗 胡校成 袁柳 王亚珅
受保护的技术使用者：中国电子科技集团有限公司电子科学研究院
技术研发日：2023.06.27
技术公布日：2023/9/13