面向篇章级的事件抽取方法、系统、存储介质和电子设备

1.本发明涉及自然语言处理技术领域，具体涉及一种面向篇章级的事件抽取方法、系统、存储介质和电子设备。


背景技术：

2.事件抽取的目标是在文档中识别一类事件的实例以及与事件中的角色相对应的任何参数。现有的事件抽取框架分为句子级事件抽取和篇章级事件抽取。句子级事件抽取是指从文档中的每个句子中识别提取单个事件，以及在这些事件中扮演论证角色的任何实体，但无法总结文档的内容。篇章级事件抽取任务是一种具有挑战性的信息提取工作，它需要从整篇文章中进行推断，在现实世界中具有明显的适用性，它允许用户快速识别文档事件的人物、内容、地点和时间，而无需阅读整个文档。
3.迄今为止，事件抽取方法还不能提供一种令人满意的解决方案，目前大多数的事件提取系统都依赖于短语或句子级别的局部信息，并没有将文章作为一个整体来考虑。由于大部分情况下，一个事件需要多个句子来完整描述，而这种方法无法捕获文档级别上提及的事件之间的关系，以及与事件触发器相比，出现的不同句子中的事件参数，从而限制了提取性能。同时，对文档的事件提取工作主要集中在高度特定的领域，通常很大程度上依赖于手工制定的规则，不能很好地推广到新的领域。


技术实现要素：

4.(一)解决的技术问题
5.针对现有技术的不足，本发明提供了一种面向篇章级的事件抽取方法、系统、存储介质和电子设备，解决了无法捕获文档级别上提及的事件之间的关系的技术问题。
6.(二)技术方案
7.为实现以上目的，本发明通过以下技术方案予以实现：
8.一种面向篇章级的事件抽取方法，预先训练机器学习理解模型、学习搜索模型或深度神经网络模型，该抽取方法包括：
9.s1、获取待分析文档；
10.s2、根据所述待分析文档，基于所述机器学习理解模型获取事件类型；
11.s3、根据标注事件类型后的文档，采用所述学习搜索模型或深度神经网络模型获取对应的事件参数类型-实体候选对象的关系对；
12.s4、根据所述事件类型、参数类型和实体候选对象，填充宏观事件模板框架，作为事件抽取结果返回用户。
13.优选的，所述机器学习理解模型为门控式注意ga阅读器，其训练过程包括：
14.通过查找表获取事件参数类型查询和训练集中的文档词语的词嵌入，在之后的k层网络中进行处理，第k层网络会从第k-1层网络获取之前的文档嵌入作为输入；每一层的文档词嵌入di和参数类型查询词嵌入q分别使用双向门控循环单元gru进行转换得到，然后
使用门控注意模块进行组合，得到下一层的输入xi；其中，每一个ga框代表了一个门控—注意力模块，将关注参数类型查询的注意力应用于文档表示；
15.在重复此过程超过k层之后，在文档中为单词计算得分，并使用softmax()函数转换为单词上的概率分布；最终得到的概率分布用于查询答案的选择。
16.优选的，采用学习搜索算法训练所述学习搜索模型，包括：
17.s10、从已标注文档d中随机抽取一个文档d并生成实体、参数类型候选关系对的序列；
18.s20、在随机采样的步长t内，在文档d上执行当前学习到的策略πi；
19.s30、由在文档d对应的候选关系对在步长t内执行策略πi后，剩余候选关系对的所有可能策略相对于最佳策略π
*
的最小损失对应的策略生成一个新的训练示例，将新的训练样本添加到训练集中；
20.s40、生成k个新的示例后，使用新的训练集重新训练新策略然后跳回到步骤1；
21.s50、循环n次后获得最终训练策略
22.其中，n为自定义训练次数，m为自定义采样次数，策略π是用特定候选实体填充特定参数槽的动作映射，π
*
是一个人工确认的最优策略，βi,i＝1,...,n为自定义的策略更新权重。
23.优选的，所述深度神经网络模型包括输入层、两个隐藏层和输出层；
24.其中，输入层由模型需要的文本数据特征组成，包含了当前候选实体关系对的信息，输出层为当前候选关系对是否包含在最终模板中的概率值；使用多层的网络结构从输入特征中学习更多复杂的交互信息。
25.优选的，所述深度神经网络模型的训练过程包括：
26.s100、使用当前参数w对每个训练样本xi进行预测，并将预测结果与真实的样本标签yi进行比较计算损失；
27.s200、通过反向传播过程更新模型参数w。参数更新完成后，进行下一个样本的训练；
28.s300、在所有训练样本执行完成后，使用验证样本集(v,z)评估当前模型，计算f1得分；如果当前模型f1得分由于历史最高得分f1
best
，那么将这些参数存储为新的最优模型参数w
best
，并更新f1
best
为当前f1分数；
29.s400、在k个周期结束后，返回提供历史最优的模型参数w
best
。
30.一种面向篇章级的事件抽取系统，预先训练机器学习理解模型、学习搜索模型或深度神经网络模型，该抽取系统包括：
31.获取模块，用于获取待分析文档；
32.学习模块，用于根据所述待分析文档，基于所述机器学习理解模型获取事件类型；
33.搜索模块，用于根据标注事件类型后的文档，采用所述学习搜索模型或深度神经网络模型获取对应的事件参数类型-实体候选对象的关系对；
34.填充模块，用于根据所述事件类型、参数类型和实体候选对象，填充宏观事件模板框架，作为事件抽取结果返回用户。
35.一种存储介质，其存储有用于面向篇章级的事件抽取的计算机程序，其中，所述计算机程序使得计算机执行如上所述的面向篇章级的事件抽取方法。
36.一种电子设备，包括：
37.一个或多个处理器；
38.存储器；以及
39.一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的面向篇章级的事件抽取方法。
40.(三)有益效果
41.本发明提供了一种面向篇章级的事件抽取方法、系统、存储介质和电子设备。与现有技术相比，具备以下有益效果：
42.本发明包括，获取待分析文档；根据所述待分析文档，基于所述机器学习理解模型获取事件类型；根据标注事件类型后的文档，采用所述学习搜索模型或深度神经网络模型获取对应的事件参数类型-实体候选对象的关系对；根据所述事件类型、参数类型和实体候选对象，填充宏观事件模板框架，作为事件抽取结果返回用户。通过将每个事件类型的定义参数填充集合约束为一个预定义的，但高度相互依赖的包含关键事件信息的类别集，从而将事件以一种比较简洁但信息丰富的方式表示给用户，并通过下游分析方法做进一步处理。可以在广泛的事件类型中泛化，事件结构具有广泛适用性。
附图说明
43.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1为本发明实施例提供的一种面向篇章级的事件抽取方法的方框图；
45.图2为本发明实施例提供的一种ga阅读器架构的示意图；
46.图3为本发明实施例提供的一种事件抽取的深度神经网络架构的示意图。
具体实施方式
47.为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.本技术实施例通过提供一种面向篇章级的事件抽取方法、系统、存储介质和电子设备，解决了无法捕获文档级别上提及的事件之间的关系的技术问题。
49.本技术实施例中的技术方案为解决上述技术问题，总体思路如下：
50.本发明实施例包括，获取待分析文档；根据所述待分析文档，基于所述机器学习理解模型获取事件类型；根据标注事件类型后的文档，采用所述学习搜索模型或深度神经网络模型获取对应的事件参数类型-实体候选对象的关系对；根据所述事件类型、参数类型和
实体候选对象，填充宏观事件模板框架，作为事件抽取结果返回用户。通过将每个事件类型的定义参数填充集合约束为一个预定义的，但高度相互依赖的包含关键事件信息的类别集，从而将事件以一种比较简洁但信息丰富的方式表示给用户，并通过下游分析方法做进一步处理。可以在广泛的事件类型中泛化，事件结构具有广泛适用性。
51.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
52.实施例：
53.如图1所示，本发明实施例提供了一种面向篇章级的事件抽取方法，预先训练机器学习理解模型、学习搜索模型或深度神经网络模型，该抽取方法包括：
54.s1、获取待分析文档；
55.s2、根据所述待分析文档，基于所述机器学习理解模型获取事件类型；
56.s3、根据标注事件类型后的文档，采用所述学习搜索模型或深度神经网络模型获取对应的事件参数类型-实体候选对象的关系对；
57.s4、根据所述事件类型、参数类型和实体候选对象，填充宏观事件模板框架，作为事件抽取结果返回用户。
58.本发明实施例通过将每个事件类型的定义参数填充集合约束为一个预定义的，但高度相互依赖的包含关键事件信息的类别集，从而将事件以一种比较简洁但信息丰富的方式表示给用户，并通过下游分析方法做进一步处理。可以在广泛的事件类型中泛化，事件结构具有广泛适用性。
59.接下来将详细介绍上述方案的各个步骤：
60.在步骤s1中，获取待分析文档。
61.获取文本的技术手段可以采用现有技术中的任意一种，例如爬虫技术等，在此不详细赘述。
62.在步骤s2中，根据所述待分析文档，基于所述机器学习理解模型获取事件类型。
63.基于机器阅读理解的事件抽取利用现有的大规模机器阅读理解语料库训练通用问答系统的方法，并将训练后模型直接应用于宏事件模板填充任务。该过程核心是门控式注意(ga)阅读器。如图2所示，ga阅读器是一种深度学习模型，采用了多跳结构结合注意力机制。多跳结构模拟了一个人在几次读取文本的过程中，每次都细化对当前文本的理解。注意力机制的作用是让读者在阅读文本时专注于给定的问题，使模型处理文本时更关注与事件相关的信息。
64.上述ga阅读器的训练过程包括：通过查找表获取事件参数类型查询和文档词语的词嵌入，在之后的k层网络中进行处理，第k层网络会从第k-1层网络获取之前的文档嵌入作为输入。使用多层网络结构可以为模型构建更复杂的输入文档词嵌入表示，每一层都将注意力集中在参数类型查询的不同方面。每一层的文档词嵌入di和参数类型查询词嵌入q分别使用双向门控循环单元(gru)进行转换得到，然后使用门控注意模块进行组合，得到下一层的输入xi。每一个“ga”框代表了一个门控—注意力模块，将关注参数类型查询的注意力应用于文档表示。在重复此过程超过k层之后，在文档中为单词计算得分，并使用softmax()函数转换为单词上的概率分布。最终得到的概率分布可用于查询答案的选择。
65.将门控—注意力模块应用于文档中词嵌入di的方式如下:
66.αi＝softmax(q
tdi
)
[0067][0068][0069]
其中q是参数类型查询嵌入表示，
⊙
是哈达玛积。
[0070]
在最后一层，文档和查询表示使用内积计算每个单词的得分，然后通过softmax层获得文档中单词的概率分布。当一组单词在文档中多次出现时，该词语的概率被汇总并重新标准化，通过选择具有最大概率的候选词获得最终结果：
[0071][0072][0073]
其中c是候选结果集，s是候选词语c对应的softmax()概率向量，指定与候选词语c相对应的文档d的索引。
[0074]
在步骤s3中，根据标注事件类型后的文档，采用所述学习搜索模型或深度神经网络模型获取对应的事件参数类型-实体候选对象的关系对；
[0075]
针对标注后文本数据，使用基于学习搜索的方法或者基于深度神经网络的方法在已有数据集上进行训练，构建模型，完成宏事件模板的填充。
[0076]
第一、基于学习搜索的宏事件模板参数填充：
[0077]
对于每个文档，本发明实施例首先使用命名实体识别方法收集所有的实体候选项，并将每个实体与宏事件模板结构中所有可能的参数类型进行配对。对于形成的参数类型-实体关系对，需要做出是否包含在最终的宏事件模板中的决策。对于每个决策，不仅需要考虑当前关系对的局部特征，而且还要考虑模型在之前做出的所有的决策，从而在填充模板时，能够将过去的决策纳入上下文
[0078]
采用学习搜索算法训练所述学习搜索模型，包括：
[0079]
s10、从已标注文档d中随机抽取一个文档d并生成实体、参数类型候选关系对的序列；
[0080]
s20、在随机采样的步长t内，在文档d上执行当前学习到的策略πi；
[0081]
s30、由在文档d对应的候选关系对在步长t内执行策略πi后，剩余候选关系对的所有可能策略相对于最佳策略π
*
的最小损失对应的策略生成一个新的训练示例，将新的训练样本添加到训练集中；
[0082]
s40、生成k个新的示例后，使用新的训练集重新训练新策略然后跳回到步骤1；
[0083]
s50、循环n次后获得最终训练策略
[0084]
其中，n为自定义训练次数，m为自定义采样次数，策略π是用特定候选实体填充特定参数槽的动作映射，π
*
是一个人工确认的最优策略，βi,i＝1,...,n为自定义的策略更新权重。
[0085]
第二、事件抽取的深度神经网络：
[0086]
为了提取文本中的主事件，针对给定的输入文本和一组实体候选对象，本发明实施例通过对最终模板中是否包含或排除每个(实体候选对象，参数类型)关系对进行二元预测来填充宏事件模板。
[0087]
模型架构如图3所示，所述深度神经网络模型包括输入层、两个隐藏层和输出层；其中，输入层由模型需要的文本数据特征组成，包含了当前候选实体关系对的信息，输出层为当前候选关系对是否包含在最终模板中的概率值；使用多层的网络结构从输入特征中学习更多复杂的交互信息。
[0088]
模型首先应用线性变换w将输入层文本数据特征转换到低维隐藏向量，之后，通过非线性变换处理低维隐藏向量，使网络可以建模更复杂的决策。常用的非线性变换函数包括sigmoid()、tanh()和relu()，变换过程如下：
[0089][0090][0091]
relu(x)＝max(0,x)
[0092]
非线性变换处理过程可以重复多次。在最后一层，通过softmax()函数对数据进行转换，将输出的决策分数转换为一组概率：
[0093][0094]
特别的，所述深度神经网络模型的训练过程包括：
[0095]
s100、使用当前参数w对每个训练样本xi进行预测，并将预测结果与真实的样本标签yi进行比较计算损失；
[0096]
s200、通过反向传播过程更新模型参数w。参数更新完成后，进行下一个样本的训练；
[0097]
s300、在所有训练样本执行完成后，使用验证样本集(v,z)评估当前模型，计算f1得分；如果当前模型f1得分由于历史最高得分f1
best
，那么将这些参数存储为新的最优模型参数w
best
，并更新f1
best
为当前f1分数；
[0098]
s400、在k个周期结束后，返回提供历史最优的模型参数w
best
。
[0099]
在步骤s4中，根据所述事件类型、参数类型和实体候选对象，填充宏观事件模板框架，作为事件抽取结果返回用户。
[0100]
针对篇章级文本事件抽取任务，本发明实施例提出一种基于宏观事件模板框架，进行模板填充的方法，创建真实有用的篇章级事件提取模型。事件模板形式如表1所示，由事件类型、事件参数类型和事件参数填充实体组成，每个参数字段可以由零个、一个或多个文本填充。
[0101]
表1
[0102][0103]
本发明实施例提供了一种面向篇章级的事件抽取系统，预先训练机器学习理解模型、学习搜索模型或深度神经网络模型，该抽取系统包括：
[0104]
获取模块，用于获取待分析文档；
[0105]
学习模块，用于根据所述待分析文档，基于所述机器学习理解模型获取事件类型；
[0106]
搜索模块，用于根据标注事件类型后的文档，采用所述学习搜索模型或深度神经网络模型获取对应的事件参数类型-实体候选对象的关系对；
[0107]
填充模块，用于根据所述事件类型、参数类型和实体候选对象，填充宏观事件模板框架，作为事件抽取结果返回用户。
[0108]
本发明实施例提供了一种存储介质，其存储有用于面向篇章级的事件抽取的计算机程序，其中，所述计算机程序使得计算机执行如上所述的面向篇章级的事件抽取方法。
[0109]
本发明实施例提供了一种电子设备，包括：
[0110]
一个或多个处理器；
[0111]
存储器；以及
[0112]
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的面向篇章级的事件抽取方法。
[0113]
可理解的是，本发明实施例提供的面向篇章级的事件抽取系统、存储介质和电子设备与本发明实施例提供的面向篇章级的事件抽取方法相对应，其有关内容的解释、举例和有益效果等部分可以参考面向篇章级的事件抽取方法中的相应部分，此处不再赘述。
[0114]
综上所述，与现有技术相比，具备以下有益效果：
[0115]
本发明实施例包括，获取待分析文档；根据所述待分析文档，基于所述机器学习理解模型获取事件类型；根据标注事件类型后的文档，采用所述学习搜索模型或深度神经网络模型获取对应的事件参数类型-实体候选对象的关系对；根据所述事件类型、参数类型和实体候选对象，填充宏观事件模板框架，作为事件抽取结果返回用户。通过将每个事件类型的定义参数填充集合约束为一个预定义的，但高度相互依赖的包含关键事件信息的类别集，从而将事件以一种比较简洁但信息丰富的方式表示给用户，并通过下游分析方法做进一步处理。可以在广泛的事件类型中泛化，事件结构具有广泛适用性。
[0116]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖
非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0117]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种面向篇章级的事件抽取方法，其特征在于，预先训练机器学习理解模型、学习搜索模型或深度神经网络模型，该抽取方法包括：s1、获取待分析文档；s2、根据所述待分析文档，基于所述机器学习理解模型获取事件类型；s3、根据标注事件类型后的文档，采用所述学习搜索模型或深度神经网络模型获取对应的事件参数类型-实体候选对象的关系对；s4、根据所述事件类型、参数类型和实体候选对象，填充宏观事件模板框架，作为事件抽取结果返回用户。2.如权利要求1所述的面向篇章级的事件抽取方法，其特征在于，所述机器学习理解模型为门控式注意ga阅读器，其训练过程包括：通过查找表获取事件参数类型查询和训练集中的文档词语的词嵌入，在之后的k层网络中进行处理，第k层网络会从第k-1层网络获取之前的文档嵌入作为输入；每一层的文档词嵌入d
i
和参数类型查询词嵌入q分别使用双向门控循环单元gru进行转换得到，然后使用门控注意模块进行组合，得到下一层的输入x
i
；其中，每一个ga框代表了一个门控—注意力模块，将关注参数类型查询的注意力应用于文档表示；在重复此过程超过k层之后，在文档中为单词计算得分，并使用softmax()函数转换为单词上的概率分布；最终得到的概率分布用于查询答案的选择。3.如权利要求1或者2所述的面向篇章级的事件抽取方法，其特征在于，采用学习搜索算法训练所述学习搜索模型，包括：s10、从已标注文档d中随机抽取一个文档d并生成实体、参数类型候选关系对的序列；s20、在随机采样的步长t内，在文档d上执行当前学习到的策略π
i
；s30、由在文档d对应的候选关系对在步长t内执行策略π
i
后，剩余候选关系对的所有可能策略相对于最佳策略π
*
的最小损失对应的策略生成一个新的训练示例，将新的训练样本添加到训练集中；s40、生成k个新的示例后，使用新的训练集重新训练新策略然后跳回到步骤1；s50、循环n次后获得最终训练策略其中，n为自定义训练次数，m为自定义采样次数，策略π是用特定候选实体填充特定参数槽的动作映射，π
*
是一个人工确认的最优策略，β
i
，i＝1，...，n为自定义的策略更新权重。4.如权利要求1或者2所述的面向篇章级的事件抽取方法，其特征在于，所述深度神经网络模型包括输入层、两个隐藏层和输出层；其中，输入层由模型需要的文本数据特征组成，包含了当前候选实体关系对的信息，输出层为当前候选关系对是否包含在最终模板中的概率值；使用多层的网络结构从输入特征中学习更多复杂的交互信息。5.如权利要求4所述的面向篇章级的事件抽取方法，其特征在于，所述深度神经网络模型的训练过程包括：s100、使用当前参数w对每个训练样本x
i
进行预测，并将预测结果与真实的样本标签y
i
进行比较计算损失；s200、通过反向传播过程更新模型参数w。参数更新完成后，进行下一个样本的训练；
s300、在所有训练样本执行完成后，使用验证样本集(v,z)评估当前模型，计算f1得分；如果当前模型f1得分由于历史最高得分f1
best
，那么将这些参数存储为新的最优模型参数w
best
，并更新f1
best
为当前f1分数；s400、在k个周期结束后，返回提供历史最优的模型参数w
best
。6.一种面向篇章级的事件抽取系统，其特征在于，预先训练机器学习理解模型、学习搜索模型或深度神经网络模型，该抽取系统包括：获取模块，用于获取待分析文档；学习模块，用于根据所述待分析文档，基于所述机器学习理解模型获取事件类型；搜索模块，用于根据标注事件类型后的文档，采用所述学习搜索模型或深度神经网络模型获取对应的事件参数类型-实体候选对象的关系对；填充模块，用于根据所述事件类型、参数类型和实体候选对象，填充宏观事件模板框架，作为事件抽取结果返回用户。7.一种存储介质，其特征在于，其存储有用于面向篇章级的事件抽取的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1～5任一项所述的面向篇章级的事件抽取方法。8.一种电子设备，其特征在于，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1～5任一项所述的面向篇章级的事件抽取方法。

技术总结
本发明提供一种面向篇章级的事件抽取方法、系统、存储介质和电子设备，涉及自然语言处理技术领域。本发明包括，获取待分析文档；根据待分析文档，基于机器学习理解模型获取事件类型；根据标注事件类型后的文档，采用学习搜索模型或深度神经网络模型获取对应的事件参数类型-实体候选对象的关系对；根据事件类型、参数类型和实体候选对象，填充宏观事件模板框架，作为事件抽取结果返回用户。通过将每个事件类型的定义参数填充集合约束为一个预定义的，但高度相互依赖的包含关键事件信息的类别集，从而将事件以一种比较简洁但信息丰富的方式表示给用户，并通过下游分析方法做进一步处理。可以在广泛的事件类型中泛化，事件结构具有广泛适用性。有广泛适用性。有广泛适用性。


技术研发人员：吴继冰 肖开明 黄宏斌 刘丽华 曹成宏 薛帅 毕于慧
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2022.11.24
技术公布日：2023/7/22