一种政务事件提取方法、提取系统、电子设备及存储介质与流程

1.本发明属于自然语言中事件提取技术领域，具体涉及一种基于知识引导和伪触发词的政务事件提取方法、提取系统、电子设备及存储介质。


背景技术：

2.自上世纪以来，信息技术开始应用，以逐步实现政务电子化，提升日常政务的处理效率。对于通常的工单文本，接线员所记录的描述数据涵盖了详细的事件信息，值得深入分析，但不同类别的事件包含不同成分的事件要素，传统的匹配方法或者机器学习方法难以全面地提取文本中的事件信息。在自然语言处理中，基于深度学习的事件提取技术很好地解决了这类问题。事件提取技术包含两个方面，一是，事件检测(event detection，ed)，识别文本中蕴含的事件及其触发词；二是，事件论元识别(event argument extraction，eae)，提取事件中的论元。
3.目前，大多数事件提取技术基于通用的数据集展开研究，如ace 2005。少部分研究将事件提取技术应用于金融和医药领域。但深度学习算法的应用首先需要解决的便是领域内标注数据集稀缺的问题。在保证算法不受大影响的前提下，如何减少标注事件的工作量是工程应用上首先要考虑和解决的重要问题。
4.在技术细节方面，有研究者基于知识图谱和异构图卷积，重点关注事件与事件、事件与论元和论元与论元之间的联系，在构建文本顺序语义表征的基础上，引入语法结构的依赖特征。又有研究者将事件提取视为问答(question-answering，qa)任务或者采用query的形式，为每个类型的论元设计了问题模板，这旨在引入外部的知识引导论元的提取，从而取得了杰出的表现。
5.但上述这些研究却很少关注不同领域下的数据特点。例如，在一政务事件实例中，一个角色下可能有一个论元、多个论元、以及不存在该角色的论元这三种情况。当多个论元拥有相同的角色，算法若要将其完全提取，难度将远大于提取单个论元。一旦该类情况在领域数据中比例较大，将很大程度影响现有算法的效果。因此，针对上述存在的问题，事件提取技术仍具有很大的完善空间。
6.经检索，中国专利申请号为202110555216.4的申请案公开了一种基于混合神经网络和多级注意力机制的触发词识别方法，该申请案的方法如下：首先，利用卷积神经网络和双向门控循环神经网络相结合，构建了一种基于混合神经网络的生物医学事件触发词识别模型，降低了特征提取过程中过分依赖自然语言处理工具所消耗的大量人工成本，提高了句子语义准确性；其次，通过词级注意力机制加强句内关键信息，通过句子级注意力机制加强要素间的相互影响，通过篇章级注意力机制加强句子间上下文的语义影响。面对复杂繁琐的事件触发词标注问题，该申请案采用人工标注和生物医学语言表示模型扩充相结合的方法，使得每个词类型的数量相对接近，但仍需要较高的数据标注成本且可能引起过拟合问题。在事件提取系统中，事件触发词大多作为事件发生的表示词，其对下游任务的效益较低，且注释的难度高，也成为事件提取技术应用过程中的一个痛点。


技术实现要素：

7.1.要解决的问题
8.本发明的目的在于提供一种政务事件提取方法、提取系统、电子设备及存储介质，通过采用流水线模式，利用政务领域知识引导对事件的检测和论元的提取，从而可以有效解决现有算法对数据标志的复杂度较高，以及适应领域易受到限制的问题，大大提高了政务事件的提取性能。
9.2.技术方案
10.为了解决上述问题，本发明所采用的技术方案如下：
11.本发明的一种政务事件提取方法，包括以下步骤：
12.s1、借助预训练语言模型获得文本和各类事件类型的表征向量；
13.s2、基于文本和事件类型的表征，获得文本对各类事件的因子向量；
14.s3、通过分类器对文本和事件因子向量进行多分类，完成事件检测；
15.s4、根据事件检测结果，构建事件伪触发词和各类角色的领域知识，使用语言模型获得其字词的嵌入向量；
16.s5、得到经角色知识向量交互的角色知识增强文本表征，并计算得到文本中与伪触发词语义最相似的字词作为事件中心词；
17.s6、基于领域知识增强文本表征和事件中心词构建图卷积网络，根据领域数据集中事件同角色多论元的分布特征调整训练过程中的损失函数，并在推理阶段使用论元生成算法提取文本中的事件论元。
18.更进一步的，步骤s4中，根据预测事件e，使用三至四个表达这类事件e发生的动词或者象征性短语以构建事件伪触发词pseudo_trigger；对于各类角色相关的领域知识role，使用该事件-角色下的至少三个实例作为其表达，并通过roberta获得伪触发词嵌入向量x
t
和角色知识嵌入向量rr。
19.更进一步的，步骤s5中，根据s4中的角色知识嵌入向量rr，在s1中的文本表征x基础上，通过注意力机制，得到角色知识增强的新文本表征xr，如下式：
[0020][0021][0022]
其中，为嵌入向量的维度，为归一化后角色知识嵌入向量rr对词xj的权重，为角色知识增强文本表征xr的索引为j的字符的表征；
[0023]
步骤s5中根据伪触发词嵌入向量x
t
，利用余弦相似度，从文本中找出在语义空间中与伪触发词最接近的词xc，作为文本事件的中心词，此交互过程不考虑文本中无意义的标点符号和特殊字符。
[0024]
更进一步的，步骤s6中对文本语法进行解析得到句法依存树，并计算在该树上任意一字符到事件中心词的距离接着结合文本顺序结构距离，构建二维距离矩阵m，并依此构建图卷积网络，生成领域知识增强文本表征xg[r]；在关于角色r的文本表征xg[r]上，使用相应于角色r的span分类器得到角色r的论元span的首尾端点概率序列和
[0025]
更进一步的，步骤s6中损失函数根据以下公式进行调整：
[0026][0027][0028]
其中，为在一事件类型et的实例中属于角色r且角色r出现次数大于1的论元数量，d为训练数据集，为事件类型et下角色r的损失权重，b为训练批数，ce为交叉熵，和为角色r的论元span的首尾端点的真实标注序列。
[0029]
更进一步的，步骤s6中论元选择算法的具体操作如下：
[0030]
步骤1、将概率序列中大于0.5的元素标注为1，其余标注为0；
[0031]
步骤2、使用结尾序列中的若干个1将起始序列划分为若干段，并保留起始序列每段的所有1中概率最大的1，其余1标注为0，同样地，反过来，在结尾序列上也进行该操作；
[0032]
步骤3、合并步骤2后的首尾序列，并进行遍历，将成对的起始和结尾端点纳入角色r的论元候选；
[0033]
步骤4、过滤论元候选中短于1或长于15字符的论元候选，即完成角色r的论元提取。
[0034]
更进一步的，分别将文本text和各事件类型et作为特征提取器roberta的输入，以roberta最后一层的输出作为文本表征x和各事件类型的文本表征向量，并对各事件类型的文本表征向量分别取平均，得到各事件类型的表征向量ei；
[0035]
步骤s2中将各事件类型表征ei分别与文本表征x交互，通过注意力机制加权得到各自的事件因子向量ei；
[0036]
步骤s3中使用两个不同的线性分类器分别对文本首字符[cls]的嵌入向量x0和事件因子向量ei进行分类，并经线性组合得到最后的多分类概率p，概率序列p中大于阈值θ的元素位置即被预测为文本中检测到的事件e。
[0037]
本发明的一种政务事件提取系统，包括：
[0038]
文本与事件类型表征提取模块，用于获得文本和各类事件类型的表征向量；
[0039]
事件因子表征获取模块，用于基于文本和事件类型的表征，获得文本对各类事件的因子向量；
[0040]
事件检测模块，用于通过分类器对文本和事件因子向量进行多分类，完成事件检测；
[0041]
领域知识表征生成模块，用于根据事件检测结果，构建事件伪触发词和各类角色的领域知识，并使用语言模型获得词的嵌入向量；
[0042]
知识增强表征模块，用于得到经角色知识向量交互的角色知识增强文本表征，并计算得到文本中与伪触发词语义最相似的字词作为事件中心词；以及
[0043]
事件论元提取模块，用于基于领域知识增强文本表征和事件中心词构建图卷积网络，根据领域数据集中事件同角色多论元的分布特征调整训练过程中的损失函数，并在推理阶段使用论元生成算法提取文本中的事件论元。
[0044]
本发明的一种电子设备，包括：
[0045]
存储器，存储有政务事件的提取程序；以及
[0046]
处理器，执行政务事件的提取程序，从而实现本发明的政务事件提取方法。
[0047]
本发明的一种存储介质，该存储介质上存储有政务事件的提取程序，该程序被处理器执行时实现本发明的政务事件提取方法。
[0048]
相比于现有技术，本发明可以取得以下有益效果：
[0049]
(1)本发明使用伪触发词代替数据集中的触发词，能够大幅度减少数据标注的工作量，使得事件提取技术更容易在行业中实施，从而促进技术的推广，且不大幅影响模型的效果。同时，本发明仍保留了触发词自身独特的作用，在提供触发词标注信息的数据集中，依旧可以应用本发明。
[0050]
(2)相比基于通用数据集上展开研究的事件提取技术，本发明有效利用领域知识引导分类器提取所有论元，并且依据领域数据分布的特点，提高模型的训练效率。因此本发明具有领域适应性和针对性，在政务方向上能够进一步提升模型的表现。
[0051]
(3)本发明不需要任何实体提及或是论元候选信息，且基于流水线模式对每一事件实例采用角色依赖的分类器提取角色各自的论元，能够应对文本多事件和论元角色重叠问题，因此本发明能够适用于各类情形，具有极强的通用性。
附图说明
[0052]
图1为本发明的一种基于知识引导和伪触发词的政务事件提取方法的流程图；
[0053]
图2为本发明的基于知识引导和伪触发词的政务事件提取系统的示意图。
具体实施方式
[0054]
下面结合具体实施例对本发明进一步进行描述。需要说明的是，下面具体实施例中以应用于服务器进行举例说明，但该方法也可以应用于终端，或通过服务器与终端交互实现。
[0055]
实施例1
[0056]
如图1所示，本实施例的一种基于知识引导和伪触发词的政务事件提取方法，包括以下步骤：
[0057]
步骤一、提取文本和各类事件类型的表征向量
[0058]
借助预训练语言模型获得文本和各类事件类型的表征向量，具体方法如下：
[0059]
分别将文本text和各事件类型eti作为特征提取器roberta的输入，得到文本表征x和各事件类型的表征向量ei，具体：
[0060]
x＝roberta([cls]text[sep])
[0061]ei
＝mean(roberta(eti))i∈[1,
…
,ne]
[0062]
其中[cls]与[sep]为预训练语言模型roberta词表中的特殊字符，ne为事件类型的数量，事件类型表征ei由对事件类型词语嵌入向量取平均(mean)得到。
[0063]
步骤二、获得文本对各类事件的因子向量
[0064]
基于所述文本和事件类型的表征，通过注意力机制获得文本对各类事件的因子向量，具体操作如下：
[0065]
借助注意力机制，所述事件类型表征ei分别与文本表征x交互，加权得到各自的事
件因子向量ei，具体公式如下：
[0066][0067][0068]
其中，xj为文本表征x中索引为j的token的表征，为事件类型表征向量ei对xj的权重。
[0069]
步骤三、事件检测
[0070]
通过分类器对文本和事件因子向量进行多分类，完成事件检测；具体地，使用两个不同的线性分类器分别对文本首字符[cls]的嵌入向量x0和事件因子向量ei进行分类，并合并得到最后的多分类概率p，公式如下：
[0071][0072][0073][0074]
p＝βlogitc+(1-β)logite[0075]
其中w1和w2与w3和w4分别是两个线性分类器的可训练参数，b1、b2、b3和b4为偏置量，relu为非线性激活函数，logitc为对句子表征分类得到的事件概率分布，logiti为文本属于事件类型i的概率，β为组合权重，concat操作用于将一维标量拼接为ne维向量logite，得到对事件因子分类的事件概率分布。
[0076]
概率序列p中大于阈值θ的元素位置被预测为文本中检测到的事件e。
[0077]
步骤四、领域知识构建和表征生成
[0078]
根据事件检测结果，构建事件伪触发词和各类角色的领域知识作为query，使用语言模型roberta获得词的嵌入向量，具体的：
[0079]
根据预测事件e，使用四个表达这类事件e发生的动词或者象征性短语以构建事件伪触发词pseudo_trigger。对于各类角色相关的领域知识role，可选地，使用该事件-角色下的三个实例作为其表达，并通过roberta获得伪触发词嵌入向量x
t
和角色知识嵌入向量rr，如下式所示：
[0080]
x
t
＝roberta(pseudo_trigger)
[0081]rr
＝roberta(roler)r∈[1,
…
,nr]
[0082]
其中，nr为事件论元角色的数量。
[0083]
步骤五、表征知识增强
[0084]
通过注意力机制得到经角色知识向量交互的角色知识增强文本表征，并通过余弦相似度计算得到文本中与伪触发词语义最相似的字词作为事件中心词，具体操作如下：
[0085]
(1)根据角色知识嵌入向量rr，在s1中的文本表征x基础上，通过注意力机制，得到角色知识增强的新文本表征xr，如下式：
[0086]
[0087][0088]
其中，为嵌入向量的维度，为归一化后角色知识嵌入向量rr对词xj的权重，为角色知识增强文本表征xr的索引为j的字符的表征。
[0089]
(2)根据伪触发词嵌入向量x
t
，利用余弦相似度，从文本中找出在语义空间中与伪触发词最接近的词xc，作为文本事件的中心词，具体如下：
[0090]
c＝argmax(vj)
[0091][0092][0093]
其中，为伪触发词嵌入向量中索引为k的token的表征，argmax()选取输入序列中最大值的索引，cosine()为余弦相似度计算函数，vj为平均相似度，c为词的索引。
[0094]
在此过程中，文本中的标点符号以及首位的特殊字符将被忽略，以便尽可能捕获到文本中最可能解释事件发生的动词。
[0095]
步骤六、事件论元提取
[0096]
基于领域知识增强文本表征和事件中心词构建图卷积网络，根据领域数据集中事件同角色多论元的分布特征调整训练过程中的损失函数，并在推理阶段使用论元生成算法提取文本中的事件论元，具体操作如下：
[0097]
(1)使用自然语言处理工具获得文本的句法依存树，并计算在该树上任意一字符到事件中心词的距离接着结合文本顺序结构距离，构建二维距离矩阵m，其矩阵元素m
ij
定义如下：
[0098][0099]m′
ij
＝1 i＝j
[0100][0101]
对于无法计算得到的结构距离则将其设置为顺序距离|i-c|。
[0102]
(2)在距离矩阵上，构建图卷积网络，即以一种新的方式聚合周围字词的表征信息x以及角色知识增强的文本表征xr，生成最终的领域知识增强文本表征xg[r]，其中字嵌入向量的生成公式如下：
[0103][0104]
其中，relu为非线性激活函数，和为图卷积网络的可训练参数，为领域知识增强文本表征xg[r]中索引为i的字符的表征。
[0105]
(3)在关于角色r的文本表征xg[r]上，使用两个相应于角色r的二分类器得到角色r的论元span的首尾端点概率序列和其元素生成公式如下：
[0106][0107][0108]
其中，和分别是文本中字符j是角色r的论元span的起始和结尾端点的概率，ws和we为可训练参数，bs和be为偏置量。
[0109]
(4)在训练过程中，统计训练数据集中事件的同角色多论元分布情况，以此调整损失函数loss，具体如下：
[0110][0111][0112]
其中，为在一事件类型et的实例中属于角色r且角色r出现次数大于1的论元数量，d为训练数据集，为事件类型et下角色r的损失权重，b为训练批数batchsize，ce为交叉熵crossentropy，和为角色r的论元span的首尾端点的真实标注序列。
[0113]
(5)在推理阶段，使用论元选择算法分别从角色r的论元span的首尾端点概率序列和r∈[1,
…
,nr]，选择算法具体如下：
[0114]
步骤1、将概率序列中大于0.5的元素标注为1，其余标注为0；
[0115]
步骤2、使用结尾序列中的若干个1将起始序列划分为若干段，并保留起始序列每段的所有1中概率最大的1，其余1标注为0，同样地，反过来，在结尾序列上也进行该操作；
[0116]
步骤3、合并步骤2后的首尾序列，并进行遍历，将成对的起始和结尾端点纳入角色r的论元候选；
[0117]
步骤4、过滤论元候选中短于1或长于15字符的论元候选，完成角色r的论元提取。
[0118]
经过上述论元选择算法后，完成事件论元提取。
[0119]
实施例2
[0120]
本实施例还提供了一种基于知识引导和伪触发词的政务事件提取系统，其主要基于前述实施例1提供的方法实现，如图2所示，该系统主要包括：
[0121]
文本与事件类型表征提取模块，借助预训练语言模型roberta获得文本和各类事件类型的表征向量；
[0122]
事件因子表征获取模块，基于文本和事件类型的表征，通过注意力机制获得文本对各类事件的因子向量；
[0123]
事件检测模块，通过分类器对文本和事件加权向量进行多分类，完成事件检测；
[0124]
领域知识表征生成模块，根据事件检测结果，构建事件伪触发词和各类角色的领域知识作为query，使用语言模型roberta获得词的嵌入向量；
[0125]
知识增强表征模块，通过注意力机制得到经上述角色知识向量交互的角色知识增强文本表征，并通过余弦相似度计算得到文本中与伪触发词语义最相似的字词作为事件中心词；以及
[0126]
事件论元提取模块，基于上述领域知识增强文本表征和事件中心词构建图卷积网络，根据领域数据集中事件同角色多论元的分布特征调整训练过程中的损失函数，并在推
理阶段使用论元生成算法提取文本中的事件论元。
[0127]
上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。本发明的系统也可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0128]
实施例3
[0129]
本实施例还提供了一种电子设备，其包括：
[0130]
存储器，存储有政务事件的提取程序；以及
[0131]
处理器，执行政务事件的提取程序，从而实现实施例1的政务事件提取方法。
[0132]
本实施例的一种存储介质，该存储介质上存储有政务事件的提取程序，该程序被处理器执行时实现实施例1的政务事件提取方法。

技术特征：
1.一种政务事件提取方法，其特征在于，包括以下步骤：s1、提取文本和各类事件类型的表征向量；s2、获得文本对各类事件的因子向量；s3、事件检测；通过分类器对文本和事件因子向量进行多分类，完成事件检测；s4、根据事件检测结果，构建事件伪触发词和各类角色的领域知识，使用语言模型获得其字词的嵌入向量；s5、得到经角色知识向量交互的角色知识增强文本表征，并计算得到文本中与伪触发词语义最相似的字词作为事件中心词；s6、基于领域知识增强文本表征和事件中心词构建图卷积网络，根据领域数据集中事件同角色多论元的分布特征调整训练过程中的损失函数，并在推理阶段使用论元生成算法提取文本中的事件论元。2.根据权利要求1所述的一种政务事件提取方法，其特征在于，步骤s4中，根据预测事件e，使用三至四个表达这类事件e发生的动词或者象征性短语以构建事件伪触发词pseudo_trigger；对于各类角色相关的领域知识role，使用该事件-角色下的至少三个实例作为其表达，并通过roberta获得伪触发词嵌入向量x
t
和角色知识嵌入向量r
r
。3.根据权利要求2所述的一种政务事件提取方法，其特征在于，步骤s5中，根据s4中的角色知识嵌入向量r
r
，在s1中的文本表征x基础上，通过注意力机制，得到角色知识增强的新文本表征x
r
，如下式：，如下式：其中，为嵌入向量的维度，为归一化后角色知识嵌入向量r
r
对词x
j
的权重，为角色知识增强文本表征x
r
的索引为j的字符的表征；步骤s5中根据伪触发词嵌入向量x
t
，利用余弦相似度，从文本中找出在语义空间中与伪触发词最接近的词x
c
，作为文本事件的中心词。4.根据权利要求3所述的一种政务事件提取方法，其特征在于，步骤s6中对文本语法进行解析得到句法依存树，并计算在该树上任意一字符到事件中心词的距离接着结合文本顺序结构距离，构建二维距离矩阵m，并依此构建图卷积网络，生成领域知识增强文本表征x
g
[r]；在关于角色r的文本表征x
g
[r]上，使用相应于角色r的span分类器得到角色r的论元span的首尾端点概率序列和5.根据权利要求4所述的一种政务事件提取方法，其特征在于，步骤s6中损失函数根据以下公式进行调整：以下公式进行调整：
其中，为在一事件类型et的实例中属于角色r且角色r出现次数大于1的论元数量，d为训练数据集，为事件类型et下角色r的损失权重，b为训练批数，ce为交叉熵，和为角色r的论元span的首尾端点的真实标注序列。6.根据权利要求5所述的一种政务事件提取方法，其特征在于，步骤s6中论元选择算法的具体操作如下：步骤1、将概率序列中大于0.5的元素标注为1，其余标注为0；步骤2、使用结尾序列中的若干个1将起始序列划分为若干段，并保留起始序列每段的所有1中概率最大的1，其余1标注为0，同样地，反过来，在结尾序列上也进行该操作；步骤3、合并步骤2后的首尾序列，并进行遍历，将成对的起始和结尾端点纳入角色r的论元候选；步骤4、过滤论元候选中短于1或长于15字符的论元候选，即完成角色r的论元提取。7.根据权利要求1-6中任一项所述的一种政务事件提取方法，其特征在于，步骤s1中借助预训练语言模型获得文本和各类事件类型的表征向量，具体方法如下：分别将文本text和各事件类型et作为特征提取器roberta的输入，以roberta最后一层的输出作为文本表征x和各事件类型的文本表征向量，并对各事件类型的文本表征向量分别取平均，得到各事件类型的表征向量e
i
；步骤s2中基于文本和事件类型的表征，获得文本对各类事件的因子向量，具体的，将各事件类型表征e
i
分别与文本表征x交互，通过注意力机制加权得到各自的事件因子向量e
i
；步骤s3中通过分类器对文本和事件因子向量进行多分类，完成事件检测；具体的，使用两个不同的线性分类器分别对文本首字符[]的嵌入向量x0和事件因子向量e
i
进行分类，并经线性组合得到最后的多分类概率p，概率序列p中大于阈值θ的元素位置即被预测为文本中检测到的事件e。8.一种政务事件提取系统，其特征在于，包括：文本与事件类型表征提取模块，用于获得文本和各类事件类型的表征向量；事件因子表征获取模块，用于基于文本和事件类型的表征，获得文本对各类事件的因子向量；事件检测模块，用于通过分类器对文本和事件因子向量进行多分类，完成事件检测；领域知识表征生成模块，用于根据事件检测结果，构建事件伪触发词和各类角色的领域知识，并使用语言模型获得词的嵌入向量；知识增强表征模块，用于得到经角色知识向量交互的角色知识增强文本表征，并计算得到文本中与伪触发词语义最相似的字词作为事件中心词；以及事件论元提取模块，用于基于领域知识增强文本表征和事件中心词构建图卷积网络，根据领域数据集中事件同角色多论元的分布特征调整训练过程中的损失函数，并在推理阶段使用论元生成算法提取文本中的事件论元。9.一种电子设备，其特征在于，包括：存储器，存储有政务事件的提取程序；以及处理器，执行政务事件的提取程序，从而实现权利要求1-7中任一项所述的方法。10.一种存储介质，其特征在于：该存储介质上存储有政务事件的提取程序，该程序被处理器执行时实现权利要求1-7中任一项所述的方法。

技术总结
本发明公开了一种政务事件提取方法、提取系统、电子设备及存储介质，属于自然语言中事件提取技术领域。本发明的政务事件提取方法包括以下步骤：步骤一、提取文本和各类事件类型的表征向量；步骤二、获得文本对各类事件的因子向量；步骤三、事件检测；步骤四、领域知识构建和表征生成；步骤五、表征知识增强；步骤六、事件论元提取。采用本发明的技术方案可大幅度减少传统事件提取技术所需的数据标注的工作量，且具有较大的通用性和领域适应性。且具有较大的通用性和领域适应性。且具有较大的通用性和领域适应性。


技术研发人员：陈恩红 陈钢 连德富 丁正泉
受保护的技术使用者：长三角信息智能创新研究院
技术研发日：2023.05.08
技术公布日：2023/8/9