无标注语料下的问答自动抽取方法及系统与流程

1.本发明涉及自然语言文字处理技术领域，尤其涉及一种无标注语料下的问答自动抽取方法及系统。


背景技术：

2.问答句对(qa pair)是自动问答系统的主要语料素材，目前获得问答句对的方式主要采用人工方式收集，或以人工为基础，将收集的问答句对作为标注语料，训练基于神经网络的端对端模型，然后基于模型预测(生成)问题或答案。采用人工方式效率很低，难以满足复杂多变的实际应用需要，而基于端对端模型，也需要大量标注数据及极高算力，而生成结果通常异于原始数据，效果无法控制，面对不同应用场景时，需要重新收集语料和训练高耗时模型。


技术实现要素：

3.本发明的目的在于提供一种无标注语料下的问答自动抽取方法及系统，从而解决现有技术中存在的前述问题。
4.为了实现上述目的，本发明采用的技术方案如下：
5.一种无标注语料下的问答自动抽取方法，包括如下步骤，
6.s1、问答单句识别：识别对话记录中的疑问句和陈述句；
7.s2、问答句对齐：将对话记录组合为问答句，采用tf-idf模型计算问答句的特征词向量，将特征词向量输入到训练好的lda模型中预测问句和答句在主题上的概率分布，基于概率分布计算问答对的对称kl散度，并将对称kl散度小于对称kl散度阈值的问答句视为主题相关的问答对；
8.s3、问答句归并：将主题相关的问答对中问句语义相似且答句语义相似的问答对归并为一个问答对集合，抽取各问答对集合的中心问答对作为该问答对集合的代表问答对；
9.s4、问答句过滤：排除代表问答对中的对特定垂域无效的问答对及出现频率低、可靠性低的问答对，将剩余的代表问答对作为最终的问答句。
10.优选的，步骤s2中将对话记录组合为问答句具体为，根据对话记录中的角色、时间顺序、句型，按照组合规则将对话记录中的问句和答句组合为问答句。
11.优选的，所述组合规则包括，问句和答句必须分属不同的角色；在时间顺序上问句先于答句，并且邻接；问句是疑问句，答句是陈述句。
12.优选的，步骤s2中采用tf-idf计算问答句的特征词向量具体为，
13.s211、对问答句进行语料分词并停用词表过滤；
14.s212、利用tf-idf模型获取问答句的特征词向量，公式如下，
15.tf-idf(w，s，i，j)＝tf(w，s，i，j)
×
idf(w，s，i，j)
[0016][0017][0018]
contain(wi，sj)＝[in(wi，sj)]
iverson
[0019]
wi∈w＝{w1，w2，
…
，wn}
[0020]
sj∈s＝{s1，s2，
…
，sm}
[0021]
其中，w为词条集合，集合基数为n；s为句子集合，集合基数为m，i为w中词条的索引，j为s中句子的索引；tf-idf模型包括词项频率模型tf和逆向文档频率模型idf；tf-idf(w，s，i，j)为tf-idf模型的计算函数，由tf模型的计算函数tf(w，s，i，j)和idf模型的计算函数idf(w，s，i，j)构成，即给定包含n个词条的词条集合w和包含m个句子的句子集合s，计算第i个词条在第j个单句的tf-idf值；contain(wi，sj)为计数函数，即词条wi在单句sj中的数量，contain(wi，sj)通过艾佛森括号[]
iverson
判断命题in(wi，sj)是否成立，进而确定词条wi是否存在单句sj中，成立时contain(wi，sj)为1，不成立时contain(wi，sj)为0；命题in(wi，sj)指词条wi是否存在单句sj中。
[0022]
优选的，步骤s2中，将特征词向量输入到训练好的lda模型中预测问句和答句在主题上的概率分布，基于概率分布计算问答对的对称kl散度，并将对称kl散度小于对称kl散度阈值的问答句视为主题相关的问答对，具体为，
[0023]
s221、将问答对的特征词向量输入到训练好的lda模型中，获取问句和答句在主题上的概率分布a和b；
[0024]
s222、计算两个概率分布之间的对称kl散度，
[0025][0026]
其中，skld是对称kl散度计算函数；a和b为两组需要比较的概率分布，具体为由lda模型生成的两组主题分布向量；为a对于b和b对于a的kl散度的协调均值；kld(a||b)为a对于b的kl散度，kld(b||a)为b对于a的kl散度；
[0027]
对于连续型随机变量x，a对于b的kl散度为，
[0028][0029]
对于离散型随机变量x，a对于b的kl散度为，
[0030][0031]
其中，kld为kl散度计算函数；p(x)为随机向量x的分布，当x的状态给定时，p(x)为
该状态下的概率，q(x)为随机向量x的比较分布，当x的状态给定时，q(x)为该状态下的比较概率；p(x
t
)为随机变量x在第t状态下的概率，q(x
t
)为随机变量x在第t状态下的比较概率；t＝1,2,
…
,t,t为状态总数；
[0032]
s223、将对称kl散度小于对称kl散度阈值的问答对视为主题相关的问答对。
[0033]
优选的，对称kl散度阈值的获取方式为，将少量人工确定的样本问答对采用s221-s222获取对应的对称kl散度，并将其中最大的对称kl散度作为对称kl散度阈值。
[0034]
优选的，步骤s3中问答对集合的中心问答对确定方式为，计算问答对集合中每个问答对与集合中其他问答对之间的语义距离，将语义距离平均值小且语义距离方差小的问答对作为问答对集合的中心问答对。
[0035]
优选的，语义距离平均值小且语义距离方差小的问答对筛选方式为，
[0036]
s31、对语义距离平均值和语义距离方差按大小二分，形成四象限；
[0037]
s32、选择语义距离平均值和语义距离方差小的象限中的问答对；
[0038]
s33、重复上述过程，直至仅剩唯一的问答对即为该问答对集合的中心问答对。
[0039]
优选的，步骤s4具体为，
[0040]
对特定垂域无效的问答对：该类问答对指的是在非特定领域出现频率超过预设频率阈值的问答对；基于无效问答对语料训练文本分类模型预测各代表问答对在非特定领域出现频率，并根据预测结果与预设频率阈值之间的大小关系，自动排除此类对特定垂域无效的问答对；
[0041]
出现频率低、可靠性低的问答对：该类问答对即为其所属的问答对集合的基数小于基数阈值；则排除所属的问答对集合的基数小于基数阈值的代表问答对。
[0042]
本发明的目的还在于提供一种无标注预料下的问答自动抽取系统，系统用于实现上述任一所述的方法，系统包括，
[0043]
问答单句识别模块：用于识别对话记录中的疑问句和陈述句；
[0044]
问答句对齐模块：用于将对话记录组合为问答句，采用tf-i df模型计算问答句的特征词向量，将特征词向量输入到训练好的lda模型中预测问句和答句在主题上的概率分布，基于概率分布计算问答对的对称kl散度，并将对称kl散度小于对称kl散度阈值的问答句视为主题相关的问答对；
[0045]
问答句归并模块：用于将主题相关的问答对中问句语义相似且答句语义相似的问答对归并为一个问答对集合，抽取各问答对集合的中心问答对作为该问答对集合的代表问答对；
[0046]
问答句过滤模块：用于排除代表问答对中的对特定垂域无效的问答对以及出现频率低、可靠性低的问答对，将剩余的代表问答对作为最终的问答句。
[0047]
本发明的有益效果是：1、本发明方法能够在多个领域的对话数据中抽取出问答对，无需在该领域下对问答对进行人工标注，同时抽取过程可完全自动化，极大降低人力成本，同时保证了处理结果的稳定性和一致性。2、本发明方法中所采用的通用领域问答对(特定领域无效)仅需少量人工标注，如果在实际应用中不需要排除这类通用问答对，那么所提出的方法可以完全不需要人工标注的问答对。3、本发明方法在对低频问答对的处理中，也可以采用阈值自动校验，而不采用人工校验，确保所提出的方法完全自动化。
附图说明
[0048]
图1是本发明实施例中方法的原理流程图；
[0049]
图2是本发明实施例中lda模型的示意图；
[0050]
图3是本发明实施例中系统的结构示意图。
具体实施方式
[0051]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
[0052]
实施例一
[0053]
如图1所示，本实施例中，提供了一种无标注语料下的问答自动抽取方法，具体包括四个步骤，分别如下，
[0054]
一、问答单句识别
[0055]
识别对话记录中的疑问句和陈述句。识别方法可以采用现有技术中的方法，如专利zl202210126096.0“无标注语料下的句型自动判别方法”。
[0056]
二、问答句对齐
[0057]
将对话记录组合为问答句，采用tf-i df模型计算问答句的特征词向量，将特征词向量输入到训练好的lda模型中预测问句和答句在主题上的概率分布，基于概率分布计算问答对的对称kl散度，并将对称kl散度小于对称kl散度阈值的问答句视为主题相关的问答对。
[0058]
1、将对话记录组合为问答句，具体为，
[0059]
根据对话记录中的角色、时间顺序、句型(疑问、陈述)，按照组合规则将对话记录中的问句和答句组合为问答句。所述组合规则包括，
[0060]
(1)问句和答句必须分属不同的角色；
[0061]
(2)在时间顺序上问句先于答句，并且邻接；
[0062]
(3)问句是疑问句，答句是陈述句。
[0063]
2、采用tf-idf计算问答句的特征词向量，具体包括如下步骤，
[0064]
2.1、对问答句进行语料分词并停用词表过滤；
[0065]
2.2、利用tf-idf模型获取问答句的特征词向量，公式如下，
[0066]
tf-idf(w，s，i，j)＝tf(w，s，i，j)
×
idf(w，s，i，j)
[0067][0068][0069]
contain(wi，sj)＝[in(wi，sj)]
iverson
[0070]
wi∈w＝{w1，w2，
…
，wn}
[0071]
sj∈s＝{s1，s2，
…
，sm}
[0072]
其中，w为词条集合(项集合)，集合基数为n；s为句子集合(文档集合)，集合基数为
m，i为w中词条的索引(第i词条)，j为s中句子的索引(第j句子)；tf-idf模型包括词项频率模型tf和逆向文档频率模型idf；tf-idf(w，s，i，j)为tf-idf模型的计算函数，由tf模型的计算函数tf(w，s，i，j)和idf模型的计算函数idf(w，s，i，j)构成，即给定包含n个词条的词条集合w和包含m个句子的句子集合s，计算第i个词条在第j个单句的tf-idf值；contain(wi，sj)为计数函数，即词条wi在单句sj中的数量，contain(wi，sj)通过艾佛森括号[]
iverson
判断命题in(wi，sj)是否成立，进而确定词条wi是否存在单句sj中，成立时contain(wi，sj)为1，不成立时contain(wi，sj)为0；命题in(wi，sj)指词条wi是否存在单句sj中。
[0073]
本实施例中，tf-idf模型构造特征词矩阵，具体为句子转化为特征词向量，句子集合转化为多个同维度特征词向量，组成特征词矩阵，为降低复杂度也可采用词袋(word bag)计数的稀疏矩阵结构。为降低特征向量数量，可采用分领域文档集合，即分领域的句子集合，以文档(多句集合)替代单句。特征向量维度为采用的有效词条数，为降低维度，可加大停用词表，或给定有效词表。
[0074]
3、将特征词向量输入到训练好的lda模型中预测问句和答句在主题上的概率分布，基于概率分布计算问答对的对称kl散度，并将对称kl散度小于对称kl散度阈值的问答句视为主题相关的问答对，具体包括如下步骤，
[0075]
3.1、将问答对的特征词向量输入到训练好的lda模型中，获取问句和答句在主题上的概率分布(即概率向量)a和b。
[0076]
本实施例中，对于lda模型，需要提前对其进行训练，使其达到最佳状态，获取训练好的lda模型，可以选取部分历史问答句，经该步骤之前的相关内容进行处理后获取相应的特征词向量，输入到lda模型中对其进行训练，获取训练好的lda模型。
[0077]
本实施例中，lda模型是一种典型的概率图模型(probabilistic graphical models)，参见附图2，其中节点(α、β、θ、φ、z、w)表示服从特定分布的随机变量，z代表主题编号，w代表词条，其他希腊字母代表随机变量为超参数和隐变量，图整体代表一个由这些随机变量组成的联合分布。箭头表示条件分布，即箭头头部随机变量服从以箭头尾部随机变量为条件(参数)的特定分布，尾部随机变量称为先验随机变量，其服从的分布称为先验分布，θ服从α为超参数的狄利克雷分布(dirichlet)，φ服从β为超参数的狄利克雷分布，z服从以θ为超参数的多项分布(multinomial)，w服从z为条件并以φ为超参数的多项分布。方框(plate，也称盘子)表示其内部的随机变量为多个，数量被标记在方框内(如n、m、k表示序号)，双环节点w为观察变量。对于概率图模型一般可采用采样法进行训练(即参数估计)，如马尔科夫链蒙特卡洛(mcmc)，具体到lda可采用吉布斯采样法(gibbs sampling)。实践中，可采用python开发包scikit-learn中的latentdirichletallocation协助实现该模型算法。
[0078]
3.2、计算两个概率分布之间的对称kl散度，
[0079][0080]
其中，skd是对称kl散度计算函数；a和b为两组需要比较的概率分布，具体为由lda
模型生成的两组主题分布向量；为a对于b和b对于a的kl散度的协调均值；kld(a||b)为a对于b的kl散度，kld(b||a)为b对于a的kl散度。
[0081]
为了与kl散度值意义保持一致，当主题分布a和b相等时(每个分量都相等)，skld为0，否则计算a对于b和b对于a的kl散度的协调均值。
[0082]
对于连续型随机变量x，a对于b的kl散度为，
[0083][0084]
对于离散型随机变量x，a对于b的kl散度为，
[0085][0086]
其中，kld为kl散度计算函数；p(x)为随机向量x的分布，当x的状态给定时，p(x)为该状态下的概率，q(x)为随机向量x的比较分布，当x的状态给定时，q(x)为该状态下的比较概率；p(x
t
)为随机变量x在第t状态下的概率，q(x
t
)为随机变量x在第t状态下的比较概率；t＝1,2,
…
,t,t为状态总数。
[0087]
本实施例中，a和b可视为离散型分布，对称函数采用协调均值(harmonic mean),主要考虑kl散度为0时a和b相等，我们倾向于对称值更偏向更小值，即偏向于0，而相对与算术均值和几何均值，协调均值更小。(加权)协调均值为标准形式为，
[0088][0089]
其中,hm是协调均值计算函数；x1,x2,
…
xn为需要计算均值的样例值，下角标w1,w2,
…
wn为对应样例的值的权重集合。结合离散kl散度和协调均值，构造对称kl散度函数，进而计算两个概率分布之间的对称kl散度。
[0090]
3.3、将对称kl散度小于对称kl散度阈值的问答对视为主题相关的问答对。
[0091]
对称kl散度阈值的获取方式为，将少量人工确定的样本问答对采用3.1-3.2获取对应的对称kl散度，并将其中最大的对称kl散度作为对称kl散度阈值。
[0092]
三、问答句归并
[0093]
将主题相关的问答对中问句语义相似且答句语义相似的问答对归并为一个问答对集合，抽取各问答对集合的中心问答对作为该问答对集合的代表问答对。
[0094]
该阶段将问答对中，问句语义相似且回答语义相似的问答对归并。实际应用中，当存在一定量的特定领域(垂域)对话数据时，其中特定语义的问答对通常不会孤立存在，即通常存在多组语义相似的问答对集合，且集合的基数(集合元素数量)越大，该集合中的问答对在该垂域中约典型，从统计角度上看，该集合所包含的问答对越可靠。
[0095]
生成上述问答对集合采用问答句聚类算法可以为现有方法，如专利zl202210423090.x“一种适应低算力的大规模相似语句自动抽取方法”中的聚类算法，其包含增量层次化聚类及聚类相似度阈值下限启发算法两个部分。基于问答句聚类结果，将问
句及回答同属一类的问答对归为一个问答对集合，之后抽取问答对集合中的中心问答对作为该问答对集合的代表问答对。
[0096]
问答对集合的中心问答对确定方式为，计算问答对集合中每个问答对与集合中其他问答对之间的语义距离，将语义距离平均值小且语义距离方差小的问答对作为问答对集合的中心问答对。其中，语义距离平均值小且语义距离方差小的问答对筛选方式为，
[0097]
(1)、对语义距离平均值和语义距离方差按大小二分，形成四象限；
[0098]
(2)、选择语义距离平均值和语义距离方差小的象限中的问答对；
[0099]
(3)、重复上述过程，直至仅剩唯一的问答对即为该问答对集合的中心问答对。
[0100]
本实施例中，语义距离的计算方式也采用专利zl202210423090.x“一种适应低算力的大规模相似语句自动抽取方法”中的语义距离计算方式。
[0101]
四、问答句过滤
[0102]
排除代表问答对中的对特定垂域无效的问答对及出现频率低、可靠性低的问答对，将剩余的代表问答对作为最终的问答句。
[0103]
1、对特定垂域无效的问答对：该类问答对指的是在非特定领域出现频率超过预设频率阈值的问答对，比如
‘
a：你怎么样，b：很好’，
‘
a：能等一下吗，b：好的’；基于无效问答对语料训练文本分类模型预测各代表问答对在非特定领域出现频率，并根据预测结果与预设频率阈值之间的大小关系，自动排除此类对特定垂域无效的问答对；
[0104]
2、出现频率低、可靠性低的问答对：该类问答对即为其所属的问答对集合的基数小于基数阈值；则排除所属的问答对集合的基数小于基数阈值的代表问答对。在问答句归并阶段，已经将问答对根据语义相似性聚类，所生成的语义相似的问答对集合的基数如果很低，那么该问答对可能偶然发生，不具代表性。采用人工方式校验时，可以仅将这类基数低的问答对集合作为校验对象，降低人工校验量，而自动排除时，可以根据实际经验指定基数最小阈值，低于该阈值的问答对集合将被抛弃。
[0105]
如图3所示，本实施例中，提供了一种无标注预料下的问答自动抽取系统，系统用于实现上述所述的方法，系统包括，
[0106]
问答单句识别模块：用于识别对话记录中的疑问句和陈述句；
[0107]
问答句对齐模块：用于将对话记录组合为问答句，采用tf-i df模型计算问答句的特征词向量，将特征词向量输入到训练好的lda模型中预测问句和答句在主题上的概率分布，基于概率分布计算问答对的对称kl散度，并将对称kl散度小于对称kl散度阈值的问答句视为主题相关的问答对；
[0108]
问答句归并模块：用于将主题相关的问答对中问句语义相似且答句语义相似的问答对归并为一个问答对集合，抽取各问答对集合的中心问答对作为该问答对集合的代表问答对；
[0109]
问答句过滤模块：用于排除代表问答对中的对特定垂域无效的问答对以及出现频率低、可靠性低的问答对，将剩余的代表问答对作为最终的问答句。
[0110]
实施例二
[0111]
本实施例中，本发明方法对算力要求较低，在4核16g内存服务器上便可正常实施，处理时间与对话数据规模呈线性正相关关系，处理10万通级别规模对话记录的时间约1天。以我们在某领域上的实施情况为例，规模为85000通(1通指从对话开始到对话结束的1次完
整多轮对话，按句计约100万句)的原始对话记录，执行问答句型判别时间约为2小时，对齐8小时，归并12小时，过滤1小时，总共约23小时，抽取出问答对约为23000对，人工抽检500对，确认为正确问答对(正确指，问答对中问句和回答为正确的对应关系，记为标准a)496对，正确率99.2％，通过对过滤算法调节，可以更严格的确定领域相关性和统计可靠性，约获得12500对，人工抽检300对(除正确的问答对应关系外，考虑领域相关性，记为标准b)，标准a正确率为100％，标准b正确率94.3％。正确率满足实际需求，直接作为后续计算模型的训练语料及输入数据。
[0112]
本实施例中，给出如下实例，具体说明本发明方法的执行过程：
[0113]
对话记录如下表：
[0114][0115]
抽取结果如下表：
[0116][0117]
计算过程：
[0118]“我家有新生儿*天黄疸值比较高需要照蓝光。我想问问您这有没有母婴同室照蓝光的服务，妈妈可以和孩子待在一起陪她的”作为a句；
[0119]“我院是可以照蓝光的，但是没有母婴同室的”作为b句；
[0120]
1、问答单句识别：a识别为疑问句，b识别为陈述句。
[0121]
2、问答句对齐：a和b为不同的角色且时序邻接，主题近似(母婴，蓝光治疗)。
[0122]
3、问答句归并：a为问句与其它问句语义聚类为c，b为回答与其它回答聚类为d，c和d中，a与其它问句、b与其它回答的语义距离均值、方差较小，被选出作为此类问答代表问答句对。
[0123]
4、问答句过滤：与已有的通用问答对比计算，a和b不属于通用问答句(比如寒暄)，而且作为同类问答在对话记录中总频次高于阈值(此例中为3)。确定a和b保留为结果。
[0124]
通过采用本发明公开的上述技术方案，得到了如下有益的效果：
[0125]
本发明提供了一种无标注语料下的问答自动抽取方法及系统，本发明方法能够在多个领域的对话数据中抽取出问答对，无需在该领域下对问答对进行人工标注，同时抽取过程可完全自动化，极大降低人力成本，同时保证了处理结果的稳定性和一致性。本发明方
法中所采用的通用领域问答对(特定领域无效)仅需少量人工标注，如果在实际应用中不需要排除这类通用问答对，那么所提出的方法可以完全不需要人工标注的问答对。本发明方法在对低频问答对的处理中，也可以采用阈值自动校验，而不采用人工校验，确保所提出的方法完全自动化。
[0126]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

技术特征：
1.一种无标注语料下的问答自动抽取方法，其特征在于：包括如下步骤，s1、问答单句识别：识别对话记录中的疑问句和陈述句；s2、问答句对齐：将对话记录组合为问答句，采用tf-idf模型计算问答句的特征词向量，将特征词向量输入到训练好的lda模型中预测问句和答句在主题上的概率分布，基于概率分布计算问答对的对称kl散度，并将对称kl散度小于对称kl散度阈值的问答句视为主题相关的问答对；s3、问答句归并：将主题相关的问答对中问句语义相似且答句语义相似的问答对归并为一个问答对集合，抽取各问答对集合的中心问答对作为该问答对集合的代表问答对；s4、问答句过滤：排除代表问答对中的对特定垂域无效的问答对及出现频率低、可靠性低的问答对，将剩余的代表问答对作为最终的问答句。2.根据权利要求1所述的无标注语料下的问答自动抽取方法，其特征在于：步骤s2中将对话记录组合为问答句具体为，根据对话记录中的角色、时间顺序、句型，按照组合规则将对话记录中的问句和答句组合为问答句。3.根据权利要求2所述的无标注语料下的问答自动抽取方法，其特征在于：所述组合规则包括，问句和答句必须分属不同的角色；在时间顺序上问句先于答句，并且邻接；问句是疑问句，答句是陈述句。4.根据权利要求1所述的无标注语料下的问答自动抽取方法，其特征在于：步骤s2中采用tf-idf计算问答句的特征词向量具体为，s211、对问答句进行语料分词并停用词表过滤；s212、利用tf-idf模型获取问答句的特征词向量，公式如下，tf-idf(w，s，i，j)＝tf(w，s，i，j)
×
idf(w，s，i，j)idf(w，s，i，j)contain(w
i
，s
j
)＝[in(w
i
，s
j
)]
iverson
w
i
∈w＝{w1，w2，
…
，w
n
}s
j
∈s＝{s1，s2，
…
，s
m
}其中，w为词条集合，集合基数为n；s为句子集合，集合基数为m，i为w中词条的索引，j为s中句子的索引；tf-idf模型包括词项频率模型tf和逆向文档频率模型idf；tf-idf(w，s，i，j)为tf-idf模型的计算函数，由tf模型的计算函数tf(w，s，i，j)和idf模型的计算函数idf(w，s，i，j)构成，即给定包含n个词条的词条集合w和包含m个句子的句子集合s，计算第i个词条在第j个单句的tf-idf值；contain(w
i
，s
j
)为计数函数，即词条w
i
在单句s
j
中的数量，contain(w
i
，s
j
)通过艾佛森括号[]
iverson
判断命题in(w
i
，s
j
)是否成立，进而确定词条w
i
是否存在单句s
j
中，成立时contain(w
i
，s
j
)为1，不成立时contain(w
i
，s
j
)为0；命题in(w
i
，s
j
)指词条w
i
是否存在单句s
j
中。5.根据权利要求1所述的无标注语料下的问答自动抽取方法，其特征在于：步骤s2中，将特征词向量输入到训练好的lda模型中预测问句和答句在主题上的概率分布，基于概率
分布计算问答对的对称kl散度，并将对称kl散度小于对称kl散度阈值的问答句视为主题相关的问答对，具体为，s221、将问答对的特征词向量输入到训练好的lda模型中，获取问句和答句在主题上的概率分布a和b；s222、计算两个概率分布之间的对称kl散度，其中，skld是对称kl散度计算函数；a和b为两组需要比较的概率分布，具体为由lda模型生成的两组主题分布向量；为a对于b和b对于a的kl散度的协调均值；kld(a||b)为a对于b的kl散度，kld(b||a)为b对于a的kl散度；对于连续型随机变量x，a对于b的kl散度为，对于离散型随机变量x，a对于b的kl散度为，其中，kld为kl散度计算函数；p(x)为随机向量x的分布，当x的状态给定时，p(x)为该状态下的概率，q(x)为随机向量x的比较分布，当x的状态给定时，q(x)为该状态下的比较概率；p(x
t
)为随机变量x在第t状态下的概率，q(x
t
)为随机变量x在第t状态下的比较概率；t＝1，2，
…
，t，t为状态总数；s223、将对称kl散度小于对称kl散度阈值的问答对视为主题相关的问答对。6.根据权利要求5所述的无标注语料下的问答自动抽取方法，其特征在于：对称kl散度阈值的获取方式为，将少量人工确定的样本问答对采用s221-s222获取对应的对称kl散度，并将其中最大的对称kl散度作为对称kl散度阈值。7.根据权利要求1所述的无标注语料下的问答自动抽取方法，其特征在于：步骤s3中问答对集合的中心问答对确定方式为，计算问答对集合中每个问答对与集合中其他问答对之间的语义距离，将语义距离平均值小且语义距离方差小的问答对作为问答对集合的中心问答对。8.根据权利要求7所述的无标注语料下的问答自动抽取方法，其特征在于：语义距离平均值小且语义距离方差小的问答对筛选方式为，s31、对语义距离平均值和语义距离方差按大小二分，形成四象限；s32、选择语义距离平均值和语义距离方差小的象限中的问答对；s33、重复上述过程，直至仅剩唯一的问答对即为该问答对集合的中心问答对。9.根据权利要求1所述的无标注语料下的问答自动抽取方法，其特征在于：步骤s4具体为，
对特定垂域无效的问答对：该类问答对指的是在非特定领域出现频率超过预设频率阈值的问答对；基于无效问答对语料训练文本分类模型预测各代表问答对在非特定领域出现频率，并根据预测结果与预设频率阈值之间的大小关系，自动排除此类对特定垂域无效的问答对；出现频率低、可靠性低的问答对：该类问答对即为其所属的问答对集合的基数小于基数阈值；则排除所属的问答对集合的基数小于基数阈值的代表问答对。10.无标注预料下的问答自动抽取系统，其特征在于，系统用于实现上述权利要求1至9任一所述的方法，系统包括，问答单句识别模块：用于识别对话记录中的疑问句和陈述句；问答句对齐模块：用于将对话记录组合为问答句，采用tf-idf模型计算问答句的特征词向量，将特征词向量输入到训练好的lda模型中预测问句和答句在主题上的概率分布，基于概率分布计算问答对的对称kl散度，并将对称kl散度小于对称kl散度阈值的问答句视为主题相关的问答对；问答句归并模块：用于将主题相关的问答对中问句语义相似且答句语义相似的问答对归并为一个问答对集合，抽取各问答对集合的中心问答对作为该问答对集合的代表问答对；问答句过滤模块：用于排除代表问答对中的对特定垂域无效的问答对以及出现频率低、可靠性低的问答对，将剩余的代表问答对作为最终的问答句。

技术总结
本发明公开了一种无标注语料下的问答自动抽取方法及系统，包括识别对话记录中的疑问句和陈述句；将对话记录组合为问答句，采用TF-IDF模型计算问答句的特征词向量，利用LDA模型预测问句和答句在主题上的概率分布，计算问答对的对称KL散度，根据对称KL散度确定主题相关的问答对；将主题相关的问答对中问句语义相似且答句语义相似的问答对归并为一个问答对集合，抽取各问答对集合的中心问答对作为该集合的代表问答对；排除代表问答对中的对特定垂域无效的问答对以及出现频率低、可靠性低的问答对。优点是：能够在多个领域的对话数据中抽取出问答对，无需对问答对进行人工标注，抽取过程可完全自动化，极大降低人力成本，保证了处理结果的稳定性和一致性。理结果的稳定性和一致性。理结果的稳定性和一致性。


技术研发人员：邴立新
受保护的技术使用者：北京易聊科技有限公司
技术研发日：2023.05.17
技术公布日：2023/10/7