基于多轮问答的文本处理方法、装置、设备及存储介质与流程

1.本技术涉及金融科技技术领域，尤其涉及一种基于多轮问答的文本处理方法、装置、设备及存储介质。


背景技术：

2.随着计算机技术的发展，越来越多的技术(例如：大数据、云计算或区块链)应用在金融领域，传统金融业正在逐步向金融科技转变。例如，在金融业务办理的应用中，经常会使用到基于对话型阅读理解搭建的模型为人们提供相应的交互服务。对话型阅读理解又叫多轮问答阅读理解，模型需要根据当前的问题从参考文本中找到对应的答案输出，但跟一般的单轮阅读理解模型不同，大多数问题都是基于对话语境提出，即想要准确地理解当前问题的语义需要结合对话的上下文。
3.历史建模和指代消解问题是现有多轮对话系统面临的最大挑战，历史建模指的是在一个对话中，不同轮数的问与答是互相联系的，对于一个很长的对话来说，可能在结尾处提到开头的一个问题或者答案。指代消解跟历史建模相似，但是本质不同，指代消解指的是当问题中出现代词，而这个代词实际上代指上一轮的某一个主语，历史建模更关注显性对话信息本身的变化和记忆。
4.相关技术方案中，在语义模型的历史建模过程中，最常见的方式就是把历史所有轮数的问答跟当前的问题拼接在一起，交给模型进行推理，这种方式容易引入大量噪音导致预测推理结果的准确率较低，可解释性差，与客户的交互服务效果不理想。


技术实现要素：

5.本技术实施例的主要目的在于提出一种基于多轮问答的文本处理方法、装置、设备及存储介质，提高在多轮问答过程中答案推理的准确性。
6.为实现上述目的，本技术实施例的第一方面提出了一种基于多轮问答的文本处理方法，所述方法包括以下步骤：
7.获取历史轮次的第一对话文本，将所述第一对话文本中的第一问题文本以及第一答案文本进行拼接，根据拼接后的文本构建第一文本集合；
8.构建待训练模型，将所述第一文本集合输入至所述待训练模型进行对话建模训练，得到训练后的目标模型；
9.将若干历史轮次对应的所述第一文本集合输入至所述目标模型，输出得到语义信息；
10.根据所述语义信息生成所述历史轮次对应的第一向量，将所述第一向量与当前轮次的第二对话文本对应的第二向量进行组合得到第一融合向量；所述第一向量表征根据所述语义信息确定所述历史轮次的记忆信息，所述第二向量为所述第一文本集合通过所述目标模型进行特征编码得到中间向量；
11.根据所述第一融合向量进行目标答案预测，确定第二文本中的第一起始位置以及
第一结束位置，根据所述第一起始位置以及所述第一结束位置确定所述目标答案。
12.在一些可行的实施例中，所述获取历史轮次的第一对话文本，将所述第一对话文本中的第一问题文本以及第一答案文本进行拼接，根据拼接后的文本构建第一文本集合，包括：
13.提取所述第一对话文本中的第一问题文本以及第一答案文本；
14.根据所述第一答案文本在所述第一对话文本中的位置信息，生成位置标签，所述位置标签包括所述第一答案文本在所述第一对话文本中的第二起始位置以及第二结束位置；
15.根据所述第一问题文本、第一答案文本以及位置标签构建得到样本数据；
16.根据所述样本数据进行排序构建得到所述第一文本集合。
17.在一些可行的实施例中，所述根据所述第一问题文本、第一答案文本以及位置标签构建得到样本数据，包括：
18.通过第一连接符号将所述第一问题文本与所述第一答案文本进行拼接，得到第一拼接文本；
19.确定所述第一拼接文本中的所述第一答案文本对应的位置标签，得到所述样本数据。
20.在一些可行的实施例中，所述构建待训练模型，将所述第一文本集合输入至所述待训练模型进行对话建模训练，得到训练后的目标模型，包括：
21.获取所述待训练模型进行对话建模训练，输出得到预测答案，确定所处预测答案的第三起始位置以及第三结束位置；
22.根据所述第三起始位置与所述第二起始位置通过交叉熵损失函数计算得到第一损失值，和/或，根据所述第三结束位置与所述第二结束位置通过交叉熵损失函数计算得到第二损失值；
23.根据所述第一损失值和/或所述第二损失值对所述目标模型进行参数调优。
24.在一些可行的实施例中，所述将若干历史轮次对应的所述第一文本集合输入至所述目标模型，输出得到语义信息，包括：
25.根据所述第一文本集合的对话轮数、所述第一文本集合中文本素材的长度、所述待训练模型中隐藏层的维度，构建得到第一嵌入矩阵；
26.根据所述对话轮数对所述第一嵌入矩阵进行矩阵变换得到第二嵌入矩阵；
27.根据所述第二嵌入矩阵进行单方向自注意力计算，输出得到所述语义信息。
28.在一些可行的实施例中，所述根据所述语义信息生成所述历史轮次对应的第一向量，将所述第一向量与当前轮次的第二对话文本对应的第二向量进行组合得到第一融合向量，包括：
29.将所述语义信息的第三嵌入矩阵进行复制，根据复制后的若干所述第三嵌入矩阵与权重矩阵确定所述第一向量；
30.将当前轮次的第二对话文本输入至所述目标模型，通过所述目标模型进行编码输出得到所述第二向量；
31.将所述第一向量与所述第二向量进行组合得到所述第一融合向量。
32.在一些可行的实施例中，在将所述语义信息的第三嵌入矩阵进行复制，根据复制
后的若干所述第三嵌入矩阵与权重矩阵确定所述第一向量之后，所述方法还包括：
33.将所述第一融合向量与第三对话文本的第三向量进行组合，得到第二融合向量；所述第三对话文本包括所述第二对话文本下一轮次的对话文本；所述第三向量为第三对话文本通过所述目标模型进行特征编码得到中间向量；
34.根据所述第二融合向量进行目标答案预测。
35.为实现上述目的，本技术实施例的第二方面提出了一种基于多轮问答的文本处理装置，所述装置包括：
36.样本构建单元，用于获取历史轮次的第一对话文本，将所述第一对话文本中的第一问题文本以及第一答案文本进行拼接，根据拼接后的文本构建第一文本集合；
37.模型训练单元，用于构建待训练模型，将所述第一文本集合输入至所述待训练模型进行对话建模训练，得到训练后的目标模型；
38.语义获取单元，用于将若干历史轮次对应的所述第一文本集合输入至所述目标模型，输出得到语义信息；
39.语义融合单元，用于根据所述语义信息生成所述历史轮次对应的第一向量，将所述第一向量与当前轮次的第二对话文本对应的第二向量进行组合得到第一融合向量；所述第一向量表征根据所述语义信息确定所述历史轮次的记忆信息，所述第二向量为所述第一文本集合通过所述目标模型进行特征编码得到中间向量；
40.答案预测单元，用于根据所述第一融合向量进行目标答案预测，确定第二文本中的第一起始位置以及第一结束位置，根据所述第一起始位置以及所述第一结束位置确定所述目标答案。
41.为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
42.为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
43.本技术提出的基于多轮问答的文本处理方法、装置、设备及存储介质,通过模拟人的记忆机制，对于输入的每一轮对话内容都会与历史的记忆信息进行一次交互，结合记忆信息输出得到目标答案在文本中具体位置，并基于这一位置确定在最终的答案文本；方案通过动态训练的方式，保证了每一个对话都可以显性的在时序下充分的进行历史建模，使得模型拥有更强的历史解析能力；并且通过模拟人的记忆方式，显性的对历史对话进行建模，能够有效地降低噪音，提高预测输出结果的准确性和可解释性，从而提高对金融领域内客户的交互服务效果。
附图说明
44.图1是本技术实施例提供的基于多轮问答的文本处理方法的流程图；
45.图2是图1中的步骤s101的流程图；
46.图3是图1中的步骤s102的流程图；
47.图4是图3中的步骤s1023的流程图；
48.图5是图1中的步骤s103的流程图；
49.图6是图1中的步骤s104的流程图；
50.图7是图6中在步骤s1041之后的流程图；
51.图8是本技术实施例提供的基于多轮问答的文本处理装置的结构示意图；
52.图9是本技术实施例提供的电子设备的硬件结构示意图。
具体实施方式
53.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
54.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
55.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
56.首先，对本技术中涉及的若干名词进行解析：
57.人工智能(artificial intelligence，ai)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
58.自然语言处理(natural language processing，nlp)：nlp用计算机来处理、理解以及运用人类语言(如中文、英文等)，nlp属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
59.信息抽取(information extraction)：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术。信息抽取是从文本数据中抽取特定信息的一种技术。文本数据是由一些具体的单位构成的，例如句子、段落、篇章，文本信息正是由一些小的具体的单位构成的，例如字、词、词组、句子、段落或是这些具体的单位的组合。抽取文本数据中的名词短语、人名、地名等都是文本信息抽取，当然，文本信息抽取技术所抽取的信息可以是各种类型的信息。
60.基于此，本技术实施例提供了一种基于多轮问答的文本处理方法、装置、设备及存
储介质，旨在提高在多轮问答过程中答案推理的准确性。
61.本技术实施例提供的文本处理方法和装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本技术实施例中的文本处理方法。
62.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
63.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
64.本技术实施例提供的基于多轮问答的文本处理方法，涉及金融科技技术领域。例如，在本技术实施例中，可以用于泛问答系统旨在从结构化(如知识库、表格)、非结构化(如文档)寻找精确信息回答客户的金融问题提问；任务或目标型的对话系统，需要通过交互实现一个特定的任务或目标，如各种智能助理、订票系统等；本技术对具体涉及的金融业务不作限制，例如可以是贷款办理、基金咨询等。
65.本技术实施例提供的基于多轮问答的文本处理方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现基于多轮问答的文本处理方法的应用等，但并不局限于以上形式。
66.本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
67.需要说明的是，在本技术的各个具体实施方式中，当涉及到需要根据用户信息、用户行为数据，用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本技术实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本技术实施例能够正常运行的必要的用户相关数据。
68.根据背景技术方案中所指出，当前在金融领域内，相关技术方案通常把历史所有
轮数的问答跟当前的问题拼接在一起，交给模型进行推理，这种方式不但容易引入大量噪音且可解释性不强。同时这种方式下，其实也把指代消解的任务直接交给了模型本身。因为本身问答任务的多样性，模型很大程度上不会按照我们所期望的去学习历史建模和指代，这个时候显性的建模显的很有必要，通过函数或模拟人思考的过程去显性的直接告诉模型应该要如何学习。
69.针对上述历史建模和指代消解的问题，本技术技术方案的核心在于模拟人的记忆机制，对于每一轮信息的输入都会跟历史的记忆做一次交互，得到一个输出，同时当前这个输出的信息也会被存入脑海中。同时巧妙的结合了现有大型预训练模型所蕴含的知识，以bert来模拟人的神经元，提出一种新的历史对话记忆建模方案，同时在这个方案下提出了一种对话任务专用的历史建模训练方式，以每一个对话下的轮数作为一个batch，即用动态batch的方式保证对话中的所有对话轮数可以充分的按照时序进行交互和记忆。
70.如图1所示，为本技术实施例提供的基于多轮问答的文本处理方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤s101至步骤s105：
71.步骤s101，获取历史轮次的第一对话文本，将所述第一对话文本中的第一问题文本以及第一答案文本进行拼接，根据拼接后的文本构建第一文本集合。
72.其中，历史轮次的第一对话文本可以是指在人机交互过程，特别是对话或者问答过程中，整合后台数据中长期存储的，或者是短期缓存形成的文本内容；即实施例中的第一对话文本可以包括任何交互式对话的文本内容。进一步在实施例中，第一文本集合则是将问题文本和答案文本进行拼接得到的文本素材内容所形成的集合。
73.示例性地，实施例中所采集得到一组多轮对话内容为，b：“s基金的收益率怎么样？”，a：“s基金的收益率很好”，b：“为什么会这样？”，该内容为多轮对话。在这之中，第一问题文本可以包括“s基金的收益率怎么样？”以及“为什么会这样？”。在第一对话文本中的第一答案文本可以包括“s基金的收益率很好”。进一步在实施例中，针对获取得到的对话文本，以及对话文本中的问题文本和答案文本，根据关键字匹配确定问题与答案之间的对应关系，并基于对应关系将问题文本和答案文本进行文本拼接得到文本素材，并将所有的文本素材进行整合得到文本集合。
74.步骤s102，构建待训练模型，将所述第一文本集合输入至所述待训练模型进行对话建模训练，得到训练后的目标模型。
75.具体在实施例中，所构建的待训练模型，即进行训练后得到的目标模型，均属于文本处理模型，包括bert模型在内容，实施例中所采用的文本模型可以为transformer模型、lstm模型或者gpt-2模型等等。
76.示例性地，实施例中采用bert模型作为待训练模型，其训练过程，主要是根据对话文本的上下文语义，通过对文本集中的素材文本中每个词语进行分类预测，判断其是否属于目标文本的开始位置的词语或者结束位置的词语。在确定了目标文本开始位置词语以及结束位置词语之后，输出这一目标文本内容，作为目标问题的答案。bert模型可以包括编码器和解码器，针对编码器和解码器的具体训练过程可以包括：将文本集合中的每一段文本素材(问题与答案的拼接文本)输入至模型中，通过bert模型的编码器对文本片段进行编码处理，得到文本片段的隐藏特征向量，通过bert模型的解码器对样文本片段隐藏特征向量进行解码处理，使得样文本片段隐藏特征向量与参考词向量进行矩阵相乘，得到文本描述
词段。并且实施例还可以通过模型的损失函数计算文本描述词段与文本素材中原始答案之间的相似度，根据相似度对模型的损失函数进行优化，对损失函数的模型损失进行反向传播，不断地调整模型参数，直至相似度大于或者等于相似度阈值，停止对bert模型的优化，得到符合要求的文本处理模型，即目标模型。
77.步骤s103，将若干历史轮次对应的所述第一文本集合输入至所述目标模型，输出得到语义信息。
78.具体在实施例中，首先通过步骤s102使得模型学会简单的对话建模，即能够确定对话中问题与答案之间的对应关系，以及问题和答案之间的指代关系，待得到一个稳定的学习函数后，再去学习难的长轮数对话。实施例中，将所有轮次的对话内容所对应构建的文本素材的集合，全部输入至目标模型，例如，bert模型，进行交互学习语义信息。
79.步骤s104，根据所述语义信息生成所述历史轮次对应的第一向量，将所述第一向量与当前轮次的第二对话文本对应的第二向量进行组合得到第一融合向量。
80.其中，所述第一向量表征根据所述语义信息确定的所述历史轮次的记忆信息，所述第二向量为所述第一文本集合通过所述目标模型进行特征编码得到的中间向量。
81.具体在实施例中，在通过步骤s103学习并输出得到语义信息之后，将表征(历史)语义信息的嵌入向量，广播输出至之后每一个轮次，在通过文本处理模型对输入进行编码得到输出向量之中，通过文本处理模型中的某一层神经元或者多层感知机(mlp，multilayer perceptron)中将语义信息的嵌入向量累加至对应轮问答的每一个输出向量的embedding过程中，即输出得到融合后的嵌入向量，即为第一融合向量。
82.步骤s105，根据所述第一融合向量进行目标答案预测，确定第二文本中的第一起始位置以及第一结束位置，根据所述第一起始位置以及所述第一结束位置确定所述目标答案。
83.具体在实施例中，对于文本处理模型(目标模型)的最后一层的输出，实施例中可以在embedding层之后连接两个分类头，分别用于对于输入问题下文档中对应答案的开始位置的预测和结束位置的预测，具体为针对文档的输出向量。实施例中可以利用softmax获得概率值最高的位置，开始位置和结束位置分类头下不同的最高概率位置分别代表答案的开始位置和结束位置。
84.在一些其他可行的实施例方式中，如图2所示，方法步骤s101，所述获取历史轮次的第一对话文本，将所述第一对话文本中的第一问题文本以及第一答案文本进行拼接，根据拼接后的文本构建第一文本集合，可以包括步骤s1011-s1014：
85.s1011、提取所述第一对话文本中的第一问题文本以及第一答案文本；
86.具体在实施例中，在进行问题文本以及答案文本的处理过程中，可以在海量的文本数据内容中，通过对文本数据内容中的标点识别，并通过文本语句之间的标点符号，对文本数据内容按语句粒度进行拆分，得到问题文本语句以及答案文本语句。在一些其他的实施例中，在对人机交互过程中的对话数据进行采集的过程中，可以按照预先设定的问答模式对应采集得到问题文本的语句以及答案文本的语句。
87.需要进一步说明的是，实施例中的答案文本粒度，可以为词语粒度级别。进而，实施例中在获取答案文本的语句之后，可以针对答案文本的语句进行简单的预处理，例如，语句文本进行分词，并对分词结果中的关键词进行识别与标注，其中，关键词包括但不限于对
话文本中存在的动词或名词。根据关键词语与问题文本中词语之间的对应关系，例如，在问题文本中存在与关键词相同的词语，既可以确定关键词为答案文本的目标词语。另外，实施中还可以采取人工标注的方式对对话文本中的问题以及答案进行标注。
88.s1012、根据所述第一答案文本在所述第一对话文本中的位置信息，生成位置标签；
89.其中，位置标签包括所述第一答案文本在所述第一对话文本中的第二起始位置以及第二结束位置；
90.具体在实施例中，在通过步骤s1011确定了答案文本的目标词语之后，需要进行与对答案文本在完整的对话文本内容中进行位置标注或者确定其位置信息，得到目标词语的位置标签。在进行位置标注或者确定其位置信息的过程中，实施例需要对目标词语的前一个词语进行确定，得到目标词语的起始位置；以及实施例还需要对目标词语的后一个词语进行确定，得到目标词语的结束位置。
91.s1013、根据所述第一问题文本、第一答案文本以及位置标签构建得到样本数据，根据所述样本数据进行排序构建得到所述第一文本集合；
92.具体在实施例中，在通过步骤s1012将答案文本进行位置标注得到位置标签之后，实施例将问题文本以及附带有位置标签的答案文本作为模型的训练样本，将若干的训练样本组成训练过程的batch。在实施例中，在装载batch的时候要保证顺序输入问题是按照时序从前往后进行组转成一个batch，每一个batch的要求是一个对话的全部对话内容句拼成一个batch且按顺序出现。实施例中对所有的batch按batch大小进行从小到大的顺序对模型进行训练，让模型先学会简单的对话建模，得到一个稳定的学习函数后，再去学习难的长轮数对话。
93.需要说明的是，实施例在针对模型训练进行反向传播(back propagation)过程中，是以batch的大小去拟合数据的。
94.在一些其他可行的实施例方式中，如图3所示，在方法步骤s1013，所述根据所述第一问题文本、第一答案文本以及位置标签构建得到样本数据这一过程，可以包括步骤s10131-s10132：
95.s10131、通过第一连接符号将所述第一问题文本与所述第一答案文本进行拼接，得到第一拼接文本；
96.s10132、确定所述第一拼接文本中的所述第一答案文本对应的位置标签，得到所述样本数据。
97.具体在实施例中，对于多轮问答一个对话下的所有输入问题，实施例中可以采用bert模型中较为常用的sep符号进行文本内容的拼接，sep是函数的形式参数，多数情况下，sep参数用来指定字符的分隔符号，例如，根据sep＝
‘
\s+’这一正则表达式，可以确定实施例中的文本内容可以通过至少一个空格符进行拼接。示例性地，实施例中文本拼接方式为当前问题通过一个sep符号连接关键词再通过一个sep符号连接关键词，最后通过一个sep符号连接历史问答内容。
98.示例性地，在装载batch的时候要保证顺序输入问题是按照时序从前往后进行组转成一个batch，实施例中每一个batch的要求是一个对话的全部对话内容句拼成一个batch且按顺序出现，每条的样本格式就是“输入：当前轮问题+[sep]+文档标签：对应的答
案位置”；实施例中的对话文本可以包含多个问题和对应的答案，然后每一个对话对应存在一个完整的、包含有所有对话(信息)内容的参考文本。
[0099]
在一些其他可行的实施例方式中，如图4所示，在方法步骤s102，构建待训练模型，将所述第一文本集合输入至所述待训练模型进行对话建模训练，得到训练后的目标模型这一过程中，可以包括步骤s1021-s1023：
[0100]
s1021、获取所述待训练模型进行对话建模训练，输出得到预测答案，确定所处预测答案的第三起始位置以及第三结束位置；
[0101]
具体在实施例对文本处理模型。例如bert模型进行训练过程中，为了能够使得最终得到的目标模型的预测结果更为准确，可以通过计算训练过程中模型的预测值以及与输入模型的训练文本素材中的原始答案之间的损失值，通过使得损失值不断收敛的过程，对训练阶段的目标问答模型进行参数的优化。在损失值计算的过程中，首先需要获取训练文本素材中原始答案的起始位置的词语以及结束位置的词语。其次，实施例将收集训练阶段中，模型预测输出得到的答案起始位置的词语以及结束位置的词语。
[0102]
需要说明的是，实施例中所构建的待训练模型可以是在bert模型上进行改良后的模型，例如，一个bert模型+多头分类器的答案抽取模型，进一步的，实施例中简单的对话建模过程中的学习函数可以是用损失函数计算交叉熵的损失值(loss)，实施例中，学习函数稳定可以是指训练过程损失值的变化稳定，不会存在较大波动。
[0103]
s1022、根据所述第三起始位置与所述第二起始位置通过交叉熵损失函数计算得到第一损失值，和/或，根据所述第三结束位置与所述第二结束位置通过交叉熵损失函数计算得到第二损失值；
[0104]
s1023、根据所述第一损失值和/或所述第二损失值对所述目标模型进行参数调优。
[0105]
具体在实施例中，实施例采用交叉熵损失函数计算起始词语之间以及结束词语之间的损失值；实施例中，训练文本素材中的起始位置的词语以及结束位置的词语已经通过标签标注的方式确定，那么，原始(真实)答案的词语位置的概率分布p(x)也已经确定，所以信息熵为常量；在交叉熵的计算过程中，通过相对熵来表示真实概率分布p(x)与预测概率分布q(x)之间的差异，值越小表示预测的结果越好，所以需要最小化相对熵，而交叉熵等于相对熵加上一个常量(信息熵)，所以通过交叉熵计算模型训练过程的损失值，并根据所计算的得到损失值对模型进行参数调整，直至损失值收敛，得到最终的目标问答模型(参数)，能够达到提高预测过程中的运算效率以及准确性的效果。
[0106]
在一些其他可行的实施例方式中，如图5所示，方法步骤s103，所述将若干历史轮次对应的所述第一文本集合输入至所述目标模型，输出得到语义信息这一过程，可以包括步骤s1031-s1033：
[0107]
s1031、根据所述第一文本集合的对话轮数、所述第一文本集合中文本素材的长度、所述待训练模型中隐藏层的维度，构建得到第一嵌入矩阵；
[0108]
具体在实施例中，实施例中在目标模型得到稳定的学习函数后，实施例可以按batch大小的顺序把对话数据输入到目标模型中的bert模型进行交互学习语义信息，其中在bert模型的最后一层输出的embedding n*s*m矩阵上，其中，n代表当前对话的轮数，s是当前对话每一轮问答的输入长度，m是bert的hidden embedding的维度。
[0109]
s1032、根据所述对话轮数对所述第一嵌入矩阵进行矩阵变换得到第二嵌入矩阵；
[0110]
s1033、根据所述第二嵌入矩阵进行单方向自注意力计算，输出得到所述语义信息；
[0111]
具体在实施例中，实施例抽取出每一轮对话的cls向量，得到一个n*1*m的矩阵，变化成n*m的矩阵，即第二嵌入矩阵之后，在n的维度上进行单方向的自注意力机制计算，即让该对话下的每一轮问答的cls当且仅可以跟历史的问答的cls进行交互。需要说明的是，实施例中自注意力计算是根据bert模型中注意力机制所完成的计算过程，其可以通过本技术领域中已经公开，并广泛应用的注意力计算过程来实现；在此不进行赘述。需要说明的是，实施例中的cls向量，是指在目标模型进行分类预测的过程中，除了单词的token之外，还在输入的每一个单词文本的序列开头都插入特定的分类token([cls])，该分类token被用来起到聚集整个序列表征信息的作用，该序列的向量表示为cls向量。
[0112]
在一些可行的实施方式中，如图6所示，方法中步骤s104、根据所述语义信息生成所述历史轮次对应的第一向量，将所述第一向量与当前轮次的第二对话文本对应的第二向量进行组合得到第一融合向量这一过程，可以包括步骤s1041-s1043：
[0113]
s1041、将所述语义信息的第三嵌入矩阵进行复制，根据复制后的若干所述第三嵌入矩阵与权重矩阵确定所述第一向量；
[0114]
具体在实施例中，通过步骤s103对每一个轮问答的cls向量进行单方向自注意力计算之后，已经获取到了历史问答的记忆信息。实施例进一步将这一记忆信息广播给输出的所有向量上，实施例将第二嵌入矩阵n*m复制成n*s*m，即得到第三嵌入矩阵，然后乘上一个权重矩阵进行下一步交互处理。其中，权重矩阵其实就是一个参数矩阵，可以是模型自己学习得到的，可以简单理解成一层神经元或mlp层。例如，在实施例中，交互完的每一个轮问答的cls向量已经获取到了历史问答的记忆，历史问答的记忆已经浓缩到了cls向量中，对于一个对话流中的某一个问题，可能需要参考历史问答才可以比较好的理解，如问题中的代词可能指代历史问题中的某一个答案；该权重矩阵是有模型训练得到的。
[0115]
s1042、将当前轮次的第二对话文本输入至所述目标模型，通过所述目标模型进行编码输出得到所述第二向量；
[0116]
s1043、将所述第一向量与所述第二向量进行组合得到所述第一融合向量；
[0117]
具体在实施例中，通过步骤s1041中的权重矩阵，就可以确定模型中所需要获取的记忆信息的信息量大小，然后把过滤完的cls累加到对应轮问答的每一个输出向量的embedding上，然后，实施例中目标模型的最后一层输出至两个分类头行答案推理。
[0118]
在一些可行的实施方式中，如图7所示，方法在将所述语义信息的第三嵌入矩阵进行复制，根据复制后的若干所述第三嵌入矩阵与权重矩阵确定所述第一向量之后，还可以包括步骤s1044-s1045：
[0119]
s1044、将所述第一融合向量与第三对话文本的第三向量进行组合，得到第二融合向量；
[0120]
其中，所述第三对话文本包括所述第二对话文本下一轮次的对话文本；所述第三向量为第三对话文本通过所述目标模型进行特征编码得到的中间向量；
[0121]
具体在实施例中，在通过目标模型进行答案推理的过程中，可以预存每一个问答的cls向量，就可以实现记忆机制和单条问答，实施例中的应用场景是真实的对话，因为每
一个问题是顺序提出的，真实的对话是按对话的实际顺序对问题进行处理的，所以每次将历史记忆与当前轮次的嵌入向量进行融合之后，可以把当前输入的问题对应的cls向量进行存储，当下一轮次的问题输入的时候就可以直接拿出来用而不是重新把上一轮的文本输入到目标模型中。
[0122]
s1045、根据所述第二融合向量进行目标答案预测；
[0123]
需要说明的是，实施例中目标模型，其主要可以包括两个核心功能结构：编码器和分类器。以bret模型为基础所构建的目标问答模型，在其编码层通过输入送入模型的token embedding层，即编码层从而将每一个词转换成向量形式，得到每个词语编码后的向量化表示token；在这bert的输出端会拼接两个softmax线性分类器分别去计算参考文本中每个token属于答案开始和结束位置的概率。
[0124]
具体在实施例中，bert将输入文本，即下一轮次的问题进行分词处理得到若干候选词(token)送入token embedding层从而将每一个词转换成向量形式。在实施例的目标模型中，每个词会被转换成768维的向量表示。输入文本在送入token embeddings层之前要先进行tokenization处理。目标问答模型中的编码器除token embeddings层之外，还包括两个嵌入层，segment embeddings层和position embeddings层。其中，目标问答模型能够处理对输入的凭借文本素材进行目标答案(词语位置)的分类预测。目标模型通过token embeddings输出得到(1,n,768)的词向量表示；segment embeddings层输出辅助模型区别句子对中的两个句子的(1,n,768)向量表示；position embeddings层输出(1,n,768)位置向量，让模型学习到输入的顺序属性。三者的输出按元素相加，得到一个大小为(1,n,768)的合成表示。然后执行bert模型中原有的masked language model任务以及next sentence prediction任务，将任务输出结果中得到开始位置候选词(向量表示)以及结束位置候选词(向量表示)。并通过softmax层输出得到对应的概率。
[0125]
下面结合说明书附图，对本技术技术方案的完整实施过程进行完整、详细的描述如下：
[0126]
首先，实施例对于多轮问答一个对话下的所有输入问题，用[sep]符号把问题和文档进行拼接，在装载batch的时候要保证顺序输入问题是按照时序从前往后进行组转成一个batch。特别的是，实施例对所有的batch按batch大小进行从小到大的顺序进行训练，让模型先学会简单的对话建模，得到一个稳定的学习函数后再去学习难的长轮数对话。
[0127]
然后，实施例按batch大小的顺序把对话数据输入到bert模型进行交互学习语义信息，其中在bert模型的最后一层输出的embedding n*s*m矩阵上，n代表当前对话的轮数，s是当前对话每一轮问答的输入长度，m是bert的hidden embedding的维度。实施例抽取出每一轮对话的cls向量，即得到一个n*1*m的矩阵，变化成n*m的矩阵后，在n的维度上进行单方向的自注意力机制计算，即让该对话下的每一轮问答的cls当且仅可以跟历史的问答的cls进行交互。
[0128]
在实施例交互完的每一个轮问答的cls向量已经获取到了历史问答的记忆。我们希望把这个信息广播给输出的所有向量上，我们n*m复制成n*s*m，然后乘上一个权重矩阵进行交互；使得模型自己去控制需要获取的信息量大小，然后把过滤完的cls累加到对应轮问答的每一个输出向量的embedding上。最后一层的输出会交给分类头进行答案推理。在推理中实施例可以预存每一个问答的cls向量，就可以实现记忆机制和单条问答在历史记忆
交互下的推理。
[0129]
对于最后一层的输出，实施例中的模型中拼接有两个分类头，分别用于对于输入问题下文档中对应答案的开始位置的预测和结束位置的预测，具体为针对文档的输出向量，利用softmax获得概率值最高的那个位置，开始位置和结束位置分类头下不同的最高概率位置分别代表答案的开始位置和结束位置。通过在原文中映射就可以解码出对应的答案。对于训练，可以通过交叉熵进行训练并对模型进行参数调优。
[0130]
请参阅图8，本技术实施例还提供一种基于多轮问答的文本处理装置，可以实现上述基于多轮问答的文本处理方法，该装置包括：
[0131]
样本构建单元，用于获取历史轮次的第一对话文本，将所述第一对话文本中的第一问题文本以及第一答案文本进行拼接，根据拼接后的文本构建第一文本集合；
[0132]
模型训练单元，用于构建待训练模型，将所述第一文本集合输入至所述待训练模型进行对话建模训练，得到训练后的目标模型；
[0133]
语义获取单元，用于将若干历史轮次对应的所述第一文本集合输入至所述目标模型，输出得到语义信息；
[0134]
语义融合单元，用于根据所述语义信息生成所述历史轮次对应的第一向量，将所述第一向量与当前轮次的第二对话文本对应的第二向量进行组合得到第一融合向量；所述第一向量表征根据所述语义信息确定所述历史轮次的记忆信息，所述第二向量为所述第一文本集合通过所述目标模型进行特征编码得到中间向量；
[0135]
答案预测单元，用于根据所述第一融合向量进行目标答案预测，确定第二文本中的第一起始位置以及第一结束位置，根据所述第一起始位置以及所述第一结束位置确定所述目标答案。
[0136]
该文本处理装置的具体实施方式与上述基于多轮问答的文本处理方法的具体实施例基本相同，在此不再赘述。
[0137]
本技术实施例还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述基于多轮问答的文本处理方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
[0138]
请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：
[0139]
处理器901，可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术实施例所提供的技术方案；
[0140]
存储器902，可以采用只读存储器(readonlymemory，rom)、静态存储设备、动态存储设备或者随机存取存储器(randomaccessmemory，ram)等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本技术实施例的基于多轮问答的文本处理方法；
[0141]
输入/输出接口903，用于实现信息输入及输出；
[0142]
通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；
[0143]
总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通
信接口904)之间传输信息；
[0144]
其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
[0145]
本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述基于多轮问答的文本处理方法。
[0146]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0147]
本技术实施例提供的基于多轮问答的文本处理方法、文本处理装置、电子设备及存储介质，其通过模拟人的记忆机制，对于每一轮信息的输入都会跟历史的记忆做一次交互，得到一个输出，同时当前这个输出的信息也会被存入脑海中。同时巧妙的结合了现有大型预训练模型所蕴含的知识，以bert来模拟人的神经元，提出一种新的历史对话记忆建模方案，同时在这个方案下提出了一种对话任务专用的历史建模训练方式，以每一个对话下的轮数作为一个batch，即用动态batch的方式保证对话中的所有对话轮数可以充分的按照时序进行交互和记忆。
[0148]
方案存在着至少以下的优点或者能够带来对应的有益效果：
[0149]
1.通过模拟人的记忆方式，显性的对历史对话进行建模，让模型自己去获取对当前轮输出理解所需要的信息而不是通过人工的信息拼接输入。
[0150]
2.通过cls向量的存储，模拟人的记忆机制，实现了单条数据的理解和推理加速而不是每一次推理当前轮问答的数据必须要把历史的轮数问答全部整合成一个batch进行推理。
[0151]
3.通过从小轮数到大轮数这种课程学习的方式，可以让模型更好的拟合数据，避免长难数据的早出现使得loss拟合出现爆炸。
[0152]
4.通过动态batch的训练方式，保证了每一个对话都可以显性的在时序下充分的进行历史建模，使得模型拥有更强的历史解析能力。
[0153]
本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
[0154]
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本技术实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
[0155]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0156]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
[0157]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存
在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0158]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0159]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0160]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0161]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0162]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
[0163]
以上参照附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。

技术特征：
1.基于多轮问答的文本处理方法，其特征在于，所述方法包括：获取历史轮次的第一对话文本，将所述第一对话文本中的第一问题文本以及第一答案文本进行拼接，根据拼接后的文本构建第一文本集合；构建待训练模型，将所述第一文本集合输入至所述待训练模型进行对话建模训练，得到训练后的目标模型；将若干历史轮次对应的所述第一文本集合输入至所述目标模型，输出得到语义信息；根据所述语义信息生成所述历史轮次对应的第一向量，将所述第一向量与当前轮次的第二对话文本对应的第二向量进行组合得到第一融合向量；所述第一向量表征根据所述语义信息确定的所述历史轮次的记忆信息，所述第二向量为所述第二对话文本通过所述目标模型进行特征编码得到的中间向量；根据所述第一融合向量进行目标答案预测，确定第二文本中的第一起始位置以及第一结束位置，根据所述第一起始位置以及所述第一结束位置确定所述目标答案。2.根据权利要求1所述的方法，其特征在于，所述获取历史轮次的第一对话文本，将所述第一对话文本中的第一问题文本以及第一答案文本进行拼接，根据拼接后的文本构建第一文本集合，包括：提取所述第一对话文本中的第一问题文本以及第一答案文本；根据所述第一答案文本在所述第一对话文本中的位置信息，生成位置标签，所述位置标签包括所述第一答案文本在所述第一对话文本中的第二起始位置以及第二结束位置；根据所述第一问题文本、第一答案文本以及位置标签构建得到样本数据，根据所述样本数据进行排序构建得到所述第一文本集合。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一问题文本、第一答案文本以及位置标签构建得到样本数据，包括：通过第一连接符号将所述第一问题文本与所述第一答案文本进行拼接，得到第一拼接文本；确定所述第一拼接文本中的所述第一答案文本对应的位置标签，得到所述样本数据。4.根据权利要求2所述的方法，其特征在于，所述构建待训练模型，将所述第一文本集合输入至所述待训练模型进行对话建模训练，得到训练后的目标模型，包括：获取所述待训练模型进行对话建模训练，输出得到预测答案，确定所处预测答案的第三起始位置以及第三结束位置；根据所述第三起始位置与所述第二起始位置通过交叉熵损失函数计算得到第一损失值，和/或，根据所述第三结束位置与所述第二结束位置通过交叉熵损失函数计算得到第二损失值；根据所述第一损失值和/或所述第二损失值对所述目标模型进行参数调优。5.根据权利要求1所述的方法，其特征在于，所述将若干历史轮次对应的所述第一文本集合输入至所述目标模型，输出得到语义信息，包括：根据所述第一文本集合的对话轮数、所述第一文本集合中文本素材的长度、所述待训练模型中隐藏层的维度，构建得到第一嵌入矩阵；根据所述对话轮数对所述第一嵌入矩阵进行矩阵变换得到第二嵌入矩阵；根据所述第二嵌入矩阵进行单方向自注意力计算，得到所述语义信息。
6.根据权利要求1所述的方法，其特征在于，所述根据所述语义信息生成所述历史轮次对应的第一向量，将所述第一向量与当前轮次的第二对话文本对应的第二向量进行组合得到第一融合向量，包括：将所述语义信息的第三嵌入矩阵进行复制，根据复制后的若干所述第三嵌入矩阵与权重矩阵确定所述第一向量；将当前轮次的第二对话文本输入至所述目标模型，通过所述目标模型进行编码输出得到所述第二向量；将所述第一向量与所述第二向量进行组合得到所述第一融合向量。7.根据权利要求6所述的方法，其特征在于，在将所述语义信息的第三嵌入矩阵进行复制，根据复制后的若干所述第三嵌入矩阵与权重矩阵确定所述第一向量之后，所述方法还包括：将所述第一融合向量与第三对话文本的第三向量进行组合，得到第二融合向量；所述第三对话文本包括所述第二对话文本下一轮次的对话文本；所述第三向量为第三对话文本通过所述目标模型进行特征编码得到的中间向量；根据所述第二融合向量进行目标答案预测。8.基于多轮问答的文本处理装置，其特征在于，所述装置包括：样本构建单元，用于获取历史轮次的第一对话文本，将所述第一对话文本中的第一问题文本以及第一答案文本进行拼接，根据拼接后的文本构建第一文本集合；模型训练单元，用于构建待训练模型，将所述第一文本集合输入至所述待训练模型进行对话建模训练，得到训练后的目标模型；语义获取单元，用于将若干历史轮次对应的所述第一文本集合输入至所述目标模型，输出得到语义信息；语义融合单元，用于根据所述语义信息生成所述历史轮次对应的第一向量，将所述第一向量与当前轮次的第二对话文本对应的第二向量进行组合得到第一融合向量；所述第一向量表征根据所述语义信息确定所述历史轮次的记忆信息，所述第二向量为所述第一文本集合通过所述目标模型进行特征编码得到中间向量；答案预测单元，用于根据所述第一融合向量进行目标答案预测，确定第二文本中的第一起始位置以及第一结束位置，根据所述第一起始位置以及所述第一结束位置确定所述目标答案。9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的基于多轮问答的文本处理方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于多轮问答的文本处理方法。

技术总结
本申请实施例提供了基于多轮问答的文本处理方法、装置、设备及存储介质，属于金融科技技术领域。该方法包括：获取历史轮次中的第一问题文本以及第一答案文本进行拼接，构建第一文本集合；将第一文本集合输入至待训练模型进行对话建模训练，得到目标模型；将若干历史轮次对应的第一文本集合输入至目标模型，输出得到语义信息；根据语义信息生成历史轮次的第一向量，将第一向量与第二对话文本的第二向量组合得到第一融合向量；并进行目标答案预测，确定第二文本中的起始位置、结束位置以及目标答案。本申请方案能够拥有更强的历史解析能力；并且通过模拟记忆方式，对历史对话进行建模，能够有效地降低噪音，提高预测输出结果的准确性和可解释性。性和可解释性。性和可解释性。


技术研发人员：张镛 王健宗 程宁
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2023.05.31
技术公布日：2023/8/13