基于语言识别的信息采集方法和装置与流程

1.本发明涉及计算机技术应用领域，尤其涉及一种基于语言识别的信息采集方法和装置。


背景技术：

2.基于自然语言处理(naturallanguageprocessing，简称nlp)技术的发展，在人机交互领域，一直对用户输入的信息的精准高效识别存在很高的要求，其中，命名实体识别(nameentityrecognition，简称ner)为常用的识别技术。
3.但是ner技术的缺陷在于只关注单个词语或短语的实体识别，而无法考虑上下文信息的影响，因此ner不能满足特定场景下的实体识别。
4.针对由于现有技术使用ner技术进行实体识别受限，导致的实体无法准确识别的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.为解决上述技术问题，本发明实施例期望提供一种基于语言识别的信息采集方法和装置，以至少解决由于现有技术使用ner技术进行实体识别受限，导致的实体无法准确识别的问题。
6.本发明的技术方案是这样实现的：
7.本发明实施例提供一种基于语言识别的信息采集方法，包括：接收用户输入的待采集实体；通过ner对待采集实体进行采集，得到第一类采集结果；判断待采集实体是否配置正则采集或词典采集；依据判断结果对第一类采集结果执行对应采集，得到第二类采集结果；判断对待采集实体的采集是否完成，且对待采集实体的问询是否达到最大值；在判断结果为否的情况下，对第二类采集结果执行多段识别，直至采集结束。
8.可选的，依据判断结果对第一类采集结果执行对应采集，得到第二类采集结果包括：在判断结果为对待采集实体未配置正则采集或词典采集的情况下，判断对待采集实体的采集是否完成，且对待采集实体的问询是否达到最大值；在判断结果为对待采集实体配置正则采集的情况下，依据正则采集对第一类采集结果进行采集，得到正则采集结果；在判断结果为对待采集实体配置词典采集的情况下，依据词典采集对第一类采集结果进行采集，得到词典采集结果；其中，第二类采集结果包括：正则采集结果或词典采集结果。
9.进一步地，可选的，依据正则采集对第一类采集结果进行采集，得到正则采集结果包括：判断第一采集结果是否命中正则表达式；在判断结果为是的情况下，依据命中的正则表达式对第一类采集结果进行采集，得到正则采集结果；在判断结果为否的情况下，依据正则采集进行问询，直至得到正则采集结果。
10.可选的，依据词典采集对第一类采集结果进行采集，得到词典采集结果包括：判断第一采集结果是否命中词典中的实体值和同义词；在判断结果为是的情况下，依据词典中的实体值和同义词对第一类采集结果进行采集，得到词典采集结果；在判断结果为否的情
况下，依据词典采集进行问询，直至得到词典采集结果。
11.可选的，该方法还包括：在进行ner采集之后，采用多线程并行的方式对待采集实体的实体识别类型进行判断，确定待采集实体的实体识别类型，其中，实体类型包括：正则或词典；依据实体识别结果分配对应的采集方式。
12.进一步地，可选的，依据实体识别结果分配对应的采集方式包括：若通过ner、正则和词典均对待采集实体进行采集，则判断ner、正则和词典是否均采集到采集结果；在ner、正则和词典均采集到的情况下，将正则或词典采集到的采集结果确定为第一类采集结果；其中，判断ner、正则和词典的采集值是否相同，在判断结果相同的情况下，记录采集结果，并将采集结果确定为第一类采集结果；在判断结果不同的情况下，以正则或词典对待采集实体的采集结果作为第一类采集结果，并记录第一类采集结果，其中，第一类采集结果，用于对ner进行训练和标注；在ner、正则和词典中仅一项采集到采集结果的情况下，将采集结果确定为第一类采集结果。
13.可选的，对第二类采集结果执行多段识别，直至采集结束包括：判断多段识别是否开启；在判断结果为是的情况下，依据预设时长，等待用户输入，若等待时长大于预设时长，则向用户发送问询；若等待时长小于预设时长内用户输入，则对未采集的实体进行采集，直至采集完成；在判断结果为否的情况下，发送问询。
14.可选的，在判断对待采集实体的采集是否完成，且对待采集实体的问询是否达到最大值之后，该方法还包括：在判断结果为是的情况下，采集结束。
15.本发明实施例提供一种基于语言识别的信息采集装置，包括：接收模块，用于接收用户输入的待采集实体；第一采集模块，用于通过ner对待采集实体进行采集，得到第一类采集结果；第一判断模块，用于判断待采集实体是否配置正则采集或词典采集；第二采集模块，用于依据判断结果对第一类采集结果执行对应采集，得到第二类采集结果；第二判断模块，用于判断对待采集实体的采集是否完成，且对待采集实体的问询是否达到最大值；识别模块，用于在判断结果为否的情况下，对第二类采集结果执行多段识别，直至采集结束。
16.可选的，第二采集模块包括：判断单元，用于在判断结果为对待采集实体未配置正则采集或词典采集的情况下，判断对待采集实体的采集是否完成，且对待采集实体的问询是否达到最大值；第一采集单元，用于在判断结果为对待采集实体配置正则采集的情况下，依据正则采集对第一类采集结果进行采集，得到正则采集结果；第二采集单元，用于在判断结果为对待采集实体配置词典采集的情况下，依据词典采集对第一类采集结果进行采集，得到词典采集结果；其中，第二类采集结果包括：正则采集结果或词典采集结果。
17.本发明实施例提供了一种基于语言识别的信息采集方法和装置，通过接收用户输入的待采集实体；通过ner对待采集实体进行采集，得到第一类采集结果；判断待采集实体是否配置正则采集或词典采集；依据判断结果对第一类采集结果执行对应采集，得到第二类采集结果；判断对待采集实体的采集是否完成，且对待采集实体的问询是否达到最大值；在判断结果为否的情况下，对第二类采集结果执行多段识别，直至采集结束，从而能够提升对实体的识别准确率的技术效果。
附图说明
18.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发
明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
19.图1为本发明实施例提供的一种基于语言识别的信息采集方法的流程示意图；
20.图2为本发明实施例提供的一种基于语言识别的信息采集方法中词典采集的示意图；
21.图3为本发明实施例提供的另一种基于语言识别的信息采集方法的流程示意图；
22.图4为本发明实施例提供的一种基于语言识别的信息采集装置的示意图。
具体实施方式
23.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
24.需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
25.还需要说明是，本发明下述各个实施例可以单独执行，各个实施例之间也可以相互结合执行，本发明实施例对此不作具体限制。
26.本发明实施例提供一种基于语言识别的信息采集方法，图1为本发明实施例提供的一种基于语言识别的信息采集方法的流程示意图；如图1所示，本技术实施例提供的基于语言识别的信息采集方法包括：
27.步骤s100，接收用户输入的待采集实体；
28.其中，以客服人机问答为例，用户输入的待采集实体，可以为一句文字，或一段语音。
29.步骤s102，通过ner对待采集实体进行采集，得到第一类采集结果；
30.其中，基于步骤s100接收的待采集实体通过ner进行采集，得到第一类采集结果，得到第一类采集结果后，执行步骤s104。
31.步骤s104，判断待采集实体是否配置正则采集或词典采集；
32.其中，执行步骤s104是为了若ner适用场景受限，则通过判断该待采集实体是否还支持其他实体识别类型，例如，正则识别或词典识别，以此弥补ner识别受限的缺陷，基于步骤s104的判断执行步骤s106。
33.步骤s106，依据判断结果对第一类采集结果执行对应采集，得到第二类采集结果；
34.可选的，依据判断结果对第一类采集结果执行对应采集，得到第二类采集结果包括：在判断结果为对待采集实体未配置正则采集或词典采集的情况下，判断对待采集实体的采集是否完成，且对待采集实体的问询是否达到最大值；在判断结果为对待采集实体配置正则采集的情况下，依据正则采集对第一类采集结果进行采集，得到正则采集结果；在判断结果为对待采集实体配置词典采集的情况下，依据词典采集对第一类采集结果进行采集，得到词典采集结果；其中，第二类采集结果包括：正则采集结果或词典采集结果。
35.可选的，依据正则采集对第一类采集结果进行采集，得到正则采集结果包括：判断第一采集结果是否命中正则表达式；在判断结果为是的情况下，依据命中的正则表达式对
第一类采集结果进行采集，得到正则采集结果；在判断结果为否的情况下，依据正则采集进行问询，直至得到正则采集结果。
36.可选的，依据词典采集对第一类采集结果进行采集，得到词典采集结果包括：判断第一采集结果是否命中词典中的实体值和同义词；在判断结果为是的情况下，依据词典中的实体值和同义词对第一类采集结果进行采集，得到词典采集结果；在判断结果为否的情况下，依据词典采集进行问询，直至得到词典采集结果。
37.其中，基于步骤s104的判断，在步骤s106中判断结果包括三种：
38.判断结果一：
39.在判断结果为对待采集实体未配置正则采集或词典采集的情况下，执行步骤s108，即，该情况只适用于ner采集识别，基于ner采集识别，需要进一步地判断当前实体采集和问询是否完成，因此执行步骤s108；
40.判断结果二：
41.在判断结果为对待采集实体配置正则采集的情况下，依据正则采集对第一类采集结果进行采集，得到正则采集结果；
42.具体的，依据正则采集对第一类采集结果进行采集，得到正则采集结果包括：判断第一采集结果是否命中正则表达式；在判断结果为是的情况下，依据命中的正则表达式对第一类采集结果进行采集，得到正则采集结果。
43.例如，在杭州有没有房，即可配置对应的正则表达式进行判断：(？《！[不没].{0,5})[有对是][的得啊呢哦哈]|(？《！[不没].{0,5})(有房|房子？有)|^有$
[0044]
判断结果三：
[0045]
在判断结果为对待采集实体配置词典采集的情况下，依据词典采集对第一类采集结果进行采集，得到词典采集结果；其中，第二类采集结果包括：正则采集结果或词典采集结果。
[0046]
具体的，依据词典采集对第一类采集结果进行采集，得到词典采集结果包括：判断第一采集结果是否命中词典中的实体值和同义词；在判断结果为是的情况下，依据词典中的实体值和同义词对第一类采集结果进行采集，得到词典采集结果。如图2所示，词典采集逻辑。实体名称：运河街道小区。配置对应的实体值和同义词，同义词也支持正则表达式，图2为本发明实施例提供的一种基于语言识别的信息采集方法中词典采集的示意图。
[0047]
步骤s108，判断对待采集实体的采集是否完成，且对待采集实体的问询是否达到最大值；
[0048]
步骤s110，在判断结果为否的情况下，对第二类采集结果执行多段识别，直至采集结束。
[0049]
可选的，对第二类采集结果执行多段识别，直至采集结束包括：判断多段识别是否开启；在判断结果为是的情况下，依据预设时长，等待用户输入，若等待时长大于预设时长，则向用户发送问询；若等待时长小于预设时长内用户输入，则对未采集的实体进行采集，直至采集完成；在判断结果为否的情况下，发送问询。
[0050]
具体的，在文本机器人或者语音机器人的多实体采集过程中，用户可能间断，导致实体采集失败。比如在文本或者语音机器人中要从用户说的话中采集到用户姓名和地址，用户可能多段发送，对于文本机器人来说，发送一段话就去采集实体，导致采集失败，因此
采用延时等待(多段识别)方式，等用户说一段就去实体采集，判断是否采集完并延时等待，再去发起追问或者走采集完的逻辑。
[0051]
例如，本技术实施例中多段识别可以为：使用rediszset实现延时队列，通过当前时间加上延迟时间作为score,再每隔指定时间通过redistemplate.opsforzset().rangebyscore取出0到当前时间能够取出来的就是等待超时的元素。此时若用户再说一句话，实体还未采集完全，则会重新覆盖之前的key，以达到重复计时的效果，等业务处理完再移除指定范围内的数据。
[0052]
可选的，在判断对待采集实体的采集是否完成，且对待采集实体的问询是否达到最大值之后，该方法还包括：在判断结果为是的情况下，采集结束。结合步骤s100至步骤s110，如图3所示，图3为本发明实施例提供的另一种基于语言识别的信息采集方法的流程示意图。
[0053]
可选的，本技术实施例提供的基于语言识别的信息采集方法还包括：在进行ner采集之后，采用多线程并行的方式对待采集实体的实体识别类型进行判断，确定待采集实体的实体识别类型，其中，实体类型包括：正则或词典；依据实体识别结果分配对应的采集方式。
[0054]
进一步地，可选的，依据实体识别结果分配对应的采集方式包括：若通过ner、正则和词典均对待采集实体进行采集，则判断ner、正则和词典是否均采集到采集结果；在ner、正则和词典均采集到的情况下，将正则或词典采集到的采集结果确定为第一类采集结果；其中，判断ner、正则和词典的采集值是否相同，在判断结果相同的情况下，记录采集结果，并将采集结果确定为第一类采集结果；在判断结果不同的情况下，以正则或词典对待采集实体的采集结果作为第一类采集结果，并记录第一类采集结果，其中，第一类采集结果，用于对ner进行训练和标注；在ner、正则和词典中仅一项采集到采集结果的情况下，将采集结果确定为第一类采集结果。
[0055]
其中，本技术实施例提供的基于语言识别的信息采集方法先进行ner采集，进一步地判断该待采集实体是否支持正则采集或词典采集，在ner、正则和词典均对待采集实体进行采集，并且ner、正则和词典均采集到采集结果的情况下，以正则或词典采集的采集结果为准，其中，若ner、正则和词典采集的采集结果相同，则以任意采集方式的采集结果作为第一类采集结果；若采集的采集结果不同，则以正则或词典采集的采集结果作为第一类采集结果，并记录该第一类采集结果，以该第一类采集结果对ner进行后续的训练和标注；
[0056]
若ner、正则和词典中仅有一个采集到采集结果，则将该采集结果作为第一类采集结果。
[0057]
本技术实施例提供的基于语言识别的信息采集方法通过正则表达式和词典来满足特定场景下的ner实体采集的不足，并且相比较现有技术的采集方案，本技术实施例提供的基于语言识别的信息采集方法中实体采集方式使得追问更加智能，用户体验上更加流畅，不再局限与一问一答的方式进行对话。
[0058]
本发明实施例提供了一种基于语言识别的信息采集方法，通过接收用户输入的待采集实体；通过ner对待采集实体进行采集，得到第一类采集结果；判断待采集实体是否配置正则采集或词典采集；依据判断结果对第一类采集结果执行对应采集，得到第二类采集结果；判断对待采集实体的采集是否完成，且对待采集实体的问询是否达到最大值；在判断
结果为否的情况下，对第二类采集结果执行多段识别，直至采集结束，从而能够提升对实体的识别准确率的技术效果。
[0059]
本发明实施例提供一种基于语言识别的信息采集装置，图4为本发明实施例提供的一种基于语言识别的信息采集装置的示意图；如图4所示，本技术实施例提供的基于语言识别的信息采集装置包括：
[0060]
接收模块41，用于接收用户输入的待采集实体；第一采集模块42，用于通过ner对待采集实体进行采集，得到第一类采集结果；第一判断模块43，用于判断待采集实体是否配置正则采集或词典采集；第二采集模块44，用于依据判断结果对第一类采集结果执行对应采集，得到第二类采集结果；第二判断模块45，用于判断对待采集实体的采集是否完成，且对待采集实体的问询是否达到最大值；识别模块46，用于在判断结果为否的情况下，对第二类采集结果执行多段识别，直至采集结束。
[0061]
可选的，第二采集模块44包括：判断单元，用于在判断结果为对待采集实体未配置正则采集或词典采集的情况下，判断对待采集实体的采集是否完成，且对待采集实体的问询是否达到最大值；第一采集单元，用于在判断结果为对待采集实体配置正则采集的情况下，依据正则采集对第一类采集结果进行采集，得到正则采集结果；第二采集单元，用于在判断结果为对待采集实体配置词典采集的情况下，依据词典采集对第一类采集结果进行采集，得到词典采集结果；其中，第二类采集结果包括：正则采集结果或词典采集结果。
[0062]
本发明实施例提供了一种基于语言识别的信息采集装置，通过接收用户输入的待采集实体；通过ner对待采集实体进行采集，得到第一类采集结果；判断待采集实体是否配置正则采集或词典采集；依据判断结果对第一类采集结果执行对应采集，得到第二类采集结果；判断对待采集实体的采集是否完成，且对待采集实体的问询是否达到最大值；在判断结果为否的情况下，对第二类采集结果执行多段识别，直至采集结束，从而能够提升对实体的识别准确率的技术效果。
[0063]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0064]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0065]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0066]
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

技术特征：
1.一种基于语言识别的信息采集方法，其特征在于，包括：接收用户输入的待采集实体；通过ner对所述待采集实体进行采集，得到第一类采集结果；判断所述待采集实体是否配置正则采集或词典采集；依据判断结果对所述第一类采集结果执行对应采集，得到第二类采集结果；判断对所述待采集实体的采集是否完成，且对所述待采集实体的问询是否达到最大值；在判断结果为否的情况下，对所述第二类采集结果执行多段识别，直至采集结束。2.根据权利要求1所述的基于语言识别的信息采集方法，其特征在于，所述依据判断结果对所述第一类采集结果执行对应采集，得到第二类采集结果包括：在判断结果为对所述待采集实体未配置正则采集或词典采集的情况下，判断对所述待采集实体的采集是否完成，且对所述待采集实体的问询是否达到最大值；在判断结果为对所述待采集实体配置正则采集的情况下，依据所述正则采集对所述第一类采集结果进行采集，得到正则采集结果；在判断结果为对所述待采集实体配置词典采集的情况下，依据所述词典采集对所述第一类采集结果进行采集，得到词典采集结果；其中，所述第二类采集结果包括：所述正则采集结果或所述词典采集结果。3.根据权利要求2所述的基于语言识别的信息采集方法，其特征在于，所述依据所述正则采集对所述第一类采集结果进行采集，得到正则采集结果包括：判断所述第一采集结果是否命中正则表达式；在判断结果为是的情况下，依据命中的正则表达式对所述第一类采集结果进行采集，得到所述正则采集结果；在判断结果为否的情况下，依据所述正则采集进行问询，直至得到所述正则采集结果。4.根据权利要求2所述的基于语言识别的信息采集方法，其特征在于，所述依据所述词典采集对所述第一类采集结果进行采集，得到词典采集结果包括：判断所述第一采集结果是否命中词典中的实体值和同义词；在判断结果为是的情况下，依据所述词典中的实体值和同义词对所述第一类采集结果进行采集，得到词典采集结果；在判断结果为否的情况下，依据所述词典采集进行问询，直至得到所述词典采集结果。5.根据权利要求1所述的基于语言识别的信息采集方法，其特征在于，所述方法还包括：在进行ner采集之后，采用多线程并行的方式对所述待采集实体的实体识别类型进行判断，确定所述待采集实体的实体识别类型，其中，所述实体类型包括：正则或词典；依据实体识别结果分配对应的采集方式。6.根据权利要求5所述的基于语言识别的信息采集方法，其特征在于，所述依据实体识别结果分配对应的采集方式包括：若通过ner、正则和词典均对所述待采集实体进行采集，则判断ner、正则和词典是否均采集到采集结果；在所述ner、所述正则和所述词典均采集到的情况下，将所述正则或所述词典采集到的
采集结果确定为所述第一类采集结果；其中，判断所述ner、所述正则和所述词典的采集值是否相同，在判断结果相同的情况下，记录所述采集结果，并将所述采集结果确定为所述第一类采集结果；在判断结果不同的情况下，以所述正则或所述词典对所述待采集实体的采集结果作为所述第一类采集结果，并记录第一类采集结果，其中，所述第一类采集结果，用于对ner进行训练和标注；在所述ner、所述正则和所述词典中仅一项采集到采集结果的情况下，将所述采集结果确定为所述第一类采集结果。7.根据权利要求1所述的基于语言识别的信息采集方法，其特征在于，所述对所述第二类采集结果执行多段识别，直至采集结束包括：判断多段识别是否开启；在判断结果为是的情况下，依据预设时长，等待用户输入，若等待时长大于所述预设时长，则向所述用户发送问询；若所述等待时长小于所述预设时长内用户输入，则对未采集的实体进行采集，直至采集完成；在判断结果为否的情况下，发送问询。8.根据权利要求1所述的基于语言识别的信息采集方法，其特征在于，在所述判断对所述待采集实体的采集是否完成，且对所述待采集实体的问询是否达到最大值之后，所述方法还包括：在判断结果为是的情况下，采集结束。9.一种基于语言识别的信息采集装置，其特征在于，包括：接收模块，用于接收用户输入的待采集实体；第一采集模块，用于通过ner对所述待采集实体进行采集，得到第一类采集结果；第一判断模块，用于判断所述待采集实体是否配置正则采集或词典采集；第二采集模块，用于依据判断结果对所述第一类采集结果执行对应采集，得到第二类采集结果；第二判断模块，用于判断对所述待采集实体的采集是否完成，且对所述待采集实体的问询是否达到最大值；识别模块，用于在判断结果为否的情况下，对所述第二类采集结果执行多段识别，直至采集结束。10.根据权利要求9所述的基于语言识别的信息采集装置，其特征在于，所述第二采集模块包括：判断单元，用于在判断结果为对所述待采集实体未配置正则采集或词典采集的情况下，判断对所述待采集实体的采集是否完成，且对所述待采集实体的问询是否达到最大值；第一采集单元，用于在判断结果为对所述待采集实体配置正则采集的情况下，依据所述正则采集对所述第一类采集结果进行采集，得到正则采集结果；第二采集单元，用于在判断结果为对所述待采集实体配置词典采集的情况下，依据所述词典采集对所述第一类采集结果进行采集，得到词典采集结果；其中，所述第二类采集结果包括：所述正则采集结果或所述词典采集结果。

技术总结
本发明公开了一种基于语言识别的信息采集方法和装置。该基于语言识别的信息采集方法，包括：接收用户输入的待采集实体；通过NER对待采集实体进行采集，得到第一类采集结果；判断待采集实体是否配置正则采集或词典采集；依据判断结果对第一类采集结果执行对应采集，得到第二类采集结果；判断对待采集实体的采集是否完成，且对待采集实体的问询是否达到最大值；在判断结果为否的情况下，对第二类采集结果执行多段识别，直至采集结束。本发明提供的方案能够提升对实体的识别准确率的技术效果。方案能够提升对实体的识别准确率的技术效果。方案能够提升对实体的识别准确率的技术效果。


技术研发人员：庾浪 蒋威 王磊
受保护的技术使用者：浙江百应科技有限公司
技术研发日：2023.06.21
技术公布日：2023/10/11