一种单位名称精确匹配方法和查找方法与流程

1.本发明涉及命名实体识别技术领域，具体涉及一种单位名称精确匹配方法和查找方法。


背景技术：

2.在目前的互联网中单位信息作为一个必要因素越来越被重视，但是单位录入的不确定性，容易导致应用方获取的单位信息异常。
3.现有技术中使用es(elasticsearch)模糊查询匹配，elasticsearch是一个分布式、高扩展、高实时的搜索与数据分析引擎。elasticsearch的实现原理主要分为以下几个步骤，首先用户将数据提交到elasticsearch数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名、打分，再将返回结果呈现给用户。
4.但是es分词是使用自带的分词算法，对于特定匹配算法会无法匹配到数据，如简称和全称无法匹配、用户输入的不确定性导致单位名称里面会包含很多es模糊匹配无法识别的无效的字符等等，所以无法达到对单位名称这种模糊匹配要求较高的数据精准匹配。


技术实现要素：

5.本发明旨在一定程度上解决相关技术中的技术问题之一。为此，本发明提供了一种单位名称精确匹配方法，具有单位名称匹配更为精细更为准确的优点。
6.为了达到上述目的，本发明采用如下技术方案：一种单位名称精确匹配方法，所述方法包括：
7.s1、对输入的两个单位名称进行预处理，所述预处理包括标准化处理和过滤处理；
8.s2、对预处理后的两个单位名称进行拆分标注处理，分别得到对应的分词和分词的类型；所述类型包括地区分词、字号分词、行业分词和组织分词；
9.s3、对所述分词进行纠正处理，所述纠正处理包括删除处理、合并处理和类型转换处理；
10.s4、对所述分词进行主体从体拆分处理，分别得到两个单位名称的主体和从体；
11.s5、对于分词能直接通过模糊匹配得出单位名称匹配度的，输出单位名称匹配度为0，否则执行s6；
12.s6、对两个单位名称的主体、从体中相同类型的分词分别进行对比计算，得到各类型分词匹配关系，将主体中各类型分词匹配关系组合计算得到主体匹配度，将从体中各类型分词匹配关系组合计算得到从体匹配度；
13.s7、根据两个单位名称的所述主体匹配度和从体匹配度计算出单位名称匹配度。
14.本发明通过对单位名称进行预处理和纠正处理，得到去重降噪的数据，有利于单位名称的精确匹配；并根据分词匹配关系、主体从体拆分和主体从体匹配度规则计算单位名称匹配度，进一步优化了匹配准确度。
15.可选的，步骤s3中所述主体从体拆分处理包括：所述分词中包含特定分词类型，所述特定类型分词及之前的所有分词组成主体，所述特定类型的分词之后的所有分词组成从体。
16.可选的，所述对两个单位名称的主体、从体中相同类型的分词分别进行对比计算包括：判断每个分词类型，根据分词类型使用相应分词匹配关系算法；所述分词匹配关系通过对比分词的字符得出；所述关系包括相同关系、相似关系和不同关系，所述相同关系包括完全相同关系和等同关系。
17.可选的，所述分词能直接通过模糊匹配得出单位名称匹配度的判定条件为：两个单位名称在经过s1，s2，s3步骤处理后，任意一个单位名称的所有分词为空。
18.可选的，所述标准化处理包括：基于词库将两个单位名称中的繁体转换为简体、小写转换为大写、中文符号转换为英文符号以及简称转换为全称；所述过滤处理包括删除特殊符号。通过标准化处理，对单位名称进行了初步的去重降噪。
19.可选的，所述对预处理后的两个单位名称进行拆分标注处理包括：基于bilstm神经网络算法，将单位名称按顺序拆分为分词，并标注类型。
20.可选的，步骤s3中所述删除处理包括：当字号分词在所有分词中所处的位置和字符串长度满足删除条件时，对所述字号分词进行删除处理。
21.可选的，步骤s3中所述合并处理包括：当位于地区分词前的分词为字号分词，且字号分词的字符串长度满足条件时，对所述地区分词和所述字号分词进行合并处理。
22.可选的，步骤s3中所述类型转换处理包括：当组织分词包含特定字符，且分词中不包含字号分词时，对所述组织分词的前一个分词进行类型转换处理得到字号分词。
23.此外，本发明还提供了一种单位名称精确查找方法，采用上述单位名称精确匹配方法进行数据处理，所述查找方法包括：
24.导入数据至es数据库，包括：获取数据，所述数据为多个单位名称；所述数据经过步骤s1、s2、s3和s4处理后，得到标准数据，所述标准数据为多个标准单位名称，调用es数据库将所述标准数据存储到es数据库；
25.获取待查找单位名称，所述单位名称经过s1、s2、s3和s4处理后，得到标准分词，将标准分词与es数据库中的标准数据进行匹配，得到与所述待查找单位名称匹配度最高的标准单位名称。
26.本发明所提供的单位名称精确查找方法通过将单位名称转化为符合查询要求的标准分词存入es数据库，输入其他单位名称按条件进行搜索时，可以大大提高准确性。
27.并且，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述的单位名称精确匹配方法和单位名称精确查找方法。
28.同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述的单位名称精确匹配方法和单位名称精确查找方法。
29.本发明的这些特点和优点将会在下面的具体实施方式以及附图中进行详细的揭露。本发明最佳的实施方式或手段将结合附图来详尽表现，但并非是对本发明技术方案的限制。另外，在每个下文和附图中出现的这些特征、要素和组件是具有多个，并且为了表示
方便而标记了不同的符号或数字，但均表示相同或相似构造或功能的部件。
附图说明
30.下面结合附图对本发明作进一步说明：
31.图1为本发明一种单位名称精确匹配方法一种实施例的流程图；
32.图2为本发明一种单位名称精确查找方法一种实施例的流程图。
具体实施方式
33.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。基于实施方式中的实施例，旨在用于解释本发明，而不能理解为对本发明的限制。
34.在本说明书中引用的“一个实施例”或“实例”或“例子”意指结合实施例本身描述的特定特征、结构或特性可被包括在本专利公开的至少一个实施例中。短语“在一个实施例中”在说明书中的各位置的出现不必都是指同一个实施例。
35.实施例：
36.如图1所示的一种单位名称精确匹配方法，该方法包括：
37.s1、对输入的两个单位名称进行预处理，包括标准化处理和过滤处理。
38.具体的，输入两个单位名称a、b，对单位名称a、b进行预处理，预处理包括标准化处理和过滤处理，标准化处理包括将单位名称a和b中的繁体转换为简体、小写转换为大写、中文符号转换为英文符号以及简称转换为全称。其中，基于词库的繁体简体字典库，将单位名称中的繁体转换为简体，如：“園”转为“园”；基于词库的英文字典库，将单位名称中的小写转换为大写，如：“a”转为“a”；基于词库的符号字典库，将单位名称中文符号转英文符号，如：“()”转为“()”；基于词库的标准字典库，将单位按照字典库顺序替换成标准数据，例如将“实小”替换为“实验小学”、“农行”替换成“农业银行”等等。过滤处理包括删除特殊符号，如删除单边括号：“邦盛)科技有限公司”删除括号后为“邦盛科技有限公司”。
39.s2、对预处理后的两个单位名称进行拆分标注处理，分别得到对应的分词和分词的类型；类型包括地区分词、字号分词、行业分词和组织分词。
40.本实施例的拆分标注处理基于bilstm神经网络模型，该模型用百万条以上的地址数据训练得到，适用于中文地址分词标记。该模型还包括五级行政区划、自然村、全国道路、住宅区、商务楼宇、银行、医院、学校等字典库，以及结合中文单位名称的特殊命名规范的分词标注规则，实现对单位的分词标记。
41.分词中地区分词表示所属地regionname(以下简称r词)，字号分词表示字号unknown(以下简称u词)、行业分词表示行业性质industrytype(以下简称i词)、组织形式orgtype(以下简称o词)，其中r词分为r1词、r2词和r3词，r1词的地区包括省、市、县及各行政区，r2词的地区包括高新区、经济开发区，r3词的地区表示中国。地区分词经过分词引擎标注后，得到如下分词，例如：单位名称a(浙江，r，邦盛，u，科技，i，有限公司，o)，单位名称b(杭州，r，公安，i，局，o)。
42.s3、对分词进行纠正处理，包括删除处理、合并处理和类型转换处理。
43.其中，在本实施例中，若满足以下条件则进行删除处理：u词在末尾，且只含有一个
字，那么删除该u词，不参与比较。例如一单位名称经步骤s1、步骤s2处理后得到“中国，r3，大地，u，保险，i，股份有限公司，o，温州，r1，分，u”，删除处理后得到“中国，r3，大地，u，保险，i，股份有限公司，o，温州，r1”。
44.若满足以下条件则进行合并处理：r1词前面为u词，且该u词只有一个字，将u词与r1合并为u词。例如一单位名称经步骤s1、步骤s2处理后得到“广州，r1，方，u，金东，r1，树脂，i，化工，i，有限公司，o”，合并处理后得到“广州，r1，方金东，u，树脂，i，化工，i，有限公司，o”。
45.若满足以下条件则进行类型转换处理：当o词包含“银行/大学”时，且无u词时，第一个o词前面的一个分词转为u词，例如，一单位名称经步骤s1、步骤s2处理后得到“江苏，r1，农业，i，银行，o”，经过类型转换处理后得到“江苏，r1，农业，u，银行，o”。
46.本实施例通过建立健全的简全称字典、别名库、形近字字典以及数据量、数据质量足够大的行政区划库和字典库，以及相应的处理规则，通过上述简称替换、字段合并、删除冗余信息、删除特殊符号、识别繁体字、识别错别字、识别形近字等处理手段，对输入的单位名称起到去重降噪的作用。
47.s4、对分词进行主体从体拆分处理。
48.若满足以下条件则进行主体从体拆分处理：字符串从左往右，以第一个o词为分界点，如果该o词后还有其他分词，那么该o词及之前的分词组成主体，o词之后分词组成从体。例如，一单位名称经步骤s1、步骤s2处理后得到“中国，r3，大地，u，财产，i，保险，i，股份有限公司，o，苏州，r1，分公司，o”，主体从体拆分处理后，主体为“中国，r3，大地，u，财产，i，保险，i，股份有限公司，o”，从体为“苏州，r1，分公司，o”。
49.s5、对于分词能直接通过模糊匹配得出单位名称匹配度的，输出单位名称匹配为0，否则执行s6。
50.s6、对两个单位名称的主体、从体中相同类型的分词分别进行对比计算，得到各类型分词匹配关系，将主体中各类型分词匹配关系组合计算得到主体匹配度，将从体中各类型分词匹配关系组合计算得到从体匹配度。
51.具体的，如单位名称a为“浙江省公安局杭州分局”，则主体为a1(浙江省，r1，公安，u，局，o)，从体为a2(杭州，r1，分局，o)；单位名称b为“温州公安局鹿城区分局”，则主体为b1(温州，r1，公安，u，局o)，从体为b2(鹿城区，r1，分局，o)，它们对比组合是a1b1，a2b2。
52.判断每个分词类型，根据不同类型使用不同分词的分词匹配关系算法，将两个单位名称中r词与r词的字符对比、u词与u词的字符对比、i词与i词的字符对比以及o词和o词的字符对比，得到三种分词匹配关系，分别为相同关系、相似关系和不同关系，其中相同关系包含完全相同关系和等同关系，完全相同关系表示字符完全相同，等同关系例如r词中“浙江省杭州市”等同于“杭州市”、“浙江”等同于“浙江”、u词中阿拉伯数字等同于中文数字、o词中字符是相似词或都缺失等等。相似关系如r词中一单位名称的r词为空、i词中一单位名称的r词为空、o词中一单位名称的o词为空等等。各类型分词对比的字符不相同或不满足等同关系和相似关系的条件时即为不同关系。
53.如上述单位名称a主体a1(浙江省，r1，公安，u，局，o)，单位名称b主体b1(温州，r1，公安，u，局o)，a1和b1同类型分词对比，即a1的“浙江省”和b1的“温州”对比，它们虽然隶属关系，但是a1是省而b1是市，它们的对比结果是不同的，标识为不同；a1的“公安”和b1的“公
安”完全相同，标识为相同，a1和b1的i词都不存在，认为相同，标识为相同；a1的“局”和b1的“局”相同，标识为相同，根据规则，r词不同，相主体匹配度为0。
54.s7、根据两个单位名称的主体匹配度和从体匹配度计算出单位名称匹配度。
55.其中，主体从体匹配度规则如下：
56.a)若主体匹配度《4，返回单位名称匹配度为0。
57.如上述例子单位名称a(浙江省公安局杭州分局)，单位名称b(温州公安局鹿城区分局)，它们主体间匹配度0，从体间匹配度0，根据主体从体匹配度规则，最终两个单位名称匹配度为0。
58.b)若主体匹配度为4/5，其中一个单位没有从体，直接返回单位名称匹配度为3。
59.例如单位名称a(浙江省，r1，公安，u，局，杭州，r1，分局，o)和单位名称b(浙江省，r1，公安，u，局)匹配，返回单位名称匹配度为3。
60.c)若主体匹配度为4/5，从体匹配度小于4，返回单位名称匹配度为2。
61.如单位名称a(浙江省，r1，公安，u，局，杭州，r1，分局，o)和单位名称b(浙江省，r1，公安，u，局，临平，r1，分局，o)匹配，返回单位名称匹配度为2。
62.d)若主体匹配度为4/5，从体匹配度为4/5，返回从体的匹配度为单位名称匹配度。
63.如单位名称a(浙江省，r1，公安，u，局，杭州，r1，分局，o)和单位名称b(浙江省，r1，公安，u，局，杭州，r1，分局，o)匹配，从体匹配度为5，返回单位名称匹配度为5。
64.e)若主体匹配度为4/5，两个单位均无从体时，具体规则如下：
65.对于单位名称匹配度为1的例子如：单位名称a(浙江，r1，邵逸夫骨科，u，人民，i，医院，o)，单位名称b(骨科，u，人民，i)，它们都只有主体，没有从体，只需要对比主体获取匹配度即可，其中r1词对比结果是相似，u相似，i相同，o不同，最后根据匹配度规则这两个单位名称匹配度是1。
66.对于单位名称匹配度为2的例子如：单位名称a(厦门市，r1，儿童，u，医院，o)，单位名称b(r1，儿童，u，医院，o)，其中，r1词对比结果相似，u词对比相同，i词都缺失，o相同，它们只有主体，没有从体，只需要对比主体，最后根据匹配度规则这两个单位名称匹配度是2。
67.对于单位名称匹配度为3的例子如：单位名称a(义马市，r1，新区，r2，中心学校，o)，单位名称b(新区，r2，中心学校，o)，其中，r1词一方缺失，r2词相同，r词相似，u词都缺失，i词都缺失，o相同，根据匹配度规则这两个单位名称匹配度为3。
68.对于单位名称匹配度为4的例子如：单位名称a(浙江，r1，邦盛，u，科技，i，发展，i，有限公司，o)，单位名称b(邦盛，u，科技，i，发展，i，股份有限公司，o)，其中，r词相似，u词相同，i词相同，o词相同，最后根据匹配度规则这两个单位名称匹配度是4。
69.对于单位名称匹配度为5的例子如：单位名称a(浙江，r1，邦盛，u，科技，i，发展，i)，单位名称b(浙江，r1，邦盛，u，科技，i，发展，i)，其中，r词相同，u词相同，i词相同，o词相同，两个单位只有主体，最后根据匹配度规则这两个单位名称匹配度为5。
70.本实施例通过主体分体拆分处理，并根据分词匹配关系、主体从体拆分和主体从体匹配度规则计算单位名称匹配度，进一步优化了匹配准确度。
71.此外，本发明还提供了一种单位名称精确查找方法，该方法包括：
72.导入数据至es数据库。具体为：获取数据，数据为多个单位名称，数据经过上述单位查询方法中步骤s1、s2、s3和s4处理后，得到标准数据，该标准数据为多个标准单位名称，
标准单位名称为分词及类型组合的形式，如“浙江，r1，邦盛，u，科技，i，发展，i”。将标准数据转化为易于es查找的数据结构，并转化为es插入语句，调用es数据库存储到es数据库。例如单位名称为“浙江邦盛科技股份有限公司”，经过s1，s2，s3后，分词结果为：“浙江，r1，邦盛，u，科技，i，股份有限公司，o”，转化为es查找的数据结构即将分词结果转为程序识别的类，其中有各个类型属性的值，再转化为json格式的报文调用es接口，存储入es数据库。
73.获取待查找的单位名称，经过s1、s2、s3和s4处理后，将单位名称转化为易于es查找的数据结构，进而转化为es查询语句，查询匹配度最高的标准单位名称。例如单位名称为“浙江邦盛科技股份有限公司”，经过s1，s2，s3后，分词结果为：“浙江，r1，邦盛，u，科技，i，股份有限公司，o”，转化为es查找的数据结构，即将分词转为程序识别的类，其中有各个类型属性的值，再转化为json格式的报文数据调用es，查询的返回结果为多个标准单位名称，其根据匹配度倒叙排序。
74.本实施例所提供的单位名称精确查找方法通过将单位名称转化为符合查询要求的标准分词存入es数据库，输入其他单位名称按条件进行搜索时，可以大大提高准确性。
75.与此同时，本实施例还提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述单位名称精确匹配方法和单位名称精确查找方法的步骤。此处单位名称精确匹配方法和单位名称精确查找方法的步骤可以是上述各个实施例的内存分析方法中的步骤。
76.本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。据此，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可实现上述任意一项实施例的方法。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)以及存储器总线动态ram(rdram)等。
77.以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本发明包括但不限于附图和上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。

技术特征：
1.一种单位名称精确匹配方法，其特征在于，所述方法包括：s1、对输入的两个单位名称进行预处理，所述预处理包括标准化处理和过滤处理；s2、对预处理后的两个单位名称进行拆分标注处理，分别得到对应的分词和分词的类型；所述类型包括地区分词、字号分词、行业分词和组织分词；s3、对所述分词进行纠正处理，所述纠正处理包括删除处理、合并处理和类型转换处理；s4、对所述分词进行主体从体拆分处理，分别得到两个单位名称的主体和从体；s5、对于分词能直接通过模糊匹配得出单位名称匹配度的，输出单位名称匹配度为0，否则执行s6；s6、对两个单位名称的主体、从体中相同类型的分词分别进行对比计算，得到各类型分词匹配关系，将主体中各类型分词匹配关系组合计算得到主体匹配度，将从体中各类型分词匹配关系组合计算得到从体匹配度；s7、根据两个单位名称的所述主体匹配度和从体匹配度计算出单位名称匹配度。2.根据权利要求1所述的单位名称精确匹配方法，其特征在于，步骤s3中所述主体从体拆分处理包括：所述分词中包含特定分词类型，所述特定类型分词及之前的所有分词组成主体，所述特定类型的分词之后的所有分词组成从体。3.根据权利要求1所述的单位名称精确匹配方法，其特征在于，所述对两个单位名称的主体、从体中相同类型的分词分别进行对比计算包括：判断每个分词类型，根据分词类型使用相应分词匹配关系算法；所述分词匹配关系通过对比分词的字符得出；所述关系包括相同关系、相似关系和不同关系，所述相同关系包括完全相同关系和等同关系。4.根据权利要求1所述的单位名称精确匹配方法，其特征在于，所述分词能直接通过模糊匹配得出单位名称匹配度的判定条件为：两个单位名称在经过s1，s2，s3步骤处理后，任意一个单位名称的所有分词为空。5.根据权利要求1所述的单位名称精确匹配方法，其特征在于，所述标准化处理包括：基于词库将两个单位名称中的繁体转换为简体、小写转换为大写、中文符号转换为英文符号以及简称转换为全称；所述过滤处理包括删除特殊符号。6.根据权利要求1所述的单位名称精确匹配方法，其特征在于，所述对预处理后的两个单位名称进行拆分标注处理包括：基于bilstm神经网络算法，将单位名称按顺序拆分为分词，并标注类型。7.根据权利要求1所述的单位名称精确匹配方法，其特征在于，步骤s3中所述删除处理包括：当字号分词在所有分词中所处的位置和字符串长度满足删除条件时，对所述字号分词进行删除处理。8.根据权利要求1所述的单位名称精确匹配方法，其特征在于，步骤s3中所述合并处理包括：当位于地区分词前的分词为字号分词，且字号分词的字符串长度满足条件时，对所述地区分词和所述字号分词进行合并处理。9.根据权利要求1所述的单位名称精确匹配方法，其特征在于，步骤s3中所述类型转换处理包括：当组织分词包含特定字符，且分词中不包含字号分词时，对所述组织分词的前一个分词进行类型转换处理得到字号分词。10.一种单位名称精确查找方法，其特征在于，采用权利要求1-9任一项的所述的单位
名称精确匹配方法进行数据处理，所述查找方法包括：导入数据至es数据库，包括：获取数据，所述数据为多个单位名称；所述数据经过步骤s1、s2、s3和s4处理后，得到标准数据，所述标准数据为多个标准单位名称，调用es数据库将所述标准数据存储到es数据库；获取待查找单位名称，所述单位名称经过s1、s2、s3和s4处理后，得到标准分词，将标准分词与es数据库中的标准数据进行匹配，得到与所述待查找单位名称匹配度最高的标准单位名称。11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的单位名称精确匹配方法和权利要求10所述的单位名称精确查找方法。12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的单位名称精确匹配方法和权利要求10所述的单位名称精确查找方法。

技术总结
本发明公开了一种单位名称精确匹配方法和查找方法，涉及命名实体识别领域，匹配方法包括：S1、对输入的两个单位名称进行预处理；S2、对预处理后的两个单位名称进行拆分标注处理，分别得到对应的分词和分词的类型；S3、对分词进行纠正处理；S4、对分词进行主体从体拆分处理；S5、对于分词能直接通过模糊匹配得出单位名称匹配度的，输出单位名称匹配度为0，否则执行S6；S6、对两个单位名称的主体、从体中相同类型的分词分别进行对比计算，得到主体匹配度和从体匹配度；S7、根据两个单位名称的主体匹配度和从体匹配度计算出单位名称匹配度。本发明具有单位名称匹配更为精细、更为准确的优点。点。点。


技术研发人员：闪志祥 王雷 陈盼盼 杨运平 蒋炜
受保护的技术使用者：浙江邦盛科技股份有限公司
技术研发日：2023.07.07
技术公布日：2023/10/11