一种告警信息提取方法、设备和计算机可读存储介质与流程

1.本技术涉及通信技术领域，尤其涉及一种告警信息提取方法、设备和计算机可读存储介质。


背景技术：

2.网管故障管理系统中，需要对接收到的大量告警文本进行快速且有效地处理。因为告警文本中包括多个键值对，键值对由一个键信息项和一个值信息项构成，且不同设备产生的告警文本的格式不同、告警文本中所包含的键信息项也不同，如何有效提取不同告警文本中的信息是至关重要的。目前，通过构建存储有键信息项和数据类型之间的关联关系的数据类型表，在获取到一个实时告警数据后根据该数据类型表中的键信息项提取这个实时告警数据中的键值对，并根据该数据类型表中的数据类型对提取的键值对进行校验，校验通过后记录提取的键值对，以此来获取实时告警数据中的数据。然而，上述方法主要是对由单个信息项组成的值信息项进行提取，在对由多个键值对组成的值信息项进行提取时，所提取的告警信息会出错。


技术实现要素：

3.为解决上述技术问题，本技术实施例期望提供一种告警信息提取方法、设备和计算机可读存储介质，解决了相关技术中的在对由多个键值对组成的值信息项进行提取时所提取的告警信息会出错的问题，提高了信息提取的准确率和效率。
4.本技术的技术方案是这样实现的：
5.一种告警信息提取方法，所述方法包括：
6.确定样本告警文本的样本多值信息元的第一模式串；其中，所述样本多值信息元包括键信息项和由多个键值对组合的值信息项；所述第一模式串用于表征所述样本多值信息元中的值信息项的整体结构；
7.对所述第一模式串进行聚类得到模式集合，并确定所述模式集合的集合特征；其中，所述集合特征能够标识所述模式集合；
8.基于所述模式集合的集合特征和所述模式集合的第一模式串，生成特征模式库；
9.对待处理的告警文本和所述特征模式库进行分析处理，得到所述待处理的告警文本的目标多值信息元。
10.上述方案中，所述确定样本告警文本的样本多值信息元的第一模式串，包括：
11.确定所述样本多值信息元的键值间分隔符和键值对间分隔符；其中，所述键值间分隔符是键信息项和值信息项之间的分隔符，所述键值对间分隔符是键值对之间的分隔符；
12.基于所述键值间分隔符、所述键值对间分隔符和所述样本多值信息元的键信息项，确定所述第一模式串。
13.上述方案中，所述基于所述键值间分隔符、所述键值对间分隔符和所述样本多值
信息元的键信息项，确定所述第一模式串，包括：
14.从所述键值间分隔符中依次确定符号不重复的分隔符得到第一符号；
15.从所述键值对间分隔符中依次确定符号不重复的分隔符得到第二符号；
16.基于所述第一符号、所述第二符号和所述样本多值信息元的键信息项，获取所述样本多值信息元的第二模式串；
17.基于所述第二模式串和模式串之间的关联关系，得到所述第一模式串。
18.上述方案中，所述基于所述第一符号、所述第二符号和所述样本多值信息元的键信息项，获取所述样本多值信息元的第二模式串，包括：
19.基于所述第一符号、所述第二符号和键值对的结构，构建匹配模式；
20.基于所述匹配模式和所述样本多值信息元的键信息项，获取所述第二模式串。
21.上述方案中，所述基于所述匹配模式和所述样本多值信息元的键信息项，确定所述第二模式串，包括：
22.基于所述匹配模式，从所述样本多值信息元的值信息项中提取键值对作为目标键值对；
23.在所述目标键值对与所述样本多值信息元的值信息项中的键值对相同的情况下，基于所述匹配模式和所述样本多值信息元的键信息项确定所述第二模式串。
24.上述方案中，所述对所述第一模式串进行聚类得到模式集合，包括：
25.基于所述第一模式串，构建所述样本多值信息元的模式树；
26.基于所述模式树的节点的信息，获取所述第一模式串的相似性；
27.基于所述第一模式串的相似性对所述第一模式串进行聚类，得到所述模式集合。
28.上述方案中，所述确定所述模式集合的集合特征，包括：
29.确定所述模式集合中的键信息项；
30.将能够标识所述模式集合的键信息项确定为所述模式集合的集合特征。
31.上述方案中，所述基于所述模式集合的集合特征和所述模式集合的第一模式串，生成特征模式库，包括：
32.基于所述模式集合的集合特征和所述模式集合的第一模式串之间的对应关系，生成所述特征模式库。
33.上述方案中，所述对待处理的告警文本和所述特征模式库进行分析处理，得到所述待处理的告警文本的目标多值信息元，包括：
34.将所述待处理的告警文本与所述特征模式库的集合特征进行特征匹配；
35.将匹配成功的特征模式库的集合特征作为目标集合特征，并将所述待处理的告警文本与所述目标集合特征对应的模式集合的第一模式串进行模式匹配；
36.在模式匹配成功的情况下，基于匹配成功的所述目标集合特征对应的模式集合的第一模式串进行提取，得到所述待处理的告警文本的目标多值信息元。
37.上述方案中，所述方法还包括：
38.在特征匹配失败的情况下，获取所述待处理的告警文本的目标多值信息元的第三模式串；其中，所述第三模式串用于表征所述待处理的告警文本中的值信息项的整体结构；
39.将所述目标多值信息元的第三模式串添加到目标模式集合；
40.确定所述目标模式集合的集合特征；
41.基于所述目标模式集合的集合特征和所述目标模式集合的第三模式串，更新所述特征模式库。
42.上述方案中，所述方法还包括：
43.在模式匹配失败的情况下，获取所述待处理的告警文本的目标多值信息元的第三模式串；
44.将所述第三模式串添加到所述目标集合特征对应的模式集合。
45.一种告警信息提取设备，所述设备包括：处理器、存储器和通信总线；
46.所述通信总线用于实现处理器和存储器之间的通信连接；
47.所述处理器用于执行存储器中的告警信息提取程序，以实现上述所述的告警信息提取方法的步骤。
48.一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述所述的告警信息提取方法的步骤。
49.本技术的实施例所提供的告警信息提取方法、设备和计算机可读存储介质，可以确定样本告警文本的样本多值信息元的第一模式串，对第一模式串进行聚类得到模式集合，并确定该模式集合的集合特征，基于该模式集合的集合特征和该模式集合的第一模式串，生成特征模式库，如此可以基于该特征模式库，对待处理的告警文本进行分析处理，得到待处理的告警文本的目标多值信息元，解决了相关技术中的在对由多个键值对组成的值信息项进行提取时所提取的告警信息会出错的问题，提高了信息提取的准确率和效率。
附图说明
50.图1为本技术的实施例提供的一种告警信息提取方法的流程示意图；
51.图2为本技术的实施例提供的一种样本告警文本的示意图；
52.图3为本技术的实施例提供的另一种告警信息提取方法的流程示意图；
53.图4为本技术的实施例提供的一种模式树的结构示意图；
54.图5为本技术的实施例提供的又一种告警信息提取方法的流程示意图；
55.图6为本技术的实施例提供的一种告警信息提取设备的结构示意图。
具体实施方式
56.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
57.应理解，说明书通篇中提到的“本技术实施例”或“前述实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“本技术实施例中”或“在前述实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
58.在未做特殊说明的情况下，电子设备执行本技术实施例中的任一步骤，可以是电
子设备的处理器执行该步骤。还值得注意的是，本技术实施例并不限定电子设备执行下述步骤的先后顺序。另外，不同实施例中对数据进行处理所采用的方式可以是相同的方法或不同的方法。还需说明的是，本技术实施例中的任一步骤是电子设备可以独立执行的，即电子设备执行下述实施例中的任一步骤时，可以不依赖于其它步骤的执行。
59.应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
60.本技术实施例提供一种告警信息提取方法，该方法可以应用于告警信息提取设备中，参照图1所示，该方法包括以下步骤：
61.步骤101、确定样本告警文本的样本多值信息元的第一模式串。
62.其中，样本多值信息元包括键信息项和由多个键值对组合的值信息项，第一模式串用于表征样本多值信息元中的值信息项的整体结构。
63.在本技术实施例中，样本告警文本可以是预先获取的多个告警文本，该多个告警文本中的每个告警文本可以包括一个或多个样本多值信息元。如图2所示，图2所示的样本告警文本中包括多个单值信息元和一个多值信息元，图2所示的告警发生时间为单值信息元，其中，键信息项为：告警发生时间；值信息项为：2021-03-19 17:32:02；图2所示的alarmlocation(adinfo)为多值信息元，其中，键信息项为：alarmlocation(adinfo)，值信息项为：aid：620797954#1232；alarmcode33：052xxxxxx4；remark；:pvflag vnf nf＝5f7efobe-486f-2032，ip＝2409 802，可以看出，alarmlocation(adinfo)的值信息项由aid、alarmcode和remark组成，其中，remark由pvflag vnf nf和ip组成，也即alarmlocation(adinfo)的值信息项是由多个键值对组合而成的。可选地，在确定样本告警文本的多值信息元的第一模式串之前，可以将对样本告警文本进行预处理，如，将样本告警文本中的多值信息元的值信息项为空(或者，为null)的告警文本过滤掉，以提高后续处理速度。
64.步骤102、对第一模式串进行聚类得到模式集合，并确定模式集合的集合特征。
65.其中，集合特征能够标识模式集合。
66.在本技术实施例中，对第一模式串进行聚类，也即是将相似性较强的第一模式串聚类在一起，以便于发现样本告警文本的共性特征，有助于后续确定模式集合的集合特征，进而有助于提取告警文本中的信息；确定模式集合的集合特征是为了提高匹配速度，以便根据集合特征查找到对应的模式集合，提高告警信息提取的速率。
67.步骤103、基于模式集合的集合特征和模式集合的第一模式串，生成特征模式库。
68.在本技术实施例，特征模式库是根据模式集合的集合特征和模式集合的第一模式串生成的，模式集合是通过对样本告警文本的样本多值信息元的第一模式串进行聚类得到的，因此可以根据该特征模式库提取到告警文本中的多值信息元。
69.步骤104、对待处理的告警文本和该特征模式库进行分析处理，得到待处理的告警文本的目标多值信息元。
70.在本技术实施例中，目标多值信息元是待处理的告警文本中的多值信息元。在获取到待处理的告警文本之后，可以将待处理的告警文本与基于样本告警文本的样本多值信息元的第一模式串得到的特征模式库进行分析处理，以得到待处理的告警文本的目标多值信息元。
71.本技术实施例所提供的告警信息提取方法，可以确定样本告警文本的样本多值信
息元的第一模式串，对第一模式串进行聚类得到模式集合，并确定该模式集合的集合特征，基于该模式集合的集合特征和该模式集合的第一模式串，生成特征模式库，如此可以基于该特征模式库，对待处理的告警文本进行分析处理，得到待处理的告警文本的目标多值信息元，解决了相关技术中的在对由多个键值对组成的值信息项进行提取时所提取的告警信息会出错的问题，提高了信息提取的准确率和效率。
72.基于前述实施例，本技术实施例提供一种告警信息提取方法，参照图3所示，该方法包括以下步骤：
73.步骤201、告警信息提取设备确定样本多值信息元的键值间分隔符和键值对间分隔符。
74.其中，键值间分隔符是键信息项和值信息项之间的分隔符，键值对间分隔符是键值对之间的分隔符。
75.在本技术实施例中，告警信息提取设备可以确定样本多值信息元的键值间分隔符和键值对间分隔符，以便后续获取样本多值信息元的第一模式串。如图2中所示的样本告警文本中，对应的可以包括一个多值信息元，该多值信息元包括键信息项、值信息项、键值之间的分隔符和键值对之间的分隔符。示例性的，多值信息元k可以为(k1)(:)(v1)(；)(k2)(:)(v2)(；)(k3)(:)((k4)(＝)(v4)(,)(k5)(＝)(v5))，那么k包含的键值间分隔符为{：：：＝＝}，k包含的键值对间分隔符为{；；，}。
76.步骤202、告警信息提取设备基于键值间分隔符、键值对间分隔符和样本多值信息元的键信息项，确定第一模式串。
77.其中，步骤202可以通过以下方式来实现：
78.步骤202a、告警信息提取设备从键值间分隔符中依次确定符号不重复的分隔符得到第一符号。
79.在本技术实施例中，告警信息提取设备从键值间分隔符中依次确定符号不重复的分隔符得到第一符号，是为了后续能够得到第一模式串。示例性的，样本多值信息元k可以为(k1)(:)(v1)(；)(k2)(:)(v2)(；)(k3)(:)((k4)(＝)(v4)(,)(k5)(＝)(v5))，那么k包含的键值间分隔符为{：：：＝＝}，从键值间分隔符中得到的第一符号为{：＝}。
80.步骤202b、告警信息提取设备从键值对间分隔符中依次确定符号不重复的分隔符得到第二符号。
81.在本技术实施例，告警信息提取设备从键值对间分隔符中依次确定符号不重复的分隔符得到第二符号，是为了后续能够得到第一模式串。示例性的，样本多值信息元k可以为(k1)(:)(v1)(；)(k2)(:)(v2)(；)(k3)(:)((k4)(＝)(v4)(,)(k5)(＝)(v5))，那么k包含的键值对间分隔符为{；；，}，从键值对间分隔符中得到的第二符号为{；，}。
82.步骤202c、告警信息提取设备基于第一符号、第二符号和样本多值信息元的键信息项，获取样本多值信息元的第二模式串。
83.在本技术实施例中，第二模式串是样本多值信息元的部分结构，第一符号是从键值间分隔符中确定的，第二符号是从键值对间分隔符中确定的，因此，基于第一符号、第二符号和键信息项，能够得到样本多值信息元的部分结构(即，第二模式串)，从而能够基于第二模式串以及第二模式串之间的关联关系可以获取到第一模式串。
84.其中，步骤202c的操作可以通过以下方式来实现：
85.步骤a、告警信息提取设备基于第一符号、第二符号和键值对的结构，构建匹配模式。
86.在本技术实施例中，告警信息提取设备基于第一符号、第二符号和键值对的结构构建匹配模式的操作可以为：将最先确定出的第一符号作为第一目标符号，将最先确定出的第二符号作为第二目标符号；基于第一目标符号和第二目标符号和键值对的结构，构建匹配模式；在匹配模式验证成功的情况下，执行步骤b，删除已被作为第二目标符号的第二符号，将下一个确定出的第二符号作为新的第二目标符号，返回执行所述基于第一目标符号和第二目标符号，构建匹配模式的步骤以及后续步骤；在匹配模式验证失败的情况下，将下一个确定出的第二符号作为新的第二目标符号，返回执行所述基于第一目标符号和第二目标符号，构建匹配模式的步骤以及后续步骤；在遍历完第二符号的情况下，将下一个确定出的第一符号作为新的第一目标符号，从剩余的第二符号中得到最先确定出的第二符号作为目标符号，返回执行所述基于第一目标符号和第二目标符号和键值对的结构的步骤以及后续步骤。
87.在本技术实施例中，告警信息提取设备基于第一符号、第二符号和键值对的结构最先构建的是针对样本多值信息元的最外层键值对的匹配模式，然后构建针对样本多值信息元的最外层的值信息项中的键值对的匹配模式，依次类推，直至遍历完所有的第一符号和第二符号，也即得到能够获取第二模式串的所有匹配模式，进而能够根据第二模式串获取到第一模式串。
88.步骤b、告警信息提取设备基于匹配模式和样本多值信息元的键信息项，确定第二模式串。
89.在本技术实施例中，告警信息提取设备基于匹配模式和样本多值信息元的键信息项确定的第二模式串能够表征样本多值信息元的部分结构，进一步地，通过第二模式串能够得到表征样本多值信息元的整体结构的第一模式串。
90.其中，步骤b的操作可以为：告警信息提取设备基于匹配模式，从样本多值信息元的值信息项中提取键值对作为目标键值对；在目标键值对与样本多值信息元的值信息项中的键值对相同的情况下，基于该匹配模式和样本多值信息元的键信息项，得到第二模式串。
91.例如，获取图2所示的alarmlocation(adinfo)的第二模式串，且匹配模式为(k)(:)(v)(；)；其中，匹配模式中的k、v均可以是[\\u4e00-\\u9fa5]|\\s|\\s+，以表示匹配模式中的k、v均可以是包含中文的任意长度的字符序列，。基于匹配模式从样本多值信息元的值信息项中提取键值对作为目标键值对的操作为：先获取到三个键值对：(aid)(:)(620797954#1232)(；)、(alarmcode)(:)(33052xxxxxx4)(；)、(remark)(:)(pvflag vnf nf＝5f7efobe-486f-2032,ip＝2409 802)(；)，然后，对基于该匹配模式获取到的该三个键值对以及获取顺序进行拼接，得到的目标模式串为(aid)(:)(620797954#1232)(；)(alarmcode)(:)(33052xxxxxx4)(；)(remark)(:)(pvflag vnf nf＝5f7efobe-486f-2032,ip＝2409 802)(；)，得到的目标模式串与这个样本多值信息元的值信息项中的键值对相同，则得到表征该匹配模式验证成功的验证结果。然后，基于该匹配模式和样本多值信息元的键信息项得到第二模式串：(aid)(:)(v)(；)(alarmcode)(:)(v)(；)(remark)(:)(v)(；)。
[0092]
步骤202d、告警信息提取设备基于第二模式串和模式串之间的关联关系，得到第一模式串。
[0093]
在本技术实施例中，告警信息提取设备基于匹配模式和样本多值信息元的键信息项，先获取的是样本多值信息元的最外层的第二模式串，然后获取的是最外层的键值对的值信息项中的第二模式串，以此类推，直至获取到最里层的第二模式串，在获取到所有的第二模式串之后，告警信息提取设备基于所有的第二模式串和模式串之间的关联关系，得到第一模式串。
[0094]
示例地，样本多值信息元k为(k1)(:)(v1)(；)(k2)(:)(v2)(；)(k3)(:)((k4)(＝)(v4)(,)(k5)(＝)(v5))，那么k中的第一符号为{：＝}、k中的第二符号为{；，}。首先，将最先确定出的第一符号“：”作为第一目标符号，将最先确定出的第一符号“；”作为第二目标符号；基于“：”、“；”和键值对的结构构建匹配模式，得到的匹配模式为(k)(:)(v)(；)其中，k、v均可以是任意长度的字符序列；对该匹配模式进行验证，也即按照该匹配模式获取目标模式串，先获取到三个键值对：(k1)(:)(v1)(；)、(k2)(:)(v2)(；)、(k3)(:)((k4)(＝)(v4)(,)(k5)(＝)(v5))(；)，然后对该三个键值进行拼接，得到的目标模式串为(k1)(:)(v1)(；)(k2)(:)(v2)(；)(k3)(:)((k4)(＝)(v4)(,)(k5)(＝)(v5))，得到的目标模式串与这个多值信息元相同，则得到表征该匹配模式验证成功的验证结果；基于该匹配模式(k)(:)(v)(；)和这个样本多值信息元最外层的键信息项，获取最外层的第二模式串(k1)(:)(v)(；)(k2)(:)(v)(；)(k3)(:)(v)(；)，如此也就完成了对最外层的第二模式串的提取。接着删除已被作为第二目标符号的第二符号“；”，此时第二符号只剩{,}，继续对最外层的值信息项中的键值对进行提取，也即对k3中的键值对进行提取，具体地，从剩余的第二符号中得到最先确定出的第二符号“，”作为新的第二目标符号，基于“：”、“，”构建匹配模式，得到的匹配模式为(k)(:)(v)(,)，对该匹配模式进行验证，也即按照该匹配模式获取目标模式串，获取的目标模式串为(k3)(:)((k4)(＝)(v4)(,)，获取的目标模式串与样本多值信息元的k3中的键值对不同，得到表征该匹配模式验证失败的验证结果，遍历完键值对间分隔符的第二符号的情况下，将下一个确定出的第一符号“＝”作为新的第一目标符号；基于“：”和“，”和键值对的结构构建匹配模式，构建的匹配模式为(k)(＝)(v)(,)；对该匹配模式进行验证，也即按照该匹配模式获取目标模式串，先获取到两个键值对：(k4)(＝)(v4)、(k5)(＝)(v5)，然后对基于该匹配模式获取的这两个键值对以及获取顺序进行拼接，拼接后得到的目标模式串为(k4)(＝)(v4)(,)(k5)(＝)(v5)，得到的目标模式串与这个多值信息元的k3中的键值对相同，则得到表征该匹配模式验证成功的验证结果；基于该匹配模式(k)(＝)(v)(,)和样本多值信息元的最外层的值信息项中的键信息项，获取最外层的值信息项中的第二模式串(k4)(＝)(v)(,)(k5)(＝)(v)，删除已被作为第二目标符号的第二符号“，”，此时已删除完所有的第二符号，如此也就完成了对最外层的值信息项中的第二模式串的提取，在最外层和最内层的第二模式串都提取完成的情况下，基于第二模式串和模式串之间的关联关系得到这个样本多值信息元的第一模式串(k1)(:)(v)(；)(k2)(:)(v)(；)(k3)(:)((k4)(＝)(v)(,)(k5)(＝)(v))。
[0095]
步骤203、告警信息提取设备基于第一模式串，构建样本多值信息元的模式树。
[0096]
在本技术实施例中，由于在获取第一模式串时，先获取的是最外层的第二模式串，然后获取的是最外层的值信息项的第二模式串，以此类推直至获取到最里层的第二模式串，因此可以基于第一模式串的获取过程，构建样本多值信息元的模式树。示例地，样本告警文本的样本多值信息元的第一模式串为(k1)(:)(v)(；)(k2)(:)(v)(；)(k3)(:)((k4)(＝)
(v)(,)(k5)(＝)(v))，由上述步骤202d可知，先获取的最外层的第二模式串为(k1)(:)(v)(；)(k2)(:)(v)(；)(k3)(:)(v)(；)，接着获取的最外层的值信息项中的键值对为(k4)(＝)(v4)、(k5)(＝)(v5),那么将最外层的第二模式串中的每个键值对作为第二层的一个节点，将获取的最外层的值信息项中的每个键值对作为第三层的一个节点，将第三层的节点与对应的上一层的节点相连，并且同层节点在模式串中的顺序为从左向右排序，将根节点表示为p，从而得到图4所示的模式树；其中，h为该模式树的深度。
[0097]
步骤204、告警信息提取设备基于该模式树的节点的信息，获取第一模式串的相似性。
[0098]
在本技术实施例中，告警信息提取设备可以基于该模式树的节点的内容、节点的顺序、节点所在层级等节点信息计算第一模式串的相似性。在计算第一模式串的相似性时，考虑不同层级的节点对第一模式串的相似性的影响，为不同层级的节点赋予不同的权重，距离根节点越远的层级所处的节点的权重越小。
[0099]
一种可实现的方式中，第一模式串expi和第一模式串expj的相似性计算公式为：sim(expi,expj)＝sim(p_rooti,p_rootj)其中，p_rooti为第一模式串expi的根节点，p_rootj为第一模式串expj的根节点；
[0100]
第一模式串的根节点的相似性为各个节点的相似性之和，第一模式串expi和第一模式串expj中处于相同位置的节点的相似性计算公式为：sim(e
hi
,e'
hi
)＝(h-1)/h*simnode(e
hi
,e'
hi
)+1/h*ids(e
hi
,e'
hi
)，其中，h为节点的深度，i为同层级结点所处的位置，每一层结点位置从1开始按从左往右依次递增的顺序排序，e
hi
为第一模式串expi中的节点，e'
hi
为第一模式串expj中的节点，simnode(e
hi
,e'
hi
)为结点内容的相似性；ids(e
hi
,e'
hi
)为两个节点直接后代节点的相似性；
[0101]
第一模式串expi和第一模式串expj中的节点内容的相似性计算公式为：其中，s1为第一模式串expi中的键值间分隔符，s2为第一模式串expi中的键值间分隔符，k为第一模式串expi中的键信息项，s'1为第一模式串expj中的键值间分隔符，s'2为第一模式串expj中的键值间分隔符，k'为第一模式串expj中的键信息项；
[0102]
第一模式串expi和第一模式串expj中的直接后代节点的相似性计算公式为：
[0103][0104]
其中，e
hi
和e'
hi
均有直接后代节点时，使用公式(1)来计算ids(e
hi
,e'
hi
)；e
hi
和e'
hi
中有一个节点没有直接后代节点时，使用公式(2)来计算ids(e
hi
,e'
hi
)；e
hi
和e'
hi
均没有直接后代节点时，使用公式(1)来计算ids(e
hi
,e'
hi
)。
[0105]
步骤205、告警信息提取设备基于第一模式串的相似性对第一模式串进行聚类，得到该模式集合。
[0106]
在本技术实施例中，告警信息提取设备基于第一模式串的相似性对第一模式串进行聚类可以采用自下而上的层级聚类算法，该自下而上的层级聚类算法在每次聚类迭代过程中都可以很直观地看到聚类结果，并采用步骤204中所述的第一模式串的相似性计算方法，在聚类过程中，将相似度较高的、但是不完全一致的第一模式串聚类在一起，从而每个模式集合中都会包含相似性较高、但是不完全相同的第一模式串。
[0107]
示例性的，告警信息提取设备对第一模式串进行聚类后，可以将得到的该多个模式集合表示为clusters＝{c1,c2,c3,...,ck}，其中，k为族群个数，0《k《n(n为样本空间数)；ci为第i个模式集合，ci＝(p,expset)，p为模式集合包含的样本编号，expset为模式集合包括的第一模式串。
[0108]
在本技术实施例中，告警信息提取设备在对第一模式串进行聚类之后，将相似性较高的第一模式串聚类在同一个模式集合中。但是，基于现有的聚类结果，很难将其直接应用到告警信息提取中。一种可实现的方式中，告警信息提取设备可以通过步骤206-步骤207来获取每个模式集合的集合特征。
[0109]
步骤206、告警信息提取设备确定模式集合中的键信息项。
[0110]
在本技术实施例中，样本告警文本中除了包含多值信息元之外，还包含很多单值信息元，如图2所示的告警标题、告警类型、网管告警级别、告警标准名称、厂家、设备类型、数据源、告警对象类型等。每个单值信息元都可以表征样本告警文本的一些属性，并且这些属性都是简单的键值对结构，很便于作为匹配规则。因此，可以基于这些键信息项得到能够标识模式集合的集合特征。
[0111]
步骤207、告警信息提取设备将能够标识模式集合的键信息项确定为模式集合的集合特征。
[0112]
其中，集合特征是能够标识模式集合的键信息项。
[0113]
在本技术实施例中，模式集合的集合特征可以为一个能够标识模式集合的键信息项以及该键信息项对应的取值，也可以为多个能够标识模式集合的键信息项以及该多个键信息项中每个键信息项对应的取值，只要确定的集合特征能够标识模式集合即可。
[0114]
其中，步骤207的操作可以为：(1)告警信息提取设备对各模式集合中的样本告警文本中的单值数据元进行预处理，该预处理可以为：对各单值信息元中的值数据项进行必要的资源回填和正规化，避免异常值对提取集合特征造成干扰；(2)定义告警文本的特征集合x＝(x1,x2,...,xn)
t
，n为特征的数量；每一个特征xi表述为xi＝(x
i1
,x
i2
,...,x
im
)，m特征的维度，每个键xi信息项对应一个特征。对每个模式集合均初始化一个的矩阵，为所有特征的最大维数。如果模式集合中出现了某个特征值，则矩阵中对应位置置1，否则置0。矩阵的每个值按位存储；(3)针对某个特征xj，如果某个模式集合ci包含特征xj对应的特征值，其他模式集合都不包含，那么该特征xj及该特征xj对应在该模式集合的取值均可以为该模式集合的特征规则；(4)对于剩下的每个模式集合，可以通过下述代码获取集合特征的方式：
[0115][0116]
在获得特征s之后，s中各特征项及各特征项对应的取值就为该模式集合的集合特征，也即确定的键信息项以及该键信息项的值信息项均可以为该模式集合的集合特征。一个键信息项对应的多个值信息项的取值之间的关系为“或”各键信息项之间为“且”的关系。
[0117]
步骤208、告警信息提取设备基于模式集合的集合特征和模式集合的第一模式串之间的对应关系，生成特征模式库。
[0118]
在本技术实施例中，告警信息提取设备可以采用基于xml的表述方法，基于模式集合的集合特征和模式集合的第一模式串之间的对应关系生成特征模式库，当然也可以通过规则表述方法基于模式集合的集合特征和模式集合的第一模式串之间的对应关系生成特征模式库，本技术实施例对此不作限定。
[0119]
示例地，采用基于xml的表述方法生成特征模式库的具体实现方式如下：
[0120][0121][0122]
其中，《rule_pattern》为特征-模式库，用于存储模式集合的集合特征、模式集合中的第一模式串，以及集合特征与第一模式串之间的对应关系。《key》为多值数据元的键信息项，如图1所示的样本告警文本中的alarmlocation(addinfo)。《cluster》为每个模式集合的集合特征以及集合特征所标识的模式集合中的第一模式串，id为模式集合标识。《match_rule》节点为集合特征，relation为个集合特征之间的关系，通常为“and”。《tkey》为键信息项的值，name为键数据项。《value》为键数据项在该模式集合中的各个值，同一个键信息项的多个值之间的关系为“or”。《pattern_str》用于存储模式集合包含的第一模式串。
每一个《pattern》为一种第一模式串，weight为第一模式串的权重，权重根据模式集合中某类第一模式串的占比来确定，value为具体的第一模式串。
[0123]
步骤209、告警信息提取设备将待处理的告警文本与特征模式库的集合特征进行特征匹配。
[0124]
在本技术实施例中，对于待处理的告警文本，先与特征模式库的集合特征进行特征匹配，也即根据步骤208中的《cluster》内的《match》进行特征匹配，在匹配成功的情况下，步骤209之后执行步骤210～213；在匹配失败的情况下，步骤209之后执行步骤214-步骤217。
[0125]
步骤210、告警信息提取设备将匹配成功的特征模式库的集合特征作为目标集合特征，并将待处理的告警文本与目标集合特征对应的模式集合的第一模式串进行模式匹配。
[0126]
需要说明的是，在模式匹配成功的情况下，步骤210之后执行211；在模式匹配失败的情况下，步骤210之后执行步骤212～213；
[0127]
步骤211、在模式匹配成功的情况下，告警信息提取设备基于匹配成功的目标集合特征对应的模式集合的第一模式串进行提取，得到待处理的告警文本的目标多值信息元。
[0128]
在本技术实施例中，在模式匹配成功的情况下，基于匹配成功的特征模式库的集合特征对应的模式集合的第一模式串进行提取，以获取待处理的告警文本的目标多值信息元。如，若匹配成功的特征模式库的集合特征对应的模式集合的第一模式串的id为2，说明待处理的告警文本中的多值信息元与id为2的第一模式串相似，则id为2的第一模式串进行提取，得到待处理的告警文本的目标多值信息元。
[0129]
步骤212、告警信息提取设备在模式匹配失败的情况下，获取待处理的告警文本的目标多值信息元的第三模式串。
[0130]
在本技术实施例中，模式匹配失败，说明目标集合特征对应的模式集合的第一模式串中没有与待处理的告警文本的目标多值信息元相似的第一模式串，这种情况下，获取待处理的告警文本的目标多值信息元的第三模式串，以更新目标集合特征对应的模式集合的第一模式串。
[0131]
步骤213、告警信息提取设备将第三模式串添加到匹配成功的特征模式库的集合特征对应的模式集合。
[0132]
在本技术实施例中，告警信息提取设备在获取第三模式串后，可以直接将第三模式串添加到目标模式集合对应的模式集合中，以更新特征模式库。
[0133]
步骤214、在特征匹配失败的情况下，告警信息提取设备获取待处理的告警文本的目标多值信息元的第三模式串。
[0134]
其中，第三模式串用于表征待处理的告警文本中的目标多值信息元的值信息项的整体结构。
[0135]
在本技术实施例中，特征匹配失败，说明当前的特征模式库中没有待处理的告警文本中的键信息项，更没有待处理的告警文本的目标多值信息元对应的第一模式库。这种情况下，告警信息提取设备将待处理的告警文本加入自学习流程，也即基于待处理的告警文本的目标多值信息元的第三模式串和待处理的告警文本中的键信息项更新特征模式库。
[0136]
步骤215、告警信息提取设备将目标多值信息元的第三模式串添加到目标模式集
合。
[0137]
在本技术实施例中，目标模式集合是新的模式集合，将目标多值信息元的第三模式串添加到目标模式集合，也即是将第三模式串添加到新的模式集合中，以更新特征模式库。
[0138]
步骤216、告警信息提取设备确定目标模式集合的集合特征。
[0139]
在本技术实施例中，可以将能够标识待处理的告警文本的键信息项确定为目标模式集合的集合特征，以便基于集合特征匹配到第三模式串。
[0140]
步骤217、告警信息提取设备基于目标模式集合的集合特征和目标模式集合的第三模式串，更新特征模式库。
[0141]
在本技术实施例中，告警信息提取设备基于目标模式集合的集合特征和目标模式集合的第三模式串更新特征模式库，可以不断扩充特征模式库，以便于后续对新的待处理的告警文本进行分析处理。
[0142]
如图5所示，本技术实施例提供的告警信息提取方法，先确定样本告警文本的样本多值信息元的第一模式串，对第一模式串进行聚类得到模式集合，并确定模式集合的集合特征，接着基于模式集合的集合特征和模式集合的第一模式串生成特征模式库。如此，在获取待处理的告警文本时，将待处理的告警文本与该特征模式库的集合特征进行特征匹配，在特征匹配成功的情况下，与匹配成功的集合特征对应的模式集合的第一模式串进行模式匹配，从而获取待处理的告警文本的目标多值信息元。
[0143]
示例性的，若构建的特征模式库如下所示，其中，多值信息元的键信息项为alarmlocation(addinfo)，该多值信息元的集合特征为告警类型，该告警类型对应的取值为xxx、或yyy，该告警类型对应的模式串为(aid):([\u4e00-\u9fa5]|\s|\s+)；(alarmcode):([\u4e00-\u9fa5]|\s|\s+)；(remark):([\u4e00-\u9fa5]|\s|\s+)。待处理的告警文本为图1所示的告警文本，图1中的告警文本中包括告警类型：xxx，则可以与下述所示的特征模式库特征匹配成功，接着进行模式匹配，图1所示的多值信息元为aid：620797954#1232；alarmcode33：052xxxxxx4；remark；:pvflag vnf nf＝5f7efobe-486f-2032，ip＝2409 802与下述告警类型这一集合特征对应的模式串模式匹配成功，那么根据该特征模式库得到的目标多值信息元为：aid：620797954#1232；alarmcode：33052xxxxxx4；remark：pv flag vnf nf＝5f7efobe-486f-2032,ip＝2409 802。
[0144][0145]
基于前述实施例，本技术的实施例提供一种告警信息提取设备，该告警信息提取设备可以应用于图1、3和5对应的实施例提供的告警信息提取确定方法中，参照图6所示，该告警信息提取设备3可以包括：处理器31、存储器32和通信总线33，其中：
[0146]
通信总线33用于实现处理器31和存储器32之间的通信连接；
[0147]
处理器31用于执行存储器32中的告警信息提取程序，以实现以下步骤：
[0148]
确定样本告警文本的样本多值信息元的第一模式串；其中，样本多值信息元包括键信息项和由多个键值对组合的值信息项；第一模式串用于表征样本多值信息元中的值信息项的整体结构；
[0149]
对第一模式串进行聚类得到模式集合，并确定模式集合的集合特征；其中，集合特征能够标识模式集合；
[0150]
基于模式集合的集合特征和模式集合的第一模式串，生成特征模式库；
[0151]
对待处理的告警文本和特征模式库进行分析处理，得到待处理的告警文本的目标
多值信息元。
[0152]
在本技术的其他实施例中，处理器31用于执行存储器32中的告警信息提取程序的确定样本告警文本的样本多值信息元的第一模式串，以实现以下步骤：
[0153]
确定样本多值信息元的键值间分隔符和键值对间分隔符；其中，键值间分隔符是键信息项和值信息项之间的分隔符，键值对间分隔符是键值对之间的分隔符；
[0154]
基于键值间分隔符、键值对间分隔符和样本多值信息元的键信息项，确定第一模式串。
[0155]
在本技术的其他实施例中，处理器31用于执行存储器32中的告警信息提取程序的基于键值间分隔符、键值对间分隔符和样本多值信息元的键信息项，确定第一模式串，以实现以下步骤：
[0156]
从键值间分隔符中依次确定符号不重复的分隔符得到第一符号；
[0157]
从键值对间分隔符中依次确定符号不重复的分隔符得到第二符号；
[0158]
基于第一符号、第二符号和样本多值信息元的键信息项，获取样本多值信息元的第二模式串；
[0159]
基于第二模式串和模式串之间的关联关系，得到第一模式串。
[0160]
在本技术的其他实施例中，处理器31用于执行存储器32中的基于第一符号、第二符号和样本多值信息元的键信息项，获取样本多值信息元的第二模式串，以实现以下步骤：
[0161]
基于第一符号、第二符号和键值对的结构，构建匹配模式；
[0162]
基于匹配模式和样本多值信息元的键信息项，确定第二模式串。
[0163]
在本技术的其他实施例中，处理器31用于执行存储器32中的告警信息提取程序的基于匹配模式和样本多值信息元的键信息项，确定第二模式串，以实现以下步骤：
[0164]
基于匹配模式，从样本多值信息元的值信息项中提取键值对作为目标键值对；
[0165]
在目标键值对与样本多值信息元的值信息项中的键值对相同的情况下，基于匹配模式和样本多值信息元的键信息项，得到第二模式串。
[0166]
在本技术的其他实施例中，第一处理器31用于执行第一存储器32中的告警信息提取程序的对第一模式串进行聚类得到模式集合，以实现以下步骤：
[0167]
基于第一模式串，构建样本多值信息元的模式树；
[0168]
基于模式树的节点的信息，获取第一模式串的相似性；
[0169]
基于第一模式串的相似性对第一模式串进行聚类，得到模式集合。
[0170]
在本技术的其他实施例中，处理器31用于执行存储器32中的告警信息提取程序的确定模式集合的集合特征，以实现以下步骤：
[0171]
确定模式集合中的键信息项；
[0172]
将能够标识模式集合的键信息项确定为模式集合的集合特征。
[0173]
在本技术的其他实施例中，处理器31用于执行存储器32中的告警信息提取程序的基于模式集合的集合特征和模式集合的第一模式串，生成特征模式库，以实现以下步骤：
[0174]
基于模式集合的集合特征和模式集合的第一模式串之间的对应关系，生成特征模式库。
[0175]
在本技术的其他实施例中，处理器31用于执行存储器32中的告警信息提取程序的对待处理的告警文本和特征模式库进行分析处理，得到待处理的告警文本的目标多值信息
元，以实现以下步骤：
[0176]
将待处理的告警文本与特征模式库的集合特征进行特征匹配；
[0177]
将匹配成功的特征模式库的集合特征作为目标集合特征，并将待处理的告警文本与目标集合特征对应的模式集合的第一模式串进行模式匹配；
[0178]
在模式匹配成功的情况下，基于匹配成功的目标集合特征对应的模式集合的第一模式串进行提取，得到待处理的告警文本的目标多值信息元。
[0179]
在本技术的其他实施例中，处理器31用于执行存储器32中的告警信息提取程序的还可以实现以下步骤：
[0180]
在特征匹配失败的情况下，获取待处理的告警文本的目标多值信息元的第三模式串；其中，第三模式串用于表征待处理的告警文本中的值信息项的整体结构；
[0181]
将目标多值信息元的第三模式串添加到目标模式集合；
[0182]
确定目标模式集合的集合特征；
[0183]
基于目标模式集合的集合特征和目标模式集合的第三模式串，更新特征模式库。
[0184]
在本技术的其他实施例中，处理器31用于执行存储器32中的告警信息提取程序还可以实现以下步骤：
[0185]
在模式匹配失败的情况下，获取待处理的告警文本的目标多值信息元的第三模式串；
[0186]
将第三模式串添加到目标集合特征对应的模式集合。
[0187]
需要说明的是，处理器所执行的步骤的具体说明可以参照图1、3和5对应的实施例提供的告警信息提取方法中，此处不再赘述。
[0188]
本技术实施例所提供的告警信息提取设备，基于样本告警文本的样本多值信息元的第一模式串生成特征模式库，如此将待处理的告警文本和该特征模式库进行分析处理，就可得到待处理的告警文本的目标多值信息元，解决了相关技术中的在对由多个键值对组成的值信息项进行提取时所提取的告警信息会出错的问题，提高了信息提取的准确率和效率。
[0189]
基于前述实施例，本技术的实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现图1、3和5对应的实施例提供的告警信息提取方法的步骤。
[0190]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0191]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0192]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特
定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0193]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0194]
以上所述，仅为本技术的较佳实施例而已，并非用于限定本技术的保护范围。

技术特征：
1.一种告警信息提取方法，其特征在于，所述方法包括：确定样本告警文本的样本多值信息元的第一模式串；其中，所述样本多值信息元包括键信息项和由多个键值对组合的值信息项；所述第一模式串用于表征所述样本多值信息元中的值信息项的整体结构；对所述第一模式串进行聚类得到模式集合，并确定所述模式集合的集合特征；其中，所述集合特征能够标识所述模式集合；基于所述模式集合的集合特征和所述模式集合的第一模式串，生成特征模式库；对待处理的告警文本和所述特征模式库进行分析处理，得到所述待处理的告警文本的目标多值信息元。2.根据权利要求1所述的方法，其特征在于，所述确定样本告警文本的样本多值信息元的第一模式串，包括：确定所述样本多值信息元的键值间分隔符和键值对间分隔符；其中，所述键值间分隔符是键信息项和值信息项之间的分隔符，所述键值对间分隔符是键值对之间的分隔符；基于所述键值间分隔符、所述键值对间分隔符和所述样本多值信息元的键信息项，确定所述第一模式串。3.根据权利要求2所述的方法，其特征在于，所述基于所述键值间分隔符、所述键值对间分隔符和所述样本多值信息元的键信息项，确定所述第一模式串，包括：从所述键值间分隔符中依次确定符号不重复的分隔符得到第一符号；从所述键值对间分隔符中依次确定符号不重复的分隔符得到第二符号；基于所述第一符号、所述第二符号和所述样本多值信息元的键信息项，获取所述样本多值信息元的第二模式串；基于所述第二模式串和模式串之间的关联关系，得到所述第一模式串。4.根据权利要求3所述的方法，其特征在于，所述基于所述第一符号、所述第二符号和所述样本多值信息元的键信息项，获取所述样本多值信息元的第二模式串，包括：基于所述第一符号、所述第二符号和键值对的结构，构建匹配模式；基于所述匹配模式和所述样本多值信息元的键信息项，确定所述第二模式串。5.根据权利要求4所述的方法，其特征在于，所述基于所述匹配模式和所述样本多值信息元的键信息项，确定所述第二模式串，包括：基于所述匹配模式，从所述样本多值信息元的值信息项中提取键值对作为目标键值对；在所述目标键值对与所述样本多值信息元的值信息项中的键值对相同的情况下，基于所述匹配模式和所述样本多值信息元的键信息项确定所述第二模式串。6.根据权利要求1所述的方法，其特征在于，所述对所述第一模式串进行聚类得到模式集合，包括：基于所述第一模式串，构建所述样本多值信息元的模式树；基于所述模式树的节点的信息，获取所述第一模式串的相似性；基于所述第一模式串的相似性对所述第一模式串进行聚类，得到所述模式集合。7.根据权利要求1所述的方法，其特征在于，所述确定所述模式集合的集合特征，包括：确定所述模式集合中的键信息项；
将能够标识所述模式集合的键信息项确定为所述模式集合的集合特征。8.根据权利要求1所述的方法，其特征在于，所述基于所述模式集合的集合特征和所述模式集合的第一模式串，生成特征模式库，包括：基于所述模式集合的集合特征和所述模式集合的第一模式串之间的对应关系，生成所述特征模式库。9.根据权利要求1所述的方法，其特征在于，所述对待处理的告警文本和所述特征模式库进行分析处理，得到所述待处理的告警文本的目标多值信息元，包括：将所述待处理的告警文本与所述特征模式库的集合特征进行特征匹配；将匹配成功的特征模式库的集合特征作为目标集合特征，并将所述待处理的告警文本与所述目标集合特征对应的模式集合的第一模式串进行模式匹配；在模式匹配成功的情况下，基于匹配成功的所述目标集合特征对应的模式集合的第一模式串进行提取，得到所述待处理的告警文本的目标多值信息元。10.根据权利要求9所述的方法，其特征在于，所述方法还包括：在特征匹配失败的情况下，获取所述待处理的告警文本的目标多值信息元的第三模式串；其中，所述第三模式串用于表征所述待处理的告警文本中的值信息项的整体结构；将所述目标多值信息元的第三模式串添加到目标模式集合；确定所述目标模式集合的集合特征；基于所述目标模式集合的集合特征和所述目标模式集合的第三模式串，更新所述特征模式库。11.根据权利要求9所述的方法，其特征在于，所述方法还包括：在模式匹配失败的情况下，获取所述待处理的告警文本的目标多值信息元的第三模式串；将所述第三模式串添加到所述目标集合特征对应的模式集合。12.一种告警信息提取设备，其特征在于，所述设备包括：处理器、存储器和通信总线；所述通信总线用于实现处理器和存储器之间的通信连接；所述处理器用于执行存储器中的告警信息提取程序，以实现如权利要求1～11任一项所述的告警信息提取方法的步骤。13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～11中任一项所述的告警信息提取方法的步骤。

技术总结
本申请实施例公开了一种告警信息提取方法，所述方法包括：确定样本告警文本的样本多值信息元的第一模式串；其中，样本多值信息元包括键信息项和由多个键值对组合的值信息项；第一模式串用于表征样本多值信息元中的值信息项的整体结构；对第一模式串进行聚类得到模式集合，并确定模式集合的集合特征；其中，集合特征能够标识模式集合；基于模式集合的集合特征和模式集合的第一模式串，生成特征模式库；对待处理的告警文本和特征模式库进行分析处理，得到待处理的告警文本的目标多值信息元。本申请实施例还公开了一种告警信息提取设备和计算机可读存储介质。和计算机可读存储介质。和计算机可读存储介质。


技术研发人员：王叶茂 李冬领 罗川
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2022.01.04
技术公布日：2023/7/22