序列标注方法、装置、电子设备及计算机可读存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种序列标注方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.序列标注是自然语言处理中最基础的任务，应用十分广泛，如分词、词性标注、命名实体识别、关键词抽取、语义角色标注、槽位抽取等实质上都属于序列标注的范畴。序列标注问题可以认为是分类问题的一个推广，或者是更复杂的结构预测问题的简单形式。
3.传统的条件随机场存在参数估计爆炸问题，导致模型部署困难；现有特征提取模板为避免参数爆炸问题，仅对部分特征进行提取，导致一些关键序列特征无法被捕捉到，从而影响模型效果；现有深度学习模型如长短时记忆模型与条件随机场模型的结合关系较弱，忽略了输入序列和输出序列的特征关系，使得这种模型组合成为一个两阶段的训练过程，神经网络的特征提取层与条件随机场层的输出修正层之间是割裂的，无法通过优化损失函数得到整个网络的全局最优解。因此如何提高序列标注效率，成为了亟待解决的问题。


技术实现要素：

4.本发明提供一种序列标注方法、装置及计算机可读存储介质，其主要目的在于解决序列标注时效率较低的问题。
5.为实现上述目的，本发明提供的一种序列标注方法，包括：
6.对训练文本进行分词处理，得到文本分词；
7.利用预设的序列标注模型将所述文本分词转换为所述训练文本的字向量矩阵，根据所述字向量矩阵生成所述训练文本的多头注意力矩阵；
8.对所述训练文本进行编码，得到所述训练文本的编码矩阵，并根据所述编码矩阵生成所述训练文本的自注意力矩阵；
9.对所述多头注意力矩阵和所述自注意力矩阵进行归一化处理，得到所述训练文本的训练向量；
10.计算所述训练向量的损失值，利用所述损失值对所述预设的序列标注模型进行优化，将预先获取的目标文本输入至优化后的序列标注模型，得到目标输出向量；
11.根据所述优化后的序列标注模型获取所述目标文本的目标转移概率矩阵，利用所述目标输出向量和所述目标转移概率矩阵生成所述目标文本的标注序列结果。
12.可选地，所述对训练文本进行分词处理，得到文本分词，包括：
13.对所述训练文本进行文本切分，得到初级分词；
14.利用预设的停用词表，对所述初级分词进行停用词过滤；
15.对过滤后的初级分词进行去低频词处理，得到所述训练文本的文本分词。
16.可选地，所述利用预设的序列标注模型将所述文本分词转换为所述训练文本的字向量矩阵，包括：
17.对所有所述文本分词的进行向量化表征，得到文本向量集；
18.统计所述文本向量集中每一个文本向量的向量长度，确定所述向量长度中的最大值为目标长度；
19.利用预设参数将所述文本向量集中的每一个文本向量的向量长度延长至所述目标长度；
20.将延长后的所述文本向量集中的每一个文本向量作为行向量进行拼接，得到所述训练文本的字向量矩阵。
21.可选地，所述根据所述字向量矩阵生成所述训练文本的多头注意力矩阵，包括：
22.对预设的序列标注模型内的多头注意力层进行初始化，得到多头注意力初始参数；
23.利用所述多头注意力初始参数和所述字向量矩阵获取所述训练文本的多个多头注意力参数矩阵；
24.对所述多头注意力参数矩阵进行加权处理，得到所述训练文本的多头注意力矩阵。
25.可选地，所述对所述多头注意力参数矩阵进行加权处理，得到所述训练文本的多头注意力矩阵，包括：
26.利用如下权重算法获取所述训练文本的多头注意力矩阵：
[0027][0028]
其中，attention(qi,ki,vi)是所述训练文本的多头注意力矩阵，qi是所述多头注意力参数矩阵中的问题矩阵，ki是所述多头注意力参数矩阵中的键矩阵，vi是所述多头注意力参数矩阵中的值矩阵，是所述ki的行维度,k
it
是ki的转置矩阵，i表示第i个所述文本向量，是指根据来计算所述文本向量集中的每一个文本向量权重的函数。
[0029]
可选地，所述对所述多头注意力矩阵和所述自注意力矩阵进行归一化处理，得到所述训练文本的训练向量，包括：
[0030]
逐个选取所述训练文本的其中一个字为目标字，根据所述多头注意力矩阵获取所述目标字的多头注意行向量标签和状态特征函数调节系数；
[0031]
根据所述多头注意行向量标签和所述状态特征函数调节系数生成所述目标字的多头归一向量；
[0032]
根据所述自注意力矩阵获取所述目标字的自注意行向量标签和转移特征函数调节系数；
[0033]
根据所述自注意行向量标签和所述转移特征函数调节系数生成所述目标字的自归一向量；
[0034]
利用所述多头归一向量和所述自归一向量生成所述训练文本的训练向量。
[0035]
可选地，所述计算所述训练向量的损失值，包括：
[0036]
利用如下损失算法计算所述训练向量的损失值：
[0037][0038]
其中，l
loss
是所述训练向量的损失值，是t时刻第j个文本向量的预设的标注标签向量，是所述训练文本的第j个训练向量,j用来标记所述训练向量，p是将所述训练文本输入至预设的序列标注模型需要的总时长，l是所述训练向量的总数,t是所述文本向量输入至预设的序列标注模型。
[0039]
为了解决上述问题，本发明还提供一种序列标注装置，所述装置包括：
[0040]
文本分词模块，用于对训练文本进行分词处理，得到文本分词；
[0041]
多头注意力模块，用于利用预设的序列标注模型将所述文本分词转换为所述训练文本的字向量矩阵，根据所述字向量矩阵生成所述训练文本的多头注意力矩阵；
[0042]
自注意力模块，用于对所述训练文本进行编码，得到所述训练文本的编码矩阵，并根据所述编码矩阵生成所述训练文本的自注意力矩阵；
[0043]
归一化模块，用于对所述多头注意力矩阵和所述自注意力矩阵进行归一化处理，得到所述训练文本的训练向量；
[0044]
优化模块，用于计算所述训练向量的损失值，利用所述损失值对所述预设的序列标注模型进行优化，将预先获取的目标文本输入至优化后的序列标注模型，得到目标输出向量；
[0045]
标注序列模块，用于根据所述优化后的序列标注模型获取所述目标文本的目标转移概率矩阵，利用所述目标输出向量和所述目标转移概率矩阵生成所述目标文本的标注序列结果。
[0046]
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
[0047]
至少一个处理器；以及，
[0048]
与所述至少一个处理器通信连接的存储器；其中，
[0049]
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的序列标注方法。
[0050]
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的序列标注方法。
[0051]
本发明实施例通过对训练文本进行分词处理和向量转化得到所述训练文本的字向量矩阵，是因为在中文自然语言处理中，词是最小的能够独立活动的有意义的语言成分，便于进行训练文本的后续分析处理，根据所述字向量矩阵生成所述训练文本的多头注意力矩阵和自注意力矩阵，减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性，解决长距离依赖问题，同时降低训练时间和收敛时间，对所述多头注意力矩阵和所述自注意力矩阵进行归一化处理，得到所述训练文本的训练向量，消除奇异样本数据导致的不良影响，利用生成的损失函数对预设的序列标注模型进行优化，增加了模型的鲁棒性，因此本发
明提出序列标注方法、装置、电子设备及计算机可读存储介质，可以解决序列标注效率较低的问题。
附图说明
[0052]
图1为本发明一实施例提供的序列标注方法的流程示意图；
[0053]
图2为本发明一实施例提供的获取多头注意力矩阵的流程示意图；
[0054]
图3为本发明一实施例提供的生成训练向量的流程示意图；
[0055]
图4为本发明一实施例提供的序列标注装置的功能模块图；
[0056]
图5为本发明一实施例提供的实现所述序列标注方法的电子设备的结构示意图。
[0057]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0058]
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0059]
本技术实施例提供一种序列标注方法。所述序列标注方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之，所述序列标注方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
[0060]
参照图1所示，为本发明一实施例提供的序列标注方法的流程示意图。
[0061]
在本实施例中，所述序列标注方法包括：
[0062]
s1、对训练文本进行分词处理，得到文本分词。
[0063]
在本发明实施例中，所述训练文本是指用来优化预设的序列标注模型的文本，已经确定所述训练文本的序列标注，分词是将连续的字序列按照一定的规范重新组合成词序列的过程。
[0064]
详细地，在中文自然语言处理中，词是最小的能够独立活动的有意义的语言成分，汉语是以字为基本书写单位，词语之间没有明显的区分标记，因此进行中文自然语言处理通常是先将所述训练文本中的字符串切分成合理的词语序列，然后再在此基础上进行其它分析处理。
[0065]
在本发明实施例中，所述对训练文本进行分词处理，得到文本分词，包括：
[0066]
对所述训练文本进行文本切分，得到初级分词；
[0067]
利用预设的停用词表，对所述初级分词进行停用词过滤；
[0068]
对过滤后的初级分词进行去低频词处理，得到所述训练文本的文本分词。
[0069]
详细地，在英文里，我们经常会遇到比如“the”，“an”，“their”等这些都可以作为停用词来处理，但是也考虑应用场景。
[0070]
详细地，若出现一种频率特别低的词汇对分析作用不大，这种频率特别低的词汇做为所述低频词被过滤掉。
[0071]
详细地，可利用预先训练的具有分词功能的人工智能模型对所述训练文本进行分词处理，得到所述文本分词，其中，所述人工智能模型包括但不限于nlp(natural language processing，自然语言处理)模型、hmm(hidden markov model，隐马尔可夫模型)。
[0072]
s2、利用预设的序列标注模型将所述文本分词转换为所述训练文本的字向量矩阵，根据所述字向量矩阵生成所述训练文本的多头注意力矩阵。
[0073]
在本发明实施例中，所述利用预设的序列标注模型将所述文本分词转换为所述训练文本的字向量矩阵，包括：
[0074]
对所有所述文本分词的进行向量化表征，得到文本向量集；
[0075]
统计所述文本向量集中每一个文本向量的向量长度，确定所述向量长度中的最大值为目标长度；
[0076]
利用预设参数将所述文本向量集中的每一个文本向量的向量长度延长至所述目标长度；
[0077]
将延长后的所述文本向量集中的每一个文本向量作为行向量进行拼接，得到所述训练文本的字向量矩阵。
[0078]
例如，所述文本向量中包含向量a：(1,4,6)，向量b：(2,3)，向量c：(3,7,8,9)，经过统计可知，向量a的向量长度为3，向量b的向量长度为2，向量c的向量长度为4，则确定4为所述目标长度，并利用预设参数(如x)将向量a的向量长度延长为4，得到延长后的向量a：(1,4,6,x)，将向量b的向量长度延长为4，得到延长后的向量b：(2,3,x,x)。
[0079]
进一步地，可将延长后的每一个词向量作为行向量，拼接为如下所述字向量矩阵：
[0080][0081]
进一步地，为了提高对所述文本分词的处理效率，可利用预先训练的词向量模型将所述文本分词转换为数值形式的词向量，其中，所述词向量模型包括但不限于word2vec模型、bert模型。
[0082]
在本发明实施例中，参图2所示，所述根据所述字向量矩阵生成所述训练文本的多头注意力矩阵，包括：
[0083]
s21、对预设的序列标注模型内的多头注意力层进行初始化，得到多头注意力初始参数；
[0084]
s22、利用所述多头注意力初始参数和所述字向量矩阵获取所述训练文本的多个多头注意力参数矩阵；
[0085]
s23、对所述多头注意力参数矩阵进行加权处理，得到所述训练文本的多头注意力矩阵。
[0086]
在本发明实施例中，所述多头注意力初始参数包括但不限于多头注意力的初始数量、每个词输出的向量维度、预设的问题矩阵、预设的键矩阵和预设的值矩阵等。
[0087]
详细地，所述对预设的序列标注模型内的多头注意力层进行初始化是给所述多头注意力层含有的参数进行赋值，优异的多头注意力初始参数可以加快所述序列标注模型的收敛速度，使得模型准确率更加精确，降低训练时间和收敛时间，因此，需要对所述序列标注模型进行合理的初始化。
[0088]
在本发明实施例中，所述对所述多头注意力参数矩阵进行加权处理，得到所述训练文本的多头注意力矩阵，包括：
[0089]
利用如下权重算法获取所述训练文本的多头注意力矩阵：
[0090][0091]
其中，attention(qi,ki,vi)是所述训练文本的多头注意力矩阵，qi是所述多头注意力参数矩阵中的问题矩阵，ki是所述多头注意力参数矩阵中的键矩阵，vi是所述多头注意力参数矩阵中的值矩阵，是所述ki的行维度,k
it
是ki的转置矩阵，i表示第i个所述文本向量，是指根据来计算所述文本向量集中的每一个文本向量权重的函数。
[0092]
详细地，根据获取的每一个文本向量权重对所述头注意力参数矩阵中的值矩阵进行加权求和，得到所述训练文本的多头注意力矩阵。
[0093]
详细地，多头的本质是多个独立的注意力计算，作为一个集成的作用，防止过拟合情况的出现，而且多头注意力有助于网络捕捉到更丰富的特征。
[0094]
s3、对所述训练文本进行编码，得到所述训练文本的编码矩阵，并根据所述编码矩阵生成所述训练文本的自注意力矩阵。
[0095]
在本发明实施例中，利用自注意力机制减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性，自注意力机制在文本中的应用，主要是通过计算单词间的互相影响，来解决长距离依赖问题。
[0096]
详细地，对所述训练文本进行编码可以利用独热编码。
[0097]
在本发明实施例中，所述根据所述编码矩阵生成所述训练文本的自注意力矩阵，包括：
[0098]
对所述序列标注模型内的自注意力层进行初始化，得到自注意力初始参数；
[0099]
利用所述自注意力初始参数和所述编码矩阵获取所述训练文本的多个自注意力参数矩阵；
[0100]
对所述自注意力参数矩阵进行加权处理，得到所述训练文本的自注意力矩阵。
[0101]
详细地，自注意力机制的核心是捕捉向量之间的相关性，所述自注意力初始参数包括但不限于：自注意力分数、自注意力相关性等。
[0102]
进一步地，学校食堂吃饭，吃三碗饭的有x人，吃两碗饭的有y人，吃一碗饭的z人，平均每人吃碗饭，其中，x、y、z分别就是权数值，所述加权处理就是考虑到不同变量在总体中的比例份额。
[0103]
详细的，自注意力机制是注意力机制的变体，其减少了对外部信息的依赖，更擅长
捕捉数据或特征的内部相关性，自注意力机制在文本中的应用，主要是通过计算单词间的互相影响，来解决长距离依赖问题。
[0104]
s4、对所述多头注意力矩阵和所述自注意力矩阵进行归一化处理，得到所述训练文本的训练向量。
[0105]
在本发明实施例中，在机器学习领域中，不同评价指标(即特征向量中的不同特征就是所述的不同评价指标)往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。
[0106]
详细地，原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价，其中，最典型的就是数据的归一化处理，归一化的目的就是使得预处理的数据被限定在一定的范围内(比如[0,1]或者[-1,1])，从而消除奇异样本数据导致的不良影响。
[0107]
在本发明实施例中，参图3所示，所述对所述多头注意力矩阵和所述自注意力矩阵进行归一化处理，得到所述训练文本的训练向量，包括：
[0108]
s31、逐个选取所述训练文本的其中一个字为目标字，根据所述多头注意力矩阵获取所述目标字的多头注意行向量标签和状态特征函数调节系数；
[0109]
s32、根据所述多头注意行向量标签和所述状态特征函数调节系数生成所述目标字的多头归一向量；
[0110]
s33、根据所述自注意力矩阵获取所述目标字的自注意行向量标签和转移特征函数调节系数；
[0111]
s34、根据所述自注意行向量标签和所述转移特征函数调节系数生成所述目标字的自归一向量；
[0112]
s35、利用所述多头归一向量和所述自归一向量生成所述训练文本的训练向量。
[0113]
详细地，可利用如下归一化算法对所述多头注意力矩阵和所述自注意力矩阵进行归一化处理：
[0114]st
＝oftmax({h
t1
·
n1
+
t1
·
n1
,
…
,h
tm
·
nm
+
tm
·
nm
})
[0115]
其中，s
t
是所述训练文本的训练向量，h
tm
是在t时刻的所述文本向量在多头注意力矩阵中对应第m个多头注意行向量标签，λ
nm
表示多头注意行向量标签与在t时刻文本向量之间的状态特征函数调节系数，a
tm
是在t时刻的所述文本向量在自注意力矩阵中对应的第m个自注意行向量标签，μ
nm
是表示所述自注意行向量标签与在t时刻的文本向量之间的转移特征函数调节系数，softmax指的是归一化函数，t是所述文本向量输入至预设的序列标注模型。
[0116]
详细地，若不进行归一化，那么由于特征向量中不同特征的取值相差较大，会导致目标函数变“扁”。这样在进行梯度下降的时候，梯度的方向就会偏离最小值的方向，走很多弯路，即训练时间过长。
[0117]
详细地，利用所述归一化算法加快了梯度下降求最优解的速度，并且提高了算法精度。
[0118]
s5、计算所述训练向量的损失值，利用所述损失值对所述预设的序列标注模型进行优化，将预先获取的目标文本输入至优化后的序列标注模型，得到目标输出向量。
[0119]
在本发明实施例中，利用所述损失值对所述预设的序列标注模型进行优化，充分
发挥条件随机场状态特征对所述序列标注模型优化的指导作用，所述序列标注模型构建了一个端到端的学习框架，状态特征和转移特征函数的学习均为一个整体，使得模型真正意义上成为一个全局寻优的闭环。
[0120]
在本发明实施例中，所述计算所述训练向量的损失值，包括：
[0121]
利用如下损失算法计算所述训练向量的损失值：
[0122][0123]
其中，l
loss
是所述训练向量的损失值，是t时刻第j个文本向量的预设的标注标签向量，是所述训练文本的第j个训练向量,j用来标记所述训练向量，p是将所述训练文本输入至预设的序列标注模型需要的总时长，l是所述训练向量的总数,t是所述文本向量输入至预设的序列标注模型。
[0124]
详细地，利用所述损失值生成损失函数，所述损失函数就是用来表现预测与实际数据的差距程度，是一个非负实值函数，损失函数越小，模型的鲁棒性就越好。
[0125]
s6、根据所述优化后的序列标注模型获取所述目标文本的目标转移概率矩阵，利用所述目标输出向量和所述目标转移概率矩阵生成所述目标文本的标注序列结果。
[0126]
在本发明实施例中，所述目标转移概率矩阵是基于一个系统的某些因素在转移中，第n次结果只受第n-1的结果影响，即只与当前所处状态有关，而与过去状态无关产生的。
[0127]
详细地，利用所述目标输出向量和所述目标转移概率矩阵生成所述目标文本的标注序列结果可以采用维特比算法，将所述目标转移概率矩阵和所述目标输出向量输入维特比算法中，通过动态规划的方法寻找全局最优路径，得到最终的标注序列结果。
[0128]
详细地，维特比算法的关键点在于接收机可以使用分支度量和先前计算的状态路径度量递推地计算当前状态的路径度量，通过使用递归思想降低了计算的复杂度，并且对于观察序列的整个上下文进行了很好的解释。
[0129]
本发明实施例通过对训练文本进行分词处理和向量转化得到所述训练文本的字向量矩阵，是因为在中文自然语言处理中，词是最小的能够独立活动的有意义的语言成分，便于进行训练文本的后续分析处理，根据所述字向量矩阵生成所述训练文本的多头注意力矩阵和自注意力矩阵，减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性，解决长距离依赖问题，同时降低训练时间和收敛时间，对所述多头注意力矩阵和所述自注意力矩阵进行归一化处理，得到所述训练文本的训练向量，消除奇异样本数据导致的不良影响，利用生成的损失函数对预设的序列标注模型进行优化，增加了模型的鲁棒性，因此本发明提出序列标注方法，可以解决序列标注效率较低的问题。
[0130]
如图4所示，是本发明一实施例提供的序列标注装置的功能模块图。
[0131]
本发明所述序列标注装置100可以安装于电子设备中。根据实现的功能，所述序列标注装置100可以包括文本分词模块101、多头注意力模块102、自注意力模块103、归一化模块104、优化模块105及标注序列模块106。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电
子设备的存储器中。
[0132]
在本实施例中，关于各模块/单元的功能如下：
[0133]
所述文本分词模块101，用于对训练文本进行分词处理，得到文本分词；
[0134]
所述多头注意力模块102，用于利用预设的序列标注模型将所述文本分词转换为所述训练文本的字向量矩阵，根据所述字向量矩阵生成所述训练文本的多头注意力矩阵；
[0135]
所述自注意力模块103，用于对所述训练文本进行编码，得到所述训练文本的编码矩阵，并根据所述编码矩阵生成所述训练文本的自注意力矩阵；
[0136]
所述归一化模块104，用于对所述多头注意力矩阵和所述自注意力矩阵进行归一化处理，得到所述训练文本的训练向量；
[0137]
所述优化模块105，用于计算所述训练向量的损失值，利用所述损失值对所述预设的序列标注模型进行优化，将预先获取的目标文本输入至优化后的序列标注模型，得到目标输出向量；
[0138]
所述标注序列模块106，用于根据所述优化后的序列标注模型获取所述目标文本的目标转移概率矩阵，利用所述目标输出向量和所述目标转移概率矩阵生成所述目标文本的标注序列结果。
[0139]
如图5所示，是本发明一实施例提供的实现序列标注方法的电子设备的结构示意图。
[0140]
所述电子设备可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如序列标注程序。
[0141]
其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行序列标注程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
[0142]
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如序列标注程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0143]
所述通信总线12可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
[0144]
所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
[0145]
图中仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图中示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0146]
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
[0147]
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
[0148]
所述电子设备中的所述存储器11存储的序列标注程序是多个指令的组合，在所述处理器10中运行时，可以实现：
[0149]
对训练文本进行分词处理，得到文本分词；
[0150]
利用预设的序列标注模型将所述文本分词转换为所述训练文本的字向量矩阵，根据所述字向量矩阵生成所述训练文本的多头注意力矩阵；
[0151]
对所述训练文本进行编码，得到所述训练文本的编码矩阵，并根据所述编码矩阵生成所述训练文本的自注意力矩阵；
[0152]
对所述多头注意力矩阵和所述自注意力矩阵进行归一化处理，得到所述训练文本的训练向量；
[0153]
计算所述训练向量的损失值，利用所述损失值对所述预设的序列标注模型进行优化，将预先获取的目标文本输入至优化后的序列标注模型，得到目标输出向量；
[0154]
根据所述优化后的序列标注模型获取所述目标文本的目标转移概率矩阵，利用所述目标输出向量和所述目标转移概率矩阵生成所述目标文本的标注序列结果。
[0155]
具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
[0156]
进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
[0157]
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，
所述计算机程序在被电子设备的处理器所执行时，可以实现：
[0158]
对训练文本进行分词处理，得到文本分词；
[0159]
利用预设的序列标注模型将所述文本分词转换为所述训练文本的字向量矩阵，根据所述字向量矩阵生成所述训练文本的多头注意力矩阵；
[0160]
对所述训练文本进行编码，得到所述训练文本的编码矩阵，并根据所述编码矩阵生成所述训练文本的自注意力矩阵；
[0161]
对所述多头注意力矩阵和所述自注意力矩阵进行归一化处理，得到所述训练文本的训练向量；
[0162]
计算所述训练向量的损失值，利用所述损失值对所述预设的序列标注模型进行优化，将预先获取的目标文本输入至优化后的序列标注模型，得到目标输出向量；
[0163]
根据所述优化后的序列标注模型获取所述目标文本的目标转移概率矩阵，利用所述目标输出向量和所述目标转移概率矩阵生成所述目标文本的标注序列结果。
[0164]
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0165]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0166]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0167]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
[0168]
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0169]
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0170]
本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
[0171]
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等
词语用来表示名称，而并不表示任何特定的顺序。
[0172]
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

技术特征：
1.一种序列标注方法，其特征在于，所述方法包括：对训练文本进行分词处理，得到文本分词；利用预设的序列标注模型将所述文本分词转换为所述训练文本的字向量矩阵，根据所述字向量矩阵生成所述训练文本的多头注意力矩阵；对所述训练文本进行编码，得到所述训练文本的编码矩阵，并根据所述编码矩阵生成所述训练文本的自注意力矩阵；对所述多头注意力矩阵和所述自注意力矩阵进行归一化处理，得到所述训练文本的训练向量；计算所述训练向量的损失值，利用所述损失值对所述预设的序列标注模型进行优化，将预先获取的目标文本输入至优化后的序列标注模型，得到目标输出向量；根据所述优化后的序列标注模型获取所述目标文本的目标转移概率矩阵，利用所述目标输出向量和所述目标转移概率矩阵生成所述目标文本的标注序列结果。2.如权利要求1所述的序列标注方法，其特征在于，所述对训练文本进行分词处理，得到文本分词，包括：对所述训练文本进行文本切分，得到初级分词；利用预设的停用词表，对所述初级分词进行停用词过滤；对过滤后的初级分词进行去低频词处理，得到所述训练文本的文本分词。3.如权利要求1所述的序列标注方法，其特征在于，所述利用预设的序列标注模型将所述文本分词转换为所述训练文本的字向量矩阵，包括：对所有所述文本分词的进行向量化表征，得到文本向量集；统计所述文本向量集中每一个文本向量的向量长度，确定所述向量长度中的最大值为目标长度；利用预设参数将所述文本向量集中的每一个文本向量的向量长度延长至所述目标长度；将延长后的所述文本向量集中的每一个文本向量作为行向量进行拼接，得到所述训练文本的字向量矩阵。4.如权利要求1所述的序列标注方法，其特征在于，所述根据所述字向量矩阵生成所述训练文本的多头注意力矩阵，包括：对预设的序列标注模型内的多头注意力层进行初始化，得到多头注意力初始参数；利用所述多头注意力初始参数和所述字向量矩阵获取所述训练文本的多个多头注意力参数矩阵；对所述多头注意力参数矩阵进行加权处理，得到所述训练文本的多头注意力矩阵。5.如权利要求1所述的序列标注方法，其特征在于，所述对所述多头注意力参数矩阵进行加权处理，得到所述训练文本的多头注意力矩阵，包括：利用如下权重算法获取所述训练文本的多头注意力矩阵：其中，attention(q
i
,k
i
,v
i
)是所述训练文本的多头注意力矩阵，q
i
是所述多头注意力参
数矩阵中的问题矩阵，k
i
是所述多头注意力参数矩阵中的键矩阵，v
i
是所述多头注意力参数矩阵中的值矩阵，是所述k
i
的行维度,k
it
是k
i
的转置矩阵，i表示第i个所述文本向量，是指根据来计算所述文本向量集中的每一个文本向量权重的函数。6.如权利要求1所述的序列标注方法，其特征在于，所述对所述多头注意力矩阵和所述自注意力矩阵进行归一化处理，得到所述训练文本的训练向量，包括：逐个选取所述训练文本的其中一个字为目标字，根据所述多头注意力矩阵获取所述目标字的多头注意行向量标签和状态特征函数调节系数；根据所述多头注意行向量标签和所述状态特征函数调节系数生成所述目标字的多头归一向量；根据所述自注意力矩阵获取所述目标字的自注意行向量标签和转移特征函数调节系数；根据所述自注意行向量标签和所述转移特征函数调节系数生成所述目标字的自归一向量；利用所述多头归一向量和所述自归一向量生成所述训练文本的训练向量。7.如权利要求1至6中任一项所述的序列标注方法，其特征在于，所述计算所述训练向量的损失值，包括：利用如下损失算法计算所述训练向量的损失值：其中，l
loss
是所述训练向量的损失值，是t时刻第j个文本向量的预设的标注标签向量，是所述训练文本的第j个训练向量,j用来标记所述训练向量，p是将所述训练文本输入至预设的序列标注模型需要的总时长，l是所述训练向量的总数,t是所述文本向量输入至预设的序列标注模型。8.一种序列标注装置，其特征在于，所述装置包括：文本分词模块，用于对训练文本进行分词处理，得到文本分词；多头注意力模块，用于利用预设的序列标注模型将所述文本分词转换为所述训练文本的字向量矩阵，根据所述字向量矩阵生成所述训练文本的多头注意力矩阵；自注意力模块，用于对所述训练文本进行编码，得到所述训练文本的编码矩阵，并根据所述编码矩阵生成所述训练文本的自注意力矩阵；归一化模块，用于对所述多头注意力矩阵和所述自注意力矩阵进行归一化处理，得到所述训练文本的训练向量；优化模块，用于计算所述训练向量的损失值，利用所述损失值对所述预设的序列标注模型进行优化，将预先获取的目标文本输入至优化后的序列标注模型，得到目标输出向量；
标注序列模块，用于根据所述优化后的序列标注模型获取所述目标文本的目标转移概率矩阵，利用所述目标输出向量和所述目标转移概率矩阵生成所述目标文本的标注序列结果。9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的序列标注方法。10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的序列标注方法。

技术总结
本发明涉及人工智能技术，揭露了一种序列标注方法，包括：对训练文本进行分词处理和向量转换，得到所述训练文本的字向量矩阵；生成所述训练文本的多头注意力矩阵和自注意力矩阵；对所述多头注意力矩阵和所述自注意力矩阵进行归一化处理，得到所述训练文本的训练向量；利用生成的损失值对所述预设的序列标注模型进行优化，根据优化后的序列标注模型获取所述目标文本的目标转移概率矩阵，利用目标输出向量和所述目标转移概率矩阵生成所述目标文本的标注序列结果。此外，本发明还涉及区块链技术，数据列表可存储于区块链的节点。本发明还提出一种序列标注装置、电子设备以及存储介质。本发明可以提高序列标注的效率。本发明可以提高序列标注的效率。本发明可以提高序列标注的效率。


技术研发人员：舒畅 陈又新
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2023.04.04
技术公布日：2023/7/12