一种用于多标签情感分类的训练方法、系统及装置

1.本发明涉及分类模型训练领域，尤其涉及一种多标签情感分类的训练方法、系统及装置。


背景技术：

2.情感是人们对客观事物感知的心理表达，对传达思想至关重要。对社交媒体内容所表达的情感进行检测和分析，有利于其在商业、公共卫生、社会福利等领域的应用。以往研究大多对社交媒体内容中包含的积极或消极态度进行判断。然而，在实际应用中，存在多个情感类别共存于单个文本实例的情况。因此，近年来，越来越多的工作聚焦于识别文本中包含的一种或多种情感所需的多标签情感分类模型。
3.在多标签情感分类任务中，情感标签数量越高，样本的情感标签越难被正确识别，多标签情感分类任务时存在两个问题：没有对样本难度进行度量和模型对容易样本的过度学习。


技术实现要素：

4.有鉴于此，为了解决现有情感分类方法中无法对样本任务难度进行度量，存在对容易样本过度学习的问题，进而导致分类模型的性能较低，本发明提出一种高用于多标签情感分类的训练方法，所述方法包括以下步骤：
5.获取数据集并将数据集按类别划分样本，得到不同类别的训练集；
6.基于情感分类模型分别对不同类别的训练集进行识别，以分类准确率为评价指标，得到第一训练集和第二训练集，所述第一训练集为分类准确率大于预设阈值的类别，所述第二训练集为分类准确率小于预设阈值的类别；
7.基于第一训练集对情感分类模型进行训练，采用多标签交叉熵损失函数计算损失并进行反向传播；
8.基于第二训练集对情感分类模型进行训练，采用对比损失函数计算损失并进行反向传播。
9.其中，所述数据集为带情感标签的数据集，将同样的情感标签划分为一类，得到不同类别的训练集。
10.其中，在情感分类模型中对所有样本进行训练，其中识别效果好的类别取得较好的性能，识别效果差的类别进一步训练。
11.在一些实施例中，所述基于情感分类模型分别对不同类别的训练集进行识别这一步骤，其具体包括：
12.将不同类别的训练集输入至情感分类模型；
13.对不同类别的训练集进行文本表征，得到特征向量；
14.基于线性分类器，根据特征向量对不同类别的训练集进行情感概率分布预测，得到分类结果。
15.通过该优选步骤，以类别为单位，以简单的二分类任务完成测量样本难度的任务，在一定程度上克服了课程学习中测量样本难度的困难。
16.在一些实施例中，还包括：
17.初始化记忆矩阵；
18.结合记忆矩阵更新特征向量；得到更新后的特征向量；
19.将更新后的特征向量与原特征向量进行拼接，得到最终特征向量。
20.通过该优选步骤，构建了记忆矩阵来增强历史信息的保持，能够避免交替训练过程中的信息遗忘问题。
21.在一些实施例中，所述多标签交叉熵损失函数的计算公式如下：
[0022][0023]
上式中，l表示情感标签的个数；表示对于第j个样本，第i个情感的真实状态；表示对于第j个样本，第i个情感的预测概率。
[0024]
通过该优选步骤，针对于简单样本的分类任务，以多标签交叉熵损失来计算损失。
[0025]
在一些实施例中，所述对比损失函数的计算公式如下：
[0026][0027]
上式中，p表示正样本集，sim(
·
)表示余弦相似函数，sim(h
′i,h
′
p
)表示当前第j个样本与正样本集的相似度，sim(h
′i,h
′k)表示当前第j个样本与所有样本的相似度，k表示从i里面取的一个值，k∈i-{j}表示从i中去掉j，τ表示标量参数。
[0028]
通过该优选步骤，针对于困难样本的分类任务，以对比损失函数来计算损失。
[0029]
在一些实施例中，还包括交替训练，其具体包括：
[0030]
在奇数轮次训练中，基于第一训练集对情感分类模型进行训练，采用多标签交叉熵损失函数计算损失并进行反向传播；
[0031]
在偶数轮次训练中，基于第二训练集对情感分类模型进行训练，采用对比损失函数计算损失并进行反向传播。
[0032]
通过该优选步骤，使得模型依次进行多标签情感分类和课程学习，使得模型可以在简单样本学习和复杂样本学习之间进行切换，从而保证模型在充分学习简单样本信息的同时，能够聚焦于困难样本。
[0033]
本发明还提出了一种用于多标签情感分类的训练系统，所述系统包括：
[0034]
类别划分模块，用于获取数据集并将数据集按类别划分样本，得到不同类别的训练集；
[0035]
初识别模块，基于情感分类模型分别对不同类别的训练集进行识别，以分类准确率为评价指标，得到第一训练集和第二训练集，所述第一训练集为分类准确率大于预设阈值的类别，所述第二训练集为分类准确率小于预设阈值的类别；
[0036]
第一训练模块，基于第一训练集对情感分类模型进行训练，采用多标签交叉熵损失函数计算损失并进行反向传播；
[0037]
课程学习模块，基于第二训练集对情感分类模型进行训练，采用对比损失函数计算损失并进行反向传播。
[0038]
本发明还提出了一种用于多标签情感分类的训练装置，包括：
[0039]
至少一个处理器；
[0040]
至少一个存储器，用于存储至少一个程序；
[0041]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种用于多标签情感分类的训练方法。
[0042]
基于上述方案，本发明提供了一种用于多标签情感分类的训练方法、系统及装置，模仿了人类学习中的“学习-攻坚”方法，该模型首先进行情感分类，然后再专注于学习不好的情感类别，此外，应用记忆矩阵以增强历史信息的保持，最后，采用交替训练的方式，轮流执行简单分类和对比学习两个过程，能够保证模型在充分学习简单样本信息的同时，聚焦于困难样本。
附图说明
[0043]
图1是本发明一种用于多标签情感分类的训练方法的步骤流程图；
[0044]
图2是本发明一种用于多标签情感分类的训练系统的结构框图；
[0045]
图3是本发明系统的具体示意图；
[0046]
图4是本发明具体实施例clf-mec(bert)消融实验结果示意图；
[0047]
图5是本发明具体实施例clf-mec(roberta)消融实验结果示意图；
具体实施方式
[0048]
情感分类是指针对于输入的文本，对其根据情感标签进行分类。
[0049]
课程学习在许多人工智能任务中发挥着突出的作用。其核心思想是基于一个难度度量器来评估训练集中每个样本的训练难度，并为其分配一个度量值，进而根据权重将难、易样本分离，使得模型可以从简单样本逐步学习到复杂样本和知识。课程学习在命名实体识别和机器翻译等自然语言处理任务中展现了巨大的潜力和前景。在多标签文本分类任务中，情感标签数量越高，样本的情感标签越难被正确识别。因此，可以采用课程学习的方式解决各种困难样本的训练问题。然而，我们发现课程学习在应用于多标签情感分类任务时存在两个问题：样本难度的度量和模型对容易样本的过度学习。
[0050]
针对背景技术中提出的没有对样本难度进行度量和模型对容易样本的过度学习的技术问题，本发明基于情感分类模型，结合课程学习这一技术，对样本数据进行难度测量，进而聚焦于困难样本，得到更加可靠的分类结果。
[0051]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0052]
需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
[0053]
应当理解，本技术中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同
级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。
[0054]
如本技术和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0055]
在本技术实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
[0056]
另外，本技术中使用了流程图用来说明根据本技术的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
[0057]
参照图1，为本发明提出的用于多标签情感分类的训练方法的一可选示例的流程示意图，该方法可以适用于计算机设备，本实施例提出的该训练方法可以包括但并不局限于以下步骤：
[0058]
步骤s1、获取数据集并将数据集按类别划分样本，得到不同类别的训练集；
[0059]
本实施例中，针对样本难度的测量问题，与传统课程学习采用样本难度评价不同，我们提出的课程学习不以样本为单位，而是以类别为单位，即采用类别难度评价来界定样本的难度等级。
[0060]
需要说明的是，本发明对数据集的来源不做限定，可以是用户上传至计算机设备的，也可以是由计算机设备从第三方应用平台爬取的等等，可以根据实际场景需求确定。
[0061]
步骤s2、基于情感分类模型分别对不同类别的训练集进行识别，以分类准确率为评价指标，得到第一训练集和第二训练集，所述第一训练集为分类准确率大于预设阈值的类别，所述第二训练集为分类准确率小于预设阈值的类别；
[0062]
具体来说，在多标签情感分类任务中，我们定义恰好包含一个或多个相同情感标签的样本属于同一类别。在我们的框架中，所有具有相同类别的样本都具有相同的难度，因为难度是由基于当前模型的类别的准确率性能决定的。当模型很好地识别出一个类别时，类别样本的难度分值降低，从而解决了样本难度动态变化的问题。
[0063]
在该步骤中，我们将"难"的学习任务转化为"易"的学习任务。具体来说，该模型通过对比学习最大化学习不好的类别与其他类别之间的距离，以简单的二分类任务完成困难类别的训练。值得注意的是，我们提出的课程学习不是基于样本，而是基于类别，这在一定程度上克服了课程学习中测量样本难度的困难。同时，我们定义的"类别"是具有同一组情感标签的样本。假设情绪标签为"喜悦"的样本1，情绪标签为"喜悦"和"惊讶"的样本2，情绪标签为"喜悦"和"爱"的样本3，情绪标签为"喜悦"和"惊讶"的样本4，只有样本2和样本4属于同一类别。
[0064]
步骤s2.1、将不同类别的训练集输入至情感分类模型；
[0065]
步骤s2.2、对不同类别的训练集进行文本表征，得到特征向量；
[0066]
在文本表示模块，我们采用在文本语义表示方面表现良好的非自回归预训练模型对句子进行编码。非自回归预训练模型通过在预训练阶段对海量语料进行无监督训练，为下游任务学习大量的先验语言、句法和词汇信息。非自回归预训练模型的架构是多层双向transformer编码器。对于给定的下标j对应的输入文本sj，非自回归预训练模型编码的语义表示为:
[0067]hj
＝encoder(sj)
[0068]
式中：h∈rm，m表示语义表征维度。在实验中，我们采用了bert和roberta等多种非自回归预训练模型。值得一提的是，我们的框架可以应用于任何预训练的模型。
[0069]
步骤s2.3、基于线性分类器，根据特征向量对不同类别的训练集进行情感概率分布预测，得到分类结果。
[0070]
预测每个句子s的情感概率分布，将其对应的特征向量h放入一个带有sigmod函数的线性分类器中，其表达式如下，其中w和b为可训练参数。
[0071]
pj＝sigmod(w
·h′j+b)
[0072]
其中pj∈r
l
，l是情感标签的个数.由于在多标签情感分类任务中，模型为每个句子分配一个或多个情感标签，因此我们设置一个概率阈值μ，将超过阈值的情感标签分配给句子对应的情感：
[0073][0074]
其中，i∈(1,l)，yi＝1表示情感标签i对句子对应标签的赋值。
[0075]
步骤s3、基于第一训练集对情感分类模型进行训练，采用多标签交叉熵损失函数计算损失并进行反向传播；
[0076]
对于简单的情感分类任务，使用多标签交叉熵损失来计算损失：
[0077][0078]
上式中，l表示情感标签的个数；表示对于第j个样本，第i个情感的真实状态；表示对于第j个样本，第i个情感的预测概率，其中表示情感标签的独热表示，且
[0079]
对于大小为k的批次，其情感分类损失定义如下：
[0080][0081]
步骤s4、基于第二训练集对情感分类模型进行训练，采用对比损失函数计算损失并进行反向传播。
[0082]
我们在情感分类模块中对所有样本进行训练，其中识别效果好的类别取得较好的性能，识别效果差的类别进一步训练。在每个epoch训练后，我们计算每个类别的性能。我们使用类别中所有样本的分类准确率作为性能的评价指标，选择分类准确率为0的类别组成
被难以正确识别的类别集合，即c＝{c1,c2,
…
,cn},，其中n表示被难以正确识别的情感标签的个数。假设一个包含k个样本的小批量数据，数据对应的下标列表为i＝{1,2,3,
…
,k-1,k}。给定类别cq，对于情感类别li对应的样本si，当li等于cq时，小批量数据中具有相同类别cq的样本构成正样本集p＝{p|p∈i,l
p
＝li∩p≠i}。因此，样本si的跨批次对比损失函数定义如下：
[0083][0084]
上式中，p表示正样本集，sim(
·
)表示余弦相似函数，sim(h
′i,h
′
p
)表示当前第j个样本与正样本集的相似度，sim(h
′i,h
′k)表示当前第j个样本与所有样本的相似度，k表示从i里面取的一个值，k∈i-{j}表示从i中去掉j，τ表示标量参数。
[0085]
考虑到难以正确识别的类别集合c，则一个批次的总体对比损失为：
[0086][0087]
在一种可能实现的方式中，还包括交替训练：
[0088]
提出了一种交替训练的方法，使得模型依次进行多标签情感分类和课程学习，使得模型可以在简单样本学习和复杂样本学习之间进行切换，从而保证模型在充分学习简单样本信息的同时，能够聚焦于困难样本。在奇数轮次训练中，我们使用情感分类损失进行反向传播，在偶数轮次训练中，我们使用课程学习损失进行反向传播：
[0089][0090]
式中：α为损失权重超参数因子，调节课程学习损失反向传播过程中的损失。
[0091]
为了使课程学习更适用于容易产生训练偏差的任务，我们的课程学习模仿了人类学习过程中的“学习-攻坚”过程。"学习"和"攻坚"两种训练模式交替进行，使得难学类别的样本得到更好的关注。更确切地说，该模型首先进行情感分类，并进一步学习分类较差的情感类别的信息。在"攻坚"过程中，我们的课程学习方法将"难"的学习任务转化为"易"的学习任务，即把处理难分类样本的任务转化为使用对比学习的任务，使难分类样本具有更具判别性的语义表示，从而使模型能够更好地对难分类样本进行分类。
[0092]
在一种可能实现的方式中，在步骤s2.2之后，还包括记忆阶段：
[0093]
初始化记忆矩阵；
[0094]
结合记忆矩阵更新特征向量；得到更新后的特征向量；
[0095]
将更新后的特征向量与原特征向量进行拼接，得到最终特征向量。
[0096]
在“学习-攻坚”交替训练的过程中，容易出现信息不一致的情况。为了避免交替训练过程中的信息遗忘问题，我们提出了不同阶段保留和更新信息的课程记忆模型。课程记忆模块使模型在训练时能够更好地捕捉和记忆样本的信息，有助于在预测阶段利用相似样本的信息对文本进行表征。课程记忆模块由概括和输出两个操作组成。在训练阶段，模型执行两个操作。而在测试过程中，模型只进行输出操作。
[0097]
概括操作侧重于更新记忆矩阵。在训练阶段，我们首先初始化一个记忆矩阵m∈r
(b*m)
，其中b表示训练集中包含的样本数量，m是每个样本的记忆向量的维数，与语义表示的维数相同。对于每个待训练样本sj，更新操作如下：
[0098]
mj＝hj[0099]
输出操作主要是结合记忆矩阵更新输入语义表示。为确定矩阵m的文本特征向量每一列的加权和，利用点积注意力确定hj和m每一列的得分，并通过softmax函数进行正则化：
[0100][0101]
在得到结合记忆矩阵加权注意力的文本表示后，课程记忆模块进一步将原始文本表示与更新后的文本表示进行拼接，得到新的文本表示：
[0102][0103]
如图2和图3所示，一种用于多标签情感分类的训练系统，包括：
[0104]
类别划分模块，用于获取数据集并将数据集按类别划分样本，得到不同类别的训练集；
[0105]
初识别模块，基于情感分类模型分别对不同类别的训练集进行识别，以分类准确率为评价指标，得到第一训练集和第二训练集，所述第一训练集为分类准确率大于预设阈值的类别，所述第二训练集为分类准确率小于预设阈值的类别；
[0106]
第一训练模块，基于第一训练集对情感分类模型进行训练，采用多标签交叉熵损失函数计算损失并进行反向传播；
[0107]
课程学习模块，基于第二训练集对情感分类模型进行训练，采用对比损失函数计算损失并进行反向传播。
[0108]
在一些实施例中，所述初识别模块还包括：
[0109]
文本表征模块，用于对不同类别的训练集进行文本表征，得到特征向量；
[0110]
在一些实施例中，还包括：
[0111]
课程记忆模块，用于初始化记忆矩阵；结合记忆矩阵更新特征向量；得到更新后的特征向量；将更新后的特征向量与原特征向量进行拼接，得到最终特征向量。；
[0112]
在一些实施例中，还包括：
[0113]
交替训练模块，在奇数轮次训练中，基于第一训练集对情感分类模型进行训练，采用多标签交叉熵损失函数计算损失并进行反向传播；在偶数轮次训练中，基于第二训练集对情感分类模型进行训练，采用对比损失函数计算损失并进行反向传播。
[0114]
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0115]
本发明还提供一种对比实验，实验结果如下：
[0116]
我们选择semeval-2018进行英语、阿拉伯语和西班牙语的多标签情感分类。首先将数据分为三个集合：测试集、验证集和训练集。表1列出了每种语言的训练集、验证集和测试集以及每个集合中的实例数。同时，我们还结合三种语言的数据进行多语言实验。实验数据也如表1所示。
[0117]
表1：数据集分布统计
[0118]
信息/语言英语阿拉伯语西班牙语多语言训练集68382278356112677验证集8865856792150测试集3259151828547631实例数109834381709422458类别数11111111
[0119]
对比方法：
[0120]
对于多标签情感分类任务，我们在每个数据集下总共比较了16个性能优越的基线。我们将这些方法分为7类，其中我们主要比较了目前性能最好的基于情感相关性增强的方法和与我们的框架相关的方法，即基于记忆网络的方法。目前还没有研究在多标签情感分类中采用课程学习的方法，因此我们没有对基于课程学习的方法进行比较，而是对比在每个数据集下性能优越的模型。
[0121]
评价指标：
[0122]
我们基于micro f1-score、macro f1-score和jaccard index score(js)进行实验。
[0123]
js：每个tweet可能有一个或多个预期情感标签和一个或多个黄金情感标签。期望标签集和黄金标签集的交集的大小通过划分它们的并集的大小来确定。对数据集t中的每个tweet确定js，然后对其结果进行平均：
[0124][0125]
其中，g
t
为tweett的黄金标签集合，p
t
为tweett的预测标签集合，t为tweets集合。
[0126]fmicro
：对于micro f1-score，首先对所有标签计算全局精确度和召回率，然后通过调和平均得到micro f1-score。具体来说，将每个tweet标签l的真实正例(true positives，tp)、假正例(false positives，fp)和假负例(false negatives，fn)相加，取平均值得到micro-precisionp
micro
和micro-recallr
micro
，具体计算如下：
[0127][0128][0129]
式中：l为情感标签集合。micro f1-score定义为上述p
micro
和r
micro
的调和平均值：
[0130][0131]fmacro
：对于macro f1-score，将所有类别一视同仁，分别计算每个情感类别的precision和recall，并进一步计算每个类别的f1-score，同时考虑标签不平衡。每个tweet标签l的precision、recall和f1-score分别计算如下：
[0132]
[0133][0134][0135]fmacro
定义为跨所有标签的f1-score的平均值：
[0136][0137]
实验设置：
[0138]
使用pytorch和内存为48gb的a100 gpu完成了所有实验。对于多个模型的训练，我们使用相同的超参数，初始化种子固定，批大小为16，dropout比率为0.5。由于模型的1e-5学习率，选择adam进行优化。对于损失权重α，我们使用hyperopt1超参数选择方法来搜索最优参数。
[0139]
针对不同的语言，我们选取不同的预训练语言模型进行实验。选取bert(bert-base-uncased)、roberta(roberta-base)和roberta-xlm(xlm-roberta-base)进行英语模型的训练。对于阿拉伯语，我们选择bert(bertbase-arabic)，marbert和roberta-xlm(xlm-roberta-base)进行训练。对于西班牙语，我们选择的预训练模型为bert(bert-base-spanish-wwm-uncased)、roberta(bertin-roberta-base-spanish)和roberta-xlm(xlm-roberta-base)。
[0140]
单语言数据集
[0141]
对于不同的数据集和不同的预训练模型，我们的框架带来了显著的改进。我们的方法在英语多标签情感分类任务上的结果超过了现有模型的最佳结果，可以视为一种新的sota。在其他两种语言中，clf-mec(marbert)和clf-mec(roberta)可视为最新的sota模型。实验结果证明了我们框架的有效性。
[0142]
每种语言的实验结果表2、表3和表4分别给出了在英语、阿拉伯语和西班牙语数据集上的实验结果。在英语数据集上，对于不同的预训练模型，js值提高了1.4-1.8，f
micro
值提高了1.0-1.4，f
macro
值提高了1.0-1.9。值得注意的是，clf-mec(roberta)表现优异，js、f
micro
和f
macro
分别达到60.6、72.3和60.5。由于阿拉伯语和西班牙语的多标签情感分类模型性能相对较差，我们的框架可以带来更显著的改进。具体而言，在阿拉伯语中，js值增加了0.9-3.2，f
micro
值增加了0.8-2.6。西班牙模式的js、f
micro
和f
macro
值分别增加了1.5-3.4、1.1-2.9和1.2-4.2。
[0143]
表2：在英语数据集上的实验结果
[0144]
模型jsf
microfmacro
jbnn-63.252.8rerc-65.153.9datn58.3-55.1ntua58.870.152.8lem-1111spanemo60.171.357.8
eduemo60.671.758.8demux60.872.257.6memo61.172.258.1bert+dk59.171.354.9bert-gcn58.970.756.3bert58.170.458.9clf-mec(bert)59.6(+1.5)71.4(+1.0)60.3(+1.4)roberta-xlm57.669.757.5clf-mec(roberta-xlm)59.0(+1.4)71.0(+1.3)58.5(+1.0)roberta58.770.958.4clf-mec(roberta)60.6(+1.8)72.3(+1.4)60.5(+1.9)
[0145]
表3：在阿拉伯语数据集上的实验结果
[0146][0147][0148]
表4：在西班牙语数据集上的实验结果
[0149]
模型jsf
microfmacro
tw-star43.852.039.0elirf45.853.544.0milab46.955.840.7spanemo53.264.153.2bert50.460.953.6clf-mec(bert)51.5+(1.1)62.0(+1.1)54.8(+1.2)roberta-xlm49.760.750.0clf-mec(roberta-xlm)52.9(+3.4)63.6(+2.9)54.2(+4.2)roberta50.561.049.6clf-mec(roberta)52.0(+1.5)63.1(+2.1)51.0(+1.4)
[0150]
与现有的所有方法相比，我们的方法具有明显的竞争力。我们主要比较了当前性
能最好的基于情感相关性增强的方法和基于记忆网络的方法。lem方法使用与我们方法相同的内存网络技术，但是，我们方法的内存网络可以表现出更好的(在消融研究中得到验证)。在英语数据集上，从js评价指标来看，我们的方法仅略逊于memo。对于f
micro
评价指标，我们的方法与现有的sota方法一样具有竞争力，clf-mec(roberta)的f
micro
值略高于demux和memo。从f
macro
评价指标来看，我们的方法取得了比现有sota方法更好的性能，clf-mec(roberta)的f
macro
值比目前最好的模型eduemo高1.7。在西班牙语数据集上，我们的方法在js和f
micro
上都优于spanemo。在f
macro
指标上，clf-mec(bert)和clf-mec(roberta)比spanemo分别提高了1.6和1.0。在阿拉伯语数据集上，我们的方法在三个指标上远远优于现有的方法。总的来说，我们的方法在三个语言数据集上与现有的sota方法具有显著的竞争力。
[0151]
单语plm和多语种plm的对比中，我们在单语种数据集上进一步分析了采用单语种预训练模型和采用多语种预训练模型对我们框架的影响。显然，使用多语言预训练模型时，模型的性能提升更大。
[0152]
多语言数据集：
[0153]
由于我们的框架不局限于语言和数据集，具有一定的通用性，因此我们的框架可以应用于多语言任务。我们在3种语言的混合数据集上进行了多语言多标签情感分类任务的实验。从表5中的结果可以看出，不同的预训练模型结合我们的框架都有一定的性能提升。特别地，当使用labse时，我们的框架在多语言多标签情感分类任务中取得了最先进的性能，js、f
micro
和f
macro
分别为57.5、69.6和59.6。
[0154]
表5：在多语言数据集上的实验结果
[0155]
模型jsf
microfmacro
bert52.264.154.7clf-mec(bert)52.9(+0.7)64.8(+0.7)55.3(+0.6)roberta-xlm49.760.750.0clf-mec(roberta-xlm)57.5(+0.6)69.6(+0.8)59.6(+0.8)roberta55.867.857.6clf-mec(roberta)56.6(+0.8)68.3(+0.5)58.5(+0.9)
[0156]
消融研究：
[0157]
最后，我们进行消融实验来验证记忆网络和课程学习的有效性。以英语数据集为例，参照图4和图5，分别删除了clf-mec(bert)和clf-mec(roberta)两个模型中的课程学习模块和课程记忆模块。去除两个模块后，模型的性能明显下降。更具体地说，当移除课程学习模块时，模型的表现下降得更明显，这说明在我们提出的框架中，交替课程学习模块更为重要。
[0158]
一种用于多标签情感分类的训练装置：
[0159]
至少一个处理器；
[0160]
至少一个存储器，用于存储至少一个程序；
[0161]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种用于多标签情感分类的训练方法。
[0162]
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的
功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0163]
一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现如上所述一种用于多标签情感分类的训练方法。
[0164]
上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0165]
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

技术特征：
1.一种用于多标签情感分类的训练方法，其特征在于，包括以下步骤：获取数据集并将数据集按类别划分样本，得到不同类别的训练集；基于情感分类模型分别对不同类别的训练集进行识别，以分类准确率为评价指标，得到第一训练集和第二训练集，所述第一训练集为分类准确率大于预设阈值的类别，所述第二训练集为分类准确率小于预设阈值的类别；基于第一训练集对情感分类模型进行训练，采用多标签交叉熵损失函数计算损失并进行反向传播；基于第二训练集对情感分类模型进行训练，采用对比损失函数计算损失并进行反向传播。2.根据权利要求1所述一种用于多标签情感分类的训练方法，其特征在于，所述基于情感分类模型分别对不同类别的训练集进行识别这一步骤，其具体包括：将不同类别的训练集输入至情感分类模型；对不同类别的训练集进行文本表征，得到特征向量；基于线性分类器，根据特征向量对不同类别的训练集进行情感概率分布预测，得到分类结果。3.根据权利要求2所述一种用于多标签情感分类的训练方法，其特征在于，还包括：初始化记忆矩阵；结合记忆矩阵更新特征向量；得到更新后的特征向量；将更新后的特征向量与原特征向量进行拼接，得到最终特征向量。4.根据权利要求1所述一种用于多标签情感分类的训练方法，其特征在于，所述多标签交叉熵损失函数的计算公式如下：上式中，l表示情感标签的个数；表示对于第j个样本，第i个情感的真实状态；表示对于第j个样本，第i个情感的预测概率。5.根据权利要求1所述一种用于多标签情感分类的训练方法，其特征在于，所述对比损失函数的计算公式如下：上式中，p表示正样本集，sim(
·
)表示余弦相似函数，sim(h'
i
,h'
p
)表示当前第j个样本与正样本集的相似度，sim(h'
i
,h'
k
)表示当前第j个样本与所有样本的相似度，k表示从i里面取的一个值，k∈i-{j}表示从i中去掉j，τ表示标量参数。6.根据权利要求1所述一种用于多标签情感分类的训练方法，其特征在于，还包括交替训练，其具体包括：在奇数轮次训练中，基于第一训练集对情感分类模型进行训练，采用多标签交叉熵损失函数计算损失并进行反向传播；
在偶数轮次训练中，基于第二训练集对情感分类模型进行训练，采用对比损失函数计算损失并进行反向传播。7.一种用于多标签情感分类的训练系统，其特征在于，包括：类别划分模块，用于获取数据集并将数据集按类别划分样本，得到不同类别的训练集；初识别模块，基于情感分类模型分别对不同类别的训练集进行识别，以分类准确率为评价指标，得到第一训练集和第二训练集，所述第一训练集为分类准确率大于预设阈值的类别，所述第二训练集为分类准确率小于预设阈值的类别；第一训练模块，基于第一训练集对情感分类模型进行训练，采用多标签交叉熵损失函数计算损失并进行反向传播；课程学习模块，基于第二训练集对情感分类模型进行训练，采用对比损失函数计算损失并进行反向传播。8.一种用于多标签情感分类的训练装置，其特征在于，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6任一项所述一种用于多标签情感分类的训练方法。

技术总结
本发明公开了一种用于多标签情感分类的训练方法、系统及装置，该方法包括：获取数据集并将数据集按类别划分样本；基于情感分类模型分别对不同类别的训练集进行识别；基于第一训练集对情感分类模型进行训练，采用多标签交叉熵损失函数计算损失并进行反向传播；基于第二训练集对情感分类模型进行训练，采用对比损失函数计算损失并进行反向传播。该系统包括：类别划分模块、初识别模块、第一训练模块和课程学习模块。该装置包括存储器以及用于执行上述多标签情感分类的训练方法的处理器。通过使用本发明，能够保证模型在充分学习简单样本信息的同时，聚焦于困难样本。本发明可广泛应用于分类模型训练领域。分类模型训练领域。分类模型训练领域。


技术研发人员：阳爱民 林楠铠 曾培健 周栋
受保护的技术使用者：广东工业大学
技术研发日：2023.06.09
技术公布日：2023/8/24