基于虚拟对抗与双向对比学习有监督文本分类方法及系统

1.本发明属于文本分类领域，尤其涉及基于虚拟对抗与双向对比学习有监督文本分类方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.现有的文本分类方法存在以下技术问题：
4.1、对比学习在有监督文本分类中存在泛化性差等问题，如在同一数据集下，对偶对比学习在bert模型上相较于其他方法效果最好，在roberta则不是最优的方法，且和无监督学习相比，在更大的批量和更长的训练中表现欠缺。
5.2、现有的对比学习技术无法学习到样本之间的信息，以及标签信息无法有效利用。且在实验中模型仍然需要学习除了对比项之外使用交叉熵损失的线性分类器。
6.3、传统的对抗训练的计算成本高，需要构造大量的对抗样本，这样会增加计算成本，导致训练时间变长，且传统对抗训练的泛化能力有限，对抗训练的目的是提高模型的鲁棒性，但是传统对抗训练并不能保证模型在真实场景下的泛化能力。这是因为对抗样本的构造方式可能与真实场景下的攻击方式不同，导致模型无法有效地应对真实场景中的攻击。


技术实现要素：

7.为了解决上述背景技术中存在的至少一项技术问题，本发明提供基于虚拟对抗与双向对比学习有监督文本分类方法，其将虚拟对抗训练与对比学习相结合，从而可以训练模型在对抗样本和真实样本之间建立更好的关系，提高分类模型的鲁棒性和泛化性能。然后，利用样本的标签信息生成增强样本，利用双向对比学习来学习样本标签与特征之间的关系，进一步提高分类模型的准确性。
8.为了实现上述目的，本发明采用如下技术方案：
9.本发明的第一个方面提供基于虚拟对抗与双向对比学习有监督文本分类方法，包括如下步骤：
10.获取文本样本数据和对应的标签信息；
11.基于文本样本数据、对应的标签信息对文本分类模型进行训练，得到训练后的文本分类模型；其中，所述文本分类模型的构建方法包括：
12.将虚拟对抗训练和对比学习相结合，采用虚拟对抗训练中最佳扰动的计算方法计算出扰动，将计算出的扰动与文本样本数据结合生成对抗文本数据用于对比学习，在两次对比学习中，通过双向对比损失函数，同时学习该对抗文本数据的特征表示和其相关联的类别标签。
13.基于训练后的文本分类模型对文本进行分类，得到文本分类结果。
14.本发明的第二个方面提供基于虚拟对抗与双向对比学习有监督文本分类系统，包括：
15.数据获取模块，其用于获取文本样本数据和对应的标签信息；
16.分类模型训练模块，其用于基于文本样本数据、对应的标签信息对文本分类模型进行训练，得到训练后的文本分类模型；其中，所述文本分类模型的构建方法包括：
17.将虚拟对抗训练和对比学习相结合，采用虚拟对抗训练中最佳扰动的计算方法计算出扰动，将计算出的扰动与文本样本数据结合生成对抗文本数据用于对比学习，在两次对比学习中，通过双向对比损失函数，同时学习该对抗文本数据的特征表示和其相关联的类别标签。
18.文本分类模块，其用于基于训练后的文本分类模型对文本进行分类，得到文本分类结果。
19.本发明的第三个方面提供一种计算机可读存储介质。
20.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的基于虚拟对抗与双向对比学习有监督文本分类方法中的步骤。
21.本发明的第四个方面提供一种计算机设备。
22.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的基于虚拟对抗与双向对比学习有监督文本分类方法中的步骤。
23.与现有技术相比，本发明的有益效果是：
24.1、本发明在对比学习中引入虚拟对抗训练，应用在监督学习中，先使用虚拟对抗预训练模型，再使用双重对比学习进行微调，模型设计两次对比学习，可以同时学习该样本的特征表示和分类器的输出，其中分类器的输出是带有标签的数据增强样本集，从而可以训练模型在对抗样本和真实样本之间建立更好的关系，提高分类模型的鲁棒性和泛化性能。
25.2、本发明设计的两个对比学习损失函数可以有效利用标签信息对文本进行分类且可以学习到样本之间的信息，解决了标准对比学习不能利用标签信息的缺陷，进一步提高分类模型的准确性。
26.3、本发明的虚拟对抗训练可以解决当前的预训练模型泛化性和鲁棒性不足，并且解决对抗训练虽然可以增强鲁棒性，但会损害泛化性的问题。
27.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
28.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
29.图1是本发明基于虚拟对抗与双向对比学习有监督文本分类流程图。
具体实施方式
30.下面结合附图与实施例对本发明作进一步说明。
31.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
32.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
33.术语解释
34.对比学习：无监督学习的一种，即给出没有标签的数据，自己学习出一种特征表示。简而言之，对比学习要求神经网络自动学习特征表示，使得相似实例在投影空间中接近，不相似实例在投影空间中远离，从而实现文本分类。
35.对比学习在文本分类中的应用主要可以分为两大类，应用于有监督和无监督文本分类。在有监督文本分类中，对比学习并没有很好的表现。如scl(supervised contrastive learning)和对偶对比学习(dualcl)。scl中的对比损失函数提出了一种新颖的扩展，允许每个锚点有多个正样本，使对比学习适应于有监督的场景，相较于一般模型，在多个数据集上的精确度都有提升。
36.对偶对比学习可以提高文本分类的性能，特别是在处理高维稀疏数据时，通过优化正样本和负样本之间的差异，对偶对比学习可以学习到更加鲁棒的嵌入表示，从而提高文本分类的性能。
37.虚拟对抗训练(vat)：是基于对抗训练改进的正则化算法。虚拟对抗训练优于传统对抗训练，既适用于预训练，也适用于微调，尤其是当标签可能有噪声的时候。虚拟对抗训练就是要找一个使输出偏差最大的扰动方向，在这个方向上对输入产生扰动，再用于训练模型，使模型的局部平滑度增强。虚拟对抗训练通过模型自动生成的扰动来使模型更具有鲁棒性，能够使模型更好地适应未知的、噪声干扰的输入数据。相较于传统的对抗训练，虚拟对抗训练不需要生成对抗样本，而是通过计算梯度来估计对抗性扰动。因此，虚拟对抗训练有更高的鲁棒性、更高的效率和更广泛的应用范围。虚拟对抗训练和对比学习都是提高模型性能的常用技术，它们可以结合使用来进一步提高文本分类的准确性。
38.针对背景技术中提及的在无监督学习的背景下，对比学习可以有效地学习到文本特征的判别性表示，从而提高文本分类的性能。然而，在有监督学习的背景下，对比学习方法在文本分类模型中无法充分利用样本的标签信息，也无法很好地学习样本间标签与特征的关系。
39.本发明提出了一种基于虚拟对抗与双向对比学习的框架virtual adversarial and bidirectional contrastive learning(vabcl)。该框架将虚拟对抗训练与对比学习相结合，从而可以训练模型在对抗样本和真实样本之间建立更好的关系，提高分类模型的鲁棒性和泛化性能。然后，利用样本的标签信息生成增强样本，利用双向对比学习来学习样本标签与特征之间的关系，进一步提高分类模型的准确性。最后，将vabcl框架在三个基准文本分类数据集上进行实验验证，实验结果证实了vabcl的特征提取能力和分类准确性的提升，表明vabcl在有监督文本分类领域具有较好的性能。
40.为了在有监督背景下很好地利用对比学习方法进行文本分类，本发明提出基于虚
拟对抗与双向对比学习的文本分类模型，该模型在有监督的环境中开发一种引入虚拟对抗的双重对比学习方法，在对比学习中引入虚拟对抗训练，应用在监督学习中，即先使用虚拟对抗预训练模型，再使用双重对比学习进行微调。模型设计两次对比学习，可以同时学习该样本的特征表示和分类器的输出，其中分类器的输出是带有标签的数据增强样本集。标准对比学习不能利用标签信息，而本模型中设计的两个对比学习损失函数可以有效利用标签信息对文本进行分类且可以学习到样本之间的信息。虚拟对抗训练可以解决当前的预训练模型泛化性和鲁棒性不足，并且解决对抗训练虽然可以增强鲁棒性，但会损害泛化性的问题。
41.实施例一
42.本实施例提供基于虚拟对抗与双向对比学习有监督文本分类方法，包括如下步骤：
43.步骤1：获取文本数据和对应的标签信息；
44.步骤2：基于文本数据和对应的标签信息和训练后的文本分类模型，得到训练后的文本分类模型；
45.文本分类模型包括两部分内容：
46.首先利用虚拟对抗训练中最佳扰动的计算方法计算出扰动，将计算出的扰动与原样本结合生成对抗样本用于对比学习。然后在双向对比学习中，学习两个损失函数，两个函数分别学习适当空间中分类任务的判别特征的输入表示和样本的类别标签。
47.步骤3：基于训练后的文本分类模型对文本进行分类，得到文本分类结果。
48.如图1所示，具体的实施过程如下：
49.令zi∈rd为输入样本xi的特征，θi∈rd*k为与xi相关联的类别标签。最后的目标是学习zi和θi的归一化表示，以使用所提出的方法将也就是分类器参数的softmax变换与xi的标签一致。
50.1、虚拟对抗训练与对比学习结合
51.虚拟对抗训练与对比学习结合的第一步是定义扰动r的计算方式，也就是损失函数。
52.虚拟对抗训练扰动计算方式具体做法是：
53.将句子信息和标签信息输入两个相同的编码器，在第一个编码器中增加扰动，生成扰动样本；在第二个编码器输出干净样本，用扰动样本作为锚点，训练其与干净正确样本的关系。
54.扰动的计算公式如下：
[0055][0056]
式中，xi表示输入样本，表示某一步训练后的模型参数，θ表示模型参数，y表示输出标签，r表示某一步生成的扰动。
[0057]
计算并不直接使用关于输入样本xi的梯度。
[0058]
因为显然在r＝0处时，梯度为0。将它关于r在0处进行泰勒展开后，发现有如下近似：
[0059][0060]
其中o(r2)是r2的高阶无穷小，h是hess ian矩阵。
[0061]
由特征值和特征向量的定义得，对于范数大小固定的r，当r是最大特征值对应的特征向量时，能取得r
t
hr最大，又因为r的范数很小，后面的高阶无穷小可以忽略不计，相应地，也取得最大。
[0062]
所以：
[0063][0064]
其中表示h的最大特征值对应的单位特征向量，∈表示超参数；
[0065]
本实施例中，虚拟对抗训练中，使用幂迭代法来计算矩阵最大特征值对应的特征向量，即随机取一个同维度的向量d(假设用特征向量表达d时，u的系数不为0)，进行以下迭代：
[0066][0067]
在本实施例中，迭代一次就能获取很好的近似u的效果。即：
[0068][0069][0070]
第二步：添加噪声扰动并获得虚拟样本集，在对比学习之前，在模型的输入上添加噪声，并对原始训练集进行数据增强，生成虚拟样本集。
[0071]
具体来说，本实施例中采用vat损失函数，并使用一个简单的mlp作为生成器来生成扰动。在每个训练迭代中，将扰动添加到模型的输入中。
[0072]
第三步：利用虚拟样本集进行对比学习,该模块在对比学习中引入虚拟对抗训练，去优化原样本和加入扰动的样本的相似性，增强模型的泛化性和鲁棒性。
[0073]
定义以下对比损失l
cal
：
[0074][0075]
式中，zi为输入样本xi的特征，为加入扰动后的样本特征，τ为温度因子，ai为对比样本的指标集，za为负样本特征。
[0076]
2.双向对比学习
[0077]
本模块使用了标签感知的数据增强方式来获取训练样本的增强样本，增强样本是利用标签信息生成的。
[0078]
具体做法是将所有文本与标签整合输入到bert编码器中，随后会获得整个文本的特征表示，其中特殊的[cls]标记表示整个文本的特征，而针对每个标签则可以得到对应的token级别输出。
[0079]
假设输入有k个标签，那么输出的标签集合即分类器θ∈r
d*k
。因为每个标签都融合
了文本信息，所以θi的每一列都是增强样本，每个样本都获得了k+1个增强样本。在获得了样本的多个增强样本之后，就可以使用这些增强样本来进行对比学习。
[0080]
以二分类任务为例：cls为该样本的特征表示，pos和neg(非pos样本)为该样本的标签。
[0081]
该对比学习的正负样本设计思想为：
[0082]
损失函数1：确定一个样本真实标签pos，以该样本的特征cls为锚点，其他所有标签为pos的输出为正样本，非pos样本的标签为负样本。
[0083]
损失函数2：确定一个样本真实标签pos，以该样本标签为pos的输出为锚点，则其他所有样本标签为pos的输出的cls为正样本，非pos样本的cls为负样本。
[0084]
给定一个来自输入示例xi的锚点zi，设θi表示xi的真实标签，a为负样本集合，分别取为正样本，取为负样本，zi为样本真实特征。
[0085]
在损失函数1中，固定标签θi，定义以下的对比损失：
[0086][0087]
在损失函数2中，固定真实特征zi，定义以下的对比损失：
[0088][0089]
双向对比损失为二个对比损失的组合：
[0090]
l
al
＝lz+l
θ
[0091]
其中，τ∈r
+
为温度因子，ai:＝τ{i}为对比样本的指标集，pi:＝{p∈ai:y
p
＝yi}为正样本的指标集，|pi|为pi的基数。
[0092]
lz为训练特征的对比学习损失函数，以特征zi作为锚点，训练其与所有正样本标签之间的相关性，为所有标签列表集合，τ∈r
+
为温度因子，ai＝τ{i}为对比样本的指标集，为所有负样本标签集合，l
θ
为训练样本类别标签的对比学习损失函数，以标签信息θi作为锚点，训练其与所有正样本特征之间的相关性，z
p
为正样本特征集合，za为负样本特征集合。
[0093]
联合训练与预测
[0094]
本模型还利用标签信息进行对比训练和有监督预测。
[0095]
在训练时，为了充分利用标签信息，提出使用softmax改进的交叉熵损失l
ce
，来最大化每个输入样本xi的θi*zi:
[0096][0097]
最终的损失函数为交叉熵加上用超参数λ调节的对比损失函数，这三个任务同时提高了特征的表示质量、标签的质量、分类器的质量以及模型的稳定性。
[0098]
总体损失为：
[0099]
l
overall
＝λ1l
cal
+l
ce
+λ2l
al
[0100]
在分类时，为了更好的利用监督信息，提出一个融入标签信息的分类函数。
[0101]
对每一个样本，充分利用标签信息生成的标签集合，将特征与每一个标签进行相似度计算，哪个相似度的值最高，它就属于哪一类。
[0102][0103]
3.实验数据设置
[0104]
在虚拟对抗训练中，是在训练后的bert模型上进行持续预训练，在本发明中，通过试验得出了最佳扰动大小δ＝1*10-5
，步长η＝1*10-3
，初始化扰动的方差σ＝1*10-5
。这些值在保证训练效率的同时，最大限度地提高对抗训练的效果。
[0105]
为了使输入格式适应bert系列预训练语言模型，对于每个输入句子，列出了所有的标签作为一个标记序列插入到输入句子之前，并用一个特殊的sep标记分割它们。还在输入序列的前面插入一个特殊的cls标记，并在输入序列的末尾附加一个sep标记。
[0106]
bert和roberta都使用位置嵌入来利用输入序列中标记的顺序，因此如果类标签以固定顺序列出，它们将与位置嵌入相关联。为了减轻标签顺序的影响，在训练阶段在形成输入序列之前随机更改标签的顺序。在测试阶段，标签顺序保持不变。
[0107]
使用adamw优化器微调预训练的bert-base-uncased和roberta-base模型。
[0108]
使用了一个由30个epochs组成的训练过程，使用线性学习率衰减从初始学习率2
×
10^(-5)降至最终学习率10^(-5)。为了减少过拟合的风险，我们采用了权重衰减参数为0.01，以及在所有层上使用了0.1的dropout概率。
[0109]
此外，我们将数据集的批量大小设置为64。在超参数的选择上，我们使用了网格搜索策略，从{0.01,0.05,0.1}中选择最佳的λ值，用于对损失函数中的对比损失和虚拟对抗损失进行加权。另外，我们按照经验，将温度系数τ设置为0.1。
[0110]
4.模型训练和测试
[0111]
我们将vabcl在两个模型上与四个监督学习基线进行比较：使用交叉熵损失(ce)训练的模型，同时使用交叉熵损失和标准监督对比损失(ce+scl)，同时使用交叉熵损失，自监督对比损失(ce+cl)以及使用对偶对比学习损失(dualcl)的模型，结果表1所示。
[0112]
表1不同模型分类对比结果
[0113][0114][0115]
从表1中可以看出，在bert和roberta编码器的vadcl在所有设置中都实现了最佳
分类性能，与只使用对偶对比学习(dualcl)的bert和roberta相比，vadcl的鲁棒性和泛化性能得到了明显的提升。与ce+cl相比，vadcl在bert和roberta上的平均提升分别为0.15％和0.28％。此外，在roberta上vadcl的性能也超越了从前最高的ce+cl，这能很好地体现虚拟对抗训练在模型中的作用。同时，ce和ce+scl的性能也无法超越vadcl。这是因为ce方法忽略了关系样本且ce+scl方法不能直接学习分类任务的分类器。
[0116]
此外，我们发现虚拟对抗训练与对偶对比损失项有助于模型在三个数据集上实现更好的性能。它表明利用样本之间的关系有助于模型在对比学习中学习更好的表示。
[0117]
实施例二
[0118]
本实施例提供了基于虚拟对抗与双向对比学习有监督文本分类系统，其特征在于，包括：
[0119]
数据获取模块，其用于获取文本样本数据和对应的标签信息；
[0120]
分类模型训练模块，其用于基于文本样本数据、对应的标签信息对文本分类模型进行训练，得到训练后的文本分类模型；其中，所述文本分类模型的构建方法包括：
[0121]
将虚拟对抗训练和对比学习相结合，采用虚拟对抗训练中最佳扰动的计算方法计算出扰动，将计算出的扰动与原文本数据结合生成对抗文本数据，用于对比学习，在两次对比学习中，通过双向对比损失函数，同时学习该对抗文本数据的特征表示和其相关联的类别标签。
[0122]
文本分类模块，其用于基于训练后的文本分类模型对文本进行分类，得到文本分类结果。
[0123]
实施例三
[0124]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的基于虚拟对抗与双向对比学习有监督文本分类方法中的步骤。
[0125]
实施例四
[0126]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一所述的基于虚拟对抗与双向对比学习有监督文本分类方法中的步骤。
[0127]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0128]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0129]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指
令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0130]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0131]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0132]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于虚拟对抗与双向对比学习有监督文本分类方法，其特征在于，包括如下步骤：获取文本样本数据和对应的标签信息；基于文本样本数据、对应的标签信息对文本分类模型进行训练，得到训练后的文本分类模型；其中，所述文本分类模型的构建方法包括：将虚拟对抗训练和对比学习相结合，采用虚拟对抗训练中最佳扰动的计算方法计算出扰动，将计算出的扰动与文本样本数据结合生成对抗文本数据用于对比学习，在两次对比学习中，通过双向对比损失函数，同时学习该对抗文本数据的特征表示和其相关联的类别标签。基于训练后的文本分类模型对文本进行分类，得到文本分类结果。2.如权利要求1所述的基于虚拟对抗与双向对比学习有监督文本分类方法，其特征在于，所述采用虚拟对抗训练中最佳扰动的计算方法为：将句子信息和标签信息输入两个相同的编码器，在第一个编码器增加扰动，生成扰动样本，在第二个编码器输出干净样本，用扰动样本作为锚点，训练其与干净正确样本的关系。3.如权利要求1所述的基于虚拟对抗与双向对比学习有监督文本分类方法，其特征在于，所述双向对比损失函数，同时学习该对抗文本数据的特征表示和其相关联的类别标签包括：第一对比损失函数为训练特征的对比学习损失函数，以特征作为锚点，训练其与所有正样本标签之间的相关性；第二对比损失函数为训练样本类别标签的对比学习损失函数，以标签信息作为锚点，训练其与所有正样本特征之间的相关性。4.如权利要求1所述的基于虚拟对抗与双向对比学习有监督文本分类方法，其特征在于，所述双向对比损失函数包括第一对比损失函数和第二对比损失函数，第一对比损失函数中，确定一个样本真实标签pos，以该样本的特征cls为锚点，其他所有标签为pos的输出为正样本，非pos样本的标签为负样本。第二对比损失函数中：确定一个样本真实标签pos，以该样本标签为pos的输出为锚点，则其他所有样本标签为pos的输出的cls为正样本，非pos样本的cls为负样本，其中，cls为该样本的特征表示，pos和neg为该样本的标签。5.如权利要求1所述的基于虚拟对抗与双向对比学习有监督文本分类方法，其特征在于，所述双向对比损失函数为：l
al
＝
z
+
θθ
式中，l
z
为训练特征的对比学习损失函数，以特征z
i
作为锚点，训练其与所有正样本标签之间的相关性，为所有标签列表集合，τ∈r
+
为温度因子，a
i
＝τ{i}为对比样本的指标
集，为所有负样本标签集合，l
θ
为训练样本类别标签的对比学习损失函数，以标签信息θ
i
作为锚点，训练其与所有正样本特征之间的相关性，z
p
为正样本特征集合，z
a
为负样本特征集合。6.如权利要求1所述的基于虚拟对抗与双向对比学习有监督文本分类方法，对于每个输入句子，在输入序列的前面插入特殊的cls标记，在输入序列的末尾附加一个sep标记。7.如权利要求1所述的基于虚拟对抗与双向对比学习有监督文本分类方法，其特征在于，分类时，将文本提取的特征与每一个标签进行相似度计算，相似度最高的标签的类别即为该文本的类别。8.基于虚拟对抗与双向对比学习有监督文本分类系统，其特征在于，包括：数据获取模块，其用于获取文本样本数据和对应的标签信息；分类模型训练模块，其用于基于文本样本数据、对应的标签信息对文本分类模型进行训练，得到训练后的文本分类模型；其中，所述文本分类模型的构建方法包括：将虚拟对抗训练和对比学习相结合，采用虚拟对抗训练中最佳扰动的计算方法计算出扰动，将计算出的扰动与文本样本数据结合生成对抗文本数据用于对比学习，在两次对比学习中，通过双向对比损失函数，同时学习该对抗文本数据的特征表示和其相关联的类别标签。文本分类模块，其用于基于训练后的文本分类模型对文本进行分类，得到文本分类结果。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于虚拟对抗与双向对比学习有监督文本分类方法中的步骤。10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于虚拟对抗与双向对比学习有监督文本分类方法中的步骤。

技术总结
本发明属于文本分类领域，提供了基于虚拟对抗与双向对比学习有监督文本分类方法及系统，其基于虚拟对抗与双向对比学习的框架，该框架将虚拟对抗训练与对比学习相结合，从而可以训练模型在对抗样本和真实样本之间建立更好的关系，提高分类模型的鲁棒性和泛化性能。然后，利用样本的标签信息生成增强样本，利用双向对比学习来学习样本标签与特征之间的关系，进一步提高分类模型的准确性。最后，将VABCL框架在三个基准文本分类数据集上进行实验验证，实验结果证实了VABCL的特征提取能力和分类准确性的提升，表明VABCL在有监督文本分类领域具有较好的性能。分类领域具有较好的性能。分类领域具有较好的性能。


技术研发人员：赵晶 豆希梦
受保护的技术使用者：齐鲁工业大学（山东省科学院）
技术研发日：2023.05.31
技术公布日：2023/8/21