基于多视图GraphTransformer的社交机器人检测系统及方法

基于多视图graph transformer的社交机器人检测系统及方法
技术领域
1.本发明涉及机器人检测技术领域，具体地说，涉及一种基于多视图graph transformer的社交机器人检测系统及方法。


背景技术：

2.推特作为一个影响力覆盖全球大部分地方的社交平台，用户可以在该平台上各抒己见。然而，其中也包含大量的社交机器人，它们通过伪装成正常用户，在介入传播过程的同时，也参与公共讨论，影响着公共情绪。正因如此，在过去的10年里，学者一直致力于对抗机器人的研究中。
3.社交机器人检测早期的相关工作严重依赖于特征工程。具体地，研究人员通过领域知识从原始数据中定义和提取社交机器人独有的特征，并将其应用于机器学习模型。为了进一步挖掘正常用户和社交机器人之间的差异化，研究人员提出了cnn-lstm模型，对社交行为的内部因素和外部因素进行细粒度分析。尽管这些研究在过去取得了成功，但是由于在线社交网络中的社交机器人的复杂性不断进化，这类基于用户账号信息进行检测的方法已经失效。随着图神经网络的兴起，研究人员开始使用图来描述社交机器人与正常用户之间的社交关联结构。基于图挖掘的算法也逐渐被应用于社交机器人的检测中。在此过程中，研究人员从同构图到异构图进行了探索，其中有些人专注于异构网络和多关系网络，以探索社交机器人与正常用户之间的微小差别。虽然这类方法取得了一定的成功，但是他们有几个明显的问题。例如：
4.(1)没有考虑到社交网络中同一主题下的用户行为存在一定的社会关联；
5.(2)没有考虑从多视图的角度去捕获社交机器人复杂的行为信息。


技术实现要素：

6.本发明的内容是提供一种基于多视图graph transformer的社交机器人检测系统及方法，其能够较佳地进行社交机器人检测。
7.根据本发明的一种基于多视图graph transformer的社交机器人检测系统，其包括：
8.主题结构模块，用于构建潜在语义结构；
9.图增强模块，用于将多视图扩展为多通道-多视图；
10.多视图graph transformer模块，用于将多头注意力机制引入到多视图的图学习中，并考虑到每个视图的特定的特征；
11.多视图注意力模块，用于通过注意力机制进行聚合多个视图的信息，以获得更全面的节点表示。
12.作为优选，主题结构模块中，将同一用户的所有推文通过拼接的方式构建伪推文，即：
[0013][0014]
其中，||符号表示拼接操作，di分别表示用户j的第j个推文以及构建的伪推文；通过di构建lda模型，lda模型使用具有固定主题数分布的dirichlet先验，进而通过m个主题上的概率分布进行表示：
[0015]di
＝(p(t1∣di),p(t2∣di),p(t3∣di),...,p(tm∣di))
[0016]
其中di表示用户i的推文主题分布，tm代表m个用户推文出现的主题，p(tm∣di)表示用户i推文di属于主题tm的可能性；通过筛选最大的tm来寻找每个主题下的用户，即：
[0017]
t＝{t1,t2,t3,...,tm}
[0018]
ts＝{u1,u2,u3,...,us}
[0019]
其中，t代表主题簇，ts表示第s个主题簇，m表示主题的数量，us表示第s个主题簇下的用户，s表示对应主题簇下的用户数量；为了进一步降低主题网络的稠密性，对每个主题簇下的用户通过一定概率p进行连边，得到最终的主题结构网络；
[0020]
通过社交网络中用户之间的多样化关系构建多视图网络，采用用户信息编码过程将用户表示为xi，并且通过一个全连接层将其转化为gnn的初始特征：
[0021][0022]
w1为权重参数矩阵，b1为偏置项，为输入特征参数，σ为激活函数。
[0023]
作为优选，图增强模块中，选用dropedege作为图结构数据增强方法，dropedege中，图中的每条边都可能以一定概率p被舍弃，通过对每个视图进行dropedege，将多视图扩展为多视图-多通道，具体表示如下：
[0024]
si(gz)＝(v,mi⊙ez
)
[0025]
其中mi∈{0,1}
|v|
是通道i的掩码向量，作用在视图z的边集ev上，v表示图结构中的节点表示，si(gz)表示视图z通道i的图；通过多个通道即子图来捕捉每个视图下的节点局部结构的模式，进一步使节点表征更加鲁棒和抗噪。
[0026]
作为优选，多视图graph transformer模块中，通过初始化的节点特征来计算视图z下的通道s和节点i的第c注意力头机制：
[0027][0028][0029][0030]
其中，q、k、v表示注意力机制中的query、key、value，(l)表示模型的第l层，分别表示视图z下通道s的注意力头c可学习的参数；将视图z下通道s的不同注意力头的边的特征e
i,j
也添加到向量计算当中，将其作为视图z下通道s的每一层的补充信息：
[0031][0032]
为视图z下的通道s的每一层的不同注意力头的额外补充信息，为权重
参数，为偏置项，为边的特征；
[0033]
进一步就能通过不同节点之间的注意力权重来进行建模：
[0034][0035]
其中，节点i与节点j之间第l层的第c个注意力头权重，是指数级点积函数，d表示每个注意力头的隐藏大小，n(i)z表示视图z下通道s的节点i的邻域，最后通过消息聚合来获得视图z下通道s的节点i表示：
[0036][0037]
是在视图z下通道s的l层的节点表示，c是注意力机制的头数；在完成每个通道下节点的学习表示之后，将视图z下每个通道的节点i进行拼接操作，由于节点特征的逐层衰减，在此基础上增加了连接操作：
[0038][0039]
表示视图z下通道s的节点i的最终表示，通过累计求和的连接方式完成多通道的融合，为了确保节点特征的平滑，将非线性函数和归一化操作应用上述结果，通过表示视图z下节点i的最终表示：
[0040][0041][0042]
为视图z下的节点i表示，w
iz
为权重参数，为偏置项。
[0043]
作为优选，多视图注意力模块中，为了将输入特征转换为高级输出特征，通过可学习权重向量α的共享线性变换应用于每个节点，注意力机制计算的系数表示为：
[0044][0045]
其中，w和b均是可学习的参数，表示不同视图的权重，表示最终视图z下的节点i表示，进一步的将最终的节点表示为：
[0046][0047]
其中表示视图z下的节点i的表示，以为权重参数，通过对不同视图下的节点进行加权和组合的方式生成全局节点表示xi。
[0048]
作为优选，系统还包括训练优化模块，训练优化模块中，将xi用于mlp层：
[0049][0050]
是模型预测的预测标签，w和b均是可学习的参数；然后评估了所有标记数据的交叉熵损失：
[0051][0052]
其中，s表示标记数据中的用户集，yi表示用户的真实标签，λ表示正则项系数，θ表示所有可学习参数，ω表示正则项。
[0053]
本发明提供了一种基于多视图graph transformer的社交机器人检测方法，其采用上述的基于多视图graph transformer的社交机器人检测系统。
[0054]
本发明提出了一种全新的主题结构，旨在理解用户行为受社区内其他用户影响的情况。在相同主题下，某些用户可能会出现相似的行为，如发表类似的观点。社会化认知理论可解释在社交网络中个体的行为和决策受其他用户看法和评价的影响，这也是本文提出的新主题结构旨在理解的问题之一。社会化认知理论是指个体通过社交互动和沟通获取知识、形成态度和建立信念的一种理论。个体的认知和行为是通过社交互动塑造的，个体会将自己的观点和行为与社区其他成员进行比较，从而形成自己的认知和态度。社会化认知理论还可用于解释社交网络中的信息传播和影响力扩散，以及群体行为和决策的形成。因此，社会化认知理论在理解用户行为和社交互动方面非常重要。
[0055]
本发明提出了一种新的twitter机器人检测框架，从多视图的角度去分析社交网络下用户与社交机器人的显著差异。具体而言，首先，我们将用户及其对应信息抽象为节点，将用户之间多种关系抽象为边构建异构信息网络，并将节点的多种特征组合成多视图信息网络。其次，通过对多视图信息网络进行建模，提出了多视图graph transformer用于学习不同视图下节点的表示。再次，通过图增强模块将多视图扩展为多视图-多通道。最后，通过多视图注意力机制以自适应的方式分配每个视图的权重，并将各视图中的信息融合到同一个节点特征表示中。此外，该模型还允许不同的视图之间进行交互，以更好地表示学习到的内容，并最终将这些信息用于机器人检测。
[0056]
本发明的有益效果如下：
[0057]
(1)本发明在异构信息网络中增加了一种新的主题结构，它可以帮助更好地理解用户在社交媒体中的行为以及如何受到其他用户的影响，同时也有助于识别机器人和真实用户之间的细微差异。
[0058]
(2)本发明提出了一种全新的端到端twitter机器人检测框架，该框架可以使用多视图graph transformer对社交网络中的不同视图进行细粒度的分析，并通过注意力机制动态的学习不同视图之间的重要性以及它们之间的关联，从而提高对twitter机器人帐号识别和检测的准确性。
[0059]
(3)本发明进行了公开的数据集上进行的实验，结果显示，与最先进的方法相比，所提出的模型表现出了更高的性能。此外，进一步的分析也证实了提出的主题结构以及多视图模型的有效性。
附图说明
[0060]
图1为实施例中一种基于多视图graph transformer的社交机器人检测系统的结构图；
[0061]
图2为实施例中困惑度曲线示意图；
[0062]
图3为实施例中主题分布散点图；
[0063]
图4为实施例中视图融合方式对比实验示意图。
具体实施方式
[0064]
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。
[0065]
实施例
[0066]
如图1所示，本实施例提供了一种基于多视图graph transformer的社交机器人检测系统，其包括：
[0067]
主题结构模块，用于构建潜在语义结构；
[0068]
图增强模块，用于将多视图扩展为多通道-多视图；
[0069]
多视图graph transformer模块，用于将多头注意力机制引入到多视图的图学习中，并考虑到每个视图的特定的特征；
[0070]
多视图注意力模块，用于通过注意力机制进行聚合多个视图的信息，以获得更全面的节点表示。
[0071]
(1)主题结构模块
[0072]
由于用户的推文中存在大量短文本，其稀疏性将会导致共现效果差，从而对主题模型的建立产生严重影响；这里，将同一用户的所有推文通过拼接的方式构建伪推文，即：
[0073][0074]
其中，||符号表示拼接操作，di分别表示用户j的第j个推文以及构建的伪推文；通过di构建latent dirichlet allocation(lda)模型，其基本思想是，文档可以被表示为潜在主题的随机混合，其中每个主题的特征是单词上的分布。lda模型使用具有固定主题数分布的dirichlet先验，进而通过m个主题上的概率分布进行表示：
[0075]di
＝(p(t1∣di),p(t2∣di),p(t3∣di),...,p(tm∣di))
[0076]
其中di表示用户i的推文主题分布，tm代表m个用户推文出现的主题，p(tm∣di)表示用户i推文di属于主题tm的可能性；通过筛选最大的tm来寻找每个主题下的用户，即：
[0077]
t＝{t1,t2,t3,...,tm}
[0078]
ts＝{u1,u2,u3,...,us}
[0079]
其中，t代表主题簇，ts表示第s个主题簇，m表示主题的数量，us表示第s个主题簇下的用户，s表示对应主题簇下的用户数量；此外，每个主题簇下的用户数量不一定相同；为了进一步降低主题网络的稠密性，对每个主题簇下的用户通过一定概率p进行连边，得到最终的主题结构网络；
[0080]
在社交机器人检测任务中，用户及其对应信息为节点，用户之间的关系为边。社交网络的复杂性导致用户之间的关系多样化，使用单一视图无法准确描述节点之间的联系。
因此，在本实施例中，除了上述主题视图以外，还通过社交网络中用户之间的多样化关系构建多视图网络，为了公平起见，采用用户信息编码过程，将用户表示为xi，并且通过一个全连接层将其转化为gnn的初始特征：
[0081][0082]
w1为权重参数矩阵，b1为偏置项，为输入特征参数，σ为激活函数。
[0083]
(2)图增强模块
[0084]
为了减少过拟合以及过度平滑的影响，选用dropedege作为图结构数据增强方法，dropedege可以看作是dropout在图上的推广，即图中的每条边都可能以一定概率p被舍弃，通过对每个视图进行dropedege，将多视图扩展为多视图-多通道，具体表示如下：
[0085]
si(gz)＝(v,mi⊙ez
)
[0086]
其中mi∈{0,1}
|v|
是通道i的掩码向量，作用在视图z的边集ev上，v表示图结构中的节点表示，si(gz)表示视图z通道i的图；通过多个通道即子图来捕捉每个视图下的节点局部结构的模式，进一步使节点表征更加鲁棒和抗噪。
[0087]
(3)多视图graph transformer模块(mult-view graph transformer)
[0088]
transformer模型在自然语言处理(nlp)领域已然成为一个新范式，越来越多的研究者在尝试将transformer模型强大的建模能力应用到图学习中，以上述研究内容为基础，本实施例提出了mult-view graph transformer(mv-gt)，将多头注意力机制引入到多视图的图学习中，并考虑到每个视图的特定的特征。具体来说，通过初始化的节点特征来计算视图z下的通道s和节点i的第c注意力头机制：
[0089][0090][0091][0092]
其中，q、k、v表示注意力机制中的query、key、value，(l)表示模型的第l层，分别表示视图z下通道s的注意力头c可学习的参数；将视图z下通道s的不同注意力头的边的特征e
i,j
也添加到向量计算当中，将其作为视图z下通道s的每一层的补充信息：
[0093][0094]
为视图z下的通道s的每一层的不同注意力头的额外补充信息，为权重参数，为偏置项，为边的特征；
[0095]
进一步就能通过不同节点之间的注意力权重来进行建模：
[0096]
[0097]
其中，节点i与节点j之间第l层的第c个注意力头权重，是指数级点积函数，d表示每个注意力头的隐藏大小，n(i)z表示视图z下通道s的节点i的邻域，最后通过消息聚合来获得视图z下通道s的节点i表示：
[0098][0099]
是在视图z下通道s的l层的节点表示，c是注意力机制的头数；特别地，没有通过拼接的方式对视图z下通道s的每层gnn输出进行表示，而是对多头注意力机制的表示结果进行平均运算。在完成每个通道下节点的学习表示之后，将视图z下每个通道的节点i进行拼接操作，由于节点特征的逐层衰减，在此基础上增加了连接操作：
[0100][0101]
表示视图z下通道s的节点i的最终表示，通过累计求和的连接方式完成多通道的融合，为了确保节点特征的平滑，将非线性函数和归一化操作应用上述结果，通过表示视图z下节点i的最终表示：
[0102][0103][0104]
(4)多视图注意力模块
[0105]
由于每个节点的不同视图重要性差异很大，尝试以自适应的方式挖掘每个视图的权重，并通过注意力机制进行聚合多个视图的信息，以获得更全面的节点表示。为了将输入特征转换为高级输出特征，通过可学习权重向量α的共享线性变换应用于每个节点，注意力机制计算的系数表示为：
[0106][0107]
其中，w和b均是可学习的参数，表示不同视图的权重，表示最终视图z下的节点i表示，其中较大者意味着对应的视图对于最终节点表示更为重要，进一步的将最终的节点表示为：
[0108][0109]
其中表示视图z下的节点i的表示，以为权重参数，通过对不同视图下的节点进行加权和组合的方式生成全局节点表示xi。
[0110]
(5)训练优化模块
[0111]
经过上述根据不同视图的特征权重通过注意力机制进行加权融合，有效地将多视图特征结合起来，将获得最终的节点表示xi，将xi用于mlp层：
[0112][0113]
是模型预测的预测标签，w和b均是可学习的参数；然后评估了所有标记数据的交叉熵损失：
[0114][0115]
其中，s表示标记数据中的用户集，yi表示用户的真实标签，λ表示正则项系数，θ表示所有可学习参数。
[0116]
本实施例还提供给了一种基于多视图graph transformer的社交机器人检测方法，其采用上述的基于多视图graph transformer的社交机器人检测系统。
[0117]
实验
[0118]
这里进行了大量的实验，以验证提出方法的有效性。首先先介绍数据集，然后展示了实验结果，最后通过消融实验来进一步证明框架组成的必要性。
[0119]
由于mv-gt是基于多视图的，需要提供特定图结构的数据集。在本实施例中，使用了twibot-20进行了主要实验。表1中展示来该数据集的详细情况。
[0120]
表1 twibot数据集情况
[0121][0122]
twibot-20涵盖了多样化的机器人和真正的用户，以更好地代表现实世界的twitter领域，因此mv-gt可以被证明适用于各种社交机器人。遵循基准中提供的相同分割，因此结果与之前工作可以直接相比。
[0123]
本实施例将与以下方法进行比较：
[0124]
cresci et al.(cresci et al.,2016)通过数字dna序列对对社交网络用户的行为进行编码。
[0125]
lee et al.(lee,eoff,and caverlee 2011)通过时间频率以及基于内容的方法来分析用户行为。
[0126]
miller et al.(miller et al.2014)通过数据流聚类的方式来将用户划分为不同的群组。
[0127]
wei et al.(wei etal.,2019)通过使用bilstm对用户推文进行编码提取特征。
[0128]
yang et al.(yang et al.2020)提出了一种基于数据选择的社交机器人检测方法。
[0129]
kudugunta et al.(kudugunta and ferrara 2018)通过上下文lstm联合使用用户推文和用户属性。
[0130]
alhosseini et al.(ali alhosseini et al.2019)提出了一种基于图卷积神经网络(gcnn)，首次将图神经网络应用于推特机器人检测。
[0131]
satar(feng et al.2021b)提出了一种基于自监督推特机器人检测框架，通过联合利用用户的推文语义、属性和用户关系网络。
[0132]
botrgcn(feng et al.2021)在twitter社交网络中构建异构图，并通过使用关系图卷积网络(rgcn)来进行推特机器人检测。
[0133]
rgt(feng et al.2022)在botrgcn的基础上，增加了关系和影响异质性来进行推特机器人检测。
[0134]
为了便于复现，给出了实验的超参数设置如表2。mv-gt是在nvidiatesla v100上训练的，并在github上公开。
[0135]
表2超参数表
[0136][0137][0138]
为了更好地分析每种方法之间的差异，将从多个角度来分析模型的性能。
[0139]
表3多种模型模式分析
[0140][0141]
表3展示了从潜在主题结构分析、用户关系结构的异构型、模型的深度、模型是否涉及图神经网络以及模型是否涉及多视图学习多种模式来评估模型的性能。结果证明：
[0142]
mv-gt始终优于现有的基线模型，包括最新提出的框架rgt(fengetal.,2022)。我们在准确率可以达到0.8749，在f1-score上可以达到0.8910。
[0143]
首次提出了基于潜在主题结构来分析推特机器人与用户之间的关联，该方法有助于我们探索主题结构下用户与社交机器人之间的细微差异。
[0144]
提出的基于多视图的学习在推特机器人识别上达到了最佳性能，这些结果证明了对社交网络通过不同视图进行细粒度的分析的必要性以及我们方法的有效性。
[0145]
本实施例提出了一种基于多视图的推特机器人检测方法，它允许从不同的视图中获取社交网络用户的有效特征。具体来说，在原有的社交网络用户关系基础上，提出了一种全新的主题结构来分析用户之间潜在的主题关联。在此基础上，将社交网络转化为多视图网络来细粒度捕获真实用户与社交机器人的细微差异。为了证明模型有效性，设置多种消融实验来分析结果。
[0146]
图2表示为了寻找最优主题数，绘制的困惑度曲线。
[0147]
对于不同的主题数量训练出来的模型计算其困惑度，最低峰值表示最小困惑度即最优的主题数。将主题数设定为9，通过最大化主题概率分布，为每个用户推文分配对应主题。图3展示了通过t-sne(maaten etal.,2008)进行降维以进一步地可视化主题分布。
[0148]
通过上图比较不同主题之间的差异化，使得可以更加清晰的看到不同主题下的用户的表现情况以及不同主题之间的结构关系。在社交网络中用户发布的推文在同一主题下词语之间的语义关联有大有小，所以出现了主题下节点连续分布现象，这也说明了提出的
社交网络中主题结构是影响用户行为的要素之一。
[0149]
为了进一步验证和分析多视图学习的有效性，通过保留其余部分只分离多视图，使用单个视图以及多个视图组合来进行推特机器人检测。
[0150]
多视图的学习优于任何单个视图学习。结果表明，主题视图较于其他视图也存在一定优势，这也证明了潜在主题结构对于用户行为的分析的必要性。进一步来说，移除任一视图，都会降低模型的性能，多视图学习可以将多个视图的信息结合到一起，这样可以更精准的捕获和理解社交网络中推特机器人复杂的行为。
[0151]
对多视图融合方式进行深度分析，来进一步证明多视图融合方法的有效性。图4展示了对比实验结果(co表示带连接操作，interact表示带视图交互功能)。
[0152]
(1)采用加法方式的多视图融合方法可以有效地利用来自不同视图的信息，使算法对数据集具有更强的表达能力，但是可能导致信息过多而使特征表示变得模糊不清。此外，如果数据中存在噪声，可能会造成融合后的特征表示不稳定的情况；
[0153]
(2)采用平均的多视图融合方式从一定程度上融合了不同视图的信息，但是可能存在某些视图的信息被忽略的情况；
[0154]
(3)采用注意力机制的多视图融合方式可以通过隐藏状态来及时关注重要的视图信息，来提高数据表示的能力，但是该方法可能会忽略到一些重要的视图特征，从而导致结果的准确性下降。
[0155]
因此，在此基础上增加连接操作和视图交互功能来弥补注意力机制在多视图融合上的不足，其中连接操作可以将最初的特征向量连接到融合特征上，这样可以更好地保留原始的特征信息，从而可以更好地表达数据的特征信息，视图交互功能可以的理解不同视图之间的关系，并更好地利用视图之间的相互联系。经消融和对比实验分析，带有连接操作和视图交互功能的注意力机制要优于其他几种视图融合方法。
[0156]
我们对模型的参数进行了敏感度分析，绘制了热力图来展示不同注意力头数和层数对模型性能的影响。通过分析热力图，当注意力头数为8，层数为8时，模型达到了最佳性能。说明在社交网络中，不同节点之间的关系可能具有不同的重要性，使用多个注意力头可以让模型同时关注这些关系，并提高提取关键信息的准确性。同时，增加模型的层数可以让模型更深层次地理解和推理输入数据。
[0157]
社交机器人检测是一项重要且具有挑战性的任务，它需要有效的方法来自动识别真实的用户，以应对不断变化的社交媒体用户及相关需求。在本文中，我们提出了一种基于多视图的社交机器人检测框架，该框架从多视图的角度去分析社交网络下用户与社交机器人的显著差异。在此基于上，我们通过社会化认知理论引入了一种新的主题结构来分析该结构下的用户行为。进一步地，我们还探讨了多视图融合算法并对其进行改进。我们在公开的基准上进行了广泛的实验，来证明我们的模型对比最先进的模型的有效性。此外，我们通过消融实验来探索和分析了主题结构以及多视图对于社交机器人检测的有效性。我们计划在未来引入更多真实世界中用户行为的规律和理论来深度分析用户和社交机器人的差异化。
[0158]
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案
相似的结构方式及实施例，均应属于本发明的保护范围。

技术特征：
1.基于多视图graph transformer的社交机器人检测系统，其特征在于：包括：主题结构模块，用于构建潜在语义结构；图增强模块，用于将多视图扩展为多通道-多视图；多视图graph transformer模块，用于将多头注意力机制引入到多视图的图学习中，并考虑到每个视图的特定的特征；多视图注意力模块，用于通过注意力机制进行聚合多个视图的信息，以获得更全面的节点表示。2.根据权利要求1所述的基于多视图graph transformer的社交机器人检测系统，其特征在于：主题结构模块中，将同一用户的所有推文通过拼接的方式构建伪推文，即：其中，||符号表示拼接操作，d
i
分别表示用户j的第j个推文以及构建的伪推文；通过d
i
构建lda模型，lda模型使用具有固定主题数分布的dirichlet先验，进而通过m个主题上的概率分布进行表示：d
i
＝(p(t1∣d
i
),p(t2∣d
i
),p(t3∣d
i
),...,p(t
m
∣d
i
))其中d
i
表示用户i的推文主题分布，t
m
代表m个用户推文出现的主题，p(t
m
∣d
i
)表示用户i推文d
i
属于主题t
m
的可能性；通过筛选最大的t
m
来寻找每个主题下的用户，即：t＝{t1,t2,t3,...,t
m
}t
s
＝{u1,u2,u3,...,u
s
}其中，t代表主题簇，t
s
表示第s个主题簇，m表示主题的数量，u
s
表示第s个主题簇下的用户，s表示对应主题簇下的用户数量；为了进一步降低主题网络的稠密性，对每个主题簇下的用户通过一定概率p进行连边，得到最终的主题结构网络；通过社交网络中用户之间的多样化关系构建多视图网络，采用用户信息编码过程将用户表示为x
i
，并且通过一个全连接层将其转化为gnn的初始特征：w1为权重参数矩阵，b1为偏置项，为输入特征参数，σ为激活函数。3.根据权利要求2所述的基于多视图graph transformer的社交机器人检测系统，其特征在于：图增强模块中，选用dropedege作为图结构数据增强方法，dropedege中，图中的每条边都可能以一定概率p被舍弃，通过对每个视图进行dropedege，将多视图扩展为多视图-多通道，具体表示如下：s
i
(g
z
)＝(v,m
i
⊙
e
z
)其中m
i
∈{0,1}
|v|
是通道i的掩码向量，作用在视图z的边集e
v
上，v表示图结构中的节点表示，s
i
(g
z
)表示视图z通道i的图；通过多个通道即子图来捕捉每个视图下的节点局部结构的模式，进一步使节点表征更加鲁棒和抗噪。4.根据权利要求3所述的基于多视图graph transformer的社交机器人检测系统，其特征在于：多视图graph transformer模块中，通过初始化的节点特征来计算视图z下的通道s和节点i的第c注意力头机制：
其中，q、k、v表示注意力机制中的query、key、value，(l)表示模型的第l层，分别表示视图z下通道s的注意力头c可学习的参数；将视图z下通道s的不同注意力头的边的特征e
i,j
也添加到向量计算当中，将其作为视图z下通道s的每一层的补充信息：一层的补充信息：为视图z下的通道s的每一层的不同注意力头的额外补充信息，为权重参数，为偏置项，为边的特征；进一步就能通过不同节点之间的注意力权重来进行建模：其中，节点i与节点j之间第l层的第c个注意力头权重，是指数级点积函数，d表示每个注意力头的隐藏大小，n(i)
z
表示视图z下通道s的节点i的邻域，最后通过消息聚合来获得视图z下通道s的节点i表示：后通过消息聚合来获得视图z下通道s的节点i表示：是在视图z下通道s的l层的节点表示，c是注意力机制的头数；在完成每个通道下节点的学习表示之后，将视图z下每个通道的节点i进行拼接操作，由于节点特征的逐层衰减，在此基础上增加了连接操作：减，在此基础上增加了连接操作：表示视图z下通道s的节点i的最终表示，通过累计求和的连接方式完成多通道的融合，为了确保节点特征的平滑，将非线性函数和归一化操作应用上述结果，通过表示视图z下节点i的最终表示：z下节点i的最终表示：z下节点i的最终表示：为视图z下的节点i表示，w
iz
为权重参数，为偏置项。5.根据权利要求4所述的基于多视图graph transformer的社交机器人检测系统，其特
征在于：多视图注意力模块中，为了将输入特征转换为高级输出特征，通过可学习权重向量α的共享线性变换应用于每个节点，注意力机制计算的系数表示为：其中，w和b均是可学习的参数，表示不同视图的权重，表示最终视图z下的节点i表示，进一步的将最终的节点表示为：其中表示视图z下的节点i的表示，以为权重参数，通过对不同视图下的节点进行加权和组合的方式生成全局节点表示x
i
。6.根据权利要求5所述的基于多视图graph transformer的社交机器人检测系统，其特征在于：系统还包括训练优化模块，训练优化模块中，将x
i
用于mlp层：用于mlp层：是模型预测的预测标签，w和b均是可学习的参数；然后评估了所有标记数据的交叉熵损失：其中，s表示标记数据中的用户集，y
i
表示用户的真实标签，λ表示正则项系数，θ表示所有可学习参数，ω表示正则项。7.基于多视图graph transformer的社交机器人检测方法，其特征在于：其采用如权利要求1-6中任一所述的基于多视图graph transformer的社交机器人检测系统。

技术总结
本发明涉及机器人检测技术领域，涉及一种基于多视图Graph Transformer的社交机器人检测系统及方法，其包括：主题结构模块，用于构建潜在语义结构；图增强模块，用于将多视图扩展为多通道-多视图；多视图Graph Transformer模块，用于将多头注意力机制引入到多视图的图学习中，并考虑到每个视图的特定的特征；多视图注意力模块，用于通过注意力机制进行聚合多个视图的信息，以获得更全面的节点表示。本发明能够较佳地进行社交机器人检测。能够较佳地进行社交机器人检测。能够较佳地进行社交机器人检测。


技术研发人员：李明原 冶忠林 赵海兴 肖玉芝 曹淑娟 杨燕琳 陈阳 孟磊 周琳 陈世龙
受保护的技术使用者：青海师范大学
技术研发日：2023.05.30
技术公布日：2023/8/23