基于联邦安全协作下的药物分子性质预测方法

1.本发明涉及深度学习和隐私保护技术领域，具体是一种基于联邦安全协作下的药物分子性质预测方法。


背景技术：

2.化学分子网络是一种描述分子结构和性质的数据形式，它主要包括分子中的原子、键、化学性质等信息。通过对原子类型和化学键等要素进行建模图数据，可以将化学分子网络应用于分子性质预测、药物设计等研究领域。例如，在药物研发过程中，需要确定药物分子是否具有阻碍癌细胞增长的性质，致突变性或毒性等，然而，传统深度学习方法在学习这些非欧氏空间的分子图数据时难以获得令人满意的结果。
3.图神经网络gnns(graph neural networks，简称gnns)是一种能够处理图结构数据的深度学习方法、可以提取更有效的潜在特征信息，它被广泛应用于处理、分析和理解具有复杂拓扑结构的数据。例如，在分子性质预测等图分类任务中，可以通过学习分子结构与其性质之间的关系来预测该分子的真实性质。然而，现在越来越多的敏感数据被用于图数据的训练和分析中，这给分子数据的隐私保护带来了极大挑战。此外，真实世界中，分子数据往往不是被存储在一个集中的管理者中，而通常是分布在多个本地端中，这也进一步加剧了数据隐私的风险。
4.联邦学习是一种新兴的分布式机器学习方法，能够实现不同分子数据中心之间的数据协作和合作，进而提高整体算法的学习效果。为保证数据隐私性，每个数据拥有者都需要在本地保留数据，并通过上传模型参数或数据的中间结果到中央服务器进行迭代更新，从而实现本地模型在预测分子性质时更加准确的目标。在联邦学习范式中，由于服务器是诚实但好奇的，现有的手段可以通过模型参数或中间结果去推导出原始数据的隐私信息，因此必须充分考虑训练数据的安全性。
5.为了应对联邦学习范式中涉及的药物分子数据隐私泄露风险，近年来，本地化差分隐私ldp(local differential privacy，简称ldp)已成为产业界和学术界的有效隐私保护措施。ldp方法在严格的数学证明下，旨在在保障数据隐私的前提下，尽可能保留数据效用性，从而可以广泛地应用于增强对联邦学习中本地私有图数据的保护效果。至于分子图数据，差分隐私同样可用于保护特征和结构的隐私。例如，通过本地化差分隐私中的多位机制来保护特征信息，以及使用随机响应机制扰动标签或结构的信息，均可实现此目的。然而，在药物分子预测任务中，并非所有数据都是敏感的。例如在预测药物分子是否有抗癌效果时，只有具有该效果的药物分子数据才具有价值，因此泄露这些数据的信息将严重损害相关研发机构的利益。然而，在联邦学习范式中，参与研发的机构可能拥有不同敏感程度的数据，如果对所有数据都施加相同的噪声，不仅保护效果不佳，还将极大损害数据的效用性。因此，需要新的图联邦学习隐私保护机制，在保护敏感样本数据的同时，尽可能保持对药物分子性质的预测准确性。


技术实现要素：

6.本发明的目的是针对现有技术的不足，而提供一种基于联邦安全协作下的药物分子性质预测方法。这种方法不仅可以保护图联邦学习范式中的隐私数据，而且对模型的性能影响小，能提高预测药物性质的准确性。
7.实现本发明目的的技术方案是：
8.一种基于联邦安全协作下的药物分子性质预测方法，包括如下步骤：
9.1)划分客户端图数据集g：给每个客户端划分药物分子的图数据集g，所有客户端之间的数据集分布是异质的、且数量上是不平衡的，每个客户端的数据集都包含药物分子领域的数据，其中，数据集中80％用于训练、20％用于测试，划分客户端图数据集g的过程如下：首先从众包平台中获取初始图数据集g，其中g＝(v，e，x，y)，v为节点集合、表示图数据集g中的所有节点，e为边集，表示图数据集g中节点间的连接关系，x为图数据集g的特征矩阵，y为由各个图标签组成的标签集，采用迪利克雷分布的参数α调整不同客户端之间数量的不平衡程度；
10.2)本地客户端模型的训练：本地客户端通过私有数据集学习到分子图表示低维向量embedding和分子性质预测类别的概率值logits，即将划分好的本地私有药物分子训练数据集通过图同构网络gin模型进行训练，从而学习到图表示embedding，这些图表示作为基于前馈神经网络分类器模型的输入，并用于学习药物分子性质预测类别的概率分数logits，具体为：对所有图的特征矩阵x和邻接矩阵a＝(v，e)，基于图同构网络gin模型学习到图的低维嵌入表示embedding：
11.即通过消息传递机制学习到图上所有节点l层的节点表示hv，如公式(1)所示：
[0012][0013]
最后池化图上节点的表示后得到图表示hg，即低维向量embedding，如公式(2)所示：
[0014]
hg＝readout({hv；v∈v})
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)，
[0015]
针对所得到的图表示，采用基于全连接层网络的分类器模型进行药物分子性质预测，预测结果为药物分子所属类别的概率zc，即“logits”，如公式(3)所示：
[0016]
zc＝fc(wc；hg)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)；
[0017]
3)采用个性化本地差分隐私进行扰动：将embedding，logits和分子数据的标签进行添加噪声脱敏后上传到中央服务器端，在联邦学习范式中，私有的药物分子性质的真实标签以及学习到的图表示embedding和性质所属类别的概率logits都需要进行隐私保护后才能上传到服务器，由于在预测药物分子性质任务中，并非所有的分子样本数据都是敏感的，例如认为没有抗癌效果的药物不是敏感的，因此这些样本的信息泄露也不会造成过多的利益冲突，采用个性化本地差分隐私的方法，对本地上传的数据进行更适应于药物分子训练数据的隐私保护，这不仅可以保持样本数据的隐私保护，还可以减少对上传数据的噪声输入，对于药物标签这种离散型的向量数据，基于随机响应的方法进行扰动，并且通过只反转非隐私标签的方式，使得最终上传的标签无法被推断出真实的敏感标签对于学习到的图向量embedding以及预测概率值logits这类连续型向量，采用muti-bit机制来进行扰动，为了更好地保护本地敏感的样本数据，采用个性化本地差分隐私的方法针对当前药物分子预测场景对样本数据进行适应性处理，从而实现隐私保护，具体为：
[0018]
3-1)将embedding或logits中的每个向量都记为x
i，j
，选择其中向量的m个维度进行扰动，在隐私预算设置为∈时，采用伯努利采样将向量x
i，j
编码为新的向量如公式(4)所示：
[0019][0020]
经过伯努利采样的编码对原始进行了扰动，但扰动后的向量是有偏的，因此，把扰动后的向量进行转换，使得转换后的向量x
′
i，j
在统计上确保是无偏估计，如公式(5)所示：
[0021][0022]
3-2)在处理离散型数据标签时，采用随机响应机制进行扰动，并且，在针对当前药物分子预测场景进行优化后的随机响应机制中，不会对敏感标签进行反转，而是根据非敏感样本标签的情况，按照概率进行反转，同时以概率进行保持不变，这种方式相较于传统的随机响应机制能更好地控制差分隐私所添加的噪声量，减少噪声对数据造成的干扰，从而保护数据隐私并提高数据分析的准确性；
[0023]
4)相似度计算：服务器端对上传的图表示embedding进行相似度计算，将同质的embedding聚类划分到不同簇中，客户端上传的图表示embedding分布也是异质的，服务器根据每个客户端上传扰动后的图表示向量embedding，采用k-means算法计算各个客户端的图表示的相似度，并根据该相似度将同质的客户端数据聚类在一起组成簇，具体为：所有客户端上传的图表示embedding和预测概率值logits上传到中央服务器后，采用k-means聚类算法对图表示进行处理，即先对图表示{h
g1
，h
g2
，...，h
gk
}进行相似度计算，然后进行聚类操作，将k个客户端的划分到t个簇中{c1，c2，...，c
t
}；
[0024]
5)服务器模型的训练：分别将簇中的embedding作为分类器的输入，将重新学习好的logits，再返回给本地用户，即将聚类后的embedding作为这些簇中模型的输入，并结合知识蒸馏的训练方式，进一步优化模型概率预测准确性，最后把每个簇中学习到的预测概率值logits作为知识返回到本地客户端中，具体为：对于每一个簇ci，将每个簇中客户端的图表示embedding作为输入，去训练该簇内的分类器模型，学习该簇内模型的预测概率zs，如公式(6)所示：
[0025]zs
＝fs(ws；hg)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)，
[0026]
为了更好地优化该簇中的分类器模型fs，进而去学习到更准确的预测概率值zs，采用kl散度将簇中分类器模型学习到的预测概率值zs与客户端上传的预测概率值zc一起构造知识蒸馏的损失函数进行优化，如公式(7)所示：
[0027][0028]
最后将服务器端学习到的所有簇中更为准确的预测概率值zs返回给本地客户端，以实现知识蒸馏的方式，指导本地客户端模型的训练，这种方法能够有效地提高本地客户端的模型预测分子性质的精度，并在保护数据隐私的同时，实现更加高效、安全的数据处理和分析；
[0029]
6)本地模型的抗噪声训练：本地用户将返回的logits分别作为正负样本，基于对比学习训练，缓解噪声对本地客户端模型的负面影响，服务器端学习到的知识logits中仍
然存在一定程度的噪声，当将这些logits以知识蒸馏的方式返回到本地客户端进行重新训练时，可能会损害本地模型的性能，为了缓解噪声对本地模型训练的影响，采用对比学习的方法参与本地模型的训练，具体为：本地客户端采用将返回的预测概率值去构造对比学习损失项即将本簇中的全局预测概率值zs与本地模型学习的预测概率值zc视为正样本，而其它簇中的全局预测概率与本地模型的预测概率值zc视为负样，从而构造客户端对比学习的损失函数l
cl
，如公式(8)所示：
[0030][0031]
优化该损失函数能够提升本地客户端模型的图表示学习能力，从而更加准确地预测分子的性质，通过这种方法，可以在保护数据隐私的基础上，实现更为精准、高效的分布式数据处理和分析。
[0032]
在真实场景中，不同客户端间的分子图数据分布通常是非独立同分布(non-iid)的，此外，由于设备的异构性和各个本地端的药物研发进度不同，上传到服务器上的数据量也是不平衡的，这些问题使得在联邦学习范式中难以提升预测药物分子性质的准确性，此外，现有的手段可以反推出本地原始数据的敏感信息，本技术方案采用本地化差分隐私的方式增强联邦学习的隐私保护效果。
[0033]
本技术方案具有以下优点：
[0034]
1.本技术方案采用知识蒸馏作为图联邦学习范式下数据通信的基础，成功解决了药物分子研发过程中客户端数据分布异质以及数量不平衡的问题，同时，在基于隐私保护的联邦学习范式下，本技术方案仍能有效预测药物分子的性质；
[0035]
2.本技术方案对于图联邦学习中的隐私泄露风险进行了分析，并采用个性化本地差分隐私的方法来保护用户的隐私数据，同时减少噪声对数据的负面影响；
[0036]
3.本技术方案采用k-means聚类算法将同质的图数据划分在同一簇内，这样做的好处是，当将这些同质的数据作为分类器模型的输入时，可以使模型更好地收敛；
[0037]
4.本技术方案在本地端利用对比学习方法，缓解数据交换过程中带有噪声的全局logits对本地客户端模型的影响。
[0038]
这种方法不仅可以保护图联邦学习范式中的隐私数据，而且对模型的性能影响小，即使对本地数据进行加噪脱敏处理，本地模型仍然能够获得较高的药物分子性质预测准确度。
附图说明
[0039]
图1为实施例的方法流程示意图。
具体实施方式
[0040]
下面结合附图和实施例对本发明的内容做进一步的阐述，但不是对本发明的限定。
[0041]
实施例：
[0042]
参见图1，一种基于联邦安全协作下的药物分子性质预测方法，包括如下步骤：
[0043]
1)划分客户端图数据集g：给每个客户端划分药物分子的图数据集g，所有客户端
之间的数据集分布是异质的、且数量上是不平衡的，每个客户端的数据集都包含药物分子领域的数据，其中，数据集中80％用于训练、20％用于测试，划分客户端图数据集g的过程如下：首先从众包平台中获取初始图数据集g，其中g＝(v，e，x，y)，v为节点集合、表示图数据集g中的所有节点，e为边集，表示图数据集g中节点间的连接关系，x为图数据集g的特征矩阵，y为由各个图标签组成的标签集，采用迪利克雷分布的参数α调整不同客户端之间数量的不平衡程度；
[0044]
2)本地客户端模型的训练：本地客户端通过私有数据集学习到分子图表示低维向量embedding和分子性质预测类别的概率值logits，即将划分好的本地私有药物分子训练数据集通过图同构网络gin模型进行训练，从而学习到图表示embedding，这些图表示作为基于前馈神经网络分类器模型的输入，并用于学习药物分子性质预测类别的概率分数logits，具体为：对所有图的特征矩阵x和邻接矩阵a＝(v，e)，基于图同构网络gin模型学习到图的低维嵌入表示embedding：
[0045]
即通过消息传递机制学习到图上所有节点l层的节点表示hv，如公式(1)所示：
[0046][0047]
最后池化图上节点的表示后得到图表示hg，即低维向量embedding，如公式(2)所示：
[0048]
hg＝readout({hv；v∈v})
ꢀꢀꢀꢀ
(2)，
[0049]
针对所得到的图表示，采用基于全连接层网络的分类器模型进行药物分子性质预测，预测结果为药物分子所属类别的概率zc，即“logits”，如公式(3)所示：
[0050]
zc＝fc(wc；hg)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)；
[0051]
3)采用个性化本地差分隐私进行扰动：将embedding，logits和分子数据的标签进行添加噪声脱敏后上传到中央服务器端，在联邦学习范式中，私有的药物分子性质的真实标签以及学习到的图表示embedding和性质所属类别的概率logits都需要进行隐私保护后才能上传到服务器，由于在预测药物分子性质任务中，并非所有的分子样本数据都是敏感的，例如认为没有抗癌效果的药物不是敏感的，因此这些样本的信息泄露也不会造成过多的利益冲突，采用个性化本地差分隐私的方法，对本地上传的数据进行更适应于药物分子训练数据的隐私保护，这不仅可以保持样本数据的隐私保护，还可以减少对上传数据的噪声输入，对于药物标签这种离散型的向量数据，基于随机响应的方法进行扰动，并且通过只反转非隐私标签的方式，使得最终上传的标签无法被推断出真实的敏感标签对于学习到的图向量embedding以及预测概率值logits这类连续型向量，采用muti-bit机制来进行扰动，为了更好地保护本地敏感的样本数据，采用个性化本地差分隐私的方法针对当前药物分子预测场景对样本数据进行适应性处理，从而实现隐私保护，具体为：
[0052]
3-1)将embedding或logits中的每个向量都记为x
i，j
，选择其中向量的m个维度进行扰动，在隐私预算设置为∈时，采用伯努利采样将向量x
i，j
编码为新的向量如公式(4)所示：
[0053][0054]
经过伯努利采样的编码对原始进行了扰动，但扰动后的向量是有偏的，因此，把扰动后的向量进行转换，使得转换后的向量x
′
i，j
在统计上确保是无偏估计，如公式(5)所示：
[0055][0056]
3-2)在处理离散型数据标签时，采用随机响应机制进行扰动，并且，在针对当前药物分子预测场景进行优化后的随机响应机制中，不会对敏感标签进行反转，而是根据非敏感样本标签的情况，按照概率进行反转，同时以概率进行保持不变，这种方式相较于传统的随机响应机制能更好地控制差分隐私所添加的噪声量，减少噪声对数据造成的干扰，从而保护数据隐私并提高数据分析的准确性；
[0057]
4)相似度计算：服务器端对上传的图表示embedding进行相似度计算，将同质的embedding聚类划分到不同簇中，客户端上传的图表示embedding分布也是异质的，服务器根据每个客户端上传扰动后的图表示向量embedding，采用k-means算法计算各个客户端的图表示的相似度，并根据该相似度将同质的客户端数据聚类在一起组成簇，具体为：所有客户端上传的图表示embedding和预测概率值logits上传到中央服务器后，采用k-means聚类算法对图表示进行处理，即先对图表示{h
g1
，h
g2
，...，h
gk
}进行相似度计算，然后进行聚类操作，将k个客户端的划分到t个簇中{c1，c2，...，c
t
}；
[0058]
5)服务器模型的训练：分别将簇中的embedding作为分类器的输入，将重新学习好的logits，再返回给本地用户，即将聚类后的embedding作为这些簇中模型的输入，并结合知识蒸馏的训练方式，进一步优化模型概率预测准确性，最后把每个簇中学习到的预测概率值logits作为知识返回到本地客户端中，具体为：对于每一个簇ci，将每个簇中客户端的图表示embedding作为输入，去训练该簇内的分类器模型，学习该簇内模型的预测概率zs，如公式(6)所示：
[0059]zs
＝fs(ws；hg)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)，
[0060]
为了更好地优化该簇中的分类器模型fs，进而去学习到更准确的预测概率值zs，采用kl散度将簇中分类器模型学习到的预测概率值zs与客户端上传的预测概率值zc一起构造知识蒸馏的损失函数进行优化，如公式(7)所示：
[0061][0062]
最后将服务器端学习到的所有簇中更为准确的预测概率值zs返回给本地客户端，以实现知识蒸馏的方式，指导本地客户端模型的训练，这种方法能够有效地提高本地客户端的模型预测分子性质的精度，并在保护数据隐私的同时，实现更加高效、安全的数据处理和分析；
[0063]
6)本地模型的抗噪声训练：本地用户将返回的logits分别作为正负样本，基于对比学习训练，缓解噪声对本地客户端模型的负面影响，服务器端学习到的知识logits中仍然存在一定程度的噪声，当将这些logits以知识蒸馏的方式返回到本地客户端进行重新训练时，可能会损害本地模型的性能，为了缓解噪声对本地模型训练的影响，采用对比学习的方法参与本地模型的训练，具体为：本地客户端采用将返回的预测概率值去构造对比学习损失项即将本簇中的全局预测概率值zs与本地模型学习的预测概率值zc视为正样本，而其它簇中的全局预测概率与本地模型的预测概率值zc视为负样，从而构造客户端对比学习的损失函数l
cl
，如公式(8)所示：
[0064][0065]
本列中，优化该损失函数能够提升本地客户端模型的图表示学习能力，从而更加准确地预测分子的性质，通过这种方法，可以在保护数据隐私的基础上，实现更为精准、高效的分布式数据处理和分析，为科研和工业探索提供更有力的支持。

技术特征：
1.一种基于联邦安全协作下的药物分子性质预测方法，其特征在于，包括如下步骤：1)划分客户端图数据集g：给每个客户端划分药物分子的图数据集g，所有客户端之间的数据集分布是异质的、且数量上是不平衡的，每个客户端的数据集都包含药物分子领域的数据，其中，数据集中80％用于训练、20％用于测试，划分客户端图数据集g的过程如下：首先从众包平台中获取初始图数据集g，其中g＝(v，e，x，y)，v为节点集合、表示图数据集g中的所有节点，e为边集，表示图数据集g中节点间的连接关系，x为图数据集g的特征矩阵，y为由各个图标签组成的标签集，采用迪利克雷分布的参数α调整不同客户端之间数量的不平衡程度；2)本地客户端模型的训练：本地客户端通过私有数据集学习到分子图表示低维向量embedding和分子性质预测类别的概率值logits，即将划分好的本地私有药物分子训练数据集通过图同构网络gin模型进行训练，从而学习到图表示embedding，这些图表示作为基于前馈神经网络分类器模型的输入，并用于学习药物分子性质预测类别的概率分数logits，具体为：对所有图的特征矩阵x和邻接矩阵a＝(v，e)，基于图同构网络gin模型学习到图的低维嵌入表示embedding：即通过消息传递机制学习到图上所有节点l层的节点表示h
v
，如公式(1)所示：最后池化图上节点的表示后得到图表示h
g
，即低维向量embedding，如公式(2)所示：h
g
＝readout({h
v
；v∈v})
ꢀꢀꢀꢀ
(2)，针对所得到的图表示，采用基于全连接层网络的分类器模型进行药物分子性质预测，预测结果为药物分子所属类别的概率z
c
，即“logits”，如公式(3)所示：z
c
＝f
c
(w
c
；h
g
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)；3)采用个性化本地差分隐私进行扰动：将embedding，logits和分子数据的标签进行添加噪声脱敏后上传到中央服务器端，对于学习到的图向量embedding以及预测概率值logits这类连续型向量，采用mut-bit机制来进行扰动，采用个性化本地差分隐私的方法针对当前药物分子预测场景对样本数据进行适应性处理，具体为：3-1)将embedding或logits中的每个向量都记为x
i，j
，选择其中向量的m个维度进行扰动，在隐私预算设置为∈时，采用伯努利采样将向量x
i，j
编码为新的向量如公式(4)所示：经过伯努利采样的编码对原始进行了扰动，但扰动后的向量是有偏的，因此，把扰动后的向量进行转换，使得转换后的向量x
′
i，j
在统计上确保是无偏估计，如公式(5)所示：3-2)在处理离散型数据标签时，采用随机响应机制进行扰动，并且在针对当前药物分子预测场景进行优化后的随机响应机制中，不会对敏感标签进行反转，而是根据非敏感样本标签的情况，按照概率进行反转，同时以概率进行保持不变；4)相似度计算：服务器端对上传的图表示embedding进行相似度计算，将同质的
embedding聚类划分到不同簇中，客户端上传的图表示embedding分布也是异质的，服务器根据每个客户端上传扰动后的图表示向量embedding，采用k-means算法计算各个客户端的图表示的相似度，并根据该相似度将同质的客户端数据聚类在一起组成簇，具体为：所有客户端上传的图表示embedding和预测概率值logits上传到中央服务器后，采用k-means聚类算法对图表示进行处理，即先对图表示{h
g1
，h
g2
，...，h
gk
}进行相似度计算，然后进行聚类操作，将k个客户端的划分到t个簇中{c1，c2，...，c
t
}；5)服务器模型的训练：分别将簇中的embedding作为分类器的输入，将重新学习好的logits，再返回给本地用户，即将聚类后的embedding作为这些簇中模型的输入，并结合知识蒸馏的训练方式，进一步优化模型概率预测准确性，最后把每个簇中学习到的预测概率值logits作为知识返回到本地客户端中，具体为：对于每一个簇ci，将每个簇中客户端的图表示embedding作为输入，去训练该簇内的分类器模型，学习该簇内模型的预测概率z
s
，如公式(6)所示：z
s
＝f
s
(w
s
；h
g
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)，采用kl散度将簇中分类器模型学习到的预测概率值z
s
与客户端上传的预测概率值z
c
一起构造知识蒸馏的损失函数进行优化，如公式(7)所示：最后将服务器端学习到的所有簇中更为准确的预测概率值z
s
返回给本地客户端；6)本地模型的抗噪声训练：采用对比学习的方法参与本地模型的训练，具体为：本地客户端采用将返回的预测概率值去构造对比学习损失项，即将本簇中的全局预测概率值z
s
与本地模型学习的预测概率值z
c
视为正样本，而其它簇中的全局预测概率与本地模型的预测概率值z
c
视为负样，从而构造客户端对比学习的损失函数l
cl
，如公式(8)所示：

技术总结
本发明公开了一种基于联邦安全协作下的药物分子性质预测方法，其特征在于，包括如下步骤：1）划分客户端图数据集；2）本地客户端模型的训练；3）采用个性化本地差分隐私进行扰动；4）相似度计算；5）服务器模型的训练；6）本地模型的抗噪声训练。这种方法不仅可以保护图联邦学习范式中的隐私数据，而且对模型的性能影响小，能提高预测药物性质的准确性。能提高预测药物性质的准确性。能提高预测药物性质的准确性。


技术研发人员：王金艳 宁杨友 颜东琪 李先贤
受保护的技术使用者：广西师范大学
技术研发日：2023.05.22
技术公布日：2023/8/13