一种基于全局信息共享的多中心联邦学习CT成像方法及系统

一种基于全局信息共享的多中心联邦学习ct成像方法及系统
技术领域
1.本发明涉及医疗ct成像技术领域，特别涉及一种基于全局信息共享的多中心联邦学习ct成像方法及基于全局信息共享的多中心联邦学习ct成像系统。


背景技术：

2.随着科学技术的迅猛发展，低剂量ct技术也是日新月异，其在临床上的应用也越来越广泛，而且深度学习方法在图像处理、计算机视觉以及机器学习等领域取得了长足发展。
3.目前，基于深度学习的方法已广泛应用于低剂量ct成像。然而，该方法在来自多个机构的数据集上具有性能不稳定的问题，被称为泛化问题。此外，不同机构之间的数据共享一般还受到监管权力的限制。
4.最近，联邦学习策略因不需要在各个地方机构之间共享数据而被提出用以解决泛化问题，但是其局部模型很容易在局部数据集上被过度拟合，这可能会降低新优化的全局模型的性能。
5.因此，针对现有技术不足，提供一种基于全局信息共享的多中心联邦学习ct成像方法及基于全局信息共享的多中心联邦学习ct成像系统以解决现有技术不足甚为必要。


技术实现要素：

6.本发明其中一个目的在于避免现有技术的不足之处而提供一种基于全局信息共享的多中心联邦学习ct成像方法。该基于全局信息共享的多中心联邦学习ct成像方法能够解决因多影像中心共享受到监管权力的限制产生的泛化问题，以保证深度神经网络的全局模型性能，从而达到保护患者隐私和解决泛化问题的双重效果。
7.本发明的上述目的通过以下技术措施实现：
8.提供一种基于全局信息共享的多中心联邦学习ct成像方法，其特征在于，包括如下步骤：
9.步骤(1)、在多个影像中心中获取所有原始低剂量ct测量数据的高频特征和低频特征，其中将对应的低频特征分别储存于对应的影像中心，将所有影像中心的高频特征共享；
10.步骤(2)、根据步骤(1)得到的所有高频特征构建一个所有影像中心的高频特征池；
11.步骤(3)、根据步骤(2)得到的高频特征池及每个对应本地影像中心的原始低剂量ct测量数据采用联邦学习策略交互式训练，最终得到云端全局网络参数和优化本地智能重建网络参数；
12.步骤(4)、根据步骤(3)得到的优化本地智能重建网络参数对对应的影像中心的原始低剂量ct测量数据重建得到最终ct图像。
13.优选的，上述步骤(2)具体为将步骤(1)得到的高频特征构建成一个加密的信息库
β＝[h1，...，hk]，将信息库定义为高频特征池，其中β为信息库，β数学表达为矩阵形式，h为每个影像中心的数据高频固有噪声分布，k为第k个影像中心，为第k个影像中心中提取的高频特征的集合，是第k个影像中心的第i个高频特征，nk为第k个影像中心的局部样本数量。
[0014]
优选的，上述步骤(3)具体包括：
[0015]
步骤(3.1)、将步骤(2)得到的高频特征池根据插值机制得到新的高频频带，然后将新的高频频带输入基础去噪重建网络进行训练，得到云端全局网络参数；
[0016]
步骤(3.2)、将云端全局网络参数回传至所有影像中心，然后各个影像中心根据每个对应本地影像中心的低频特征和高频特征通过高低频合成方法合成得到含噪ct图像的局部模型，含噪ct图像及云端全局网络参数输入基础去噪重建网络进行训练得到该局部模型的本地智能重建网络参数；
[0017]
步骤(3.3)、各个影像中心将各自的本地智能重建网络参数共享，然后将所有本地智能重建网络参数输入基础去噪重建网络进行训练，得到更新云端全局网络参数；
[0018]
步骤(3.4)、将更新云端全局网络参数回传至所有影像中心，然后各个影像中心分别根据每个对应本地影像中心在步骤(3.2)得到的含噪ct图像及更新云端全局网络参数输入基础去噪重建网络进行训练，得到更新本地智能重建网络参数；
[0019]
步骤(3.5)、判断各个影像中心的局部模型的损失函数，当各个局部模型的损失函数收敛时，将当前更新本地智能重建网络参数定义为优化本地智能重建网络参数，并进入步骤(4)；当否时，返回步骤(3.3)。
[0020]
优选的，上述步骤(3.1)具体为将步骤(2)得到的高频特征池中所有的高频特征均通过使用掩码m插值和合成一个新的高频频带，由式(ⅰ)表示，再将新的高频频带输入基础去噪重建网络中进行训练，得到云端全局网络参数；
[0021][0022]
其中w为在[0，1中随机选择的插值比，
⊙
为哈达玛积，i和j分别为第k个影像中心的两个高频数据，w为大于0小于1的随机值，m为二进制掩码，为加密的高频频带数据。
[0023]
优选的，上述步骤(3.2)具体为将云端全局网络参数回传至各个影像中心，各个影像中心根据每个对应本地影像中心的低频特征和高频特征通过高低频合成方法合成得到含噪ct图像的局部模型，含噪ct图像及云端全局网络参数输入基础去噪重建网络进行训练，得到该局部模型的本地智能重建网络参数。
[0024]
在所述步骤(3.2)中第k个影像中心的损失函数由式(ⅱ)表达：
[0025][0026]
其中lk为l1范式的损失函数约束，θ为n为全局样本数量，k为每个中心的损失函数，为含噪ct图像，是将带入到参数为θk的基础去噪重建网络
中进行训练，为无噪声的标准图像数据。
[0027]
优选的，上述步骤(1)具体采用小波变换或傅里叶变换处理提取所有原始低剂量ct测量数据的高频特征和低频特征。
[0028]
优选的，上述步骤(4)具体为在不共享所有影像中心数据的条件下，根据步骤(3)得到的本地智能重建网络参数利用高级损失函数对对应的影像中心的原始低剂量ct测量数据重建得到最终ct图像，重建得到最终ct图像。
[0029]
优选的，上述高级损失函数为对抗损失函数或者感知损失函数；
[0030]
基础去噪重建网络为由残差神经网络构建基础去噪重建模型。
[0031]
优选的，上述高频特征为噪声分布特性。
[0032]
优选的，上述低频特征为纹理结构特征、人体结构信息。
[0033]
优选的，上述高低频合成方法为小波逆变换方法、傅里叶逆变换方法或者频域合成变换方法。
[0034]
本发明另一目的在于避免现有技术的不足之处而提供一种基于全局信息共享的多中心联邦学习ct成像系统。该基于全局信息共享的多中心联邦学习ct成像系统能够解决因多影像中心共享受到监管权力的限制产生的泛化问题，以保证深度神经网络的全局模型性能，从而达到保护患者隐私和解决泛化问题的双重效果。
[0035]
本发明的上述目的通过以下技术措施实现：
[0036]
提供一种基于全局信息共享的多中心联邦学习ct成像系统，采用上述的基于全局信息共享的多中心联邦学习ct成像方法。
[0037]
本发明的基于全局信息共享的多中心联邦学习ct成像系统，设置有：
[0038]
获取数据模块，用于从多个影像中心获取所有原始低剂量ct测量数据的高频特征和低频特征；
[0039]
空间特征调制模块，根据所有的高频特征构建一个所有影像中心的高频特征池；
[0040]
联邦学习处理模块，用于采用联邦学习策略交互式训练处理云端全局网络参数和本地智能重建网络参数；
[0041]
图像重建模块，用于在不共享所有影像中心数据的条件下对本地智能重建网络参数重建得到最终ct图像。
[0042]
本发明的一种基于全局信息共享的多中心联邦学习ct成像方法及系统，其中基于全局信息共享的多中心联邦学习ct成像方法包括如下步骤：步骤(1)、在多个影像中心中获取所有原始低剂量ct测量数据的高频特征和低频特征，其中将对应的低频特征分别储存于对应的影像中心，将所有影像中心的高频特征共享；步骤(2)、根据步骤(1)得到的所有高频特征构建一个所有影像中心的高频特征池；步骤(3)、根据步骤(2)得到的高频特征池及每个对应本地影像中心的原始低剂量ct测量数据采用联邦学习策略交互式训练，最终得到云端全局网络参数和优化本地智能重建网络参数；步骤(4)、根据步骤(3)得到的优化本地智能重建网络参数对对应的影像中心的原始低剂量ct测量数据重建得到最终ct图像。本发明能够解决因多影像中心共享受到监管权力的限制产生的泛化问题，以保证深度神经网络的全局模型性能，从而达到保护患者隐私和解决泛化问题的双重效果。
附图说明
[0043]
利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。
[0044]
图1为本发明一种基于全局信息共享的多中心联邦学习ct成像方法的流程图。
[0045]
图2为实施例2的数据重建的图像。
具体实施方式
[0046]
结合以下实施例对本发明的技术方案作进一步说明。
[0047]
实施例1
[0048]
一种基于全局信息共享的多中心联邦学习ct成像方法，如图1所示，包括如下步骤：
[0049]
步骤(1)、在多个影像中心中获取所有原始低剂量ct测量数据的高频特征和低频特征，其中将对应的低频特征分别储存于对应的影像中心，将所有影像中心的高频特征共享；
[0050]
步骤(2)、根据步骤(1)得到的所有高频特征构建一个所有影像中心的高频特征池；
[0051]
步骤(3)、根据步骤(2)得到的高频特征池及每个对应本地影像中心的原始低剂量ct测量数据采用联邦学习策略交互式训练，最终得到云端全局网络参数和优化本地智能重建网络参数；
[0052]
步骤(4)、根据步骤(3)得到的优化本地智能重建网络参数对对应的影像中心的原始低剂量ct测量数据重建得到最终ct图像。
[0053]
其中，步骤(1)具体采用小波变换或傅里叶变换处理提取所有原始低剂量ct测量数据的高频特征和低频特征。高频特征为噪声分布特性；低频特征为纹理结构特征、人体结构信息。
[0054]
需要说明的是，本发明高频特征则为原始低剂量ct测量数据的固有噪声分布相关特征。低频特征属于扫描病人的隐私数据，低频特征只存储于对应的影像中心，避免了多个影像中心的隐私数据泄露。
[0055]
本发明的步骤(2)具体为将步骤(1)得到的高频特征构建成一个加密的信息库β＝[h1，...，hk]，将信息库定义为高频特征池，其中β为信息库，β数学表达为矩阵形式，h为每个影像中心的数据高频固有噪声分布，k为第k个影像中心，为第k个影像中心中提取的高频特征的集合，是第k个影像中心的第i个高频特征，nk为第k个影像中心的局部样本数量。
[0056]
需要说明的是，本发明的高频特征池的作用是存储多个影像中心之间的全局噪声分布，实现多中心的信息共享。
[0057]
本发明步骤(3)具体包括：
[0058]
步骤(3.1)、将步骤(2)得到的高频特征池根据插值机制得到新的高频频带，然后将新的高频频带输入基础去噪重建网络进行训练，得到云端全局网络参数；
[0059]
步骤(3.2)、将云端全局网络参数回传至所有影像中心，然后各个影像中心根据每
个对应本地影像中心的低频特征和高频特征通过高低频合成方法合成得到含噪ct图像的局部模型，含噪ct图像及云端全局网络参数输入基础去噪重建网络进行训练得到该局部模型的本地智能重建网络参数；
[0060]
步骤(3.3)、各个影像中心将各自的本地智能重建网络参数共享，然后将所有本地智能重建网络参数输入基础去噪重建网络进行训练，得到更新云端全局网络参数；
[0061]
步骤(3.4)、将更新云端全局网络参数回传至所有影像中心，然后各个影像中心分别根据每个对应本地影像中心在步骤(3.2)得到的含噪ct图像及更新云端全局网络参数输入基础去噪重建网络进行训练得到更新本地智能重建网络参数；
[0062]
步骤(3.5)、判断各个影像中心的局部模型的损失函数，当各个局部模型的损失函数的损失值均符合结束条件时，将当前更新本地智能重建网络参数定义为优化本地智能重建网络参数，并进入步骤(4)；当否时，返回步骤(3.3)。
[0063]
步骤(3.1)具体为将步骤(2)得到的高频特征池中所有的高频特征均通过使用掩码m插值和合成一个新的高频频带，由式(ⅰ)表示，再将新的高频频带输入基础去噪重建网络中进行训练，得到云端全局网络参数：
[0064][0065]
其中w为在[0，1中随机选择的插值比，
⊙
为哈达玛积，i和j分别为第k个影像中心的两个高频数据，w为大于0小于1的随机值，m为二进制掩码，为加密的高频频带数据，i和j均指第几个，w是随机设置的分数。
[0066]
本发明基础去噪重建网络为基础resnet去噪重建网络，而基础resnet去噪重建网络具体是由残差神经网络构建基础去噪重建模型，并随机初始化网络参数。
[0067]
需要说明的是，本发明的式(ⅰ)为数据训练使用插值机制，从而加密数据集，能够对数据进行隐私保护。
[0068]
本发明的步骤(3.2)具体为将云端全局网络参数回传至各个影像中心，各个影像中心根据每个对应本地影像中心的低频特征和高频特征通过高低频合成方法合成得到含噪ct图像的局部模型，含噪ct图像及云端全局网络参数输入基础去噪重建网络进行训练得到该局部模型的本地智能重建网络参数。其中，高低频合成方法为小波逆变换方法、傅里叶逆变换方法或者频域合成变换方法。其中低频特征和高频特征为同一原始低剂量ct测量数据的低频特征和高频特征。
[0069]
在步骤(3.2)中第k个影像中心的损失函数由式(ⅱ)表达：
[0070][0071]
其中lk为l1范式的损失函数约束，θ为n为全局样本数量，k为每个中心的损失函数，为含噪ct图像，是将带入到参数为θk的基础去噪重建网络中进行训练，为无噪声的标准图像数据。
[0072]
需要说明的是，局样本数量是指所有影像中心的原始低剂量ct测量数据的数量。局部样本数量指的是每个k影像中心的原始低剂量ct测量数据的数量。整体损失函数计算
公式的意思是这个取最小值时得到参数θ的值。损失函数将每次训练的模型对训练的输入数据进行重建，输出图像结果与对应的无噪声的标准图像数据进行计算损失值计算，利用的函数就是损失函数进行计算。
[0073]
本发明的步骤(4)具体为在不共享所有影像中心数据的条件下，根据步骤(3)得到的本地智能重建网络参数利用高级损失函数对对应的影像中心的原始低剂量ct测量数据重建得到最终ct图像重建及最终ct图像。其中，高级损失函数为对抗损失函数或者感知损失函数。
[0074]
需要说明的是，本地智能重建网络参数采用l1损失函数因此会造成图像局部结构平滑的问题，通过高级损失函数能够恢复ct图像的更多细微处的特征，使图像更为清晰人体结构更为明显。
[0075]
在所述步骤(3.5)中，当所述各个局部模型收敛，即实际操作中表现为损失函数的损失值基本不再变化时，将当前更新本地智能重建网络参数定义为优化本地智能重建网络参数，并进入步骤(4)；当否时，返回步骤(3.3)。
[0076]
该基于全局信息共享的多中心联邦学习ct成像方法能够解决因多影像中心共享受到监管权力的限制产生的泛化问题，以保证深度神经网络的全局模型性能，从而达到保护患者隐私和解决泛化问题的双重效果。
[0077]
实施例2
[0078]
一种基于全局信息共享的多中心联邦学习ct成像方法的应用，如图2。
[0079]
本实施例的原始低剂量ct测量数据实际参数：从三家不同本地医院(影像中心)，即客户端1、2和3及不同的ct供应商收集。通过在投影数据中添加电子噪声和泊松噪声，具体模拟了三个数据集对应的四分之一剂量投影数据。每个数据集包含1000个案例数据。对于每个数据集，随机提取10000对(低/正常剂量ct图像小块)用于训练，1000对用于验证，其余用于测试。图像小块大小为64
×
64，用于训练和验证数据的步长为64。对于每个客户端，学习率为1.0
×
10-3
，一次的批处理大小为32，训练周期数为300，每100个训练周期权重衰减0.5，用于聚合每个客户端权重的联邦学习轮数为5个周期。本实施例的所有网络训练测试都是通过使用一个nvidia tesla k40图形处理器(gpu)实现的pytorch库，其中gpu有12gb的内存容量。
[0080]
其他的步骤与实施例1相同，得到图2，其中对照例为使用正常剂量的数据重建的图像。从图2中可见，虽然常规的fedavg重建方法可以有效地消除噪声，但是平滑了图像边缘并降低了图像分辨率，这可能是由于过度拟合的局部模型存在不希望的偏差。使用本发明提出的基于全局信息共享的多中心联邦学习ct成像方法取得了更显著的结果，与fbp重建的正常剂量图像接近，而且本发明的多中心联邦学习ct成像系统能显著提高全局模型的泛化能力，可以重建更多的图像细节，并且具有更高的信噪比。因此使用本发明的基于全局信息共享的多中心联邦学习ct成像方法的重建图像更为清晰。
[0081]
实施例3
[0082]
一种基于全局信息共享的多中心联邦学习ct成像系统，采用如实施例1的基于全局信息共享的多中心联邦学习ct成像方法。
[0083]
本发明的基于全局信息共享的多中心联邦学习ct成像系统，设置有：
[0084]
获取数据模块，用于从多个影像中心获取所有原始低剂量ct测量数据的高频特征
和低频特征；
[0085]
空间特征调制模块，根据所有的高频特征构建一个所有影像中心的高频特征池；
[0086]
联邦学习处理模块，用于采用联邦学习策略交互式训练处理云端全局网络参数和本地智能重建网络参数；
[0087]
图像重建模块，用于在不共享所有影像中心数据的条件下对本地智能重建网络参数重建得到最终ct图像。
[0088]
本发明的基于全局信息共享的多中心联邦学习ct成像系统，能够解决因多影像中心共享受到监管权力的限制产生的泛化问题，以保证深度神经网络的全局模型性能，从而达到保护患者隐私和解决泛化问题的双重效果。
[0089]
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

技术特征：
1.一种基于全局信息共享的多中心联邦学习ct成像方法，其特征在于，包括如下步骤：步骤(1)、在多个影像中心中获取所有原始低剂量ct测量数据的高频特征和低频特征，其中将对应的低频特征分别储存于对应的影像中心，将所有影像中心的高频特征共享；步骤(2)、根据步骤(1)得到的所有高频特征构建一个所有影像中心的高频特征池；步骤(3)、根据步骤(2)得到的高频特征池及每个对应本地影像中心的原始低剂量ct测量数据采用联邦学习策略交互式训练，最终得到云端全局网络参数和优化本地智能重建网络参数；步骤(4)、根据步骤(3)得到的优化本地智能重建网络参数对对应的影像中心的原始低剂量ct测量数据重建得到最终ct图像。2.根据权利要求1所述的基于全局信息共享的多中心联邦学习ct成像方法，其特征在于：所述步骤(2)具体为将步骤(1)得到的高频特征构建成一个加密的信息库β＝[h1，...，h
k
]，将信息库定义为高频特征池；其中β为信息库，β数学表达为矩阵形式，h为每个影像中心的数据高频固有噪声分布，k为第k个影像中心，为第k个影像中心中提取的高频特征的集合，是第k个影像中心的第i个高频特征，n
k
为第k个影像中心的局部样本数量。3.根据权利要求2所述的基于全局信息共享的多中心联邦学习ct成像方法，其特征在于，所述步骤(3)具体包括：步骤(3.1)、将步骤(2)得到的高频特征池根据插值机制得到新的高频频带，然后将新的高频频带输入基础去噪重建网络进行训练，得到云端全局网络参数；步骤(3.2)、将云端全局网络参数回传至所有影像中心，然后各个影像中心根据每个对应本地影像中心的低频特征和高频特征通过高低频合成方法合成得到含噪ct图像的局部模型，含噪ct图像及云端全局网络参数输入基础去噪重建网络进行训练得到该局部模型的本地智能重建网络参数；步骤(3.3)、各个影像中心将各自的本地智能重建网络参数共享，然后将所有本地智能重建网络参数输入基础去噪重建网络进行训练，得到更新云端全局网络参数；步骤(3.4)、将更新云端全局网络参数回传至所有影像中心，然后各个影像中心分别根据每个对应本地影像中心在步骤(3.2)得到的含噪ct图像及更新云端全局网络参数输入基础去噪重建网络进行训练，得到更新本地智能重建网络参数；步骤(3.5)、判断各个影像中心的局部模型的损失函数，当各个局部模型的损失函数收敛时，将当前更新本地智能重建网络参数定义为优化本地智能重建网络参数，并进入步骤(4)；当否时，返回步骤(3.3)。4.根据权利要求3所述的基于全局信息共享的多中心联邦学习ct成像方法，其特征在于：所述步骤(3.1)具体为将步骤(2)得到的高频特征池中所有的高频特征均通过使用掩码m插值h
ik
和合成一个新的高频频带，由式(ⅰ)表示，再将新的高频频带输入基础去噪重建网络中进行训练，得到云端全局网络参数；其中w为在[0，1中随机选择的插值比，
⊙
为哈达玛积，i和j分别为第k个影像中心的两
个高频数据，w为大于0小于1的随机值，m为二进制掩码，为加密的高频频带数据。5.根据权利要求4所述的基于全局信息共享的多中心联邦学习ct成像方法，其特征在于：所述步骤(3.2)具体为将云端全局网络参数回传至各个影像中心，各个影像中心根据每个对应本地影像中心的低频特征和高频特征通过高低频合成方法合成得到含噪ct图像的局部模型，含噪ct图像及云端全局网络参数输入基础去噪重建网络进行训练，得到该局部模型的本地智能重建网络参数。6.根据权利要求5所述的基于全局信息共享的多中心联邦学习ct成像方法，其特征在于：在所述步骤(3.2)中第k个影像中心的损失函数由式(ⅱ)表达：其中l
k
为l1范式的损失函数约束，θ为n为全局样本数量，k为每个中心的损失函数，为含噪ct图像，是将带入到参数为θ
k
的基础去噪重建网络中进行训练，为无噪声的标准图像数据。7.根据权利要求6所述的基于全局信息共享的多中心联邦学习ct成像方法，其特征在于：所述步骤(1)具体采用小波变换或傅里叶变换处理提取所有原始低剂量ct测量数据的高频特征和低频特征；所述步骤(4)具体为在不共享所有影像中心数据的条件下，根据步骤(3)得到的本地智能重建网络参数利用高级损失函数对对应的影像中心的原始低剂量ct测量数据重建得到最终ct图像。8.根据权利要求7所述的基于全局信息共享的多中心联邦学习ct成像方法，其特征在于：所述高级损失函数为对抗损失函数或者感知损失函数；基础去噪重建网络为由残差神经网络构建基础去噪重建模型；所述高频特征为噪声分布特性；所述低频特征为纹理结构特征、人体结构信息；所述高低频合成方法为小波逆变换方法、傅里叶逆变换方法或者频域合成变换方法。9.一种基于全局信息共享的多中心联邦学习ct成像系统，其特征在于：采用如权利要求1至8任一所述的基于全局信息共享的多中心联邦学习ct成像方法。10.根据权利要求9所述的基于全局信息共享的多中心联邦学习ct成像系统，其特征在于，设置有：获取数据模块，用于从多个影像中心获取所有原始低剂量ct测量数据的高频特征和低频特征；空间特征调制模块，根据所有的高频特征构建一个所有影像中心的高频特征池；联邦学习处理模块，用于采用联邦学习策略交互式训练处理云端全局网络参数和本地智能重建网络参数；图像重建模块，用于在不共享所有影像中心数据的条件下使用本地智能重建网络参数进行重建得到最终ct图像。

技术总结
本发明的一种基于全局信息共享的多中心联邦学习CT成像方法及系统，其中基于全局信息共享的多中心联邦学习CT成像方法包括四个步骤，最终在不共享所有影像中心数据的条件下，原始低剂量CT测量数据根据步骤(3)得到的优化本地智能重建网络参数进行重建得到优质的最终CT图像。该基于全局信息共享的多中心联邦学习CT成像方法及系统能够解决因多影像中心共享受到监管权力的限制产生的泛化问题，以保证深度神经网络的全局模型性能，从而达到保护患者隐私和解决泛化问题的双重效果。者隐私和解决泛化问题的双重效果。者隐私和解决泛化问题的双重效果。


技术研发人员：马建华 王昊 曾栋 曾智雄 边兆英 曾翠蝶
受保护的技术使用者：南方医科大学
技术研发日：2023.03.02
技术公布日：2023/7/12