一种基于联邦学习与改进池化金字塔的医学图像分割方法与流程

1.本发明涉及计算机视觉技术领域，具体而言，尤其涉及一种基于联邦学习与改进池化金字塔的医学图像分割方法。


背景技术：

2.医学图像数据由于其获取难度较大，设备干扰性较强，因此与医学图像相关的模型训练比较困难。由于近年来各国对数据私密性的重视，同时考虑到医学图像的私密性特点，在医学图像相关的工作中需要特别关注用户隐私泄露问题，因此具有隐私保护能力的多方联合训练方法越来越值得研究。
3.多方联合训练医学图像分割方法是一个热门的研究方向，在多参与方联合建模约束下以及用户隐私保护约束下，该领域仍然存在局限性。如果直接将各个训练参与方的数据集聚合在一起进行训练，会导致数据在各个参与方之间交互流动，进而导致数据泄露问题。


技术实现要素：

4.根据上述提出的汇聚各方医学图像进行模型训练导致用户隐私数据泄露的技术问题，本发明提供一种基于联邦学习与改进池化金字塔的医学图像分割方法，通过联邦学习的方式克服隐私泄露的问题，同时基于改进池化金字塔方法，提高医学图像的分割精度。
5.本发明采用的技术手段如下：
6.一种基于联邦学习与改进池化金字塔的医学图像分割方法，包括以下步骤：
7.s1、由中心服务器下发初始化神经网络模型参数，所述神经网络模型用于进行医学图像分割；
8.s2、各参与方接收初始化神经网络模型参数，并基于初始化神经网络模型参数作为本地神经网络模型参数；
9.s3、基于本地数据对本地神经网络模型进行训练，并生成新的本地神经网络模型参数；
10.s4、各参与方将各自新的本地神经网络模型参数上传至中心服务器，所述中心服务器对各神经网络模型参数进行聚合处理，生成聚合神经网络模型参数；
11.s5、中心服务器将聚合网络参数下发至各参与方，各参与方利用聚合神经网络模型参数更新本地神经网络模型参数；
12.s6、各参与方基于当前本地神经网络模型参数判断本地模型是否收敛，如果收敛则参与方保存当前本地神经网络模型参数，否则返回s3；
13.s7、各参与方基于收敛的本地神经网络模型进行医学图像分割。
14.进一步地，所述神经网络模型采用带有改进池化金字塔u-net网络结构，所述带有改进池化金字塔u-net网络结构采用对称式的编码器解码器结构，对于编码器层之间的特征图传递使用改进池化金字塔进行连接，同等级的编码器层和解码器层之间通过跳级相
连。
15.进一步地，所述的改进池化金字塔应用最大池化和自适应平均池化操作，所述自适应平均池化操作将特征图输出到四种尺度大小，所述最大池化会将特征图在kernel范围内取最大值。
16.进一步地，所述带有改进池化金字塔u-net网络结构在底层和顶层结构中加入注意力机制模块。
17.进一步地，所述自适应平均池化操作将特征图输出到四种尺度大小，包括输出1*1、2*2、3*3以及4*4四种尺度大小。
18.进一步地，将最大池化后输出的特征图、1*1尺度特征图、2*2尺度特征图、3*3尺度特征图以及4*4尺度特征图依次经过bilinear插值操作后叠加于原特征图上，从而得到输出特征图。
19.较现有技术相比，本发明具有以下优点：
20.1、本发明可以解决数据孤岛状态下的多方联合建模问题。使用联邦学习框架建立起的模型效果优于单方训练模型的效果，同时保护用户的隐私数据不被泄露。本发明所使用的模型更新方式能够保证多方联合训练情况下的模型精度，使得通过本发明提出的基于联邦学习和改进池化金字塔的医疗图像分割算法具有更好的医疗图像分割效果。
21.2、为了使联邦学习训练得到的模型具有更强的泛化能力，需要让本地模型具有良好的预测能力，因此本发明提出了一种基于u-net的医学图像分割模型，同时设计了改进版本的池化金字塔模块，然后将具有改进池化金字塔模型的u-net网络进行联邦化。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明基于联邦学习与改进池化金字塔的医学图像分割方法模型训练流程图。
24.图2为u-net网络结构图。
25.图3为本发明实施例中改进的池化金字塔模块结构示意图。
26.图4为本发明实施例中带有改进池化金字塔的u-net网络结构图。
具体实施方式
27.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
28.如图1所示，本发明提供了一种基于联邦学习与改进池化金字塔的医学图像分割方法，包括以下步骤：
29.s1、由中心服务器下发初始化神经网络模型参数，所述神经网络模型用于进行医学图像分割。
30.假设有n个参与方进行联合训练，本例存在两个参与方a、b，且令可信第三方服务器为c。首先，中心服务器c初始化待训练模型参数，然后将初始化模型发送给参与方a和参与方b，中心服务器还需要规定以下参数，包括本地迭代轮次h、全局聚合轮次t，初始化学习率r、优化器adam和batch size。
31.s2、各参与方接收初始化神经网络模型参数，并基于初始化神经网络模型参数作为本地神经网络模型参数。
32.参与方a和参与方b获取初始化模型并开始训练。本地训练时，各参与方将本地训练数据预处理操作，包括但不限于图像翻转与图像裁剪。
33.s3、基于本地数据对本地神经网络模型进行训练，并生成新的本地神经网络模型参数。
34.参与方a和参与方b先在自己的数据集中进行本地训练，训练时使用中心服务器下发的batch size大小。各参与方模型在本地迭代轮次h次，然后上传各自的本地模型至中心服务器。
35.s4、各参与方将各自新的本地神经网络模型参数上传至中心服务器，所述中心服务器对各神经网络模型参数进行聚合处理，生成聚合神经网络模型参数。
36.s5、中心服务器将聚合网络参数下发至各参与方，各参与方利用聚合神经网络模型参数更新本地神经网络模型参数。
37.中心服务器接收各参与方client model，然后进行模型参数加权平均聚合操作。最后中心服务器得到当前轮次聚合后的全局模型。在全局模型更新之后，根据损失函数值和训练轮数等约束条件，判断是否停止训练。中心服务器在完成全局训练之后，下发全局模型给参与方a和参与方b。
38.s6、各参与方基于当前本地神经网络模型参数判断本地模型是否收敛，如果收敛则参与方保存当前本地神经网络模型参数，否则返回s3。
39.s7、各参与方基于收敛的本地神经网络模型进行医学图像分割。
40.各参与方使用训练过程中最优模型就行更新本地模型，本地参与方使用最优模型进行后续图像分割任务。
41.本发明中，中心服务器和各参与方均采用带有改进池化金字塔u-net网络结构作为基础模型。具体来说：
42.如图2所示，u-net网络具有收缩路径和扩展路径，分别对应着编码器和解码器。在u-net的编码器结构中，5层卷积路径进行特征提取，每套特征提取操作分别经过3*3卷积、batch normalization、relu激活函数。每层之间使用卷积核为最大池化操作，该操作能够对上层特征图像进行降采样。u-net解码器中同样分具有5层路径，每层路径需要经过上采样操作，然后对同层次的编码器传送过来的特征图进行concat操作。解码器中的卷积操作与编码器中的卷积操作相同，它们都是让特征图依次经过3*3卷积、batch normalization、relu激活函数。然后在经过1*1卷积操作。
43.图3是改进的池化金字塔模块示意图，该模块应用了两个池化操作即最大池化和自适应平均池化。其中，自适应平均池化会将特征图输出到4中尺度大小，最大池化会将特
征图在kernel范围内取最大值。在得到5种特征图之后，使用双线性插值算法进行特征图恢复，然后与原始输入图像进行拼接，再进行后续的卷积操作。
44.图4是带有改进池化金字塔u-net网络结构，其采用对称式的编码器解码器结构，对于编码器层之间的特征图传递使用改进池化金字塔进行连接。同等级的编码器层和解码器层之间会有跳级相连结构，并且在底层和顶层结构中会有注意力机制模块。注意力机制模块能够让网络模型忽略与结果相关度低的部分，让网络模型更加关注特征图中有价值的部分。编码器每层网络需要经过卷积操作、batch normailzation操作以及relu函数，在此之后经过改进的池化金字塔模块进行特征图像信息的压缩与提取，改进池化金字塔的作用是将特征图像的尺寸缩小，降低网络训练参数量。解码阶段的特征图经上采样操作恢复特征图的原始尺寸。在解码器最后阶段需要对输出图像每一个像素点进行二分类，该操作使用1*1卷积操作，网络最终输出是一张黑白图像即分割结果。
45.下面通过一个具体的应用实例，对本发明的方案和效果做进一步说明。
46.假设有两个医疗机构a和b分别持有皮肤病相关的医学图像数据，他们都想要训练一个针对皮肤病的医学图像分割模型，但是目前他们会遇到至少两个问题，第一，医疗机构a和b拥有的数据具有特异性，例如医疗机构a位于高原地区、医疗机构b位于平原地区；或者医疗机构a位于内陆地区、医疗机构b位于沿海地区，因此这两个医疗机构面对的患者具地区差异。第二，医疗机构的病患样本量分布不均衡，例如医疗机构a是中国一线城市的省会城市的医院，而医疗机构b是中国非一线城市的乡镇医院，因此医疗机构a具有更多的样本数量，医疗机构b具有较少的样本数量。这导致各医疗机构的病患样本数量差异较大，如果医疗机构b只使用自己的样本集进行训练，那么机构b训练出来的模型不能具有较好的泛化性能。本发明能够辅助医疗机构进行联合建模工作从而解决以上问题，同时保护用户隐私数据不泄露。
47.首先，各参与联邦学习的机构要准备好自己的本地数据集，以两个医疗机构为例，医疗机构a与医疗机构b在备好数据集之后，确认可行第三方服务器，然后接收初始化模型。医疗机构a与医疗机构b在本地数据集上进行模型训练，目的让本轮次模型学习知识。联邦学习算法给予各参与方本地训练轮次的约束，要求他们在规定的轮次内进行模型更新，然后将本地训练模型进行上传聚合。中心服务器负责接收各参与方上传的模型，并在中心服务器上进行模型聚合工作，并将聚合完成的模型进行下发，至此一次全局的迭代结束。重复以上步骤直到模型收敛。
48.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种基于联邦学习与改进池化金字塔的医学图像分割方法，其特征在于，包括以下步骤：s1、由中心服务器下发初始化神经网络模型参数，所述神经网络模型用于进行医学图像分割；s2、各参与方接收初始化神经网络模型参数，并基于初始化神经网络模型参数作为本地神经网络模型参数；s3、基于本地数据对本地神经网络模型进行训练，并生成新的本地神经网络模型参数；s4、各参与方将各自新的本地神经网络模型参数上传至中心服务器，所述中心服务器对各神经网络模型参数进行聚合处理，生成聚合神经网络模型参数；s5、中心服务器将聚合网络参数下发至各参与方，各参与方利用聚合神经网络模型参数更新本地神经网络模型参数；s6、各参与方基于当前本地神经网络模型参数判断本地模型是否收敛，如果收敛则参与方保存当前本地神经网络模型参数，否则返回s3；s7、各参与方基于收敛的本地神经网络模型进行医学图像分割。2.根据权利要求1所述的一种基于联邦学习与改进池化金字塔的医学图像分割方法，其特征在于，所述神经网络模型采用带有改进池化金字塔u-net网络结构，所述带有改进池化金字塔u-net网络结构采用对称式的编码器解码器结构，对于编码器层之间的特征图传递使用改进池化金字塔进行连接，同等级的编码器层和解码器层之间通过跳级相连。3.根据权利要求2所述的一种基于联邦学习与改进池化金字塔的医学图像分割方法，其特征在于，所述的改进池化金字塔应用最大池化和自适应平均池化操作，所述自适应平均池化操作将特征图输出到四种尺度大小，所述最大池化会将特征图在kernel范围内取最大值。4.根据权利要求2所述的一种基于联邦学习与改进池化金字塔的医学图像分割方法，其特征在于，所述带有改进池化金字塔u-net网络结构在底层和顶层结构中加入注意力机制模块。5.根据权利要求3所述的一种基于联邦学习与改进池化金字塔的医学图像分割方法，其特征在于，所述自适应平均池化操作将特征图输出到四种尺度大小，包括输出1*1、2*2、3*3以及4*4四种尺度大小。6.根据权利要求5所述的一种基于联邦学习与改进池化金字塔的医学图像分割方法，其特征在于，将最大池化后输出的特征图、1*1尺度特征图、2*2尺度特征图、3*3尺度特征图以及4*4尺度特征图依次经过bilinear插值操作后叠加于原特征图上，从而得到输出特征图。

技术总结
本发明提供一种基于联邦学习与改进池化金字塔的医学图像分割方法，主要包括：各参与方接收初始化神经网络模型参数，并基于初始化神经网络模型参数作为本地神经网络模型参数；对本地神经网络模型进行训练；各参与方将各自新的本地神经网络模型参数上传至中心服务器，所述中心服务器对各神经网络模型参数进行聚合处理；将聚合网络参数下发至各参与方；各参与方基于当前本地神经网络模型参数判断本地模型是否收敛，如果收敛则参与方保存当前本地神经网络模型参数；各参与方基于收敛的本地神经网络模型进行医学图像分割。通过联邦学习的方式克服隐私泄露的问题，同时基于改进池化金字塔方法，提高医学图像的分割精度。提高医学图像的分割精度。提高医学图像的分割精度。


技术研发人员：郭艳卿 李宇航 姚明 李祎 刘航 王湾湾 付海燕
受保护的技术使用者：深圳市洞见智慧科技有限公司
技术研发日：2023.04.19
技术公布日：2023/7/21