一种基于自监督元学习的多染色肾脏病理图像分割方法

1.本发明涉及一种基于自监督元学习的多染色肾脏病理图像分割方法，属于人工智能辅助医疗检查技术领域，具体涉及一种利用肾病患者的穿刺样本在病理切片扫描仪中得到的全视野图像作为分析数据，并通过元学习与语义分割算法对图像中的感兴趣区域以极少训练成本进行自动分割的方法。


背景技术：

2.在肾脏病理全视野图片中，肾小球、硬化肾小球、肾小管和小血管是其感兴趣区域，且不同的感兴趣区域在不同的染色方式上呈现不同的形态。在慢性肾病的病理诊断过程中，病理医师首先需要在多种染色的高分辨率全视野切片中定位并观察每一个感兴趣区域，再判断感兴趣区域中是否发生病变。然而，肾脏病理切片中感兴趣区域位置不固定且数量繁多，病理医师观察病理切片时需要在多种染色上频繁放大缩小光学显微镜的倍数去逐一寻找感兴趣区域的位置。如此落后且繁琐的技术导致肾脏病理的智能辅助诊断难以即时展开，从而慢性肾病患者的就诊效率极低，拿到病理结果需要长达一周左右。低效的诊断效率阻碍着慢性肾病病理诊断的发展。
3.专利申请号202110590511.8的已公开发明专利提出了一种基于深度学习的肾小管萎缩区域识别的方法与系统，其利用实例分割方法对肾脏病理全视野切片中的萎缩肾小管区域进行分割；专利申请号202010560815.0的已公开发明专利提出了一种基于病理图像与深度学习的智能检测方法与系统，其利用fasterr-cnn方法对肾脏病理全视野切片中的肾小球进行检测；专利申请号202011119567.2的已公开发明专利提出了一种基于ai技术肾脏病理图像分割模型、方法及系统，其通过构建u-net全卷积网络对肾脏病理全视野切片中的肾小球进行分割。然而一方面由于在病理诊断中，病理医师需要同时观察多种染色方式下的多种感兴趣区域，已得到肾病患者的综合诊断。现有的基于人工智能的肾脏病理切片感兴趣区域识别方法往往对单一染色下的单一感兴趣区域进行识别或分割，不具备临床使用条件。另一方面，肾脏病理全视野切片的大小通常在10亿像素左右，若对每一种染色的每一个感兴趣区域进行大量标注是十分困难的，且如附图2所示，来自于不同染色的组织形态差异较大，模型难以直接迁移，导致人工智能在肾脏病理领域的应用十分困难，因此目前无法实现对多染色肾脏病理多种感兴趣区域进行少样本分割，限制了人工智能在医学图像识别中的应用。


技术实现要素：

4.本发明针对在多种染色下肾脏病理多种感兴趣区域分割的迫切需求，以及目前肾脏病理感兴趣区域分割算法由于标注成本高导致染色方式与感兴趣区域分割单一的问题，提供一种基于自监督元学习的多染色肾脏病理图像分割方法。
5.为了解决上述技术问题，本发明采用的技术方案为：一种基于自监督元学习的多染色肾脏病理图像分割方法，包括以下步骤：
6.s1、获取肾脏病理切片的全视野病理照片，同时每种染色随机挑选2～5张数字病理切片，对其中的肾小球、硬化肾小球、肾小管、血管的形状进行像素级的人工标注，得到不同染色下的标注样本；
7.s2、获取无标注样本，训练自监督预训练模型；
8.s3、以训练完成的自监督预训练模型为一级模型，以u-net结构作为骨干网络构建二级模型；随机挑选其中一种染色下标注样本，将其随机分为元训练集和元测试集，将一级模型的权重赋予二级模型，通过元训练集对二级模型进行训练并反向传播更新二级模型的权重参数，通过对应染色下的元测试集对二级模型进行测试并根据测试结果利用反向传播规则更新一级模型的权重参数；再次随机选取一种染色下的数据，将其随机分为元训练集和元测试集后，重复上述训练和测试过程，直至一级模型的损失收敛，将得到的一级模型作为元学习分割模型；
9.s4、通过元学习分割模型对待测病理切片进行分割，得到最终分割结果。
10.优选地，所述步骤s2中，自监督预训练模型的训练方法为：
11.s201、将无标注样本像剪裁为固定尺寸的若干个子图；
12.s202、随机挑选2张染色相同的子图，将其中一张子图作为支持图片，另外一张子图作为查询图片；利用卷积神经网络对挑选两张图片的提取特征，计算对比损失；
13.s203、根据计算得到的对比损失更新自监督预训练模型的参数；
14.s204、重复s202～s203，直至对比收敛，完成自监督预训练模型的训练。
15.优选地，所述s201中，将无标注的病理图像剪裁为固定尺寸256*256大小的若干个子图。
16.优选地，所述s202中，对比损失的计算公式为：
[0017][0018]
其中τ是一个可设定的温度超参数，vi是支持图片的特征向量，是与支持图片来自于同一染色的查询图片的特征，是与支持图片来自于不同染色的子图的特征，nk表示与支持图片不同染色的子图的集合。
[0019]
优选地，所述自监督预训练模型的网络结构为resnet-50网络。
[0020]
优选地，所述步骤s3中，元学习分割模型的训练方法为：
[0021]
s301、将标注样本切割为多张确定大小的子图；将自监督预训练模型作为一级模型，以unet结构作为骨干网络搭建二级模型；
[0022]
s302、随机挑选来自于其中一种染色的多张子图，将其分为元训练集和元测试集；
[0023]
s303、将一级模型的权重赋予二级模型，通过元训练集数据对二级模型进行模型训练；
[0024]
s304、训练一次后通过元测试集中数据对二级模型进行测试，并根据测试结果利用反向传播规则更新一级模型的权重参数；
[0025]
s305、返回步骤s302继续随机选取一种染色数据，重复s302～s305，直至一级模型的损失收敛，完成元学习分割模型的训练。
[0026]
优选地，所述步骤s302中，随机挑选其中一种染色的8张子图，其中6张作为元训练
集，2张作为元测试集。
[0027]
优选地，所述步骤s301中，将标注样本剪裁为固定尺寸256*256大小的若干个子图；
[0028]
优选地，所述步骤s2中，将步骤s1中剩余的未标注样本作为无标注样本。
[0029]
优选地，所述步骤s301中，以基于resnet-50的u-net结构作为骨干网络构建二级模型。
[0030]
本发明与现有技术相比具有以下有益效果：
[0031]
本发明提出一种基于自监督元学习的多染色肾脏病理图像少样本分割方法，仅需利用来源于易获取的大量无标注样本与少量难获取的像素级标注成本，在仅仅使用少量标注成本的情况下，通过自监督对比学习构建预训练模型，利用元学习方法挖掘多域下的多组织信息，获取多染色域每种组织的共有特征，即对不同染色的肾脏病理切片感兴趣区域进行高效分割，来达到多染色肾脏病理图像感兴趣区域分割的目的，最终满足人工智能在病理学中的临床应用需求。
附图说明
[0032]
图1是肾脏病理图像多染色下不同组织的形态示意图；
[0033]
图2是本发明所涉及的一种基于自监督元学习的多染色肾脏病理图像少样本分割方法的流程示意图；
[0034]
图3是本发明所涉及的元学习训练模块中训练一次的流程示意图；
[0035]
图4是使用本发明与未使用本发明的多染色肾脏组织分割结果图；
具体实施方式
[0036]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0037]
如图2所示，本发明设计了一种基于自监督元学习的多染色肾脏病理图像少样本分割方法，将病理切片数字化后，以大量无标注的数据训练自监督预训练模型，以少量像素级标注的数据联合自监督预训练模型训练元学习分割模型最终完成标注成本极少的肾脏病理多染色多组织分割任务，具体包括以下步骤：
[0038]
s1、获取多染色肾脏病理切片的全视野病理照片，同时每种染色随机挑选2～5张数字病理切片，对其中的肾小球、硬化肾小球、肾小管、血管的形状进行像素级的人工标注，得到不同染色下的标注样本。
[0039]
具体地，本实施例中，通过kf-pro-005-ex数码载玻片扫描仪对多染色的肾脏病理切片进行扫描得到全视野病理照片。扫描时，将载玻片放入病理切片扫描仪中数字化为400倍率的全视野切片图像。并将图片以“染色方式简称_病人病理号”的规则进行命名，之后存入数据库进行留存，完成病理切片数字化；随后每种染色随机挑选2～5张数字病理切片由病理医师利用labelme软件对肾小球、硬化肾小球、肾小管、血管的形状进行标注作为少量像素级别标注的数据送入元学习分割训练模块，其余图像作为大量无标注数据送入自监督
预训练模块。本实施例中，采集的肾脏病理切片样本包括4中染色，分别为：h&e、pas、pasm、masson。每种染色随机挑选了2张数字病理切片。
[0040]
s2、获取无标注样本，训练自监督预训练模型。
[0041]
本实施例的s2中，将无标注的病理图像进行固定尺寸的剪裁为若干个子图，之后利用对比损失最大化来自于不同染色的子图，最小化来自同一染色的子图，构建自监督预训练模型。具体训练流程如下：
[0042]
s201、将无标注的病理图像剪裁为固定尺寸的若干个子图；本实施例中，将无标注的病理图像剪裁为固定尺寸256*256大小的若干个子图。
[0043]
s202、随机挑选2张染色相同的子图，将其中一张子图作为支持图片，另外一张子图作为查询图片；利用卷积神经网络对挑选两张图片提取特征，计算对比损失。
[0044]
其中，对比损失的计算公式为：
[0045][0046]
其中τ是一个可设定的温度超参数，vi是支持图片的特征向量，是与支持图片来自于同一染色的查询图片的特征，是与支持图片来自于不同染色的子图的特征，nk是与支持图片不同染色的子图的特征集合。
[0047]
s203、根据计算得到的对比损失更新自监督预训练模型的参数。
[0048]
s204、重复s202～s203，直至对比损失收敛到最小值并且不再下降时，完成自监督预训练模型的训练。
[0049]
其中，所述自监督预训练模型的网络结构为resnet-50网络。所述步骤s2中，将步骤s1中剩余的未标注样本作为无标注样本。
[0050]
s3、以训练完成的自监督预训练模型为一级模型，以u-net结构作为骨干网络构建二级模型；随机挑选其中一种染色下标注样本，将其随机分为元训练集和元测试集，将一级模型的权重赋予二级模型，通过元训练集对二级模型进行训练并反向传播更新二级模型的权重参数，通过对应染色下的元测试集对二级模型进行测试并根据测试结果利用反向传播规则更新一级模型的权重参数；再次随机选取一种染色下的数据，将其随机分为元训练集和元测试集后，重复上述训练和测试过程，直至一级模型的损失收敛，将得到的一级模型作为元学习分割模型。
[0051]
步骤s3中，以步骤s2生成的自监督预训练模型为基础模型，将少量对组织进行像素级标注的图像作为训练集，随机抽取染色利用元学习方法提取多个染色的共有信息训练元学习分割模型。
[0052]
具体地，如图3所示，所述元学习分割模型的训练方法为：
[0053]
s301、将标注样本切割为多张确定大小的子图；将自监督预训练模型作为一级模型，以unet结构作为骨干网络搭建二级模型。
[0054]
所述步骤s301中，将标注样本剪裁为固定尺寸256*256大小的若干个子图。所述步骤s301中，以基于resnet-50的u-net结构作为骨干网络构建二级模型。
[0055]
s302、随机挑选来自于其中一种染色的多张子图，将其分为元训练集和元测试集。
[0056]
具体地，所述步骤s302中，随机挑选其中一种染色的8张子图，其中6张作为元训练
集，2张作为元测试集。
[0057]
s303、将一级模型的权重赋予二级模型，通过元训练集数据对二级模型进行训练，更新二级模型的权重参数。
[0058]
s304、训练一次后通过元测试集中数据对二级模型进行测试，并根据测试结果利用反向传播规则更新一级模型的权重参数。具体地，本实施例中，将测试结果与真实值进行比较更新所述一级模型的参数。
[0059]
s305、返回步骤s302继续随机选取一种染色数据，重复s302～s304，直至一级模型的损失收敛到最小值并不再下降时，完成模型的训练，并将一级模型的权重参数作为最终元学习分割模型的权重参数，完成元学习分割模型的训练。
[0060]
传统的单一模型训练方式为在每轮训练时随机挑选图像进行训练，对于多染色的样本，该训练方法可能会导致训练混淆，也就是说在某一轮训练中，若选用的是某种染色的图像进行训练，那么模型会更适用于该染色；而下一轮用另一种染色进行训练时，模型会适用于另一种染色，导致训练模型无法同时准确识别不同染色的样本。在本发明中，通过设置一级模型和二级模型，利用二级模型负责训练过程，不在乎当前训练集训练得到的内容，而在乎测试集的效果(也就是说模型学习的成果)，通过该结果去更新一级模型，使得一级模型不在乎当前轮次模型学习到的东西，而是在乎学习的过程。最终得到了一个能在多种染色域下都能分割组织的模型，克服了现有的单一模型训练的缺陷。
[0061]
s4、通过元学习分割模型对待测病理切片进行分割，得到最终分割结果。
[0062]
图4给出了四种染色图像输入时，本发明的分割结果和仅使用u-net模型的分割结果的定性对比，其中，实验数据由山西省人民医院进行采集包含四种染色的25张肾活检图像作为训练集、125张肾活检图像作为测试集，将上述图像均由两名高级病理医师进行四种组织的像素级标注，其中使用u-net网络以及本发明提出的方法对训练集进行训练，在测试集进行测试；图4说明本发明的测试结果更加接近真实值，分割轮廓更加完整，组织的漏检以误检均低于使用u-net网络的结果。表1给出了四种染色图像输入时，本发明的分割结果和仅使用u-net模型的分割结果的定量对比，表1说明本发明的分割方法相对于仅使用u-net网络dice系数更高，量化结果更好，具有更好的分割效果。
[0063]
表1
[0064][0065]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种基于自监督元学习的多染色肾脏病理图像分割方法，其特征在于，包括以下步骤：s1、获取肾脏病理切片的全视野病理照片，同时每种染色随机挑选2～5张数字病理切片，对其中的肾小球、硬化肾小球、肾小管、血管的形状进行像素级的人工标注，得到不同染色下的标注样本；s2、获取无标注样本，训练自监督预训练模型；s3、以训练完成的自监督预训练模型为一级模型，以u-net结构作为骨干网络构建二级模型；随机挑选其中一种染色下标注样本，将其随机分为元训练集和元测试集，将一级模型的权重赋予二级模型，通过元训练集对二级模型进行训练并反向传播更新二级模型的权重参数，通过对应染色下的元测试集对二级模型进行测试并根据测试结果利用反向传播规则更新一级模型的权重参数；再次随机选取一种染色下的数据，将其随机分为元训练集和元测试集后，重复上述训练和测试过程，直至一级模型的损失收敛，将得到的一级模型作为元学习分割模型；s4、通过元学习分割模型对待测病理切片进行分割，得到最终分割结果。2.根据权利要求1所述的一种基于自监督元学习的多染色肾脏病理图像分割方法，其特征在于，所述步骤s2中，自监督预训练模型的训练方法为：s201、将无标注样本像剪裁为固定尺寸的若干个子图；s202、随机挑选2张染色相同的子图，将其中一张子图作为支持图片，另外一张子图作为查询图片；利用卷积神经网络对挑选两张图片的提取特征，计算对比损失；s203、根据计算得到的对比损失更新自监督预训练模型的参数；s204、重复s202～s203，直至对比收敛，完成自监督预训练模型的训练。3.根据权利要求2所述的一种基于自监督元学习的多染色肾脏病理图像分割方法，其特征在于，所述s201中，将无标注的病理图像剪裁为固定尺寸256*256大小的若干个子图。4.根据权利要求2所述的一种基于自监督元学习的多染色肾脏病理图像分割方法，其特征在于，所述s202中，对比损失的计算公式为：其中τ是一个可设定的温度超参数，v
i
是支持图片的特征向量，是与支持图片来自于同一染色的查询图片的特征，是与支持图片来自于不同染色的子图的特征，n
k
表示与支持图片不同染色的子图的集合。5.根据权利要求1所述的一种基于自监督元学习的多染色肾脏病理图像分割方法，其特征在于，所述自监督预训练模型的网络结构为resnet-50网络。6.根据权利要求1所述的一种基于自监督元学习的多染色肾脏病理图像分割方法，其特征在于，所述步骤s3中，元学习分割模型的训练方法为：s301、将标注样本切割为多张确定大小的子图；将自监督预训练模型作为一级模型，以unet结构作为骨干网络搭建二级模型；s302、随机挑选来自于其中一种染色的多张子图，将其分为元训练集和元测试集；s303、将一级模型的权重赋予二级模型，通过元训练集数据对二级模型进行模型训练；
s304、训练一次后通过元测试集中数据对二级模型进行测试，并根据测试结果利用反向传播规则更新一级模型的权重参数；s305、返回步骤s302继续随机选取一种染色数据，重复s302～s305，直至一级模型的损失收敛，完成元学习分割模型的训练。7.根据权利要求1所述的一种基于自监督元学习的多染色肾脏病理图像分割方法，其特征在于，所述步骤s302中，随机挑选其中一种染色的8张子图，其中6张作为元训练集，2张作为元测试集。8.根据权利要求1所述的一种基于自监督元学习的多染色肾脏病理图像分割方法，其特征在于，所述步骤s301中，将标注样本剪裁为固定尺寸256*256大小的若干个子图；所述步骤s2中，将步骤s1中剩余的未标注样本作为无标注样本。9.根据权利要求1所述的一种基于自监督元学习的多染色肾脏病理图像分割方法，其特征在于，所述步骤s301中，以基于resnet-50的u-net结构作为骨干网络构建二级模型。

技术总结
本发明涉及一种基于自监督元学习的多染色肾脏病理图像分割方法，属于人工智能辅助医疗检查技术领域，包括以下步骤：S1、获取不同染色的肾脏病理切片的全视野病理照片，同时每种染色随机挑选2～5张进行像素级的人工标注；S2、通过无标注样本训练自监督预训练模型；S3、以训练完成的自监督预训练模型为一级模型，以U-Net结构作为骨干网络构建二级模型，通过元训练集对二级模型进行训练，通过元测试集对二级模型进行测试并更新一级模型的权重参数；重新选取染色样本重复上述测试和训练过程，得到的一级模型作为元学习分割模型；S4、通过元学习分割模型对待测病理切片进行分割。本发明可以对不同染色的肾脏病理切片感兴趣区域进行高效分割。高效分割。高效分割。


技术研发人员：吴永飞 刘雪宇 王瑞 赖叶鑫 芦园月 张嘉楠 成航北
受保护的技术使用者：太原理工大学
技术研发日：2023.05.19
技术公布日：2023/8/9