一种基于元学习的层次结构分割方法、系统、设备及介质

1.本发明涉及医学图像处理技术领域，具体为一种基于元学习的层次结构分割方法、系统、设备及介质。


背景技术：

2.光学相干断层扫描技术(optical coherence tomography，简称oct)是一种最具发展前途的新型层析成像技术，特别是生物组织活体检测和成像方面具有诱人的应用前景，已经在眼科、皮肤科和心内科的临床诊断中应用。如图2所示为眼底oct图像和心血管ivoct图像，其分上分别标注了8个和4个表面。临床上对这些层次结构的分割有利于疾病的诊断和疾病发展程度的预测。
3.现有的基于深度学习的层次结构分割算法严重依赖于一个精确标注的大型数据集。而在医学图像处理领域中数据的收集和标注非常困难，因此急需一种基于小样本的人体层次结构分割方法。


技术实现要素：

4.本发明目的在于提供一种计算当前档位的方法，以克服现有的基于深度学习的方法对大量标注数据集的依赖的问题。
5.为实现上述目的，本发明提供如下技术方案：
6.一种基于元学习的层次结构分割方法，包括：
7.在光学相干断层扫描图像中采样不同的分层任务构造元训练集，将元训练集划分为支持集和查询集；
8.将支持集送到爪型网络模型clawnet中，计算损失函数和梯度，并根据损失函数和梯度对元学习器参数进行暂时更新；
9.计算查询集损失函数和梯度，然后根据查询集损失函数和梯度对暂时更新过的元学习器进行二次更新，最后利用adam算法对二次更新后的元学习参数进行最终更新，根据最终更新后的元学习参数得到训练好的元学习器；
10.根据训练好的元学习器对另一光学相干断层扫描图像进行微调获得学习器，再使用学习器分割另一光学相干断层扫描图像解剖层。
11.优选地，不同的分层任务构造元训练集的构造方法为：
12.将相干断层扫描图像多类分割任务转化为多个二分类分割任务，更改每个分层任务的标注，即层表面及其上方的点为正类，下方的点为负类。
13.优选地，元训练器参数暂时更新公式为：
[0014][0015]
其中θ
′j为暂时更新过后的元学习器参数，θ为更新前的元学习器参数，α为第一层的学习率，ls为支持集损失函数，tj为第j个任务，e为更新的步数。
[0016]
优选地，元学习器二次更新的公式为：
[0017][0018]
其中θ
′j为暂时更新过后的元学习器参数，α为第一层的学习率，lq为查询集损失函数，tj为第j个任务，lq为查询集损失函数，θj为二次更新后的元学习器参数，e为更新的步数。
[0019]
优选地，利用adam算法最终更新模型的元学习器参数的公式为：
[0020][0021]
θ为更新前的元学习器参数，θj为二次更新后的元学习器参数，β为第二层的学习率，k为任务个数，p为计算步数。
[0022]
优选地，爪型网络模型clawnet基于unet网络结构设计，具有一个共享的编码分支和两个解码分支，其参数设置与unet网络保持一致。
[0023]
优选地，根据训练好的元学习器对另一光学相干断层扫描图像进行微调获得学习器的方法为：
[0024]
从另一光学相干断层扫描图像数据集随机抽样k个任务构成一个批次，由支持集和查询集构成，包含相同的任务；
[0025]
在支持集上利用随机梯度下降算法更新元学习器参数，以获得学习器；
[0026]
将查询集送入学习器得到预测结果，输出查询集的预测结果。
[0027]
一种基于元学习的层次结构分割系统，基于上述方法，包括：
[0028]
构造模块：用于在光学相干断层扫描图像中采样不同的分层任务构造元训练集，将元训练集划分为支持集和查询集；
[0029]
暂时更新模块：用于将支持集送到爪型网络模型clawnet中，计算损失函数和梯度，并根据损失函数和梯度对元学习器参数进行暂时更新；
[0030]
训练模块：计算查询集损失函数和梯度，然后根据查询集损失函数和梯度对暂时更新过的元学习器进行二次更新，最后利用adam算法对二次更新后的元学习参数进行最终更新，根据最终更新后的元学习参数得到训练好的元学习器；
[0031]
微调模块：用于根据训练好的元学习器对另一光学相干断层扫描图像进行微调获得学习器，再使用学习器分割另一光学相干断层扫描图像解剖层。
[0032]
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0033]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
[0034]
与现有技术相比，本发明具有以下有益效果：本发明提供了一种基于元学习的层次结构分割方法，针对光学相干断层扫描技术在人体组织上的成像的层次结构特点，我们引入眼底光学相干断层扫描图像来学习如何分层的知识并将其迁移到心血管光学相干断层扫描图像的分层任务，为了更好的学习如何分层的知识，我们设计了一种爪形网络clawnet，并通过双层梯度下降算法对其优化来获得元学习器，根据训练好的元学习器对心血管内光学相干断层扫描图像进行微调获得学习器，再使用学习器分割心血管图像解剖
层，减少了传统基于深度学习的人体组织解剖层分割算法对像素级细粒度标注的依赖，使用方便，操作简单，实用性强。
附图说明
[0035]
图1为本发明一种基于元学习的层次结构分割方法流程图；
[0036]
图2为人体组织解剖层示意图，其中a为眼底oct图像及其对应的层次结构标注，ilm为inner limiting membrane-内限定膜，nfl为nerve fiber layer-神经纤维层，gcl为ganglion cell layer-神经节细胞层，ipl为inner plexifom laycr-内层树脂层，inl为inner nuclear layer-内核层，opl为outer plexiform layer-外网状层，onl为outer nuclear layer-外核层，ism为inner segment myeloid-内段髓系，ise为inner segment ellipsoid-内段椭球体，os为outer segment-外节，rpe为retinal pigment epithelium-视网膜色素上皮，be为bruch's membrane-布鲁赫膜，b为心血管ivoct图像及其对应的层次结构标注，其中lumen为血管腔，intima为内膜，media为中膜，adventitia为外膜；
[0037]
图3为任务转化示意图，其中a为眼底oct图像和b为心血管ivoct图像；
[0038]
图4为本发明一种基于元学习的人体组织解剖层分割系统示意图；
[0039]
图5为本发明爪型网络模型clawnet结构示意图；
[0040]
图6为基于元学习的分层算法框架；
[0041]
图7为心血管ivoct图像血管腔和内膜、中膜和外膜的分割结果图。
具体实施方式
[0042]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0043]
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0045]
在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0046]
此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
[0047]
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现
术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0048]
下面结合附图对本发明做进一步详细描述：
[0049]
如图1所示，本发明提供了一种基于元学习的层次结构分割方法，包括以下步骤：
[0050]
s101在光学相干断层扫描图像中采样不同的分层任务构造元训练集，将元训练集划分为支持集和查询集；
[0051]
s102将支持集送到爪型网络模型clawnet中，计算损失函数和梯度，并根据损失函数和梯度对元学习器参数进行暂时更新；
[0052]
s103计算查询集损失函数和梯度，然后根据查询集损失函数和梯度对暂时更新过的元学习器进行二次更新，最后利用adam算法对二次更新后的元学习参数进行最终更新，根据最终更新后的元学习参数得到训练好的元学习器；
[0053]
s104根据训练好的元学习器对另一光学相干断层扫描图像进行微调获得学习器，再使用学习器分割另一光学相干断层扫描图像解剖层。
[0054]
以心血管层次结构分割为例，我们首先可以在相近的数据集上(眼底光学相干断层图像)学习如何分层的能力，然后在心血管内光学相干断层扫描图像数据集上进行微调以实现心血管解剖层的分割，包括以下步骤：
[0055]
在眼底光学相干断层扫描图像中采样不同的分层任务构造元训练集，将元训练集划分为支持集和查询集；
[0056]
从元训练集，即眼底oct数据集中随机抽样k个任务构成一个批次，该任务由支持集和查询集两部分组成。
[0057]
眼底光学相干断层扫描图像数据集中不同的分层任务构造方法为：
[0058]
我们将眼底多类分割任务转化为多个二分类分割任务，如图3所示，我们更改了每个分层任务的标注，即层表面及其上方的点为正类，下方的点为负类，反之亦然。
[0059]
将支持集送到爪型网络模型clawnet中，计算损失函数和梯度，并利用随机梯度下降算法对元学习器参数进行暂时更新；
[0060]
利用随机梯度下降算法更新e步，元训练器参数暂时更新公式为：
[0061][0062]
其中θ
′j为暂时更新过后的元学习器参数，θ为更新前的元学习器参数，α为第一层的学习率，ls为支持集损失函数，tj为第j个任务。
[0063]
爪形网络模型结构如下：
[0064]
r1：如图5所示，clawnet是基于unet网络结构设计，具有一个共享的编码(encoder)分支和两个解码(decoder)分支，其参数设置与unet网络保持一致。
[0065]
r2：编码分支有5个卷积块，每个卷积块由两个卷积核个数相同的卷积层和relu激活层组成，5个卷积块的卷积核数分别为64、128、256、512、1024，其中卷积核大小相同均为3
×
3，卷积块之间由卷积核大小为2
×
2最大池化层连接。
[0066]
r3：解码分支负责将编码器得到的特征转化为特定的输出和还原空间信息，其由四个上采样块组成，每个卷积块由两个卷积层组成，4个上采样块的卷积核数分别为512、256、128和64，上采样块之间由上采样层(upsampling)连接。此外，从编码分支到解码分支的相同层之间由复制和裁剪(copy and crop)操作连接，使得信息由编码分支流动到解码分支。clawnet的两个解码分支具有相同的结构，但是由于监督信息的不同可以输出不同的结果。
[0067]
计算查询集损失函数和梯度，然后根据查询集损失函数和梯度对暂时更新过的元学习器进行二次更新，最后利用adam算法对二次更新后的元学习参数进行最终更新，根据最终更新后的元学习参数得到训练好的元学习器；
[0068]
元学习器随机梯度下降更新e步，进行二次更新的公式为：
[0069][0070]
其中θ
′j为暂时更新过后的元学习器参数，α为第一层的学习率，lq为查询集损失函数，tj为第j个任务，lq为查询集损失函数，θj为二次更新后的元学习器参数。
[0071]
利用adam算法计算p步以最终更新元学习器参数的公式为：
[0072][0073]
θ为更新前的元学习器参数，θj为二次更新后的元学习器参数，β为第二层的学习率，k为任务个数，p为计算步数。
[0074]
根据训练好的元学习器对心血管内光学相干断层扫描图像进行微调获得学习器，再使用学习器分割心血管内光学相干断层扫描图像解剖层。
[0075]
微调学习器过程如下：
[0076]
r1：从元测试集中，即心血管ivoct数据集，随机抽样k个任务构成一个批次，其由支持集和查询集构成，包含相同的任务。
[0077]
r2：在支持集上利用随机梯度下降算法获得元学习器，公式如下：
[0078][0079]
其中αf为微调参数。
[0080]
r3：将查询集送入学习器得到预测结果，输出查询集的预测结果。
[0081]
其中，为了迫使clawnet更好的学习如何分层的能力，我们增加了距内膜、中膜和外膜离度量和对比一致性损失函数项，上述所有损失函数的计算方法，通过如下公式计算：
[0082]
r1：总损失函数：
[0083]
l＝l
bce+dice
+λ3l
smooth-l1
+λ4l
con
[0084]
r2:损失函数第一项：
[0085]
[0086]
r3：损失函数第二项：
[0087][0088]
r4：损失函数第三项：
[0089][0090]
其中分别表示真值，预测值，层表面距离和层表面坐标值。
[0091]
本发明还提供了一种基于元学习的层次结构分割系统，包括：
[0092]
s401构造模块：用于在光学相干断层扫描图像中采样不同的分层任务构造元训练集，将元训练集划分为支持集和查询集；
[0093]
s402暂时更新模块：用于将支持集送到爪型网络模型clawnet中，计算损失函数和梯度，并根据损失函数和梯度对元学习器参数进行暂时更新；
[0094]
s403训练模块：计算查询集损失函数和梯度，然后根据查询集损失函数和梯度对暂时更新过的元学习器进行二次更新，最后利用adam算法对二次更新后的元学习参数进行最终更新，根据最终更新后的元学习参数得到训练好的元学习器；
[0095]
s404微调模块：用于根据训练好的元学习器对另一光学相干断层扫描图像进行微调获得学习器，再使用学习器分割另一光学相干断层扫描图像解剖层。
[0096]
实施例：
[0097]
参见图6，本发明提出了一种基于元学习的层次结构分割方法，以心血管ivoct图像血管腔和内膜、中膜和外膜的分割为例：
[0098]
首先将眼底oct数据中多层分类任务转化为多个层表面的分割任务，并从中随机抽取任务构造元训练集。对心血管ivoct数据集进行相同处理，并构造出元测试集。
[0099]
从元训练集中随机抽取k个任务，每个任务都由支持集和查询集构成且支持集和查询集中任务类别不同。将支持集送入到网络中，进行第一次梯度更新。随后，将查询集送入到网络中，进行第二次梯度更新。然后将进行梯度反传最终更新网络参数。重复以上过程，最终获得元学习器。
[0100]
从元测试集中抽取k个任务，并将其划分为支持集和查询集。将查询集送入网络中，利用随机梯度下降法更新参数。然后将测试集送入网络，用更新完的网络参数预测查询集的输出结果。心血管ivoct数据集上分层结果如表1、2和图7所示，眼底oct数据集上分层结果如表3和4所示。
[0101]
表1 ivoctlayers数据集中血管腔、内膜、中膜、外膜的分割，用dice指标评价。
[0102][0103]
表2 ivoctlayers数据集中血管腔、内膜、中膜、外膜的分割，用mace指标评价。
[0104][0105]
表3使用1张带标签的图像对眼底duke数据集上8个层表面的分割，其使用mace度量
[0106][0107]
表4使用5张带标签的图像对眼底duke数据集上8个层表面的分割，其使用mace度量
[0108][0109]
本发明一实施例提供的终端设备。该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
[0110]
所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。
[0111]
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
[0112]
所述处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
[0113]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。
[0114]
所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0115]
尽管以上结合附图对本发明的实施方案进行了描述，但是本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在说明书的启示下，在不脱离本发明权利要求所保护的范围
的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

技术特征：
1.一种基于元学习的层次结构分割方法，其特征在于，包括：在光学相干断层扫描图像中采样不同的分层任务构造元训练集，将元训练集划分为支持集和查询集；将支持集送到爪型网络模型clawnet中，计算损失函数和梯度，并根据损失函数和梯度对元学习器参数进行暂时更新；计算查询集损失函数和梯度，然后根据查询集损失函数和梯度对暂时更新过的元学习器进行二次更新，最后利用adam算法对二次更新后的元学习参数进行最终更新，根据最终更新后的元学习参数得到训练好的元学习器；根据训练好的元学习器对另一光学相干断层扫描图像进行微调获得学习器，再使用学习器分割另一光学相干断层扫描图像解剖层。2.根据权利要求1所述的一种基于元学习的层次结构分割方法，其特征在于，所述不同的分层任务构造元训练集的构造方法为：将相干断层扫描图像多类分割任务转化为多个二分类分割任务，更改每个分层任务的标注，即层表面及其上方的点为正类，下方的点为负类。3.根据权利要求1所述的一种基于元学习的层次结构分割方法，其特征在于，元训练器参数暂时更新公式为：其中θ
j
′
为暂时更新过后的元学习器参数，θ为更新前的元学习器参数，α为第一层的学习率，l
s
为支持集损失函数，t
j
为第j个任务，e为更新的步数。4.根据权利要求1所述的一种基于元学习的层次结构分割方法，其特征在于，元学习器二次更新的公式为：其中θ
j
′
为暂时更新过后的元学习器参数，α为第一层的学习率，l
q
为查询集损失函数，t
j
为第j个任务，l
q
为查询集损失函数，θ
j
为二次更新后的元学习器参数，e为更新的步数。5.根据权利要求1所述的一种基于元学习的层次结构分割方法，其特征在于，利用adam算法最终更新模型的元学习器参数的公式为：θ为更新前的元学习器参数，θ
j
为二次更新后的元学习器参数，β为第二层的学习率，k为任务个数，p为计算步数。6.根据权利要求1所述的一种基于元学习的层次结构分割方法，其特征在于，所述爪型网络模型clawnet基于unet网络结构设计，具有一个共享的编码分支和两个解码分支，其参数设置与unet网络保持一致。7.根据权利要求1所述的一种基于元学习的层次结构分割方法，其特征在于，根据训练好的元学习器对另一光学相干断层扫描图像进行微调获得学习器的方法为：从另一光学相干断层扫描图像数据集随机抽样k个任务构成一个批次，由支持集和查
询集构成，包含相同的任务；在支持集上利用随机梯度下降算法更新元学习器参数，以获得学习器；将查询集送入学习器得到预测结果，输出查询集的预测结果。8.一种基于元学习的层次结构分割系统，其特征在于，基于权利要求1-7任一所述一种基于元学习的层次结构分割方法，其特征在于，包括：构造模块：用于在光学相干断层扫描图像中采样不同的分层任务构造元训练集，将元训练集划分为支持集和查询集；暂时更新模块：用于将支持集送到爪型网络模型clawnet中，计算损失函数和梯度，并根据损失函数和梯度对元学习器参数进行暂时更新；训练模块：计算查询集损失函数和梯度，然后根据查询集损失函数和梯度对暂时更新过的元学习器进行二次更新，最后利用adam算法对二次更新后的元学习参数进行最终更新，根据最终更新后的元学习参数得到训练好的元学习器；微调模块：用于根据训练好的元学习器对另一光学相干断层扫描图像进行微调获得学习器，再使用学习器分割另一光学相干断层扫描图像解剖层。9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述一种基于元学习的层次结构分割方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种基于元学习的层次结构分割方法的步骤。

技术总结
本发明公开了一种基于元学习的层次结构分割方法、系统、设备及介质，针对光学相干断层扫描技术在人体组织上的成像的层次结构特点，我们引入眼底光学相干断层扫描图像来学习如何分层的知识并将其迁移到心血管光学相干断层扫描图像的分层任务，为了更好的学习如何分层的知识，我们设计了一种爪形网络ClawNet，并通过双层梯度下降算法对其优化来获得元学习器，最后利用训练好的元学习器在心血管内光学相干断层扫描图像数据集上微调已获得分层的学习器来分割心血管解剖层，减少了传统基于深度学习的人体组织解剖层分割算法对像素级细粒度标注的依赖，使用方便，操作简单，实用性强。强。强。


技术研发人员：辛景民 石培文 杜少毅 武佳懿 邓杨阳 蔡卓桐 郑南宁
受保护的技术使用者：西安交通大学
技术研发日：2023.06.15
技术公布日：2023/9/20