一种基于关键点的域自适应植物器官实例分割方法

1.本发明涉及基于关键点的域自适应植物器官实例分割方法。


背景技术：

2.近年来，植物表型分析技术成为生物科学界的一个研究热点，在生物实验室中培养植物并监视与测量不同生长因素如湿度、温度、氧气含量、光照、营养条件等对植物生长发育状态的影响，可以为表型分析中评估植物生长状况提供有价值的信息，从而改善植物种子生产和育种过程。对于表型分析研究的实施，之前一直是采用人工手段，人工手段费时费力，随着信息技术的迅速发展，现在基于计算机视觉的自动化方法越来越多地用于非侵入性的植物表型研究，例如实例分割，其目的是将植物的不同的器官个体分割出来，可以具体的描述植物的生长状况和趋势。这些方法可以极大地减少人力成本，但需要以更鲁棒、准确和可靠的方式进行分析。
3.由于深度学习算法在各项视觉任务(如分类、检测和分割)都上取得了最高水平的结果，目前大多数自动化表型分析技术都以深度神经网络为基本结构。然而，深度学习是数据驱动的任务，需要大规模、大范围的数据进行训练以保证模型的推理效果和泛化能力，这就导致现有的基于深度学习的实例分割算法在一种数据集上训练得到的模型，应用到另一种类型的数据集上的效果大打折扣。


技术实现要素：

4.本发明的目的是为了解决现有的基于深度学习的实例分割算法面对不同数据集由于样本多样性导致的目标域和源域不匹配问题，而提出一种基于关键点的域自适应植物器官实例分割方法。
5.一种基于关键点的域自适应植物器官实例分割方法具体过程为：
6.步骤1：构建基于关键点的实例分割网络模型；具体过程为：
7.步骤11：利用特征提取网络对源域的植物图像进行深度特征提取，得到不同尺度的特征图；
8.步骤12：利用关键点预测模块对特征图上的每个元素预测一组关键点；
9.步骤13：将关键点转化为边界框，在特征图上提取边界框对应的感兴趣区域局部特征；
10.步骤14：局部特征输入语义分割网络；
11.步骤2：计算实例分割网络模型的损失函数，对实例分割网络模型进行网络训练，获得训练好的实例分割网络模型；
12.步骤3：将目标域图像输入训练好的实例分割网络模型，输出域自适应实例分割结果。
13.本发明的有益效果为：
14.本发明提出一种基于关键点的域自适应植物器官实例分割方法，将不同植物的同
一器官的边缘形状特性统一起来，能有效提升实例分割网络的泛化能力。
15.本发明的目的在于缓解现有实例分割方法在不同域之间由样本多样性导致的目标域和源域不匹配问题，提出一种基于关键点的域自适应植物器官实例分割方法，利用同类型植物器官具有类似的边缘形状的特性，将该问题转化为固定形状检测问题，有效的提升了实例分割模型的泛化能力。
16.由于本方法是针对植物同一器官的边缘形状的特点作为先验来对实例分割网络进行学习和训练，可以在无需目标域的边界框和掩膜标注，甚至不需要利用图像样本进行训练的情况下，大幅度提高训练得到的模型在目标域上的实例分割效果。
17.为了验证本发明所提出算法的性能，针对公开的cvppp数据集和komatsuna数据集进行了仿真实验，实验结果验证了本发明提出的基于关键点的域自适应植物器官实例分割方法的有效性。
附图说明
18.图1是本发明的实现流程示意图；
19.图2是特征提取网络的结构图；
20.图3是关键点预测模块的网络结构图；
21.图4是语义分割网络的结构图；
22.图5中(a)是原mask rcnn方法的域自适应实例分割结果图；
23.图5中(b)是本发明方法的域自适应实例分割结果图；
24.图6是本发明方法在无监督域自适应目标检测任务上与其他方法(daf、ddf和tia)的可视化对比结果图。
具体实施方式
25.具体实施方式一：本实施方式一种基于关键点的域自适应植物器官实例分割方法具体过程为：
26.步骤1：构建基于关键点的实例分割网络模型；具体过程为：
27.步骤11：利用特征提取网络对源域的植物图像进行深度特征提取，得到不同尺度的特征图；
28.步骤12：利用关键点预测模块对特征图上的每个元素预测一组关键点；
29.步骤13：将关键点转化为边界框，在特征图上提取边界框对应的感兴趣区域局部特征；
30.步骤14：局部特征输入语义分割网络；
31.步骤2：计算实例分割网络模型的损失函数，对实例分割网络模型进行网络训练，获得训练好的实例分割网络模型；
32.步骤3：将目标域图像输入训练好的实例分割网络模型，输出域自适应实例分割结果；
33.源域和目标域是指不同的数据样本，源域指的是有标签的用于训练的样本集，目标域是无标签的用于待测的另一种植物类型的数据集；
34.域自适应是指在源域训练得到的模型迁移至目标域上，输出目标域图像的域自适
应实例分割结果，包括分割预测结果，分类预测结果和目标检测预测结果。
35.实例指的是植物的每个器官个体，也指的是目标检测和实例分割的每个目标。
36.具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤11中利用特征提取网络对源域的植物图像进行深度特征提取，得到不同尺度的特征图；具体过程为：
37.所述特征提取网络采用深度残差网络(resnet-101)与特征金字塔(feature pyramid network，fpn)相结合的结构，如图2所示；
38.所述深度残差网络(resnet-101)依次包括输入层、第一级卷积层、第二级卷积层、第三级卷积层、第四级卷积层、第五级卷积层；
39.所述第一级卷积层依次包括一个7
×
7标准卷积层，一个批量归一化(batch normalization)和一个relu激活函数；
40.所述第二级卷积层依次包括3个残差块结构，每个残差块结构依次包括一个1
×
1卷积、一个3
×
3卷积和一个1
×
1卷积，3个残差块结构级联(3个残差块结构串联，第一个残差块输出作为第二个残差块输入，第二个残差块输出作为第三个残差块输入，第三个残差块输出作为第二级卷积层输出)；
41.所述第三级卷积层依次包括4个残差块结构，每个残差块结构依次包括一个1
×
1卷积、一个3
×
3卷积和一个1
×
1卷积，4个残差块结构级联；
42.所述第四级卷积层依次包括23个残差块结构，每个残差块结构依次包括一个1
×
1卷积、一个3
×
3卷积和一个1
×
1卷积，23个残差块结构级联；
43.所述第五级卷积层依次包括3个残差块结构，每个残差块结构依次包括一个1
×
1卷积、一个3
×
3卷积和一个1
×
1卷积，3个残差块结构级联；
44.所述特征金字塔(feature pyramidnetwork，fpn)依次包括第五层、第四层、第三层、第二层；
45.所述采用特征提取网络对源域的植物图像样本提取深度特征；具体过程为：
46.a、源域的植物图像样本经深度残差网络的输入层输入第一级卷积层，第一级卷积层输出特征图输入第二级卷积层，第二级卷积层输出特征图输入第三级卷积层，第三级卷积层输出特征图输入第四级卷积层，第四级卷积层输出特征图输入第五级卷积层，第五级卷积层输出特征图；
47.b、深度残差网络的第五级卷积层输出特征图作为特征金字塔网络的第五层的输出特征图m5；
48.对特征金字塔网络的第五层的输出特征图m5进行3
×
3标准卷积操作，并在该层末端都输出对应尺度大小的特征图1；
49.c、对深度残差网络的第四级卷积层输出特征图进行1
×
1标准卷积操作，以让不同特征图的通道数一致，得到卷积后的特征图；
50.对特征金字塔网络的第五层的输出特征图m5进行上采样，让特征图尺度大小一致，得到采样后的特征图；
51.将卷积后的特征图和采样后的特征图以相加的方式进行融合得到融合后的特征图m4；
52.将融合后的特征图m4进行3
×
3标准卷积操作，并在该层末端都输出对应尺度大小的特征图2；
53.d、对深度残差网络的第三级卷积层输出特征图进行1
×
1标准卷积操作，以让不同特征图的通道数一致，得到卷积后的特征图；
54.对特征金字塔网络的第四层的输出特征图m4进行上采样，让特征图尺度大小一致，得到采样后的特征图；
55.将卷积后的特征图和采样后的特征图以相加的方式进行融合得到融合后的特征图m3；
56.将融合后的特征图m3进行3
×
3标准卷积操作，并在该层末端都输出对应尺度大小的特征图3；
57.e、对深度残差网络的第二级卷积层输出特征图进行1
×
1标准卷积操作，以让不同特征图的通道数一致，得到卷积后的特征图；
58.对特征金字塔网络的第三层的输出特征图m3进行上采样，让特征图尺度大小一致，得到采样后的特征图；
59.将卷积后的特征图和采样后的特征图以相加的方式进行融合得到融合后的特征图m2；
60.将融合后的特征图m2进行3
×
3标准卷积操作，并在该层末端都输出对应尺度大小的特征图4。
61.如图2中，第一层级代表resnet-101网络结构中的第一级卷积层，包含一个7
×
7标准卷积层，一个批量归一化(batch normalization)和一个relu激活函数，第二层级(c2)、第三层级(c3)、第四层级(c4)和第五层级(c5)分别代表resnet-101网络结构的第二、三、四、五级卷积层，第二层包含3个残差块结构，第三层包含4个残差块结构，第四层包含23个残差块结构，第五层包含3个残差块结构，每个残差块结构依次包含着一个1
×
1卷积、一个3
×
3卷积和一个1
×
1卷积级联的形式。
62.与resnet-101的“自底向上”结构相反，fpn为“自顶向下”的结构，直接利用c5的高层特征作为m5，充当fpn中的最高层，而后在向下的每一层都有一个与resnet-101对应层进行侧向连接融合，具体融合过程是：在每一层级，先对resnet-101中的特征图进行1
×
1标准卷积操作，以让不同特征图的通道数一致，对fpn中的特征图进行上采样，让特征图尺度大小一致，然后将两个特征图以相加的方式进行融合，最后将融合后的特征图通过3
×
3标准卷积操作，并在每一层末端都输出该层对应尺度大小的特征图。
63.其它步骤及参数与具体实施方式一相同。
64.具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤12中利用关键点预测模块对特征图上的每个元素预测一组关键点；具体过程为：
65.所述关键点预测模块包括3
×
3卷积层、3
×
3可变形卷积层、1
×
1卷积层；
66.将步骤1特征图提取网络提取的特征图1输入关键点预测模块的3
×
3卷积层进行非线性变换，对输出的新特征图分别送入两个支路；
67.将步骤1特征图提取网络提取的特征图2输入关键点预测模块的3
×
3卷积层进行非线性变换，对输出的新特征图分别送入两个支路；
68.将步骤1特征图提取网络提取的特征图3输入关键点预测模块的3
×
3卷积层进行非线性变换，对输出的新特征图分别送入两个支路；
69.将步骤1特征图提取网络提取的特征图4输入关键点预测模块的3
×
3卷积层进行
非线性变换，对输出的新特征图分别送入两个支路；
70.其中一个支路负责输出新特征图的每个元素的分类预测分数，新特征图先通过3
×
3的可变形卷积以自适应调整卷积采样位置，而后通过1
×
1卷积进行降维，输出结果的通道数量为1，输出结果的每个元素(大小为1
×
1的向量)代表在新特征图对应位置的像素点(新特征图的像素点)为前景实例的分类概率大小；
71.另一个支路负责输出新特征图上每个元素对应实例的9个关键点坐标，新特征图先通过3
×
3的可变形卷积，后通过1
×
1卷积进行降维，输出通道数量为18，输出结果的每个元素(大小为1
×
18的向量)代表在新特征图对应位置的像素点(新特征图的像素点)预测实例的9个关键点对应在步骤一的源域的植物图像的横、纵坐标值；
72.其中，3
×
3和1
×
1表示卷积核的尺寸大小。
73.对特征图1、特征图2、特征图3、特征图4的每个新特征图的每个元素都执行上述两个支路的过程，得到所有元素的关键点；
74.每个元素预测一组关键点，数量为9；
75.每个元素输出9个点的坐标，每个点坐标有横轴和纵轴两个值，因此一共18个值，所以输出通道数量是18；
76.对特征提取网络输出的每一层级的不同尺度的特征，都输入关键点预测模块，以输出预测的关键点坐标，关键点预测模块的网络结构如图3所示。
77.其它步骤及参数与具体实施方式一或二相同。
78.具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤13中将关键点转化为边界框，在特征图上提取边界框对应的感兴趣区域局部特征；具体过程为：
79.步骤31、对关键点进行转化，将关键点转变为边界框，过程为：
80.假设对步骤一的源域的植物图像预测的关键点集为：
[0081][0082]
其中，n＝9代表关键点的数量(每个元素的)，(xi,yi)为第i个关键点坐标，为关键点集；
[0083]
计算关键点集中xi和yi的均值和方差，假设xi的均值和方差分别为和xv，yi的均值和方差分别为和yv，则边界框中心点坐标为，边界框的宽w和高h分别为：
[0084][0085][0086]
其中λw和λh分别为可学习的调制参数；
[0087]
因此得到边界框的左上角和右下角的点坐标分别为和，作为候选框坐标值；
[0088]
步骤32、利用roialign模块通过双线性插值算法，在特征图上对应于步骤一的源域的植物图像中边界框的位置得到该边界框的感兴趣区域的局部特征；具体过程为：
[0089]
(1)先将步骤31得到的候选框坐标值和从源域的植物图像映射到特征图(特征图1、特征图2、特征图3、特征图4)；
[0090]
将步骤31得到的候选框坐标值和都除以32，得到步骤11的特征图上的坐标值，且步骤11的特征图上的坐标值为浮点数；
[0091]
(2)将候选框坐标值和都除以32得到的步骤11的特征图上的坐标值作为边界框的左上角和右下角的点坐标，获得特征图候选区域，将特征图候选区域均匀划分为7
×
7共49个小块；
[0092]
在特征图中，前一步得到的浮点数坐标值限定的区域为特征图候选区域，期望的输出局部特征大小为7
×
7，因此将候选区域均匀划分为7
×
7共49个小块。
[0093]
(3)最后对各个小块进行插值，并进行最大池化得到结果，将各个小块的结果组合得到局部特征；具体过程为：
[0094]
对前一步得到的49个小块，这49个小块都不是完整的区域；
[0095]
对第一个小块再均匀划分为7
×
7个的区域，然后取每个区域的中心点，通过双线性插值的方式获取每个中心点的像素值；再对这49个点求最大值(就是进行最大池化)即可得到第一个小块的第一大区域的值；
[0096]
对第二个小块再均匀划分为7
×
7个的区域，然后取每个区域的中心点，通过双线性插值的方式获取每个中心点的像素值；再对这49个点求最大值即可得到第二个小块的第一大区域的值；
[0097]
直至得到第49个小块的第一大区域的值；
[0098]
就得到了7
×
7大小的局部特征。
[0099]
每个元素的关键点都执行一遍(1)、(2)、(3)得到所有局部特征，一个元素的关键点得到7
×
7大小的局部特征。
[0100]
其它步骤及参数与具体实施方式一至三之一相同。
[0101]
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述步骤14中局部特征输入语义分割网络；具体过程为：
[0102]
得到局部特征后，将该特征输入语义分割网络，获得最后的实例分割结果，语义分割网络的具体结构如图4所示：
[0103]
所述语义分割网络依次包括3
×
3卷积层、3
×
3卷积层、3
×
3卷积层、3
×
3卷积层、上采样层；
[0104]
将局部特征输入语义分割网络，过程为：
[0105]
局部特征依次经过4个级联的3
×
3卷积，然后通过转置卷积实现上采样，将特征尺度扩大为步骤一的源域的植物图像大小，得到像素级的分割结果；
[0106]
除了输出在源域中每个目标的实例分割预测结果外，在语义分割网络，还可获取目标的分类预测结果和目标检测的预测结果。
[0107]
实例指的是植物的每个器官个体，也指的是目标检测和实例分割的每个目标。
[0108]
所有局部特征执行步骤14。
[0109]
其它步骤及参数与具体实施方式一至四之一相同。
[0110]
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤2中计算实例分割网络模型的损失函数，对实例分割网络模型进行网络训练，获得训练好的实例分割网络模型；具体过程为：
[0111]
将源域的图像输入实例分割网络得到的预测结果与源域图像的真值进行对比；
[0112]
实例分割网络模型的总体损失函数l为：
[0113]
l＝λ1l
box
+λ2l
cls
+λ3l
mask
[0114]
其中，λ1、λ2和λ3为系数；l
mask
为语义分割的损失函数，l
cls
为分类的损失函数，l
box
为目标检测损失函数；l
cls
和l
box
对应于实例分割模型中的关键点预测模块，l
mask
对应于实例分割模型中的语义分割网络。
[0115]
分类和目标检测损失函数对应于关键点预测模块，语义分割损失函数对应于语义分割网络；
[0116]
目标检测损失函数l
box
对应于采用平滑后的l1范数损失(smooth l1 loss)，有：
[0117][0118]
其中，ti为真值的边界框坐标，为预测的边界框坐标，x，y，w，h分别为边界框中心点的横纵坐标以及宽、高的长度；为平滑后的l1范数损失；
[0119]
平滑后的l1范数损失被定义为：
[0120][0121]
分类的损失函数l
cls
采用焦点损失(focal loss)，表达式为：
[0122][0123][0124]
其中，y为真值，为分类预测分数，α和γ为可调节因子，p
t
为对进行二分类处理后的中间结果，用于计算l
cls
；
[0125]
语义分割的损失函数l
mask
通过交叉熵损失函数(cross-entropy loss)来对比真值的掩膜(mask)与预测的掩膜二者的差异来计算损失。
[0126]
通过损失函数的反向传播来训练网络，计算和更新网络参数，直到损失函数不再下降时即停止训练，表示实例分割网络模型训练完成；获得训练好的实例分割网络模型。
[0127]
其它步骤及参数与具体实施方式一至五之一相同。
[0128]
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述λ1、λ2和λ3均设置为1.0。
[0129]
其它步骤及参数与具体实施方式一至六之一相同。
[0130]
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述可调节
因子α设置为0.25，γ设置为2.0。
[0131]
其它步骤及参数与具体实施方式一至七之一相同。
[0132]
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，所述步骤3中将目标域图像输入训练好的实例分割模型，输出域自适应实例分割结果；具体过程为：
[0133]
将目标域图像输入训练好的模型进行测试，输出目标域图像的域自适应实例分割结果；
[0134]
域自适应实例分割结果包括关键点预测模块输出分类预测结果和目标检测结果，语义分割网络输出分割预测结果。
[0135]
其它步骤及参数与具体实施方式一至八之一相同。
[0136]
实施例1：
[0137]
实验所用数据是公开的cvppp数据集和komatsuna数据集，设定源域为cvppp数据集，植物类型为拟南芥，设定目标域为komatsuna数据集，植物类型为小松菜。
[0138]
将在源域训练得到的模型应用到目标域上，进行实例分割和目标检测精度评定，以衡量和比较模型的泛化能力。
[0139]
图5显示了mask rcnn算法和本发明方法的域自适应实例分割的可视化对比结果；
[0140]
图6显示了本发明方法在无监督域自适应目标检测任务上与其它方法的可视化对比结果；
[0141]
表1是本发明方法与mask rcnn算法的在域自适应目标检测和域自适应实例分割精度对比；
[0142]
表2是本发明方法与其它无监督域自适应目标检测算法的精度对比。
[0143]
从对比结果可以看出本发明所提方法可以大幅度提高实例分割模型的泛化能力，且在无监督域自适应目标检测任务上优于其他方法，体现了本发明方法的优越性。
[0144]
表1本发明方法与原maskrcnn算法在实例分割和目标检测任务上的精度对比
[0145][0146]
表2本发明方法的域自适应目标检测结果与其它无监督域自适应目标检测方法(daf、scl、swda、ddf和tia)的精度对比
[0147][0148]
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

技术特征：
1.一种基于关键点的域自适应植物器官实例分割方法，其特征在于：所述方法具体过程为：步骤1：构建基于关键点的实例分割网络模型；具体过程为：步骤11：利用特征提取网络对源域的植物图像进行深度特征提取，得到不同尺度的特征图；步骤12：利用关键点预测模块对特征图上的每个元素预测一组关键点；步骤13：将关键点转化为边界框，在特征图上提取边界框对应的感兴趣区域局部特征；步骤14：局部特征输入语义分割网络；步骤2：计算实例分割网络模型的损失函数，对实例分割网络模型进行网络训练，获得训练好的实例分割网络模型；步骤3：将目标域图像输入训练好的实例分割网络模型，输出域自适应实例分割结果。2.根据权利要求1所述的一种基于关键点的域自适应植物器官实例分割方法，其特征在于：所述步骤11中利用特征提取网络对源域的植物图像进行深度特征提取，得到不同尺度的特征图；具体过程为：所述特征提取网络采用深度残差网络与特征金字塔相结合的结构；所述深度残差网络依次包括输入层、第一级卷积层、第二级卷积层、第三级卷积层、第四级卷积层、第五级卷积层；所述第一级卷积层依次包括一个7
×
7卷积层，一个批量归一化和一个relu激活函数；所述第二级卷积层依次包括3个残差块结构，每个残差块结构依次包括一个1
×
1卷积、一个3
×
3卷积和一个1
×
1卷积，3个残差块结构级联；所述第三级卷积层依次包括4个残差块结构，每个残差块结构依次包括一个1
×
1卷积、一个3
×
3卷积和一个1
×
1卷积，4个残差块结构级联；所述第四级卷积层依次包括23个残差块结构，每个残差块结构依次包括一个1
×
1卷积、一个3
×
3卷积和一个1
×
1卷积，23个残差块结构级联；所述第五级卷积层依次包括3个残差块结构，每个残差块结构依次包括一个1
×
1卷积、一个3
×
3卷积和一个1
×
1卷积，3个残差块结构级联；所述特征金字塔依次包括第五层、第四层、第三层、第二层；所述采用特征提取网络对源域的植物图像样本提取深度特征；具体过程为：a、源域的植物图像样本经深度残差网络的输入层输入第一级卷积层，第一级卷积层输出特征图输入第二级卷积层，第二级卷积层输出特征图输入第三级卷积层，第三级卷积层输出特征图输入第四级卷积层，第四级卷积层输出特征图输入第五级卷积层，第五级卷积层输出特征图；b、深度残差网络的第五级卷积层输出特征图作为特征金字塔网络的第五层的输出特征图m5；对特征金字塔网络的第五层的输出特征图m5进行3
×
3卷积操作，输出对应尺度大小的特征图1；c、对深度残差网络的第四级卷积层输出特征图进行1
×
1卷积操作，得到卷积后的特征图；对特征金字塔网络的第五层的输出特征图m5进行上采样，得到采样后的特征图；
将卷积后的特征图和采样后的特征图以相加的方式进行融合得到融合后的特征图m4；将融合后的特征图m4进行3
×
3卷积操作，输出对应尺度大小的特征图2；d、对深度残差网络的第三级卷积层输出特征图进行1
×
1卷积操作，得到卷积后的特征图；对特征金字塔网络的第四层的输出特征图m4进行上采样，得到采样后的特征图；将卷积后的特征图和采样后的特征图以相加的方式进行融合得到融合后的特征图m3；将融合后的特征图m3进行3
×
3卷积操作，输出对应尺度大小的特征图3；e、对深度残差网络的第二级卷积层输出特征图进行1
×
1卷积操作，得到卷积后的特征图；对特征金字塔网络的第三层的输出特征图m3进行上采样，得到采样后的特征图；将卷积后的特征图和采样后的特征图以相加的方式进行融合得到融合后的特征图m2；将融合后的特征图m2进行3
×
3卷积操作，输出对应尺度大小的特征图4。3.根据权利要求2所述的一种基于关键点的域自适应植物器官实例分割方法，其特征在于：所述步骤12中利用关键点预测模块对特征图上的每个元素预测一组关键点；具体过程为：所述关键点预测模块包括3
×
3卷积层、3
×
3可变形卷积层、1
×
1卷积层；将步骤1特征图提取网络提取的特征图1输入关键点预测模块的3
×
3卷积层进行非线性变换，对输出的新特征图分别送入两个支路；将步骤1特征图提取网络提取的特征图2输入关键点预测模块的3
×
3卷积层进行非线性变换，对输出的新特征图分别送入两个支路；将步骤1特征图提取网络提取的特征图3输入关键点预测模块的3
×
3卷积层进行非线性变换，对输出的新特征图分别送入两个支路；将步骤1特征图提取网络提取的特征图4输入关键点预测模块的3
×
3卷积层进行非线性变换，对输出的新特征图分别送入两个支路；其中一个支路新特征图先通过3
×
3的可变形卷积以自适应调整卷积采样位置，而后通过1
×
1卷积进行降维，输出结果的通道数量为1，输出结果的每个元素代表在新特征图对应位置的像素点为前景实例的分类概率大小；另一个支路新特征图先通过3
×
3的可变形卷积，后通过1
×
1卷积进行降维，输出通道数量为18，输出结果的每个元素代表在新特征图对应位置的像素点预测实例的9个关键点对应在步骤一的源域的植物图像的横、纵坐标值；其中，3
×
3和1
×
1表示卷积核的尺寸大小。4.根据权利要求3所述的一种基于关键点的域自适应植物器官实例分割方法，其特征在于：所述步骤13中将关键点转化为边界框，在特征图上提取边界框对应的感兴趣区域局部特征；具体过程为：步骤31、对关键点进行转化，将关键点转变为边界框，过程为：假设对步骤一的源域的植物图像预测的关键点集为：其中，n＝9代表关键点的数量，(x
i
,y
i
)为第i个关键点坐标，为关键点集；
计算关键点集中x
i
和y
i
的均值和方差，假设x
i
的均值和方差分别为x和x
v
，y
i
的均值和方差分别为和y
v
，则边界框中心点坐标为边界框的宽w和高h分别为：边界框的宽w和高h分别为：其中λ
w
和λ
h
分别为可学习的调制参数；因此得到边界框的左上角和右下角的点坐标分别为和作为候选框坐标值；步骤32、利用roialign模块通过双线性插值算法，在特征图上对应于步骤一的源域的植物图像中边界框的位置得到该边界框的感兴趣区域的局部特征；具体过程为：(1)先将步骤31得到的候选框坐标值和从源域的植物图像映射到特征图；将步骤31得到的候选框坐标值和都除以32，得到步骤11的特征图上的坐标值，且步骤11的特征图上的坐标值为浮点数；(2)将候选框坐标值和都除以32得到的步骤11的特征图上的坐标值作为边界框的左上角和右下角的点坐标，获得特征图候选区域，将特征图候选区域均匀划分为7
×
7共49个小块；(3)最后对各个小块进行插值，并进行最大池化得到结果，将各个小块的结果组合得到局部特征；具体过程为：对第一个小块再均匀划分为7
×
7个的区域，然后取每个区域的中心点，通过双线性插值的方式获取每个中心点的像素值；再对这49个点求最大值即可得到第一个小块的第一大区域的值；对第二个小块再均匀划分为7
×
7个的区域，然后取每个区域的中心点，通过双线性插值的方式获取每个中心点的像素值；再对这49个点求最大值即可得到第二个小块的第一大区域的值；直至得到第49个小块的第一大区域的值；就得到了7
×
7大小的局部特征。5.根据权利要求4所述的一种基于关键点的域自适应植物器官实例分割方法，其特征在于：所述步骤14中局部特征输入语义分割网络；具体过程为：所述语义分割网络依次包括3
×
3卷积层、3
×
3卷积层、3
×
3卷积层、3
×
3卷积层、上采样层；将局部特征输入语义分割网络，过程为：局部特征依次经过4个级联的3
×
3卷积，然后通过转置卷积实现上采样，将特征尺度扩大为步骤一的源域的植物图像大小，得到像素级的分割结果；除了输出在源域中每个目标的实例分割预测结果外，在语义分割网络，还可获取目标
的分类预测结果和目标检测的预测结果。6.根据权利要求5所述的一种基于关键点的域自适应植物器官实例分割方法，其特征在于：所述所述步骤2中计算实例分割网络模型的损失函数，对实例分割网络模型进行网络训练，获得训练好的实例分割网络模型；具体过程为：实例分割网络模型的总体损失函数l为：l＝λ1l
box
+λ2l
cls
+λ3l
mask
其中，λ1、λ2和λ3为系数；l
mask
为语义分割的损失函数，l
cls
为分类的损失函数，l
box
为目标检测损失函数；l
cls
和l
box
对应于实例分割模型中的关键点预测模块，l
mask
对应于实例分割模型中的语义分割网络。目标检测损失函数l
box
对应于采用平滑后的l1范数损失，有：其中，t
i
为真值的边界框坐标，为预测的边界框坐标，x，y，w，h分别为边界框中心点的横纵坐标以及宽、高的长度；为平滑后的l1范数损失；平滑后的l1范数损失被定义为：分类的损失函数l
cls
采用焦点损失，表达式为：采用焦点损失，表达式为：其中，y为真值，为分类预测分数，α和γ为可调节因子，p
t
为对进行二分类处理后的中间结果，用于计算l
cls
；语义分割的损失函数l
mask
通过交叉熵损失函数来对比真值的掩膜与预测的掩膜二者的差异来计算损失。通过损失函数的反向传播来训练网络，计算和更新网络参数，直到损失函数不再下降时即停止训练，表示实例分割网络模型训练完成；获得训练好的实例分割网络模型。7.根据权利要求6所述的一种基于关键点的域自适应植物器官实例分割方法，其特征在于：所述λ1、λ2和λ3均设置为1.0。8.根据权利要求7所述的一种基于关键点的域自适应植物器官实例分割方法，其特征在于：所述可调节因子α设置为0.25，γ设置为2.0。9.根据权利要求8所述的一种基于关键点的域自适应植物器官实例分割方法，其特征在于：所述步骤3中将目标域图像输入训练好的实例分割模型，输出域自适应实例分割结果；具体过程为：将目标域图像输入训练好的模型进行测试，输出目标域图像的域自适应实例分割结
果；域自适应实例分割结果包括关键点预测模块输出分类预测结果和目标检测结果，语义分割网络输出分割预测结果。

技术总结
一种基于关键点的域自适应植物器官实例分割方法，本发明涉及基于关键点的域自适应植物器官实例分割方法。本发明的目的是为了解决现有的基于深度学习的实例分割算法面对不同数据集由于样本多样性导致的目标域和源域不匹配问题。过程为：1：构建基于关键点的实例分割网络模型：11：对源域的植物图像进行深度特征提取，得到不同尺度的特征图；12：对特征图上的每个元素预测一组关键点；13：将关键点转化为边界框，在特征图上提取边界框对应的感兴趣区域局部特征；14：局部特征输入语义分割网络；2：获得训练好的实例分割网络模型；3：将目标域图像输入训练好的实例分割网络模型，输出域自适应实例分割结果。本发明用于植物器官实例分割领域。割领域。割领域。


技术研发人员：谷延锋 曾晓鹏 高国明 王远航
受保护的技术使用者：哈尔滨工业大学
技术研发日：2023.05.25
技术公布日：2023/8/13