一种基于梯度和模糊监督的边缘检测方法

1.本发明属于人工智能领域，具体涉及一种基于梯度和模糊监督的边缘检测方法。


背景技术：

2.边缘检测是计算机视觉技术中的基本问题，通过边缘检测提取图像中的边缘特征，有助于图像分割和目标检测等高层计算机视觉任务性能的提升。自边缘检测问题诞生以来，对其的研究手段从利用图像中导数信息的基于低层特征方法，到人工设计多种特征的传统机器学习方法，再到数据驱动的深度学习方法。随着方法的不断改进，边缘检测模型的性能不断获得提升，已经达到接近人类对边缘的感知能力。整体嵌套边缘检测(holistically-nested edge detection，hed)模型是基于卷积神经网络所构建出的深度学习模型，其实现了端到端的边缘检测和发表时最高的边缘检测精度,后续主流的边缘检测模型结构多在其基础上进行改进。本发明通过分析类hed结构模型对监督信号的使用情况，发现此类结构的模型在训练过程中存在优化空间。
3.边缘检测模型在训练过程中利用图像作为监督信息并将边缘检测问题作为分类问题进行处理，对边缘预测图像中的每个像素进行二分类，判断其属于边缘类别或者非边缘类别的概率，再利用边缘标签图像中各个像素点的类别对输出进行监督。但不同于纯粹的分类问题，边缘标签图像中所蕴含的不仅有像素点上的类别信息，还有像素点间的相对关系，例如图像像素的梯度信息能够反应局部像素间的关联，在此之前的类hed模型，例如像素差分网络(pixel difference network,pidinet)模型在训练中忽略了这些额外信息。因此本发明中引入边缘标签图像中x
–
y方向上的梯度图像作为训练过程中的监督信号，实现对监督信息更全面的利用，使模型的边缘预测图像在灰度值分布与梯度值分布上同时接近边缘标签图像。
4.类hed结构的模型通过相同的边缘标签图像监督模型所有阶段的边缘预测图像，但不同阶段的边缘预测图像存在差异性。例如，hed模型中浅层输出的边缘预测图像包含更多的局部细节，深层输出的边缘预测图像更多关注图像内物体的语义信息。可以看出不同深度的阶段学习不同阶段的特征，用相同的监督训练这些阶段并不是最佳选择。liu等人在《a computational approach to edge detection》一文中提出使用canny算法处理原始图像，人为设置参数以针对不同阶段输出特定的边缘标签图像，但方法中合理的参数配置必须通过多次实验才能获得。双向级联网络(bi-direction cascade network,bdcn)模型中各个阶段的监督信号来自其前后阶段的综合，并提升了边缘检测模型在边缘检测任务中准确率和召回率的综合表现，但这一改动会导致边缘检测模型结构复杂化，进而增加模型的参数量与推理时间。此外，多阶段的边缘检测模型在高层阶段的边缘预测图像通过反卷积或者双线性插值等上采样操作获得，因此图像中边缘部分相对较模糊，但训练中仍然采用清晰的边缘标签图像进行监督。针对上述问题，本发明将边缘检测问题作为回归问题进行分析，对监督深层输出的边缘标签图像进行模糊化，以匹配模型深层的输出特点，降低边缘检测模型的学习难度，使边缘检测模型更易学习到合理的特征表示。


技术实现要素：

5.本发明的目的在于提供一种基于梯度和模糊监督的边缘检测方法，旨在综合提升深度学习模型在边缘检测任务中的准确率和召回率指标，解决计算机视觉领域中边缘检测模型缺乏对图像监督信号合理且全面利用的问题。
6.实现本发明的技术解决方案为：一种基于梯度和模糊监督的边缘检测方法，步骤如下：
7.步骤1、选择bsds500数据集，bsds500数据集包括训练集、验证集和测试集，将训练集和验证集的原始图像分别进行数据增强，得到增强图像，对增强图像进行归一化构建模型训练集，并将模型训练集中的增强图像作为边缘检测模型的输入图像。
8.同时，由于bsds500数据集中每张原始图像对应多张边缘标注图像，在模型训练集的构建过程中将多张边缘标注图像以求和取均值的方式进行融合获得原始图像对应的标注图像。
9.转入步骤2。
10.步骤2、构造类hed结构的边缘检测模型，类hed结构的边缘检测模型包括主干网络和四个分支网络；转入步骤3。
11.步骤3、构造类hed结构的边缘检测模型的损失函数，损失函数包括基础损失函数、梯度损失函数、模糊监督标签和整体损失函数。
12.步骤4、基于类hed结构的边缘检测模型和上述边缘检测模型的损失函数，结合模型训练集，对边缘检测模型进行训练，得到训练好的边缘检测模型，转入步骤5。
13.步骤5、选择公开的bsds500数据集中的测试集，通过归一化处理构成测试样本集，用以评估边缘检测模型预测的准确率pre和召回率rec，并获得测试集对应的边缘预测图像。
14.本发明与现有技术相比，其显著优点在于：
15.(1)本发明通过采用边缘标签图像中的梯度信息以及针对较深阶段的边缘预测图像构造模糊边缘标签图像，实现对边缘标签图像更加充分和合理的使用，达到优化边缘检测模型训练过程，提升边缘检测模型预测效果的目的。
16.(2)本发明在使用边缘标签图像中的梯度信息提升边缘预测图像画面表现的前提下，不增加边缘检测模型的参数量和推理时间。
17.(3)本发明具有可移植性，在不改变边缘检测模型结构的前提下，能够将本发明方法应用于类hed结构的边缘检测模型中，综合提升边缘检测模型的准确率和召回率。
附图说明
18.图1是本发明的整体流程图。
19.图2是本发明的整体结构图(pidinet模型)。
20.图3是本发明模型中的注意力模块。
21.图4是本发明梯度监督的示意图。
22.图5是本发明模糊标签生成的示意图。
具体实施方式
23.为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
24.结合图1-图5，本发明所述的基于梯度和模糊监督的边缘检测方法，包括以下步骤：
25.步骤1、选择bsds500数据集，bsds500数据集包括训练集、验证集和测试集，将训练集和验证集的原始图像分别进行数据增强，得到增强图像，对增强图像进行归一化构建模型训练集，并将模型训练集中的增强图像作为边缘检测模型的输入图像。
26.由于bsds500数据集中每张原始图像对应多张边缘标注图像，在模型训练集的构建过程中将多张边缘标注图像以求和取均值的方式进行融合获得原始图像对应的标注图像。
27.本发明对数据增强方式无特殊需求，需要注意的是避免对原始图像进行局部的颜色改变。本发明中对原始图像依次进行旋转、缩放和翻转三种数据增强方式，这些方式广泛应用于边缘检测模型的训练集构建中，此外原始图像与对应的标注图像需要采用完全相同的数据增强操作。
28.转入步骤2。
29.步骤2、构造类整体嵌套边缘检测(holistically-nested edge detection，hed)结构的边缘检测模型(下文中简称边缘检测模型)。所述类hed结构指具有多阶段特征融合，并允许引入深度监督的边缘检测模型结构。本发明中类hed结构采用像素差分网络(pixel difference network，pidinet)模型，并将边缘检测模型的输入称为输入图像，输入图像对应的标注图像称为边缘标签图像，边缘检测模型的输出称为边缘预测图像，输入图像在边缘检测模型中以特征(图)的状态传递，所述边缘检测模型包括主干网络和四个分支网络，构建的具体步骤如下：
30.步骤2.1、构造主干网络。结合图2，边缘检测模型的主干网络分为四个阶段(依次为第一阶段、第二阶段、第三阶段、第四阶段)，每个阶段均由四个卷积模块构成，即主干网络共由十六个卷积模块构成。整个边缘检测模型中的首个卷积模块由单个卷积层组成，其余十五个卷积模块结构同残差卷积模块相似，称为类残差卷积模块。类残差卷积模块包括3
×
3卷积、relu激活层和1
×
1卷积，类残差卷积模块的输出为输入特征和输出特征之和。在主干网络中，各个阶段间采用最大池化层连接，每个最大池化层将特征的长宽压缩至输入图像的一半，且位于第二阶段、第三阶段前的最大池化层分别将特征的通道数量翻倍。以c表示主干网络中首个特征的通道数量，则主干网络中各个阶段的特征通道数分别为c、2c、4c和4c。此外主干网络对第二阶段、第三阶段和第四阶段中的第一个类残差卷积模块进行短接(shortcuts)，以优化边缘检测模型对于特征的学习。
31.步骤2.2、构造分支网络。边缘检测模型的分支网络由主干网络中每阶段的最后一个类残差卷积模块引出，因此所述边缘检测模型有数量等同于阶段数的分支网络，各个分支网络的权值不共享。为学习多阶段的边缘特征表示，类hed结构的边缘检测模型在每个阶段输出阶段性的边缘预测图像，并使用边缘标签图像对各个阶段输出的边缘预测图像进行监督。具体至pidinet模型中每个分支网络均由注意力模块和sigmoid激活层组成。
32.结合图3，在注意力模块中，为获得更丰富的边缘特征表示，将各个阶段提取的特
征通过紧凑扩张卷积模块(compact dilation convolution module，cdcm)。在cdcm中，特征首先通过relu激活层，再通过1
×
1的卷积，最后通过并行的四个不同扩张系数的扩张卷积以丰富特征，并将来自不同扩张卷积的特征求和得到cdcm的特征输出，再将特征输出通过紧凑空间注意力模块(compact spatial attention module，csam)，具体来说在csam中，特征通过relu激活层、1
×
1卷积、3
×
3卷积和sigmoid激活层生成空间注意力蒙版，采用空间注意力蒙版和特征相乘的方式抑制边缘预测图像中非边缘区域的特征表示，并得到csam的特征输出。
33.在注意力模块的最后使用1
×
1卷积，对经过cdcm和csam得到的边缘特征进行降维，获得单通道的特征；通过双线性插值，将单通道特征上采样至对齐输入图像。将各个阶段的单通道特征在通道层面上进行连接并降维，由sigmoid激活层获得多阶段特征融合的边缘预测图像，并将此边缘预测图像作为模型最终的边缘预测图像，阶段性的边缘预测图像则由上采样后的单通道特征通过sigmoid激活层后获得。
34.转入步骤3。
35.步骤3、构造边缘检测模型的损失函数，损失函数包括基础损失函数、梯度损失函数、模糊监督标签和整体损失函数，具体步骤如下：
36.步骤3.1、构造基础损失函数。不同于先前基于深度学习模型的边缘检测方法将边缘检测问题作为二分类问题，本发明将边缘检测问题作为回归问题进行处理。因此，将二分类问题中常用的加权二元交叉熵损失函数修改为加权l2损失函数作为边缘检测模型的回归损失函数l
fuse
(p,q)如下所示：
[0037][0038]
其中p表示边缘预测图像，q表示p对应的边缘标签图像，边缘预测图像和边缘标签图像同尺寸。边缘预测图像和边缘标签图像的长均采用h表示，宽均采用w表示，p
ij
表示边缘预测图像p中(i,j)处的灰度值，q
ij
表示边缘标签图像q中(i,j)处的灰度值，||
…
||2表示2范数。由于边缘检测问题中，边缘像素占边缘标签图像中极小的一部分，为处理边缘像素和非边缘像素在数量上的不平衡问题，计算l2损失时需要对不同灰度值的像素进行加权处理。w
ij
表示在边缘标签图像q中(i,j)处的权重，其具体计算公式为：
[0039][0040]
其中q+表示边缘标签图像中边缘的数量，q-表示边缘标签图像中非边缘的数量，η是人为指定的超参数，且针对bsds500数据集本发明取η＝0.3，将归一化后的边缘标签图像中灰度值低于此超参数且不为零的像素视为混淆像素，不计入损失函数的计算中。在边缘检测模型的训练阶段，对模型最终的边缘预测图像进行监督的同时，引入深度监督，即对边缘检测模型阶段性的边缘预测图像进行监督。将边缘检测模型各个阶段的回归损失函数与边缘检测模型最终的回归损失函数相加，边缘检测模型的基础损失函数l
bright
(p,q)表达式为：
[0041][0042]
其中m表示边缘检测模型整体的阶段数，本发明中取m＝4，wsidem表示边缘检测模型第m阶段的回归损失函数计入基础损失函数中的权重，wf
use
表示边缘检测模型最终的回归损失函数计入基础损失函数中的权重，l
sidem
表示边缘检测模型在第m阶段的回归损失函数，pm表示第m阶段的边缘预测图像。本发明中设置因此在后续公式中不再显式地给出前述两个权重的数学表达。
[0043]
步骤3.2、构造梯度损失函数。本发明注意到边缘标签图像除能够直接提供灰度值信息外，还包含着散度以及梯度等信息，但现有的边缘检测模型仅利用灰度值信息监督训练过程，缺乏对边缘标签图像的全面利用。本发明通过计算边缘标签图像中的梯度信息，在训练过程中约束生成边缘预测图像的梯度，使得边缘检测模型在关注边缘处灰度值时，同样关注边缘像素和非边缘像素交界处显著的梯度值，有利于边缘检测模型学习到更优的边缘特征表示。结合图4，边缘预测图像的梯度由x
–
y两个方向上的梯度值组成。在实现上，本发明采用一阶差分的方式获取边缘标签图像和边缘预测图像的梯度值。
[0044][0045]
其中，表示边缘标签图像q在x方向上的一阶差分，称为边缘标签图像在x方向上的梯度图像，表示边缘标签图像q在y方向上的一阶差分，q
ij
表示边缘标签图像q中(i,j)处的灰度值，同样以一阶差分的方式获取边缘预测图像p在x和y方向上的梯度图像和梯度损失函数l
grad
(p,q)采用加权l2损失函数，其数学表达式式如下：
[0046][0047]
其中，表示边缘预测图像在x方向上的梯度图于(i,j)处的梯度值，即在(i,j)处的梯度值，表示边缘标签图像在y方向上的梯度图于(i,j)处的梯度值，即在(i,j)处的梯度值。
[0048]
步骤3.3、构造模糊边缘标签图像。为降低边缘检测模型的训练难度，针对深层阶段的边缘预测图像，本发明采用模糊边缘标签图像对其进行监督，此时边缘标签图像不再仅由灰度值为{0,1}的像素构成，而是由灰度值在[0,1]区间内的像素构成，边缘检测问题仅能作为回归问题进行处理。结合图5，本发明利用模糊边缘标签构造代替标签加粗的表达，模糊边缘标签图像的构造过程如下：
[0049]
blur(q,m)＝q*w
m (6)
[0050]
wm＝conv(2m+1,2m+1) (7)
[0051]
其中wm表示卷积核尺寸为(2m+1)
×
(2m+1)的无偏置卷积，卷积核内元素的值取1/(2m+1)2，阶段数m由模糊监督标签所监督的阶段深度决定，例如对于边缘检测模型第三阶段的输出取m＝3。单纯对边缘标签图像进行模糊化会破坏边缘标签图像中真实的边缘位置，在卷积后需要保证原边缘处的灰度值未发生改变，因此模糊化后的边缘标签图像中将原边缘处的灰度值重新置1。
[0052]
步骤3.4、构造整体损失函数。边缘检测模型在以基础损失函数为主体的前提下，对浅层阶段以及模型最终的边缘预测图像采用边缘标签图像和边缘标签图像的梯度图像作为监督，对深层阶段的边缘预测图像采用模糊边缘标签图像作为监督。边缘检测模型的整体损失函数l
final
(p,q)如下所示：
[0053][0054]
其中n表示边缘检测模型浅层阶段的数量，表示模型在第n阶段的梯度损失函数，本发明的实现中取n＝2。λ
grad
表示梯度损失函数在整体损失函数中的权重，本发明的实现中取λ
grad
＝1.0。
[0055]
转入步骤4。
[0056]
步骤4、基于类hed结构的边缘检测模型和上述边缘检测模型的损失函数，结合模型训练集，对边缘检测模型进行训练，得到训练好的边缘检测模型。
[0057]
本发明方法使用的相关软件版本为pytorch(1.9.0)，python(3.7.5)，其他环境依赖包均使用最新版本。硬件设备上显卡为nvidia-rtx-titan 24gb，cpu为intel xeon gold 6230r。由于模型训练集的构成中未统一图像尺寸，边缘检测模型在训练过程中的batch size设置为1，但每24次迭代进行1次反向传播以更新边缘检测模型的参数。边缘检测模型的训练代数设置为14，初始学习率设置为5e-3，并在训练的第8和12代对学习率进行衰减，衰减至先前学习率的0.1倍。训练过程采用的优化器为adam，边缘检测模型中卷积层的权重衰减设置为1e-4，relu激活层无权重衰减。此外深度学习中，模型的训练受随机因素影响，为降低其影响本发明无特殊目的地设置随机数种为2022。通过在bsds500数据集基础上构建出的训练集，结合本发明提出的损失函数，针对边缘检测模型按前述超参数配置进行训练，得到训练好的边缘检测模型。转入步骤5。
[0058]
步骤5、选择公开的bsds500数据集中的测试集，通过归一化处理构成测试样本集，用以评估边缘检测模型预测的准确率(precision,pre)和召回率(recall,rec)，并获得测试集对应的边缘预测图像。
[0059]
边缘检测问题中用f值来综合表示准确率pre和召回率rec，其中准确率pre描述的是预测为边缘的像素中预测正确所占的比例。召回率rec描述的是在全部边缘像素中，被预测为边缘像素所占比例。f值的数学表达式如下所示：
[0060][0061]
尽管f值的定义简单，但实际情况中对其的计算流程却相对繁琐，并非直接利用边
缘预测图像和边缘标签图像进行计算，故有必要对边缘检测评价指标的计算过程进行说明。对边缘检测模型输出的边缘预测图像，首先进行非极大值抑制(non-maximum suppression,nms)，获得相对清晰的边缘预测图像，再对处理后的边缘预测图像进行形态学细化(morphological thinning)操作，进一步使边缘清晰化。更直观地说，如果边缘预测图像经过非极大值抑制后存在一个宽3像素的线段，经过形态学细化操作使得这个线段宽度仅有1像素。经过非极大值抑制和形态学细化操作后获得测试集对应的边缘预测图像，即边缘检测模型后处理的边缘预测图像。为获得f值指标，还需将边缘标签图像和边缘预测图像进行匹配，匹配的过程中存在容忍度的概念，即边缘预测图像中的边缘点与边缘标签图像中的边缘点之间的距离误差在一定范围内可认为匹配。定义匹配的容忍度为d，当两张图像中某组边缘像素坐标间的欧式距离误差在个像素内，则认为这组像素是匹配的，匹配后的像素不再与其他像素重复匹配。
[0062]
对于一张原始图像可能对应多位标注者制作的边缘标签图像，本发明中将多个边缘标签图像构成的集合简称为边缘标签集合。在计算f值前需要对边缘标签集合进行处理，从边缘标签集合中生成e图和g图。其中e图表示边缘标签集合中所有边缘标签图像的交集，g图表示边缘标签集合中所有边缘标签图像的和，而在边缘标签集合中仅具有一张边缘标签图像时，e图和g图等价。获得e图和g图后，由后处理的边缘预测图像分别与e图和g图求交集，对应得到二者的匹配图像e
match
和g
match
。边缘检测模型的召回率rec和准确率pre指标由前述四张图像进行统计得到：
[0063][0064]
其中，nnz(
·
)表示图中非零元素的数量，sum(
·
)表示图中所有元素的和，因此式(10)中cntp表示在e
match
图中非零元素的数量，sump表示在e图中所有元素的和，cntr表示在g
match
图中非零元素的数量，sumr表示在g图中所有元素的和。在得到模型的召回率rec和准确率pre指标后，通过式(9)计算出模型边缘预测图像和相应的边缘标签图像的f值。在实际场景中，通常使用后处理的边缘预测图像作为原始图像对应的边缘预测图像。

技术特征：
1.一种基于梯度和模糊监督的边缘检测方法，其特征在于，步骤如下：步骤1、选择bsds500数据集，bsds500数据集包括训练集、验证集和测试集，将训练集和验证集的原始图像分别进行数据增强，得到增强图像，对增强图像进行归一化构建模型训练集，并将模型训练集中的增强图像作为边缘检测模型的输入图像；同时，由于bsds500数据集中每张原始图像对应多张边缘标注图像，在模型训练集的构建过程中将多张边缘标注图像以求和取均值的方式进行融合获得原始图像对应的标注图像；转入步骤2；步骤2、构造类hed结构的边缘检测模型，类hed结构的边缘检测模型包括主干网络和四个分支网络；转入步骤3；步骤3、构造类hed结构的边缘检测模型的损失函数，损失函数包括基础损失函数、梯度损失函数、模糊监督标签和整体损失函数，转入步骤4；步骤4、基于类hed结构的边缘检测模型和上述边缘检测模型的损失函数，结合模型训练集，对边缘检测模型进行训练，得到训练好的边缘检测模型，转入步骤5；步骤5、选择公开的bsds500数据集中的测试集，通过归一化处理构成测试样本集，用以评估边缘检测模型预测的准确率pre和召回率rec，并获得测试集对应的边缘预测图像。2.根据权利要求1所述的基于梯度和模糊监督的边缘检测方法，其特征在于：步骤1中，对原始图像依次进行旋转、缩放和翻转三种数据增强方式。3.根据权利要求2所述的基于梯度和模糊监督的边缘检测方法，其特征在于：步骤2中，构造类hed结构的边缘检测模型，类hed结构采用pidinet模型，包括主干网络和四个分支网络，具体如下：步骤2.1、构造主干网络：主干网络分为四个阶段，依次为第一阶段、第二阶段、第三阶段、第四阶段，每个阶段均由四个卷积模块构成，即主干网络共由十六个卷积模块构成；整个边缘检测模型中的首个卷积模块由单个卷积层组成，其余十五个卷积模块结构同残差卷积模块相似，称为类残差卷积模块；类残差卷积模块包括3
×
3卷积、relu激活层和1
×
1卷积，类残差卷积模块的输出为输入特征和输出特征之和；步骤2.2、构造分支网络：分支网络由主干网络中每阶段的最后一个类残差卷积模块引出，各个分支网络的权值不共享；每个分支网络均由注意力模块和sigmoid激活层组成。4.根据权利要求3所述的基于梯度和模糊监督的边缘检测方法，其特征在于：在主干网络中，各个阶段间采用最大池化层连接，每个最大池化层将特征的长宽压缩至输入图像的一半，且位于第二阶段、第三阶段前的最大池化层分别将特征的通道数量翻倍；以c表示主干网络中首个特征的通道数量，则主干网络中各个阶段的特征通道数分别为c、2c、4c和4c；主干网络对第二阶段、第三阶段和第四阶段中的第一个类残差卷积模块进行短接，以优化边缘检测模型对于特征的学习。5.根据权利要求3所述的基于梯度和模糊监督的边缘检测方法，其特征在于：在分支网络的注意力模块中，将各个阶段提取的特征通过cdcm，在cdcm中，特征首先通过relu激活层，再通过1
×
1的卷积，最后通过并行的四个不同扩张系数的扩张卷积以丰富特征，并将来
自不同扩张卷积的特征求和得到cdcm的特征输出，再将特征输出通过csam，在csam中，特征通过relu激活层、1
×
1卷积、3
×
3卷积和sigmoid激活层生成空间注意力蒙版，采用空间注意力蒙版和特征相乘的方式抑制边缘预测图像中非边缘区域的特征表示，并得到csam的特征输出；在注意力模块的最后使用1
×
1卷积，对经过cdcm和csam得到的边缘特征进行降维，获得单通道的特征；通过双线性插值，将单通道特征上采样至对齐输入图像；将各个阶段的单通道特征在通道层面上进行连接并降维，由sigmoid激活层获得多阶段特征融合的边缘预测图像，并将此边缘预测图像作为模型最终的边缘预测图像，阶段性的边缘预测图像则由上采样后的单通道特征通过sigmoid激活层后获得。6.根据权利要求3所述的基于梯度和模糊监督的边缘检测方法，其特征在于，构造边缘检测模型的损失函数，损失函数包括基础损失函数、梯度损失函数、模糊监督标签和整体损失函数，具体步骤如下：步骤3.1、构造基础损失函数：将边缘检测问题作为回归问题进行处理，即将二分类问题中常用的加权二元交叉熵损失函数修改为加权l2损失函数作为边缘检测模型的回归损失函数l
fuse
(p,q)如下所示：其中p表示边缘预测图像，q表示p对应的边缘标签图像，边缘预测图像和边缘标签图像同尺寸；边缘预测图像和边缘标签图像的长均采用h表示，宽均采用w表示，p
ij
表示边缘预测图像p中(i,j)处的灰度值，q
ij
表示边缘标签图像q中(i,j)处的灰度值，||
…
||2表示2范数；w
ij
表示在边缘标签图像q中(i,j)处的权重，其具体计算公式为：其中q
+
表示边缘标签图像中边缘的数量，q-表示边缘标签图像中非边缘的数量，η是人为指定的超参数，在边缘检测模型的训练阶段，对模型最终的边缘预测图像进行监督的同时，引入深度监督，即对边缘检测模型阶段性的边缘预测图像进行监督；将边缘检测模型各个阶段的回归损失函数与边缘检测模型最终的回归损失函数相加，边缘检测模型的基础损失函数l
bright
(p,q)表达式为：其中m表示边缘检测模型整体的阶段数，本发明中取m＝4，表示边缘检测模型第m阶段的回归损失函数计入基础损失函数中的权重，wf
use
表示边缘检测模型最终的回归损失函数计入基础损失函数中的权重，表示边缘检测模型在第m阶段的回归损失函数，p
m
表示第m阶段的边缘预测图像，设置步骤3.2、构造梯度损失函数：
边缘预测图像的梯度由x
–
y两个方向上的梯度值组成，采用一阶差分的方式获取边缘标签图像和边缘预测图像的梯度值：其中，表示边缘标签图像q在x方向上的一阶差分，称为边缘标签图像在x方向上的梯度图像，表示边缘标签图像q在y方向上的一阶差分，q
ij
表示边缘标签图像q中(i,j)处的灰度值，同样以一阶差分的方式获取边缘预测图像p在x和y方向上的梯度图像和梯度损失函数l
grad
(p,q)采用加权l2损失函数，其数学表达式式如下：其中，表示边缘预测图像在x方向上的梯度图于(i,j)处的梯度值，即在(i,j)处的梯度值，表示边缘标签图像在y方向上的梯度图于(i,j)处的梯度值，即在(i,j)处的梯度值；步骤3.3、构造模糊边缘标签图像：针对深层阶段的边缘预测图像，采用模糊边缘标签图像对其进行监督，此时边缘标签图像由灰度值在[0,1]区间内的像素构成，边缘检测问题仅能作为回归问题进行处理；利用模糊边缘标签构造代替标签加粗的表达，模糊边缘标签图像的构造过程如下：blur(q,m)＝q*w
m
ꢀꢀꢀꢀꢀꢀ
(6)w
m
＝conv(2m+1,2m+1)
ꢀꢀꢀꢀꢀꢀꢀ
(7)其中w
m
表示卷积核尺寸为(2m+1)
×
(2m+1)的无偏置卷积，卷积核内元素的值取1/(2m+1)2，阶段数m由模糊监督标签所监督的阶段深度决定；步骤3.4、构造整体损失函数：边缘检测模型在以基础损失函数为主体的前提下，对浅层阶段以及模型最终的边缘预测图像采用边缘标签图像和边缘标签图像的梯度图像作为监督，对的边缘预测图像采用模糊边缘标签图像作为监督；边缘检测模型的整体损失函数l
final
(p,q)如下所示：其中n表示边缘检测模型浅层阶段的数量，表示模型在第n阶段的梯度损失函数，λ
grad
表示梯度损失函数在整体损失函数中的权重。7.根据权利要求6所述的基于梯度和模糊监督的边缘检测方法，其特征在于，步骤4中，基于类hed结构的边缘检测模型和上述边缘检测模型的损失函数，结合模型训练集，对边缘
检测模型进行训练，得到训练好的边缘检测模型，具体如下：由于模型训练集的构成中未统一图像尺寸，边缘检测模型在训练过程中的batch size设置为1，但每24次迭代进行1次反向传播以更新边缘检测模型的参数；边缘检测模型的训练代数设置为14，初始学习率设置为5e-3，并在训练的第8和12代对学习率进行衰减，衰减至先前学习率的0.1倍。训练过程采用的优化器为adam，边缘检测模型中卷积层的权重衰减设置为1e-4，relu激活层无权重衰减。8.根据权利要求7所述的基于梯度和模糊监督的边缘检测方法，其特征在于，步骤5中，选择公开的bsds500数据集中的测试集，通过归一化处理构成测试样本集，用以评估边缘检测模型预测的准确率pre和召回率rec，并获得测试集对应的边缘预测图像，具体如下：边缘检测问题中用f值来综合表示准确率pre和召回率rec，f值的数学表达式如下所示：对边缘检测模型输出的边缘预测图像，首先进行非极大值抑制，获得相对清晰的边缘预测图像，再对处理后的边缘预测图像进行形态学细化操作，进一步使边缘清晰化；经过非极大值抑制和形态学细化操作后获得测试集对应的边缘预测图像，即边缘检测模型后处理的边缘预测图像；定义匹配的容忍度为d，当两张图像中某组边缘像素坐标间的欧式距离误差在个像素内，则认为这组像素是匹配的，匹配后的像素不再与其他像素重复匹配；对于一张原始图像可能对应多位标注者制作的边缘标签图像，将多个边缘标签图像构成的集合简称为边缘标签集合；在计算f值前需要对边缘标签集合进行处理，从边缘标签集合中生成e图和g图；其中e图表示边缘标签集合中所有边缘标签图像的交集，g图表示边缘标签集合中所有边缘标签图像的和，而在边缘标签集合中仅具有一张边缘标签图像时，e图和g图等价；获得e图和g图后，由后处理的边缘预测图像分别与e图和g图求交集，对应得到二者的匹配图像e
match
和g
match
。边缘检测模型的召回率rec和准确率pre指标由前述四张图像进行统计得到：其中，nnz(
·
)表示图中非零元素的数量，sum(
·
)表示图中所有元素的和，因此式(10)中cntp表示在e
match
图中非零元素的数量，sump表示在e图中所有元素的和，cntr表示在g
match
图中非零元素的数量，sumr表示在g图中所有元素的和。在得到模型的召回率rec和准确率pre指标后，通过式(9)计算出模型边缘预测图像和相应的边缘标签图像的f值。

技术总结
本发明公开了一种基于梯度和模糊监督的边缘检测方法，针对现有边缘检测方法在模型训练阶段对监督信号利用不准确不充分的问题，提出了一种梯度与模糊化监督的训练策略。在训练阶段通过梯度监督实现对监督信号更充分的利用，通过模糊化监督信号对模型不同阶段的输出实现更合理的监督。实验证明梯度约束有利于模型召回率的提升，而模糊化监督有利于模型准确率的提升。本发明提出的基于梯度和模糊监督的边缘检测方法，能够更加充分与合理地利用模型监督信号，在不增加边缘检测模型参数量与推理速度的情况下，提升边缘检测模型在准确率和召回率的综合性表现。回率的综合性表现。回率的综合性表现。


技术研发人员：代龙泉 束家琪
受保护的技术使用者：南京理工大学
技术研发日：2023.04.12
技术公布日：2023/7/20