单木树冠检测方法与流程

1.本技术实施例涉及但不限于图像处理技术领域，尤其涉及单木树冠检测方法。


背景技术：

2.对树木的检测、分类、定位以及参数获取是林业资源调查的中心任务。传统的林业资源调查方式主要包括人工实地考察测量和基于遥感影像进行影像目视解译。遥感影像与深度学习算法结合应用于树冠检测与分割研究是目前的研究趋势之一，但是无人机遥感拍摄的真实场景下的图像存在着阴影遮挡的问题，极大的影响了算法的检测精度。


技术实现要素：

3.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
4.本技术实施例旨在至少解决现有技术中存在的技术问题之一，本技术实施例提供了单木树冠检测方法，使用阴影检测算法及阴影去除算法减少阴影遮挡对单木树冠分割与检测的影响，有效提升了检测精度。
5.本技术的实施例，一种单木树冠检测方法，包括：
6.获取多张树木遥感图像；
7.从多张所述树木遥感图像识别出存在被阴影遮挡的树木的第一图像；
8.对所述第一图像进行阴影检测处理得到阴影掩码图；
9.根据所述阴影掩码图对所述第一图像进行阴影去除处理得到无阴影图像；
10.根据所述无阴影图像进行图像分割处理和图像检测处理得到单木树冠检测结果。
11.本技术的某些实施例，在所述获取多张树木遥感图像之后，所述单木树冠检测方法还包括：
12.根据预设的图像尺寸对所述树木遥感图像进行裁剪，得到经裁剪的树木遥感图像。
13.本技术的某些实施例，在所述根据预设的图像尺寸对所述树木遥感图像进行裁剪，得到经裁剪的树木遥感图像之后，所述单木树冠检测方法还包括：
14.标注经裁剪的树木遥感图像，以对经裁剪的树木遥感图像中的树木打上树木标签；
15.对经标注的树木遥感图像进行数据清洗，保留含有树木标签的树木遥感图像。
16.本技术的某些实施例，所述对所述第一图像进行阴影检测处理得到阴影掩码图，包括：
17.对所述第一图像进行特征提取得到多个具有不同的分辨率的特征图，所述特征图包括浅层的特征图和深层的特征图，所述浅层的特征图包含有所述第一图像的局部区域的阴影细节信息，所述深层的特征图包含有所述第一图像的整个图像的阴影语义信息；
18.根据多个所述特征图，获取从浅层至深层的路径的第一特征预测得分图和从深层
至浅层的路径的第二特征预测得分图；
19.融合所述第一特征预测得分图和所述第二特征预测得分图得到所述阴影掩码图。
20.本技术的某些实施例，所述第一特征预测得分图和所述第二特征预测得分图为注意力图；所述融合所述第一特征预测得分图和所述第二特征预测得分图得到所述阴影掩码图，具体为：基于注意力融合所述第一特征预测得分图和所述第二特征预测得分图得到所述阴影掩码图。
21.本技术的某些实施例，对所述第一图像进行特征提取是由卷积神经网络执行的；所述卷积神经网络具有多层卷积层，每层所述卷积层输出的特征图的分辨率相同。
22.本技术的某些实施例，所述根据所述阴影掩码图对所述第一图像进行阴影去除处理得到无阴影图像，包括：
23.对所述第一图像进行加权处理，生成多张曝光图像；
24.将多张所述曝光图像和所述阴影掩码图像融合得到所述无阴影图像。
25.本技术的某些实施例，所述根据所述无阴影图像进行图像分割处理和图像检测处理得到单木树冠检测结果由深度森林网络执行。
26.本技术的某些实施例，在所述获取多张树木遥感图像之后，所述单木树冠检测方法还包括：从多张所述树木遥感图像识别出不存在被阴影遮挡的树木的第二图像。
27.本技术的某些实施例，所述深度森林网络由所述第二图像所组成的训练集进行训练。
28.上述方案至少具有以下的有益效果：通过阴影检测处理检测出树木图像中的阴影，通过阴影去除处理将树木图像中的阴影去除，然后对去除阴影后的无阴影图像进行图像分割处理和图像检测处理，得到单木树冠检测结果，避免阴影干扰，提升了检测精度。
附图说明
29.附图用来提供对本技术技术方案的进一步理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本技术的技术方案，并不构成对本技术技术方案的限制。
30.图1是本技术的实施例所提供的单木树冠检测方法的步骤图；
31.图2是裁剪步骤的步骤图；
32.图3是标注步骤的步骤图；
33.图4是阴影检测步骤的步骤图；
34.图5是阴影去除步骤的步骤图；
35.图6是本技术的实施例所提供的单木树冠检测系统的示意图；
36.图7是阴影掩码图的示意图；
37.图8是无阴影图像的示意图；
38.图9是单木树冠检测结果的示意图。
具体实施方式
39.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
40.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
41.下面结合附图，对本技术实施例作进一步阐述。
42.本技术的实施例，提供了一种单木树冠检测方法。
43.参照图1，单木树冠检测方法，包括但不限于以下步骤：
44.步骤s100，获取多张树木遥感图像；
45.步骤s200，从多张树木遥感图像识别出存在被阴影遮挡的树木的第一图像；
46.步骤s300，对第一图像进行阴影检测处理得到阴影掩码图；
47.步骤s400，根据阴影掩码图对第一图像进行阴影去除处理得到无阴影图像；
48.步骤s500，根据无阴影图像进行图像分割处理和图像检测处理，得到单木树冠检测结果。
49.对于步骤s100，在无人机上安装摄像头，通过无人机上的摄像头对生长树木的地面进行拍摄获取得到多张树木遥感图像。通过无人机遥感影像替代雷达点云影像，克服了使用lidar传感器价格昂贵且数据处理过程复杂的问题。
50.具体地，获取得到的原始的树木遥感图像的像素为8659*12108；当然，原始的树木遥感图像的像素由拍摄的摄像头决定。
51.参照图2，在获取多张树木遥感图像之后，单木树冠检测方法还包括裁剪步骤，裁剪步骤包括但不限于步骤s110。
52.步骤s110，根据预设的图像尺寸对树木遥感图像进行裁剪，得到经裁剪的树木遥感图像。
53.在该实施例中，预设的图像尺寸为700*700像素大小，则将像素为8659*12108的原始的树木遥感图像裁剪为700*700像素大小的图像。
54.当然在其他实施例中，预设的图像尺寸也可以是其他数值，例如800*800像素大小等。
55.参照图3，另外，在根据预设的图像尺寸对树木遥感图像进行裁剪，得到经裁剪的树木遥感图像之后，单木树冠检测方法还包括标注步骤，标注步骤包括但不限于步骤s121和步骤s122。
56.步骤s121，标注经裁剪的树木遥感图像，以对经裁剪的树木遥感图像中的树木打上树木标签；
57.步骤s122，对经标注的树木遥感图像进行数据清洗，保留含有树木标签的树木遥感图像。
58.对于步骤s121，通过make sense标注经裁剪的树木遥感图像，以对经裁剪的树木遥感图像中的树木打上树木标签。
59.对于步骤s122，对经标注的树木遥感图像分类得到含有树木标签的树木遥感图像与不含有树木标签的树木遥感图像，对经标注的树木遥感图像进行数据清洗，删除不含有树木标签的树木遥感图像，保留含有树木标签的树木遥感图像。
60.在步骤s121和步骤s122之后，对含有树木标签的树木遥感图像进行数据增强处理
得到样本数据集。具体地，数据增强处理包括图像旋转、图像缩放、图像翻转等。
61.对于步骤s200，从样本数据集的多张树木遥感图像识别出存在被阴影遮挡的树木的第一图像和不存在被阴影遮挡的树木的第二图像；将样本数据集分为训练集和测试集，其中第二图像组成训练集，第一图像组成测试集。
62.通过训练集训练阴影检测网络、阴影去除网络和图像检测网络，得到训练好的阴影检测网络、阴影去除网络和图像检测网络。
63.对于步骤s300，步骤s300为阴影检测步骤，通过训练好的阴影检测网络对第一图像进行阴影检测处理得到阴影掩码图，包括但不限于以下步骤：
64.参照图4，步骤s310，对第一图像进行特征提取得到多个具有不同的分辨率的特征图，特征图包括浅层的特征图和深层的特征图，浅层的特征图包含有第一图像的局部区域的阴影细节信息，深层的特征图包含有第一图像的整个图像的阴影语义信息；
65.步骤s320，根据多个特征图，获取从浅层至深层的路径的第一特征预测得分图和从深层至浅层的路径的第二特征预测得分图；
66.步骤s330，融合第一特征预测得分图和第二特征预测得分图得到阴影掩码图。
67.参照图7，图7为阴影掩码图的示意图。
68.阴影检测网络包括卷积神经网络，卷积神经网络具有多层卷积层。
69.卷积神经网络对第一图像进行特征提取得到多个具有不同的分辨率的特征图，每层卷积层对应至少一个特征图，每层卷积层输出的特诊图的分辨率相同。
70.浅层的卷积层输出浅层的特征图，深层的卷积层输出深层的特征图。浅层的特征图包含有第一图像的局部区域的阴影细节信息，深层的特征图包含有第一图像的整个图像的阴影语义信息。
71.通过将两个相邻的特征图作为输入来逐步细化卷积神经网络每一层卷积层的特征，以学习注意力图并选择残差来细化上下文特征。阴影检测网络使用两个方向路径来获取不同层的上下文特征：一个路径是从浅层至深层的路径，另一个路径是从深层至浅层的路径；根据多个特征图，获取从浅层至深层的路径的第一特征预测得分图和从深层至浅层的路径的第二特征预测得分图。
72.基于注意力融合第一特征预测得分图和第二特征预测得分图得到阴影掩码图。
73.参照图5，对于步骤s400，步骤s400为阴影去除步骤，通过阴影去除网络根据阴影掩码图对第一图像进行阴影去除处理得到无阴影图像，包括但不限于以下步骤：
74.步骤s410，对第一图像进行加权处理，生成多张曝光图像；
75.步骤s420，将多张曝光图像和阴影掩码图像融合得到无阴影图像。
76.参照图8，图8为无阴影图像的示意图。
77.阴影去除网络将阴影去除任务看作为曝光融合问题，一个最直接的方法是将阴影图像与曝光图像直接融合在一起，推断出所需的无阴影图像。然而，阴影区域是依赖背景的，并呈现出空间变化的特性，即阴影区域的颜色和光照失真是变化的，单次过曝不能完整地反映空间上的变化。
78.因此，可以通过对第一图像进行加权处理生成多张曝光图像，再将多张曝光图像和阴影掩码图像融合得到无阴影图像，这样得到的无阴影图像能完整地反映空间上的变化。
79.对于步骤s500，通过图像检测网络根据无阴影图像进行图像分割处理和图像检测处理，得到单木树冠检测结果。
80.参照图9，图9为单木树冠检测结果的示意图。
81.具体地，图像检测网络为深度森林(deepforest)网络，图像检测网络采用了了一阶段的retinane作为框架，retinanet与其他对象检测框架不同，它将对象检测和分类结合到一个网络中；这允许更快的训练，并降低了对图像中框提议数量的敏感度。
82.在该实施例中，通过阴影检测处理检测出树木图像中的阴影，通过阴影去除处理将树木图像中的阴影去除，然后对去除阴影后的无阴影图像进行图像分割处理和图像检测处理，得到单木树冠检测结果，避免阴影干扰，提升了检测精度。
83.本技术的实施例，还提供了一种单木树冠检测系统。
84.参照图6，单木树冠检测系统包括图像获取单元110、图像识别单元120、阴影检测单元130、阴影去除单元140和图像检测单元150。
85.其中，图像获取单元110用于获取多张树木遥感图像；图像识别单元120用于从多张树木遥感图像识别出存在被阴影遮挡的树木的第一图像；阴影检测单元130用于对第一图像进行阴影检测处理得到阴影掩码图；阴影去除单元140用于根据阴影掩码图对第一图像进行阴影去除处理得到无阴影图像；图像检测单元150用于根据无阴影图像进行图像分割处理和图像检测处理，得到单木树冠检测结果。
86.图像获取单元110为在无人机上安装的摄像头，通过无人机上的摄像头对生长树木的地面进行拍摄获取得到多张树木遥感图像。通过无人机遥感影像替代雷达点云影像，克服了使用lidar传感器价格昂贵且数据处理过程复杂的问题。
87.具体地，获取得到的原始的树木遥感图像的像素为8659*12108；当然，原始的树木遥感图像的像素由拍摄的摄像头决定。
88.根据预设的图像尺寸对树木遥感图像进行裁剪，得到经裁剪的树木遥感图像。
89.预设的图像尺寸为700*700像素大小，则将像素为8659*12108的原始的树木遥感图像裁剪为700*700像素大小的图像。当然在其他实施例中，预设的图像尺寸也可以是其他数值，例如800*800像素大小等。
90.标注经裁剪的树木遥感图像，以对经裁剪的树木遥感图像中的树木打上树木标签；对经标注的树木遥感图像进行数据清洗，保留含有树木标签的树木遥感图像。
91.具体地，通过make sense标注经裁剪的树木遥感图像，以对经裁剪的树木遥感图像中的树木打上树木标签。
92.对经标注的树木遥感图像分类得到含有树木标签的树木遥感图像与不含有树木标签的树木遥感图像，对经标注的树木遥感图像进行数据清洗，删除不含有树木标签的树木遥感图像，保留含有树木标签的树木遥感图像。
93.对含有树木标签的树木遥感图像进行数据增强处理得到样本数据集。具体地，数据增强处理包括图像旋转、图像缩放、图像翻转等。
94.图像识别单元120从样本数据集的多张树木遥感图像识别出存在被阴影遮挡的树木的第一图像和不存在被阴影遮挡的树木的第二图像；将样本数据集分为训练集和测试集，其中第二图像组成训练集，第一图像组成测试集。
95.通过训练集训练阴影检测网络、阴影去除网络和图像检测网络，得到训练好的阴
影检测网络、阴影去除网络和图像检测网络。
96.阴影检测单元130包括阴影检测网络，阴影去除单元140包括阴影去除网络，图像检测单元150包括图像检测网络。
97.阴影检测单元130对第一图像进行特征提取得到多个具有不同的分辨率的特征图，特征图包括浅层的特征图和深层的特征图，浅层的特征图包含有第一图像的局部区域的阴影细节信息，深层的特征图包含有第一图像的整个图像的阴影语义信息；根据多个特征图，获取从浅层至深层的路径的第一特征预测得分图和从深层至浅层的路径的第二特征预测得分图；融合第一特征预测得分图和第二特征预测得分图得到阴影掩码图。
98.阴影检测网络包括卷积神经网络，卷积神经网络具有多层卷积层。
99.卷积神经网络对第一图像进行特征提取得到多个具有不同的分辨率的特征图，每层卷积层对应至少一个特征图，每层卷积层输出的特诊图的分辨率相同。
100.浅层的卷积层输出浅层的特征图，深层的卷积层输出深层的特征图。浅层的特征图包含有第一图像的局部区域的阴影细节信息，深层的特征图包含有第一图像的整个图像的阴影语义信息。
101.通过将两个相邻的特征图作为输入来逐步细化卷积神经网络每一层卷积层的特征，以学习注意力图并选择残差来细化上下文特征。阴影检测网络使用两个方向路径来获取不同层的上下文特征：一个路径是从浅层至深层的路径，另一个路径是从深层至浅层的路径；根据多个特征图，获取从浅层至深层的路径的第一特征预测得分图和从深层至浅层的路径的第二特征预测得分图。
102.基于注意力融合第一特征预测得分图和第二特征预测得分图得到阴影掩码图。
103.阴影去除单元140通过阴影去除网络根据阴影掩码图对第一图像进行阴影去除处理得到无阴影图像；即对第一图像进行加权处理，生成多张曝光图像，将多张曝光图像和阴影掩码图像融合得到无阴影图像。
104.阴影去除网络将阴影去除任务看作为曝光融合问题，一个最直接的方法是将阴影图像与曝光图像直接融合在一起，推断出所需的无阴影图像。然而，阴影区域是依赖背景的，并呈现出空间变化的特性，即阴影区域的颜色和光照失真是变化的，单次过曝不能完整地反映空间上的变化。
105.因此，可以通过对第一图像进行加权处理生成多张曝光图像，再将多张曝光图像和阴影掩码图像融合得到无阴影图像，这样得到的无阴影图像能完整地反映空间上的变化。
106.图像检测单元150通过图像检测网络根据无阴影图像进行图像分割处理和图像检测处理，得到单木树冠检测结果。
107.具体地，图像检测网络为deepforest网络，图像检测网络采用了了一阶段的retinane作为框架，retinanet与其他对象检测框架不同，它将对象检测和分类结合到一个网络中；这允许更快的训练，并降低了对图像中框提议数量的敏感度。
108.在该实施例中，通过阴影检测单元130检测出树木图像中的阴影，通过阴影去除单元140将树木图像中的阴影去除，通过图像检测单元150对去除阴影后的无阴影图像进行图像分割处理和图像检测处理，得到单木树冠检测结果，避免阴影干扰，提升了检测精度。
109.尽管已经示出和描述了本技术的实施方式，本领域的普通技术人员可以理解：在
不脱离本技术的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本技术的范围由实施例及其等同物限定。
110.以上是对本技术的较佳实施进行了具体说明，但本技术并不限于实施例，熟悉本领域的技术人员在不违背本技术精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本实施例所限定的范围内。

技术特征：
1.一种单木树冠检测方法，其特征在于，包括：获取多张树木遥感图像；从多张所述树木遥感图像识别出存在被阴影遮挡的树木的第一图像；对所述第一图像进行阴影检测处理得到阴影掩码图；根据所述阴影掩码图对所述第一图像进行阴影去除处理得到无阴影图像；根据所述无阴影图像进行图像分割处理和图像检测处理得到单木树冠检测结果。2.根据权利要求1所述的一种单木树冠检测方法，其特征在于，在所述获取多张树木遥感图像之后，所述单木树冠检测方法还包括：根据预设的图像尺寸对所述树木遥感图像进行裁剪，得到经裁剪的树木遥感图像。3.根据权利要求2所述的一种单木树冠检测方法，其特征在于，在所述根据预设的图像尺寸对所述树木遥感图像进行裁剪，得到经裁剪的树木遥感图像之后，所述单木树冠检测方法还包括：标注经裁剪的树木遥感图像，以对经裁剪的树木遥感图像中的树木打上树木标签；对经标注的树木遥感图像进行数据清洗，保留含有树木标签的树木遥感图像。4.根据权利要求1所述的一种单木树冠检测方法，其特征在于，所述对所述第一图像进行阴影检测处理得到阴影掩码图，包括：对所述第一图像进行特征提取得到多个具有不同的分辨率的特征图，所述特征图包括浅层的特征图和深层的特征图，所述浅层的特征图包含有所述第一图像的局部区域的阴影细节信息，所述深层的特征图包含有所述第一图像的整个图像的阴影语义信息；根据多个所述特征图，获取从浅层至深层的路径的第一特征预测得分图和从深层至浅层的路径的第二特征预测得分图；融合所述第一特征预测得分图和所述第二特征预测得分图得到所述阴影掩码图。5.根据权利要求4所述的一种单木树冠检测方法，其特征在于，所述第一特征预测得分图和所述第二特征预测得分图为注意力图；所述融合所述第一特征预测得分图和所述第二特征预测得分图得到所述阴影掩码图，具体为：基于注意力融合所述第一特征预测得分图和所述第二特征预测得分图得到所述阴影掩码图。6.根据权利要求4或5所述的一种单木树冠检测方法，其特征在于，对所述第一图像进行特征提取是由卷积神经网络执行的；所述卷积神经网络具有多层卷积层，每层所述卷积层输出的特征图的分辨率相同。7.根据权利要求1所述的一种单木树冠检测方法，其特征在于，所述根据所述阴影掩码图对所述第一图像进行阴影去除处理得到无阴影图像，包括：对所述第一图像进行加权处理，生成多张曝光图像；将多张所述曝光图像和所述阴影掩码图像融合得到所述无阴影图像。8.根据权利要求1所述的一种单木树冠检测方法，其特征在于，所述根据所述无阴影图像进行图像分割处理和图像检测处理得到单木树冠检测结果由深度森林网络执行。9.根据权利要求8所述的一种单木树冠检测方法，其特征在于，在所述获取多张树木遥感图像之后，所述单木树冠检测方法还包括：从多张所述树木遥感图像识别出不存在被阴影遮挡的树木的第二图像。10.根据权利要求9所述的一种单木树冠检测方法，其特征在于，所述深度森林网络由
所述第二图像所组成的训练集进行训练。

技术总结
本申请实施例提供了单木树冠检测方法，其中方法包括从多张树木遥感图像识别出存在被阴影遮挡的树木的第一图像；对第一图像进行阴影检测处理得到阴影掩码图；根据阴影掩码图对第一图像进行阴影去除处理得到无阴影图像；根据无阴影图像进行图像分割处理和图像检测处理，得到单木树冠检测结果；避免图像中的阴影对检测结果的干扰，提升了图像检测精度。提升了图像检测精度。提升了图像检测精度。


技术研发人员：王卓薇 陶勇涛 赵艮平 程良伦
受保护的技术使用者：广东能哥知识科技有限公司
技术研发日：2022.12.20
技术公布日：2023/8/5