基于点云数据的三维树木重建方法

1.本发明属于树木三维模型重建领域，尤其涉及了一种基于点云数据的三维树木重建方法。


背景技术：

2.树木作为生态系统中最为重要的组成部分之一，在城市绿化建设、森林资源管理和环境保护等领域都有着非常重要的作用。具体来说，可以通过对真实树木进行实地调查和测量，获取树木的生长规律、结构特征和形态信息，生成具有真实感和可视化效果的树木模型。因此，通过利用树木形状和结构的表征进行三维树木重建一直得到了广泛的关注与研究，众多学者对如基于点云数据的树木重建、基于图像的树木重建、基于草图的树木重建等树木重建技术展开了研究。
3.随着建模技术以及深度学习的发展，以及对于树木模型的真实度的需求，越来越多的深度学习技术用于辅助三维树木重建。一些学者提出基于多视图立体匹配和树木分割的树木重建方法，利用深度学习技术对树木的结构特征进行分析。部分学者提出基于激光雷达和图像数据的三维树木重建方法。然而，大部分树木重建技术选择在重建后的三维树木骨架上进行分支的迭代建模，而分支建模时的生长参数通常是固定的，这容易导致分支模型发生严重的不符合植物学原理的变形。此外，树木重建由于没有充分利用树木的种类信息，得到的树木模型缺乏特定种类的纹理特征。


技术实现要素：

4.本发明要克服现有技术的上述缺点，提供一种基于点云数据的三维树木重建方法。
5.本发明在基于点云数据的三维树木重建方法的基础上使用特征分类网络对树木的种类进行分类，根据分类结果指导分支的迭代建模，用以解决分支建模时的生长参数固定问题，克服树木分支建模的准确性问题。同时根据分类网络结果，由树木的种类信息指导纹理映射，提升树木模型的真实感和可视化效果。
6.本发明的基于点云数据的三维树木重建方法，包括如下步骤：
7.(1)构建树木种类库，包含每个树种的生长参数值和纹理图像；
8.(2)通过pointnet点云处理网络对树木点云数据进行分割和聚类，得到三维包络p
foliage
和完整且连续的骨架点p
branch
；
9.(3)特征分类网络对不同维度特征进行融合与分类，据此从树木种类库中提取不同树木的生长参数和纹理图像；
10.(4)根据三维包络p
foliage
、完整且连续的骨架点p
branch
、生长参数和纹理图像绘制三维模型，完成树木模型重建。
11.本发明提出的一种基于点云数据的三维树木重建方法，该方法在重建后的三维树木骨架的基础上，通过特征分类网络结果指导分支的迭代建模，从而更直观的还原树木模
型的结构细节和生长规律。
12.本发明的优点是：结合了骨架提取和特征分类技术的深度学习方法，针对树木重建设计针对性的深度学习模型；本发明结合了两种深度学习网络的优势搭建了混合网络，使用更丰富的网络模型同时有效解决了分支迭代建模时的生长参数固定问题和缺乏树木的种类信息指导的树木纹理映射问题，以重建出更具真实感的树木模型。
附图说明
13.图1是本发明方法的流程图。
具体实施方式
14.下面结合附图，进一步说明本发明的技术方案。
15.基于点云数据的三维树木重建方法，包括如下步骤：
16.(1)构建树木种类库，包含每个树种的生长参数值和纹理图像。
17.为了重建尽量真实的树木模型，并在传统的树木重建过程中，为不同树种匹配不同的生长参数和纹理图像，提供更多独特特征和标识信息，以重建出更加具有生长特点的树木模型。本方法构建树木种类库，其中包含每个树种的生长参数值和纹理图像。
18.具体来说，树木种类库中的树木种类包括：acacia金合欢树、willow柳树、apple苹果树、maple枫树、birch桦树、oak橡树、pine松树。
19.生长参数包括：树干分叉次数、顶端优势值、顶端优势衰减值、生长单元基本长度、树叶生长位置因子、生长率。
20.(2)通过pointnet点云处理网络对树木点云数据进行分割和聚类，得到三维包络p
foliage
和完整且连续的骨架点p
branch
。
21.为了从树木点云数据中重建出相对完整的树木骨架模型并获取分支迭代生长的空间，本方法首先对树木点云数据进行二次分割，再对分割结果进行聚类，提取三维包络p
foliage
和完整且连续的骨架点p
branch
。
22.2.1树木点云分割。
23.将树木点云数据输入pointnet点云处理网络进行点云分割，得到叶子点云和骨架点云，把叶子点云作为三维包络p
foliage
。pointnet是一种基于深度学习的点云处理网络，其核心思想是将点云中的每个点作为输入，并使用多层感知机对其进行处理以实现点云分类、分割和重建等任务。
24.2.2骨架点云分割。
25.对骨架点云使用最远点采样算法计算得到最远点集对骨架点云使用最远点采样算法计算得到最远点集n
′
为自定义聚类数量；然后获取最远点集p
′
中每个点的两个邻域中的三维点p；再通过pointnet点云处理网络从三维点p中提取局部上下文特征与每个点的特征b为训练批次大小，n为骨架点数量，c为通道数；
26.在经过骨架点云特征提取之后，将每个点的特征f4输入全连接神经网络，获取每个点属于树木分叉部分的概率然后对概率s进行归一化，根据归一化结果将骨
架点云分割为分支点云和分叉点云。
27.以上的归一化算法可以表示为：
28.s
′
＝sigmoid(s)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
29.其中s
′
为归一化结果。
30.2.3骨架点云聚类。
31.将每个点的特征f4输入到全连接神经网络，得到初始聚类向量输入到全连接神经网络，得到初始聚类向量根据每个点的初始聚类向量v，将每个点与最远采样点集p
′
相匹配，得到局部精细集群对于局部精细集群c使用特征相似性算法计算，得到特征相似矩阵m'。以上的特征相似性算法可以表示为：
32.sim(ci,cj)＝d
p
(ci,cj)+α
·df
(ci,cj)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0033][0034]dp
(ci,cj)＝sqrt[(x
i-xj)2+(y
i-yj)2+(z
i-zj)2]
ꢀꢀꢀꢀꢀꢀ
(4)
[0035]
其中ci,i,j＝1,2,
…n′
，α为标量权重，自主设置为-10，(xi,yi,zi)，(xj,yj,zj)分别代表聚类ci，cj的聚类中心点坐标。
[0036]
最后，将特征相似矩阵m'中相似值大于阈值的集群合并，得到闭合聚类x为闭合聚类数量；对于最远点集p
′
中的每一个点s
p
，提取闭合聚类c
′
中与之相匹配的聚类，分别得到聚类的点集s
p
'；将点集s
p
'投影到s
p
点所在骨架方向d
p
的线上，得到完整且连续的骨架点p
branch
。
[0037]
(3)特征分类网络对不同维度特征进行融合与分类，据此从树木种类库中提取不同树木的生长参数和纹理图像。
[0038]
由于骨架重建可以依据完整且连续的骨架点p
branch
，使用传统的圆柱拟合方式就能够高效实现模型重建。分支重建过程中，因为树叶遮挡，无法获取完整的分支点，只能通过植物生长算法尽量拟合真实的树木生长规律。而传统分支重建方法大多采用相对符合自然生长规律的固定参数，为提高树木的真实感，本方法对于不同树种采用不同生长参数。
[0039]
为了便于从树木种类库中提取不同树木的生长参数和纹理图像，本方法融合了骨架点云不同维度的特征，通过全连接神经网络对特征进行分类。
[0040]
具体来说，分别对局部上下文特征f3与每个点的特征f4进行预处理，得到融合特征
[0041]
以上预处理过程可以表示为：
[0042]
f5＝dim(f3)-dim(f4)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中dim为维度扩展函数，局部上下文特征f3与每个点的特征f4的维度扩展结果为与
[0043]
在经过不同维度的特征融合之后，将融合特征f5输入全连接神经网络，得到分类特征然后对分类特征f6进行归一化，根据归一化结果从树木种类库中得到该种类树木的生长参数和纹理图像。
[0044]
以上的归一化算法可以表示为：
[0045]f′6＝sigmoid(f6)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0046]
其中f
′6为归一化结果。
[0047]
(4)根据三维包络p
foliage
、完整且连续的骨架点p
branch
、生长参数和纹理图像绘制三维模型，完成树木模型重建。
[0048]
为了模拟植物在生长过程中的营养摄取、生长方向、生长速度等因素，还原树木的生长过程。根据树木生长的分支规律，重建出具有分支结构的树木，并通过调整生长参数来控制生成树木的形态，为树木模型赋予树种信息。本方法将随机生长算法中的随机种子点替换为真实的叶子点，借助植物生长算法，实现逼真的树木模型重建。
[0049]
具体来说，根据完整且连续的骨架点p
branch
绘制三维模型，得到树木骨架模型的表面三维网格，并结合植物生长算法和生长参数，在三维骨架模型的基础上重建分支模型。
[0050]
在植物生长算法中，将三维包络p
foliage
作为空间殖民算法的个体点。在每次分支迭代生长的过程中，属于分支生长空间范围内的个体点被清理，直至个体点接近于被全部清理。再通过分支截面直径递减公式实现树木横截面直径从根部递减。
[0051]
以上分支截面直径递减公式可以表示为：
[0052][0053]
其中，d表示树干横截面的直径，di表示次生分支横截面的直径，i＝1,2,
…
n，n表示树木中分支的数量。
[0054]
在生长参数中，树干分叉次数表示重建分支模型的迭代次数；顶端优势值和顶端优势衰减值决定了树干顶端芽的生长势强度；生长单元基本长度决定了分支在一个生长迭代周期中增加的长度；树叶生长位置因子决定了树叶生长位置的高度以及树叶的密度；生长率描述树木的相对生长速度。
[0055]
最后将纹理图像映射到树木模型表面，完成树木模型重建。
[0056]
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

技术特征：
1.基于点云数据的三维树木重建方法，包括如下步骤：(1)构建树木种类库，包含每个树种的生长参数值和纹理图像；(2)通过pointnet点云处理网络对树木点云数据进行分割和聚类，得到三维包络p
foliage
和完整且连续的骨架点p
branch
；(3)特征分类网络对不同维度特征进行融合与分类，据此从树木种类库中提取不同树木的生长参数和纹理图像；(4)根据三维包络p
foliage
、完整且连续的骨架点p
branch
、生长参数和纹理图像绘制三维模型，完成树木模型重建。2.如权利要求1所述的基于点云数据的三维树木重建方法，其特征在于：步骤(1)所述的树木种类库中的树木种类包括：acacia金合欢树、willow柳树、apple苹果树、maple枫树、birch桦树、oak橡树、pine松树；生长参数包括：树干分叉次数、顶端优势值、顶端优势衰减值、生长单元基本长度、树叶生长位置因子、生长率。3.如权利要求1所述的基于点云数据的三维树木重建方法，其特征在于：步骤(2)具体包括：2.1树木点云分割；将树木点云数据输入pointnet点云处理网络进行点云分割，得到叶子点云和骨架点云，把叶子点云作为三维包络p
foliage
；pointnet是一种基于深度学习的点云处理网络，其核心思想是将点云中的每个点作为输入，并使用多层感知机对其进行处理以实现点云分类、分割和重建等任务；2.2骨架点云分割；对骨架点云使用最远点采样算法计算得到最远点集对骨架点云使用最远点采样算法计算得到最远点集n
′
为自定义聚类数量；然后获取最远点集p
′
中每个点的两个邻域中的三维点p；再通过pointnet点云处理网络从三维点p中提取局部上下文特征与每个点的特征与每个点的特征b为训练批次大小，n为骨架点数量，c为通道数；在经过骨架点云特征提取之后，将每个点的特征f4输入全连接神经网络，获取每个点属于树木分叉部分的概率然后对概率s进行归一化，根据归一化结果将骨架点云分割为分支点云和分叉点云；以上的归一化算法可以表示为：s
′
＝sigmoid(s)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中s
′
为归一化结果；2.3骨架点云聚类；将每个点的特征f4输入到全连接神经网络，得到初始聚类向量输入到全连接神经网络，得到初始聚类向量根据每个点的初始聚类向量v，将每个点与最远采样点集p
′
相匹配，得到局部精细集群对于局部精细集群c使用特征相似性算法计算，得到特征相似矩阵m'；以上的特征相似性算法可以表示为：
sim(c
i
,c
j
)＝d
p
(c
i
,c
j
)+α
·
d
f
(c
i
,c
j
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)d
p
(c
i
,c
j
)＝sqrt[(x
i-x
j
)2+(y
i-y
j
)2+(z
i-z
j
)2]
ꢀꢀ
(4)其中α为标量权重，自主设置为-10，(x
i
,y
i
,z
i
)，(x
j
,y
j
,z
j
)分别代表聚类c
i
，c
j
的聚类中心点坐标；最后，将特征相似矩阵m'中相似值大于阈值的集群合并，得到闭合聚类x为闭合聚类数量；对于最远点集p
′
中的每一个点s
p
，提取闭合聚类c
′
中与之相匹配的聚类，分别得到聚类的点集s
p
'；将点集s
p
'投影到s
p
点所在骨架方向d
p
的线上，得到完整且连续的骨架点p
branch
。4.如权利要求1所述的基于点云数据的三维树木重建方法，其特征在于：步骤(3)具体包括：分别对局部上下文特征f3与每个点的特征f4进行预处理，得到融合特征以上预处理过程可以表示为：f5＝dim(f3)-dim(f4)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中dim为维度扩展函数，局部上下文特征f3与每个点的特征f4的维度扩展结果为与在经过不同维度的特征融合之后，将融合特征f5输入全连接神经网络，得到分类特征然后对分类特征f6进行归一化，根据归一化结果从树木种类库中得到该种类树木的生长参数和纹理图像；以上的归一化算法可以表示为：f
′6＝sigmoid(f6)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)其中f
′6为归一化结果。5.如权利要求1所述的基于点云数据的三维树木重建方法，其特征在于：步骤(4)具体包括：根据完整且连续的骨架点p
branch
绘制三维模型，得到树木骨架模型的表面三维网格，并结合植物生长算法和生长参数，在三维骨架模型的基础上重建分支模型；在植物生长算法中，将三维包络p
foliage
作为空间殖民算法的个体点；在每次分支迭代生长的过程中，属于分支生长空间范围内的个体点被清理，直至个体点接近于被全部清理；再通过分支截面直径递减公式实现树木横截面直径从根部递减；以上分支截面直径递减公式可以表示为：其中，d表示树干横截面的直径，d
i
表示次生分支横截面的直径，i＝1,2,
…
n，n表示树木中分支的数量；在生长参数中，树干分叉次数表示重建分支模型的迭代次数；顶端优势值和顶端优势衰减值决定了树干顶端芽的生长势强度；生长单元基本长度决定了分支在一个生长迭代周
期中增加的长度；树叶生长位置因子决定了树叶生长位置的高度以及树叶的密度；生长率描述树木的相对生长速度；最后将纹理图像映射到树木模型表面，完成树木模型重建。

技术总结
基于点云数据的三维树木重建方法，包括：构建树木种类库，包含每个树种的生长参数值和纹理图像；通过PointNet点云处理网络对树木点云数据进行分割和聚类，得到三维包络P


技术研发人员：陈迪龙 董天阳 范菁
受保护的技术使用者：浙江工业大学
技术研发日：2023.04.19
技术公布日：2023/8/22