一种基于透视变换和深度学习的被盗树木匹配方法和系统

1.本发明属于图像处理技术领域，尤其涉及一种基于透视变换和深度学习的被盗树木匹配方法和系统。


背景技术：

2.森林公安在追踪被盗树木的时候，往往会采用路口监控，木材加工厂蹲点等方式，对于找到的可疑木材，缺少技术手段确认该可疑木材是否为被盗木材，这给被盗树木的追回和震慑违法犯罪分子带来了一定的障碍，为了辅助判断可疑树木是否为被盗物体，对可疑树木进行测量，比对，是技术上可以采取的一个重要方法。测量树干的尺寸和轮廓，需要借助三维扫描仪，激光测量仪等贵重仪器，这些仪器携带不方便，价格昂贵，而且室外使用时，此类仪器对环境光干扰的处理能力及处理效果也不理想，部分仪器还需要喷涂荧光剂，不但污染环境，而且对树木也是一种破坏。
3.因此，目前亟需一种能够方便携带、简单易行的低成本树木截面被盗树木匹配方法和系统。


技术实现要素：

4.针对上述技术问题，本发明的一个方式的目的之一是提供一种基于透视变换和深度学习的被盗树木匹配方法，在树木上设置角点检测辅助装置，对被盗树木伐桩和目标树木截面进行拍摄，获取图像后依次进行畸变校正、角点检测辅助装置的检测，角点检测、角点排序、透视变换、轮廓提取、直径测量、直径对比、轮廓对比，能够简单有效的为两个树木截面是否属于同一树木提供清晰的技术支持。
5.本发明在树木截面上设置角点检测辅助装置作为参照物，通过神经网络找到角点检测辅助装置，然后进行角点检测，能够更加快速的进行角点检测和透视变换，提高了检测效率。
6.本发明的一个方式的目的之一是提供一种角点排序方法，该方法允许角点存在大面积的缺失，允许边沿角点存在缺失，允许顶点位置的角点存在缺失，该排序方法具有较强的鲁棒性和应用价值。
7.本发明的一个方式的目的之一是提供一种基于透视变换和深度学习的被盗树木匹配系统，不需要借助三维扫描仪、激光测量仪等贵重仪器，抗光干扰能力强，不会对树木产生破坏，能够简单有效的为两个树木截面是否属于同一树木提供清晰的技术支持。
8.注意，这些目的的记载并不妨碍其他目的的存在。本发明的一个方式并不需要实现所有上述目的。可以从说明书、附图、权利要求书的记载中抽取上述目的以外的目的。
9.本发明是通过以下技术手段实现上述技术目的的。
10.一种基于透视变换和深度学习的被盗树木匹配方法，包括以下步骤：
11.步骤s1、伐桩图像获取：将角点检测辅助装置放置在伐桩截面上，拍摄获取包括角点检测辅助装置的伐桩全图；
12.步骤s2、目标图像获取：将角点检测辅助装置放置在目标树木截面上，拍摄获取包括角点检测辅助装置的树木截面全图；
13.步骤s3、图像初步处理：对步骤s1和步骤s2所获取的图像进行畸变校正；
14.步骤s4、神经网络辅助检测角点：采用深度学习语义分割神经网络，将步骤s3处理后的伐桩图像和目标图像分类，分为角点检测辅助装置区域和背景区域并分别标注，检测出角点检测辅助装置区域的角点，并对角点进行排序；
15.步骤s5、透视变换：利用排序后的角点，进行最小二乘透视变换，得到透视变换矩阵，利用该矩阵，分别对伐桩图像和目标图像进行透视变换；
16.步骤s6、轮廓提取：采用深度学习语义分割神经网络，对透视变换后的伐桩图像和目标图像分类，分为角点检测辅助装置区域、树木截面区域和背景区域，对树木截面区域进行空洞填充，边沿平滑后，分别提取伐桩图像和目标图像的轮廓；
17.步骤s7、直径测量：分别找到伐桩图像和目标图像最大距离的两个轮廓点，该距离定为长径，再在该直径的中心点做垂线，将垂线与轮廓的两个交点之间的连线定为短径；
18.步骤s8、直径对比：分别对比伐桩图像和目标图像的长径以及短径，如果误差在预设阈值内，进行下一步骤，如果误差在预设阈值外，视为目标树木与伐桩不属于同一树木，停止匹配；
19.步骤s9、轮廓对比：将透视变换后的伐桩图像和目标图像的进行镜像和旋转，比对轮廓，如果在镜像和旋转出现轮廓重合的情况，则视为目标树木与伐桩属于同一树木，如果不存在轮廓重合的情况，则不为同一树木。
20.上述方案中，所述角点检测辅助装置为棋盘格。
21.上述方案中，所述棋盘格加工精度小于0.1mm。
22.上述方案中，所述棋盘格背面设有尖锐部，棋盘格放置在树木截面上时尖锐部插入树木以固定棋盘格。
23.上述方案中，所述步骤s4中神经网络采用deeplabv3+深度学习语义分割神经网络，主干网为inceptionresnetv2，网络的类别设为两类，一类为角点检测辅助装置，一类为背景，标注工具为matlab的imagelabeler，采用多边形框标注目标棋盘格，其余部分标注为背景。
24.上述方案中，所述步骤s4中神经网络输入格式为rgb三层图像，训练神经网络时，对图像样本采用随机旋转、缩放、随机翻转、随机平移策略，训练算力采用cpu，梯度下降采用adam法。
25.上述方案中，所述步骤s4中角点排序算法，具体包括以下步骤：
26.步骤s4.1：将角点点集用t表示，找到该点集t的4个近邻点,与边长为q的正方形的四个顶点对应起来，根据透视变换规则，求出这个4对顶点之间的透视变换矩阵p，利用变换矩阵p，对t中的角点全部进行透视变换，得到一个新的点集，用s表示；
27.点集t中四个近邻点的寻找方法，该方法首先计算点集中t点与点之间距离的直方图，然后，选择直方图的最大值v1，次大值v2。找到点集t的左上角顶点，然后，分别在距离该点v1附近，v2附近，找到两个点，然后找到除这两个点之外的距离左上角顶点最近的一个点，这四个点构成点集t的四个近邻点；
28.步骤s4.2：将s左上角第一个点的标号为0，从该点出发，向右向下搜索，搜索步长
为q，在一个间距的目标位置的δ邻域内，搜索是否存在角点，如存在，选择距离目标位置最近的点为目标点，其标号加1；如不存在，该点的坐标设为null，其标号仍旧加1；不断执行以上搜索过程，并为每一个找到或未找到的点添加标号直到最后一个角点为止。
29.步骤s4.3：对间隔均匀的n*2n的棋盘格角点排序，排序起点为左上角角点，排序方向为向右向下，由于角点间隔均匀，因此无需特殊的排序方法；本发明中n为6；
30.步骤s4.4：将步骤s4.2得到的排序点和步骤s4.3得到的排序点一一对应起来，每一对具有相同的序号；如果某一对中的点坐标存在null值，则该对点不参与后续的最小二乘透视变换；将所有参与最小二乘透视变换的点集中。
31.如果上述方案中，所述步骤s6轮廓提取采用deeplabv3+深度学习语义分割神经网络，主干网为inceptionresnetv2，网络的类别设为三类，一类为树木截面，一类为棋盘格，一类为背景，标注工具为matlab的imagelabeler，采用像素标签标注树木截面，采用多边形框标注目标棋盘格，其余部分用像素标注为背景；网络输入格式为rgb三层图像。为了丰富训练样本，对样本采用了随机旋转，缩放，随机翻转，随机平移策略，训练算力采用cpu，梯度下降采用了adam法。
32.上述方案中，所述步骤s8直径对比的误差预设阈值为20％。
33.一种基于透视变换和深度学习的被盗树木匹配系统，包括移动终端和角点检测辅助装置，所述移动终端包括安卓app软件，所述安卓app软件包括图像获取模块、图像校正模块、角点检测模块、透视变换模块、轮廓提取模块、直径测量模块、直径对比模块和轮廓对比模块；所述角点检测辅助装置为棋盘格；
34.所述图像获取模块用于将角点检测辅助装置放置在伐桩截面和目标树木截面上，拍摄获取包括角点检测辅助装置的伐桩全图和树木截面全图；
35.所述图像校正模块用于对图像获取模块所获取的图像进行畸变校正；
36.所述角点检测模块用于使用深度学习语义分割神经网络，将图像校正模块处理后的伐桩图像和目标图像分类，分为角点检测辅助装置区域和背景区域并分别标注，检测出角点检测辅助装置区域的角点，并对角点进行排序；
37.所述透视变换模块用于利用排序后的角点，进行最小二乘透视变换，得到透视变换矩阵，利用该矩阵，分别对伐桩图像和目标图像进行透视变换；
38.所述轮廓提取模块用于采用深度学习语义分割神经网络，对透视变换后的伐桩图像和目标图像分类，分为角点检测辅助装置区域、树木截面区域和背景区域，对树木截面区域进行空洞填充，边沿平滑后，分别提取伐桩图像和目标图像的轮廓；
39.所述直径测量模块用于分别找到伐桩图像和目标图像最大距离的两个轮廓点，定为长径，在该直径的中心点做垂线，将垂线与轮廓的两个交点之间的连线定为短径；
40.所述直径对比模块用于分别对比伐桩图像和目标图像的长径以及短径，如果误差在预设阈值内，进行轮廓对比，如果误差在预设阈值外，视为目标树木与伐桩不属于同一树木，停止匹配；
41.所述轮廓对比模块用于将透视变换后的伐桩图像和目标图像的进行镜像和旋转，比对轮廓，如果在镜像和旋转出现轮廓重合的情况，则视为目标树木与伐桩属于同一树木，如果不存在轮廓重合的情况，则不为同一树木。
42.与现有技术相比，本发明的有益效果是：
43.根据本发明的一个方式，在树木上设置角点检测辅助装置作为参照物，通过神经网络对角点检测辅助装置进行检测，然后检测角点检测辅助装置上的角点，该方法能够更加快速的进行角点检测，提高了检测效率。
44.根据本发明的一个方式，对检测得到的角点进行排序，该排序方法允许角点存在大面积的缺失，允许边沿角点的缺失，允许顶点位置的角点缺失，缺失的角点不参与最小二乘透视变换的计算，该方法具有更强的应用价值和鲁棒性。
45.根据本发明的一个方式，对被盗树木伐桩和目标树木截面进行拍摄，获取图像后依次进行畸变校正、角点检测辅助装置检测、角点检测、透视变换、轮廓提取、直径测量、直径对比、轮廓对比，能够简单有效的为两个树木截面是否属于同一树木提供清晰的技术支持。
46.根据本发明的一个方式，不需要借助三维扫描仪、激光测量仪等贵重仪器，使用安卓app软件即可进行树木匹配，抗光干扰能力强，不会对树木产生破坏。
47.注意，这些效果的记载不妨碍其他效果的存在。本发明的一个方式并不一定必须具有所有上述效果。可以从说明书、附图、权利要求书等的记载显而易见地看出并抽出上述以外的效果。
附图说明
48.图1是本发明一实施方式的流程示意图。
49.图2是本发明一实施方式拍摄得到的伐桩和树木截面图像。
50.图3是本发明一实施方式伐桩和树木截面图像透视变换结果。
51.图4是本发明一实施方式的树木截面对比图。
具体实施方式
52.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
53.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“前”、“后”、“左”、“右”、“上”、“下”、“轴向”、“径向”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
54.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
55.实施例1
56.图1所示为所述的基于透视变换和深度学习的被盗树木匹配方法的一种较佳实施方式，
57.一种基于透视变换和深度学习的被盗树木匹配方法，包括以下步骤：
58.步骤s1、伐桩图像获取：将角点检测辅助装置放置在伐桩截面上，拍摄获取包括角点检测辅助装置的伐桩全图；
59.步骤s2、目标图像获取：将角点检测辅助装置放置在目标树木截面上，拍摄获取包括角点检测辅助装置的树木截面全图；根据本实施例，优选的，所述角点检测辅助装置为棋盘格，棋盘格采用长方形，大小为2n*n，n可以为3,4，...，10，及其他自然数，本发明中n为6。棋盘格的物理尺寸需精确，精度控制在0.1mm；
60.所述棋盘格背面设有尖锐部，棋盘格放置在树木截面上时尖锐部插入树木以固定棋盘格。在拍摄时将棋盘格放在在树木截面的中间区域，采用智能手机现场采集图像，无需关注拍摄角度和拍摄姿态，无需手动调整焦距；在本发明的一个实施方式中，拍摄到的图像如图2所示；
61.步骤s3、图像初步处理：对步骤s1和步骤s2所获取的图像进行畸变校正；根据本实施例，优选的，畸变校正算法采用张正友的棋盘格法；
62.步骤s4、神经网络辅助检测角点：采用深度学习语义分割神经网络，将步骤s3处理后的伐桩图像和目标图像分类，分为角点检测辅助装置区域和背景区域并分别标注，检测出角点检测辅助装置区域的角点，并对角点进行排序；
63.根据本实施例，优选的，神经网络采用deeplabv3+深度学习语义分割神经网络，主干网为inceptionresnetv2，网络的类别设为两类，一类为角点检测辅助装置，一类为背景，标注工具为matlab的imagelabeler，采用多边形框标注目标棋盘格，其余部分标注为背景；
64.所述步骤s4中神经网络输入格式为rgb三层图像，训练神经网络时，对图像样本采用随机旋转、缩放、随机翻转、随机平移策略，训练算力采用cpu，无需gpu加速，梯度下降采用adam法；
65.在进行角点检测时加载训练模型，输入伐桩图像，检测其中的棋盘格，算法给出棋盘格所在的区域，棋盘格所在的区域标志为1，背景区域标志为0；
66.由于棋盘格面积仅占整个伐桩图像面积的小部分，因此在伐桩图像中直接应用角点校测方法，检测棋盘格的角点，是一件非常耗时的方法，本发明训练深度神经网络，寻找伐桩图像中的棋盘格，可以将角点检测方法速度提升30倍以上。
67.步骤s5、透视变换：利用排序后的角点，进行最小二乘透视变换，得到透视变换矩阵，利用该矩阵，分别对伐桩图像和目标图像进行透视变换；把任意角度，任意姿态拍摄的图像，变换到主(垂直)视图下，在本发明的一个实施方式中透视变换后的图像如图3所示。
68.步骤s6、轮廓提取：采用深度学习语义分割神经网络，对透视变换后的伐桩图像和目标图像分类，分为角点检测辅助装置区域、树木截面区域和背景区域，对树木截面区域进行空洞填充，边沿平滑后，分别提取伐桩图像和目标图像的轮廓；
69.步骤s7、直径测量：分别找到伐桩图像和目标图像最大距离的两个轮廓点，该距离定为长径，在该直径的中心点做垂线，将垂线与轮廓的两个交点之间的连线定为短径；
70.步骤s8、直径对比：分别对比伐桩图像和目标图像的长径以及短径，如果误差在预
设阈值内，进行下一步骤，如果误差在预设阈值外，视为目标树木与伐桩不属于同一树木，停止匹配；
71.根据本实施例，优选的，可以人工对直径的自动测量结果进行检验，并对部分错误的地方进行手动修正；
72.步骤s9、轮廓对比：将透视变换后的伐桩图像和目标图像的进行镜像和旋转，比对轮廓，如果在镜像和旋转出现轮廓重合的情况，则视为目标树木与伐桩属于同一树木，如果不存在轮廓重合的情况，则不为同一树木。
73.所述步骤s4中角点排序算法，具体包括以下步骤：
74.步骤s4.1：将角点点集用t表示，找到该点集t的4个近邻点,与边长为q的正方形的四个顶点对应起来，根据透视变换规则，求出这个4对顶点之间的透视变换矩阵p，利用变换矩阵p，对t中的角点全部进行透视变换，得到一个新的点集，用s表示；
75.根据本实施例，优选的，所述点集t中四个近邻点的寻找方法，首先计算点集中t点与点之间距离的直方图，然后，选择直方图的最大值v1，次大值v2。找到点集t的左上角顶点，然后，分别在距离该点v1附近，v2附近，找到两个点，然后找到除这两个点之外的距离左上角顶点最近的一个点，这四个点构成点集t的四个近邻点。
76.步骤s4.2：将s左上角第一个点的标号为0，从该点出发，向右向下搜索，搜索步长为q，在一个间距的目标位置的δ邻域内，搜索是否存在角点，如存在，选择距离目标位置最近的点为目标点，其标号加1；如不存在，该点的坐标设为null，其标号仍旧加1；不断执行以上搜索过程，并为每一个找到或未找到的点添加标号直到最后一个角点为止；根据本实施例，优选的，搜索步长q为固定值，本实施例中q为80个像素。邻域δ的大小一般为q的20％，该参数即使设置为q的10％或者30％，也不影响算法的效果，因此容易确定。本发明的这种排序方法的优点是即使存在角点大面积缺失、边沿缺失和顶点位置角点缺失的情况，排序方法也能够稳定运行，该排序方法具有极强的鲁棒性；
77.步骤s4.3：对标准角点检测辅助装置中的角点排序，排序起点为左上角角点，排序方向为向右向下。
78.步骤s4.4：将步骤s4.2得到的排序点和步骤s4.3得到的排序点一一对应起来，每一对具有相同的序号；如果某一对中的点坐标存在null值，则该对点不参与后续的最小二乘透视变换；将所有参与最小二乘透视变换的点集中。
79.在本发明一实施方式中采用的棋盘格大小为6*12，因此，能检测到的角点数量最大为55，所述步骤s5中的最小二乘透视变换采用公式如下：
[0080][0081]
式中：a
11
,a
12
…a31
,a
32
表示变量，pinv表示求伪逆；u1,v1,...u
55
,v
55
为角点检测算法检测出来的角点坐标，其排序方法由步骤4.2确定，在透视变换中，称这些点为移动点，x1,y1,...x
55
,y
55
为固定点坐标，其排序方法由步骤4.3确定。如果这55对点中存在坐标为null的点，则在具体计算透视变换矩阵的过程中，删除上述公式中右侧具有null值的行和列即可。
[0082]
所述步骤s6轮廓提取采用deeplabv3+深度学习语义分割神经网络，主干网为inceptionresnetv2，网络的类别设为三类，一类为树木截面，一类为棋盘格，一类为背景，标注工具为matlab的imagelabeler，采用像素标签标注树木截面，采用多边形框标注目标棋盘格，其余部分用像素标注为背景；根据本实施例，优选的，将树木截面和棋盘格对应的标签设为1，背景标签设为0，对标签为1的面积最大的区域进行空洞填充，边沿平滑后，提取其轮廓；
[0083]
神经网络输入格式为rgb三层图像。为了丰富训练样本，对样本采用了随机旋转，缩放，随机翻转，随机平移策略，训练算力采用cpu，无需gpu加速，梯度下降采用了adam法。
[0084]
根据本实施例，优选的，所述步骤s8直径对比的误差预设阈值为20％。
[0085]
根据本实施例，优选的，在进行轮廓对比时，将这伐桩图像和目标图像透视变换后，放在一起，左右分开，对第二幅图像进行镜像变换，然后进行旋转变换，一边旋转，一边通过肉眼观察这两幅图像是否匹配。如观察过程存在困难，则调整旋转变换的角度，重新观察，直到得出结论为止。
[0086]
如图4所示，图4中滑块的位置为0-360之间可调，对应的是右侧图像的旋转角度，调整滑块的位置，可观测到右侧图像的旋转，不断调整滑块的位置，使得右侧图像和左侧图像的旋转角度保持一致，只要旋转角度合适，用肉眼就可以判断左右两侧的图像是否属于同一树木。
[0087]
在伐树的过程中，工人往往会在两个截面之间，切割一个双线口，额外锯掉一个或多个v型薄片，从而能够控制树木的倒塌方向，从图2可以看出缺失的v型薄片的位置和轮廓。由于遮挡、v型薄片缺失等因素的存在，部分位置的轮廓无法观察，但经过旋转后，从图2可以看出，左右两幅图像的轮廓在顺时针120度附近位置上存在v型薄片缺失情况的高度匹配，在顺时针180度附近位置上，两幅图像的轮廓外形高度匹配。考虑两幅图像直径近似，部
分轮廓高度匹配，因此，技术上完全可以判断两者属于同一树木，左侧是基部伐桩图像，右侧是被盗的林木截面图像，从而为案件的诊断提供技术支持。
[0088]
本发明基于透视变换和深度学习技术，在树木上设置角点检测辅助装置，对被盗树木伐桩和目标树木截面进行拍摄，获取图像后依次进行畸变校正、角点检测辅助装置检测、角点检测、透视变换、轮廓提取、直径测量、直径对比、轮廓对比，能够简单有效的为两个树木截面是否属于同一树木提供清晰的技术支持。此外在树木上设置角点检测辅助装置作为参照物，使用角点检测辅助装置通过神经网络辅助进行角点检测，能够更加快速的进行角点检测和透视变换，提高了检测效率。
[0089]
实施例2
[0090]
一种基于透视变换和深度学习的被盗树木匹配系统，包括移动终端和角点检测辅助装置，优选的，所述移动终端为智能手机或智能平板，所述移动终端包括安卓app软件，所述安卓app软件包括图像获取模块、图像校正模块、角点检测模块、透视变换模块、轮廓提取模块、直径测量模块、直径对比模块和轮廓对比模块；所述角点检测辅助装置为棋盘格；
[0091]
所述图像获取模块用于将角点检测辅助装置放置在伐桩截面和目标树木截面上，拍摄获取包括角点检测辅助装置的伐桩全图和树木截面全图；
[0092]
所述图像校正模块用于对图像获取模块所获取的图像进行畸变校正；
[0093]
所述角点检测模块用于使用深度学习语义分割神经网络，将图像校正模块处理后的伐桩图像和目标图像分类，分为角点检测辅助装置区域和背景区域并分别标注，检测出角点检测辅助装置区域的角点，并对角点进行排序；
[0094]
所述透视变换模块用于利用排序后的角点，进行最小二乘透视变换，得到透视变换矩阵，利用该矩阵，分别对伐桩图像和目标图像进行透视变换；
[0095]
所述轮廓提取模块用于采用深度学习语义分割神经网络，对透视变换后的伐桩图像和目标图像分类，分为角点检测辅助装置区域、树木截面区域和背景区域，对树木截面区域进行空洞填充，边沿平滑后，分别提取伐桩图像和目标图像的轮廓；
[0096]
所述直径测量模块用于分别找到伐桩图像和目标图像最大距离的两个轮廓点，该距离定为长径，在该直径的中心点做垂线，将垂线与轮廓的两个交点之间的连线定为短径；
[0097]
所述直径对比模块用于分别对比伐桩图像和目标图像的长径以及短径，如果误差在预设阈值内，进行轮廓对比，如果误差在预设阈值外，视为目标树木与伐桩不属于同一树木，停止匹配；
[0098]
所述轮廓对比模块用于将透视变换后的伐桩图像和目标图像的进行镜像和旋转，比对轮廓，如果在镜像和旋转出现轮廓重合的情况，则视为目标树木与伐桩属于同一树木，如果不存在轮廓重合的情况，则不为同一树木。
[0099]
本发明不需要借助三维扫描仪，激光测量仪等贵重仪器，抗光干扰能力强，不会对树木产生破坏，能够简单有效的为两个树木截面是否属于同一树木提供清晰的技术支持。
[0100]
应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
[0101]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，
它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。

技术特征：
1.一种基于透视变换和深度学习的被盗树木匹配方法，其特征在于，包括以下步骤：步骤s1、伐桩图像获取：将角点检测辅助装置放置在伐桩截面上，拍摄获取包括角点检测辅助装置的伐桩全图；步骤s2、目标图像获取：将角点检测辅助装置放置在目标树木截面上，拍摄获取包括角点检测辅助装置的树木截面全图；步骤s3、图像初步处理：对步骤s1和步骤s2所获取的图像进行畸变校正；步骤s4、神经网络辅助检测角点：采用深度学习语义分割神经网络，将步骤s3处理后的伐桩图像和目标图像分类，分为角点检测辅助装置区域和背景区域并分别标注，检测出角点检测辅助装置区域的角点，并对角点进行排序；步骤s5、透视变换：利用排序后的角点，进行最小二乘透视变换，得到透视变换矩阵，利用该矩阵，分别对伐桩图像和目标图像进行透视变换；步骤s6、轮廓提取：采用深度学习语义分割神经网络，对透视变换后的伐桩图像和目标图像分类，分为角点检测辅助装置区域、树木截面区域和背景区域，对树木截面区域进行空洞填充，边沿平滑后，分别提取伐桩图像和目标图像的轮廓；步骤s7、直径测量：分别找到伐桩图像和目标图像最大距离的两个轮廓点，两点之间的距离定为长径，在该直径的中心点做垂线，将垂线与轮廓的两个交点之间的连线定为短径；步骤s8、直径对比：分别对比伐桩图像和目标图像的长径以及短径，如果误差在预设阈值内，进行下一步骤，如果误差在预设阈值外，视为目标树木与伐桩不属于同一树木，停止匹配；步骤s9、轮廓对比：将透视变换后的伐桩图像和目标图像的进行镜像和旋转，比对轮廓，如果在镜像和旋转出现轮廓重合的情况，则视为目标树木与伐桩属于同一树木，如果不存在轮廓重合的情况，则不为同一树木。2.根据权利要求1所述的基于透视变换和深度学习的被盗树木匹配方法，其特征在于，所述角点检测辅助装置为棋盘格。3.根据权利要求2所述的基于透视变换和深度学习的被盗树木匹配方法，其特征在于，所述棋盘格加工精度小于0.1mm。4.根据权利要求2所述的基于透视变换和深度学习的被盗树木匹配方法，其特征在于，所述棋盘格背面设有尖锐部，棋盘格放置在树木截面上时尖锐部插入树木以固定棋盘格。5.根据权利要求1所述的基于透视变换和深度学习的被盗树木匹配方法，其特征在于，所述步骤s4中神经网络采用deeplabv3+深度学习语义分割神经网络，主干网为inceptionresnetv2，网络的类别设为两类，一类为角点检测辅助装置，一类为背景，标注工具为matlab的imagelabeler，采用多边形框标注目标棋盘格，其余部分标注为背景。6.根据权利要求1所述的基于透视变换和深度学习的被盗树木匹配方法，其特征在于，所述步骤s4中神经网络输入格式为rgb三层图像，训练神经网络时，对图像样本采用随机旋转、缩放、随机翻转、随机平移策略，训练算力采用cpu，梯度下降采用adam法。7.根据权利要求1所述的基于透视变换和深度学习的被盗树木匹配方法，其特征在于，所述步骤s4中采用的角点排序算法，具体包括以下步骤：步骤s4.1：将角点点集用t表示，找到该点集t的4个近邻点,与边长为q的正方形的四个顶点对应起来，根据透视变换规则，求出这个4对顶点之间的透视变换矩阵p，利用变换矩阵
p，对t中的角点全部进行透视变换，得到一个新的点集，用s表示；步骤s4.2：将s左上角第一个点的标号为0，从该点出发，向右向下搜索，搜索步长为q，在一个间距的目标位置的δ邻域内，搜索是否存在角点，如存在，选择距离目标位置最近的点为目标点，其标号加1；如不存在，该点的坐标设为null，其标号仍旧加1；不断执行以上搜索过程，并为每一个找到或未找到的点添加标号直到最后一个角点为止；步骤s4.3：对角点检测辅助装置中的角点排序，排序起点为左上角角点，排序方向为向右向下；步骤s4.4：将步骤s4.2得到的排序点和步骤s4.3得到的排序点一一对应起来，每一对具有相同的序号；如果某一对中的点坐标存在null值，则该对点不参与后续的最小二乘透视变换；将所有参与最小二乘透视变换的点集中。8.根据权利要求1所述的基于透视变换和深度学习的被盗树木匹配方法，其特征在于，所述步骤s6轮廓提取采用deeplabv3+深度学习语义分割神经网络，主干网为inceptionresnetv2，网络的类别设为三类，一类为树木截面，一类为棋盘格，一类为背景，标注工具为matlab的imagelabeler，采用像素标签标注树木截面，采用多边形框标注目标棋盘格，其余部分用像素标注为背景；网络输入格式为rgb三层图像，对样本采用了随机旋转，缩放，随机翻转，随机平移策略，训练算力采用cpu，梯度下降采用了adam法。9.根据权利要求1所述的基于透视变换和深度学习的被盗树木匹配方法，其特征在于，所述步骤s8直径对比的误差预设阈值为20％。10.一种根据权利要求1-9任意一项所述的基于透视变换和深度学习的被盗树木匹配方法的系统，其特征在于，包括移动终端和角点检测辅助装置，所述移动终端包括安卓app软件，所述安卓app软件包括图像获取模块、图像校正模块、角点检测模块、透视变换模块、轮廓提取模块、直径测量模块、直径对比模块和轮廓对比模块；所述角点检测辅助装置为棋盘格；所述图像获取模块用于将角点检测辅助装置放置在伐桩截面和目标树木截面上，拍摄获取包括角点检测辅助装置的伐桩全图和树木截面全图；所述图像校正模块用于对图像获取模块所获取的图像进行畸变校正；所述角点检测模块用于使用深度学习语义分割神经网络，将图像校正模块处理后的伐桩图像和目标图像分类，分为角点检测辅助装置区域和背景区域并分别标注，检测出角点检测辅助装置区域的角点，并对角点进行排序；所述透视变换模块用于利用排序后的角点，进行最小二乘透视变换，得到透视变换矩阵，利用该矩阵，分别对伐桩图像和目标图像进行透视变换；所述轮廓提取模块用于采用深度学习语义分割神经网络，对透视变换后的伐桩图像和目标图像分类，分为角点检测辅助装置区域、树木截面区域和背景区域，对树木截面区域进行空洞填充，边沿平滑后，分别提取伐桩图像和目标图像的轮廓；所述直径测量模块用于分别找到伐桩图像和目标图像最大距离的两个轮廓点，该距离定为长径，在该直径的中心点做垂线，将垂线与轮廓的两个交点之间的连线定为短径；所述直径对比模块用于分别对比伐桩图像和目标图像的长径以及短径，如果误差在预设阈值内，进行轮廓对比，如果误差在预设阈值外，视为目标树木与伐桩不属于同一树木，停止匹配；
所述轮廓对比模块用于将透视变换后的伐桩图像和目标图像的进行镜像和旋转，比对轮廓，如果在镜像和旋转出现轮廓重合的情况，则视为目标树木与伐桩属于同一树木，如果不存在轮廓重合的情况，则不为同一树木。

技术总结
本发明提供了一种基于透视变换和深度学习的被盗树木匹配方法和系统，在树木截面上设置角点检测辅助装置，用智能手机获取图像后进行畸变校正、棋盘格检测，角点检测、角点排序，透视变换、轮廓提取、直径测量、直径对比、轮廓对比，能够为两个树木截面是否属于同一树木提供清晰的技术支持。本发明通过神经网络辅助进行角点检测，能够对角点检测速度实现30倍的提升，且无拍照姿态、角度和位置要求。本发明的角点排序方法在角点大面积缺失、边沿缺失、顶点位置角点缺失的情况下，仍能准确得到透视变换矩阵。本发明采用神经网络提取伐桩轮廓，测量大径和小径，对直径匹配的图像进行镜像和旋转变换后，通过肉眼即可判断两幅截面是否属于同一树木。一树木。一树木。


技术研发人员：崔世林 田斐 崔玉连 张丹 张宇阳
受保护的技术使用者：南阳理工学院
技术研发日：2023.03.15
技术公布日：2023/7/12