一种果园三维场景及重点区域的全景展示联动的方法与流程

1.本发明属于无人机勘测、影像生成领域，尤其涉及一种果园三维场景及重点区域的全景展示联动的方法。


背景技术：

2.现阶段，基于无人机的果园展示主要以二维图像展示为主，且并未将三维长势场景与全景影像进行结合。其中，现阶段通常使用二维影像反映果树的长势状况，但在我国西南部等区域，果园一般种植在山地、丘陵等地带，果园内地理落差较大，二维影像并不能显示地形的差异，整体观察效果较差，并不够直观。


技术实现要素：

3.为了至少在一定程度上克服相关技术中并未将三维长势场景与全景影像进行结合的现象，本技术提供了一种果园三维场景及重点区域的自动化全景展示的方法。
4.本技术的方案如下：
5.根据本公开实施例的一方面，提供了一种果园三维场景及重点区域的全景联动展示的方法，包括：
6.获取无人机系统，无人机系统调用无人机对果园区域进行航线规划，得到规划数据，并将规划数据上传至无人机系统；
7.无人机系统中无人机远程控制模块根据规划数据调用无人机进行影像采集，得到第一采集影像，并将采集影像上传至云端，其中，第一采集影像包括第一可见光影像和第一多光谱影像；
8.云端对采集影像分别进行正射校正、空三计算以及影像拼接，得到第二采集影像，其中第二采集影像包括，第二可见光影像、第二多光谱正射影像以及dsm数据；根据dsm数据，得到果树株高、冠幅大小；根据多光谱影像，得到植被指数、lai、叶绿素含量、氮含量指标；
9.根据果树株高、冠幅大小、植被指数、lai、叶绿素含量、氮含量指标，得到果树健康指数；
10.根据第二多光谱正射影像以及dsm数据，得到果园三维模型；根据果树健康指数和dsm数据，得到果树健康指数三维模型；根据果园三维模型和果树健康指数三维模型，针对需要关注的果树，获取需要关注的果树的全景影像；
11.获取全景影像的全景数据，并将全景数据发送给果园三维模型，实现三维模型数据与全景数据的联动显示。
12.根据本公开实施例的另一方面，根据多光谱影像，得到植被指数，包括：
13.针对植被指数，选用归一化植被指数，归一化植被指数的计算公式为：
14.ndvi＝(r
nir-r
red
)/(r
nir
+r
red
)；
15.其中，ndvi为归一化植被指数，r
nir
为近红外波段的反射率，r
red
为红波段的反射
率。
16.根据本公开实施例的另一方面，根据果树健康指数和dsm数据，得到果树健康指数三维模型，包括：
17.针对于果树健康指数三维模型，模型公式为：
18.y＝f(h，s，lai，car，n)；
19.其中，y表示果树的健康指数，f为加权计算规则，h为果树株高，s为冠幅大小，lai为叶面积指数，car为叶绿素含量，n为氮含量指标。
20.根据本公开实施例的另一方面，获取全景影像的的全景数据，并将全景数据传递至果园三维模型，实现三维模型数据与全景数据的联动显示，包括：
21.将全景数据传递至果园三维模型中并显示为标记点，通过点击标记点展示标记点位置的全景影像，实现三维模型数据与全景数据的联动显示；
22.根据用户需求在果园三维模型中点击任意指定位置，算法根据指定位置的坐标信息，在全景数据库中匹配到最邻近的全景数据坐标信息，并根据全景数据坐标信息进行全景展示。
23.根据本公开实施例的一方面，提供了一种果园三维场景及重点区域的全景联动展示的装置，包括：
24.规划数据获取模块：获取无人机系统，无人机系统调用无人机对果园区域进行航线规划，得到规划数据，并将规划数据上传至无人机系统；
25.采集影像获取模块：无人机系统中无人机远程控制模块根据规划数据调用无人机进行影像采集，得到采集影像，并将采集影像上传至云端，其中，采集影像包括第一可见光影像和第一多光谱影像；
26.采集影像处理模块：云端对采集影像分别进行正射校正、空三计算以及影像拼接，得到第二采集影像，其中第二采集影像包括，第二可见光影像、第二多光谱正射影像以及dsm数据；根据dsm数据，得到果树株高、冠幅大小；根据多光谱影像，得到植被指数、lai、叶绿素含量、氮含量指标；
27.果树健康指数获取模块：根据果树株高、冠幅大小、植被指数、lai、叶绿素含量、氮含量指标，得到果树健康指数；
28.全景影像获取模块：根据第二多光谱正射影像以及dsm数据，得到果园三维模型；根据果树健康指数和dsm数据，得到果树健康指数三维模型；根据果园三维模型和果树健康指数三维模型，针对需要关注的果树，获取需要关注的果树的全景影像；
29.联动模块：获取全景影像的全景数据，并将全景数据发送给果园三维模型，实现三维模型数据与全景数据的联动显示。
30.根据本公开实施例的一方面，提供了一种果园三维场景及重点区域的全景联动展示的系统，包括：
31.无人机系统、无人机远程控制模块、无人机影像处理模块、三维模型展示模块、全景数据展示模块；
32.无人机系统，应用于获取果园三维场景及重点区域全景的源数据，实现远程控制、自主飞行、自主充电、数据自动上传的功能；
33.无人机远程控制模块，应用于远程控制无人机系统，包括机库远程功能控制、无人
机航线规划、远程上传无人机规划航线、无人机数据远程查看及上传；
34.无人机影像处理模块，应用于无人机影像的拼接，包括无人机正射影像的拼接、无人机全景影像的拼接；
35.三维模型展示模块，应用于展示基于可见光正射影像和dsm数据生成的果园三维模型，实现提供三维数据存储、导出的功能；
36.全景数据展示模块，应用于展示基于无人机生成的全景影像，实现提供全景数据存储、导出的功能。
37.根据本公开实施例的一方面，提供了一种计算机可读存储介质，其特征在于，计算机可读存储介质上存储有计算机程序，处理器执行计算机程序，实现上述任一项的果园三维场景及重点区域的全景联动展示的方法。
38.本技术提供的技术方案可以包括以下有益效果：
39.其中，本发明提供了全景数据与三维模型数据的双向联动存储和展示平台，通过将无人机数据处理为可展示的三维模型和全景数据，并对数据进行存储和发布，同时利用坐标位置信息将二者进行关联，解决了并实现了三维模型与全景数据之间的双向联动和显示，增强了数据的可视化交互体验感，达到了三维模型与全景数据的优势互补。
40.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
41.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1是本公开实施例中一种果园三维场景及重点区域的全景联动展示的方法的方法示意图；
43.图2是本公开实施例中一种果园三维场景及重点区域的全景联动展示的方法的技术思路路线图；
44.图3是本公开实施例中一种果园三维场景及重点区域的全景联动展示的装置的装置示意图；
45.图4是公开实施例中一种果园三维场景及重点区域的全景联动展示的系统的系统示意图。
具体实施方式
46.为使本公开实施例的目的、技术方案和优点更加清楚，下面将对本公开实施例的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
47.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特
点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
48.本公开实施例中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
49.现阶段针对于果园长势的分布，现有技术采用二维影像进行观察，但在我国西南部地区或地理差距过大地区，果园往往种植在山地、丘陵等地带，果园内落差较大，二维影像并不能显示地形的差异，整体的观察效果较差。
50.因此，针对于现有技术中存在的问题，本公开实施例通过将二维影像与dsm数据相结合，生成果园三维模型以及果树健康指数三维模型，实现了果园更加直观的展示。同时结合无人机系统，实现果园三维场景和全景影像的双向联动，通过将三维场景查看到的重点区域坐标信息上传至无人机系统，实现重点区域全影像的自动化展示，同时结合专家诊断系统，对重点区域进行合理的农事操作。
51.本公开实施例中采用精灵4多光谱无人机，实现果园三维场景的构建以及果园内重点区域果树的全景展示，实现果园的智能化管理，其中，对无人机型号不做限制，能达到本公开实施例所实现的效果的无人机都可选用。
52.同时针对于研究区以北京市平谷区京瓦示范中心为例，地块面积约为3亩，种植果树为桃树。
53.针对于数据获取，本公开实施例中无人机影像采集时间为2023年4月30日。无人机高分辨率多光谱影像采集设备为大疆phantom 4多光谱版本，200万像素，相机校准及无人机航线规划采用ipad端的dji gs pro地面站软件完成。rtk差分服务使用千寻位置厘米级差分定位服务。无人机三维模型构建影像数据采用航线规划方式获取，飞行高度50m，航线规划时航向重叠度和旁向重叠度均为75％。无人机全景影像构建数据采用定点飞行模式获取，按照预定程序分别拍摄不同角度的多张照片后合成全景影像。
54.根据上述准备工作，本公开实施例提供了一种果园三维场景及重点区域的全景联动展示的方法，如图1所示，包括：
55.s101：获取无人机系统，无人机系统调用无人机对果园区域进行航线规划，得到规划数据，并将规划数据上传至无人机系统；
56.s102：无人机系统中无人机远程控制模块根据规划数据调用无人机进行影像采集，得到第一采集影像，并将采集影像上传至云端，其中，第一采集影像包括第一可见光影像和第一多光谱影像；
57.s103：云端对采集影像分别进行正射校正、空三计算以及影像拼接，得到第二采集影像，其中第二采集影像包括，第二可见光影像、第二多光谱正射影像以及dsm数据；根据dsm数据，得到果树株高、冠幅大小；根据多光谱影像，得到植被指数、lai、叶绿素含量、氮含量指标；
58.s104：根据果树株高、冠幅大小、植被指数、lai、叶绿素含量、氮含量指标，得到果
树健康指数；
59.s105：根据第二多光谱正射影像以及dsm数据，得到果园三维模型；根据果树健康指数和dsm数据，得到果树健康指数三维模型；根据果园三维模型和果树健康指数三维模型，判断果树长势情况，并根据果树长势情况，针对需要关注的果树，获取需要关注的果树的位置信息并上传至无人机系统，无人机系统调用无人机获取需要关注的果树的全景影像；
60.针对于需要关注的果树，包括但不限于长势较差、长势较好、标记等，目的在于区别于其余没有关注的果树。
61.其中，为保证全景影像的分辨率和无人机的安全性，航线规划时需结合dsm数据，将全景数据采集时无人机的飞行高度设置在果树上方1～2m处。同时无人机全景影像拍摄时，无人机首先根据对话航线飞行至指定地点悬停，然后按照预设程序拍摄不同方位角的照片。拍摄步骤为，分别在偏航角为0、45、90、135、180、225、270、315度位置，按照俯仰角为-90、-45、0、45度的角度获取照片，以此类推共获取32张不同角度的无人机影像。无人机影像拍摄完成后通过无人机库自动上传至云服务器，云服务器集成了无人机全景影像拼接程序，通过拼接后自动上传至平台全景展示模块。
62.s106：获取全景影像的全景数据，并将全景数据上传至云端，并通过全景影像的位置信息实现果园三维模型与全景数据的联动显示。
63.一种可能的实施例中，根据多光谱影像，得到植被指数，包括：
64.本公开实施例，利用不同波段的反射率影像，通过波段计算生成植被指数；
65.其中，植被指数，选用归一化植被指数，归一化植被指数的计算公式(1)为：
66.ndvi＝(rnir-rred)/(rnir+rred)
ꢀꢀ
(1)；
67.其中，ndvi为归一化植被指数，rnir为近红外波段的反射率，rred为红波段的反射率。
68.一种可能的实施例中，根据果树健康指数和dsm数据，得到果树健康指数三维模型，包括：
69.针对于果树健康指数三维模型，模型公式(2)为：
70.y＝f(h，s，lai，car，n)
ꢀꢀ
(2)；
71.其中，y表示果树的健康指数，f为加权计算规则，h为果树株高，s为冠幅大小，lai为叶面积指数，car为叶绿素含量，n为氮含量指标。
72.本公开实施例中，同时利用dsm数据提取果树株高、冠幅大小，利用辐射传输模型反演果树冠幅大小、叶面积指数、叶绿素含量、氮含量指标，并将植被指数和各个生化参量之间做加权计算，实现果树健康指数的评估。将果树健康指数反演结果图与dsm数据相结合，使健康指数反演图从dsm中获取高程信息，并利用高程信息进行浮动，保持原有栅格分辨率不变，即可生成区域内的果树健康指数三维模型。
73.针对于在三维模型展示模块中展示果园三维模型，本公开实施例通过将正射影像和dsm数据相结合，使正射影像从dsm中获取高程信息，并利用高程信息进行浮动，保持原有栅格分辨率不变，即可生成区域内的果树三维模型。
74.通过将果树健康指数和dsm数据相结合，使果树健康指数从dsm中获取高程信息，并利用高程信息进行浮动，保持原有栅格分辨率不变，即可生成区域内的果树健康指数三
维模型。
75.一种可能的实施例中，获取全景影像的全景数据，并将全景数据上传至云端，并通过全景影像的位置信息实现果园三维模型与全景数据的联动显示，其中实现维模型数据与全景数据的联动显示的技术思路路线图如图3所示，包括：
76.将全景数据传递至果园三维模型中并显示为标记点，通过点击标记点展示标记点位置的全景影像，实现三维模型数据与全景数据的联动显示；
77.根据用户需求在果园三维模型中点击任意指定位置，算法根据指定位置的坐标信息，在全景数据库中匹配到最邻近的全景数据坐标信息，并根据全景数据坐标信息进行全景展示。
78.根据本公开实施例的一方面，提供了一种果园三维场景及重点区域的全景联动展示的装置，如图3所示，包括：
79.规划数据获取模块301：获取无人机系统，无人机系统调用无人机对果园区域进行航线规划，得到规划数据，并将规划数据上传至无人机系统；
80.采集影像获取模块302：无人机系统中无人机远程控制模块根据规划数据调用无人机进行影像采集，得到第一采集影像，并将采集影像上传至云端，其中，第一采集影像包括第一可见光影像和第一多光谱影像；
81.采集影像处理模块303：云端对采集影像分别进行正射校正、空三计算以及影像拼接，得到第二采集影像，其中第二采集影像包括，第二可见光影像、第二多光谱正射影像以及dsm数据；根据dsm数据，得到果树株高、冠幅大小；根据多光谱影像，得到植被指数、lai、叶绿素含量、氮含量指标；
82.果树健康指数获取模块304：根据果树株高、冠幅大小、植被指数、lai、叶绿素含量、氮含量指标，得到果树健康指数；
83.全景影像获取模块305：根据第二多光谱正射影像以及dsm数据，得到果园三维模型；根据果树健康指数和dsm数据，得到果树健康指数三维模型；根据果园三维模型和果树健康指数三维模型，判断果树长势情况，并根据果树长势情况，针对需要关注的果树，获取需要关注的果树的位置信息并上传至无人机系统，无人机系统调用无人机获取需要关注的果树的全景影像；
84.联动模块306：获取全景影像的全景数据，并将全景数据上传至云端，并通过全景影像的位置信息实现果园三维模型与全景数据的联动显示。
85.根据本公开实施例的一方面，提供了一种果园三维场景及重点区域的全景联动展示的系统，如图4所示，包括：
86.无人机系统401、无人机远程控制模块402、无人机影像处理模块403、三维模型展示模块404、全景数据展示模块405；
87.无人机系统401，应用于获取果园三维场景及重点区域全景的源数据，实现远程控制、自主飞行、自主充电、数据自动上传的功能；
88.无人机远程控制模块402，应用于远程控制无人机系统，包括机库远程功能控制、无人机航线规划、远程上传无人机规划航线、无人机数据远程查看及上传；
89.无人机影像处理模块403，应用于无人机影像的拼接，包括无人机正射影像的拼接、无人机全景影像的拼接；
90.三维模型展示模块404，应用于展示基于可见光正射影像和dsm数据生成的果园三维模型，实现提供三维数据存储、导出的功能；
91.全景数据展示模块405，应用于展示基于无人机生成的全景影像，实现提供全景数据存储、导出的功能。
92.根据本公开实施例的一方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，处理器执行计算机程序，实现上述任一项的果园三维场景及重点区域的全景联动展示的方法。
93.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开实施例中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现公开实施例公开的技术方案所期望的结果，本公开在此不进行限制。
94.上述具体实施方式，并不构成对本公开实施例保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开实施例的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开实施例保护范围之内。

技术特征：
1.一种果园三维场景及重点区域的全景联动展示的方法，其特征在于，包括：获取无人机系统，所述无人机系统调用无人机对果园区域进行航线规划，得到规划数据，并将所述规划数据上传至所述无人机系统；所述无人机系统中无人机远程控制模块根据所述规划数据调用无人机进行影像采集，得到第一采集影像，并将所述采集影像上传至云端，其中，第一采集影像包括第一可见光影像和第一多光谱影像；所述云端对所述采集影像分别进行正射校正、空三计算以及影像拼接，得到第二采集影像，其中所述第二采集影像包括，第二可见光影像、第二多光谱正射影像以及dsm数据；根据所述dsm数据，得到果树株高、冠幅大小；根据所述多光谱影像，得到植被指数、lai、叶绿素含量、氮含量指标；根据所述果树株高、冠幅大小、植被指数、lai、叶绿素含量、氮含量指标，得到果树健康指数；根据所述第二多光谱正射影像以及dsm数据，得到果园三维模型；根据所述果树健康指数和dsm数据，得到果树健康指数三维模型；根据所述果园三维模型和果树健康指数三维模型，判断果树长势情况，并根据所述果树长势情况，针对需要关注的果树，获取所述需要关注的果树的位置信息并上传至无人机系统，所述无人机系统调用无人机获取所述需要关注的果树的全景影像；获取全景影像的全景数据，并将所述全景数据上传至云端，并通过全景影像的位置信息实现果园三维模型与所述全景数据的联动显示。2.根据权利要求1所述的方法，其特征在于，根据所述多光谱影像，得到植被指数，包括：针对所述植被指数，选用归一化植被指数，所述归一化植被指数的计算公式为：ndvi＝(r
nir-r
red
)/(r
nir
+r
red
)；其中，ndvi为归一化植被指数，r
nir
为近红外波段的反射率，r
red
为红波段的反射率。3.根据权利要求1所述的方法，其特征在于，根据所述果树健康指数和dsm数据，得到果树健康指数三维模型，包括：针对于所述果树健康指数三维模型，模型公式为：y＝f(h，s，lai，car，n)；其中，y表示果树的健康指数，f为加权计算规则，h为果树株高，s为冠幅大小，lai为叶面积指数，car为叶绿素含量，n为氮含量指标。4.根据权利要求1所述的方法，其特征在于，获取全景影像的全景数据，并将所述全景数据上传至云端，并通过全景影像的位置信息实现果园三维模型与所述全景数据的联动显示，包括：将所述全景数据传递至果园三维模型中并显示为标记点，通过点击标记点展示所述标记点位置的全景影像，实现三维模型数据与全景数据的联动显示；根据用户需求在所述果园三维模型中点击任意指定位置，算法根据所述指定位置的坐标信息，在全景数据库中匹配到最邻近的全景数据坐标信息，并根据所述全景数据坐标信息进行全景展示。5.一种果园三维场景及重点区域的全景联动展示的装置，其特征在于，包括：
规划数据获取模块：获取无人机系统，所述无人机系统调用无人机对果园区域进行航线规划，得到规划数据，并将所述规划数据上传至所述无人机系统；采集影像获取模块：所述无人机系统中无人机远程控制模块根据所述规划数据调用无人机进行影像采集，得到第一采集影像，并将所述采集影像上传至云端，其中，第一采集影像包括第一可见光影像和第一多光谱影像；采集影像处理模块：所述云端对所述采集影像分别进行正射校正、空三计算以及影像拼接，得到第二采集影像，其中所述第二采集影像包括，第二可见光影像、第二多光谱正射影像以及dsm数据；根据所述dsm数据，得到果树株高、冠幅大小；根据所述多光谱影像，得到植被指数、lai、叶绿素含量、氮含量指标；果树健康指数获取模块：根据所述果树株高、冠幅大小、植被指数、lai、叶绿素含量、氮含量指标，得到果树健康指数；全景影像获取模块：根据所述第二多光谱正射影像以及dsm数据，得到果园三维模型；根据所述果树健康指数和dsm数据，得到果树健康指数三维模型；根据所述果园三维模型和果树健康指数三维模型，判断果树长势情况，并根据所述果树长势情况，针对需要关注的果树，获取所述需要关注的果树的位置信息并上传至无人机系统，所述无人机系统调用无人机获取所述需要关注的果树的全景影像；联动模块：获取全景影像的全景数据，并将所述全景数据上传至云端，并通过全景影像的位置信息实现果园三维模型与所述全景数据的联动显示。6.一种果园三维场景及重点区域的全景联动展示的系统，其特征在于，包括：无人机系统、无人机远程控制模块、无人机影像处理模块、三维模型展示模块、全景数据展示模块；所述无人机系统，应用于获取果园三维场景及重点区域全景的源数据，实现远程控制、自主飞行、自主充电、数据自动上传的功能；所述无人机远程控制模块，应用于远程控制所述无人机系统，包括机库远程功能控制、无人机航线规划、远程上传无人机规划航线、无人机数据远程查看及上传；所述无人机影像处理模块，应用于无人机影像的拼接，包括无人机正射影像的拼接、无人机全景影像的拼接；所述三维模型展示模块，应用于展示基于可见光正射影像和dsm数据生成的果园三维模型，实现提供三维数据存储、导出的功能；所述全景数据展示模块，应用于展示基于无人机生成的全景影像，实现提供全景数据存储、导出的功能。7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现如权利要求1-4中任一项所述的果园三维场景及重点区域的全景联动展示的方法。

技术总结
本发明提供了一种果园三维场景及重点区域的全景联动展示的方法，属于无人机勘测、影像生成领域，尤其涉及一种果园三维场景及重点区域的全景展示联动的方法；其中包括：对果园区域进行航线规划，得到规划数据；并根据规划数据调用无人机进行影像采集，得到采集影像并上传到云端；云端对采集影像进行正射校正、空三计算和影像拼接得到第二采集影像；根据第二采集影像得到果园三维模型以及果园健康指数三维模型，针对需要关注的果树，得到针对需要关注的果树的坐标信息并上传给无人机系统，无人机系统根据坐标信息采集全景影像，实现了三维模型与全景数据之间的双向联动和显示，增强了数据的可视化交互体验感，达到了三维模型与全景数据的优势互补。全景数据的优势互补。全景数据的优势互补。


技术研发人员：郭建明 张旭博 夏兴英 刘颖东 吴连海 李贺 关士英 张敬 张园 郑佳媛 王伟 张伟波
受保护的技术使用者：北京爱科农科技有限公司
技术研发日：2023.07.25
技术公布日：2023/10/8