跨云的多维遥感数据立方体在线时空轴显示方法及装置

未命名 10-18 阅读:108 评论:0


1.本发明涉及遥感技术领域,尤其涉及一种跨云的多维遥感数据立方体在线时空轴显示方法及装置。


背景技术:

2.随着遥感数据的分辨率的不断提高、数据量以及数据类型的不断增加。在数据管理上,当前的遥感数据中心大多采用本地数据进行分析和处理,不能很好地利用云上地数据资源,导致传统的遥感数据处理方式不能适应多源遥感数据整合管理,难以满足遥感大型应用的数据需求。
3.针对多源遥感数据整合管理的问题,当前不同的遥感数据源归档的遥感数据在数据格式和元数据内容上往往存在异质性,导致难以管理多个异构数据源中的遥感数据,以及为用户提供并快速显示这些数据的统一视图。


技术实现要素:

4.针对现有技术存在的问题,本发明提供一种跨云的多维遥感数据立方体在线时空轴显示方法、装置、电子设备及存储介质。
5.本发明提供一种跨云的多维遥感数据立方体在线时空轴显示方法,包括:对来自不同云平台的多源遥感数据进行基于分布式内存跨云数据挂载,并按预设的时空范围及时间轴显示间隔构建多级并行数据检索任务,进行跨云的数据立方体检索;根据时间轴显示间隔,对检索结果进行云量与时空覆盖度最优的并行数据筛选,得到每个时间片显示所需的最优遥感数据立方体时空序列;利用基于分布式内存数据暂存的并行镶嵌方法,对每个尚未形成二维镶嵌图的时间片显示所需的数据立方体进行二维空间的并行数据镶嵌,得到每个时间片的预设尺度的二维镶嵌图并存入缓存数据库;采用基于金字塔格网分级缓存与并发加载技术,优先加载缓存于内存的立方体拼接图或快视图,对多个时间片的预设尺度的二维镶嵌图进行在线时空轴滚动显示。
6.在一个实施例中,所述对来自不同云平台的多源遥感数据进行基于分布式内存跨云数据挂载,并按预设的时空范围及时间轴显示间隔构建多级并行数据检索任务,进行跨云的数据立方体检索,包括:基于分布式内存文件系统构建跨云平台的分布式虚拟内存层,在所述分布式虚拟内存层中跨云挂载来自不同云存储平台或本地存储系统的多源遥感数据;利用基于多线程的爬虫技术从所述分布式虚拟内存层中自动爬取遥感数据的元数据信息并进行数据解析,基于解析后的元数据信息在数据立方体存储平台中进行数据立方体的构建与集成;按预设的时空范围及时间轴显示间隔,构建多级并行数据检索任务,进行跨云的数据立方体检索,包括:
1)在时间维度,在预设的时间范围内按照预设的时间间隔进行划分,得到多个时间轴上的时间片的一级子检索任务;2)在空间维度,按预设的空间范围,在每个子检索任务内,将预设的空间范围划分为大小相同的格网,得到多个二级子检索任务;3)将二级子检索任务分发给多个任务执行器,多个执行器并行地从数据立方体中并行检索符合预设的空间范围和预设的时间范围的多源遥感数据立方体索引信息,汇总多个任务执行器检索到的数据立方体索引信息,得到每个时空轴上的时间片的初始数据检索结果。
7.在一个实施例中,根据时间轴显示间隔,对检索结果进行云量与时空覆盖度最优的并行数据筛选,得到每个时间片显示所需的最优遥感数据立方体时空序列,包括:在空间维度,按预设的空间范围对每个时间片的初始数据检索序列进行空间划分,并为划分后的子区域构建最优数据筛选任务,分发给并行任务执行器;任务执行器并发地执行子区域的数据筛选任务,对各个子区域初始数据检索序列进行云量和数据覆盖度最优的并行数据筛选,包括:对子区域内的初始数据检索序列,按多边形边界范围大小和云量进行数据评分和排序;根据评分排序结果,选取多边形范围最大且云量最少的数据立方体,加入筛选数据队列,并将其初始数据检索序列中剔除通过所选数据与子区域的空间多边形运算,重新计算并更新子空间未被覆盖的空间多边形范围;对新序列继续排序并重复以上步骤,直到序列为空或已完全覆盖预设的空间范围;合并子区域筛选结果,得到每个时间片显示所需的最优遥感数据立方体时空序列。
8.在一个实施例中,所述利用基于分布式内存数据暂存的并行镶嵌方法,对每个尚未形成二维镶嵌图的时间片显示所需的数据立方体进行二维空间的并行数据镶嵌,得到每个时间片的预设尺度的二维镶嵌图并存入缓存数据库,包括:在二维空间维度,对每个时间片筛选后的数据立方体时空序列,进行按全球经纬度格网划分,以格网为单位构建并行镶嵌格网任务;对每个格网内的影像数据进行重投影和切分,采并用全球格网与hilbert相结合的二级编码方式对切分后的数据块进行地理编码,用于镶嵌过程中的数据库快速索引;采用分布式计算框架对切分后的数据块进行并行镶嵌处理,得到每个时间片的预设尺度的二维镶嵌图并存入缓存数据库。
9.在一个实施例中,所述采用基于金字塔格网分级缓存与并发加载技术,优先加载缓存于内存的立方体拼接图或快视图,对多个时间片的预设尺度的二维镶嵌图进行在线时空轴滚动显示,包括:利用分布式计算框架,对多个时间片的预设尺度的镶嵌图进行重投影和基于全球剖分格网的数据格网切分;并基于分布式存储-数据立方体-分布式缓存的分级缓存机制对切分后的二维格网数据瓦片进行分布式的多级数据缓存;利用分布式计算框架,从优先分布式多级缓存多个时间片的镶嵌数据瓦片,并对
其进行多级金字塔格网数据生产,得到每个时间片的预设尺度的二维镶嵌图;通过地图组件并发地加载金字塔数据,并在图层中渲染实现影像块并对多个时间片的预设尺度的二维镶嵌图进行在线时空轴滚动显示。
10.本发明还提供一种跨云的多维遥感数据立方体在线时空轴显示装置,包括:检索模块,用于对来自不同云平台的多源遥感数据进行基于分布式内存跨云数据挂载,并按预设的时空范围及时间轴显示间隔构建多级并行数据检索任务,进行跨云的数据立方体检索;筛选模块,用于根据时间轴显示间隔,对检索结果进行云量与时空覆盖度最优的并行数据筛选,得到每个时间片显示所需的最优遥感数据立方体时空序列;处理模块,用于利用基于分布式内存数据暂存的并行镶嵌方法,对每个尚未形成二维镶嵌图的时间片显示所需的数据立方体进行二维空间的并行数据镶嵌,得到每个时间片的预设尺度的二维镶嵌图并存入缓存数据库;显示模块,用于采用基于金字塔格网分级缓存与并发加载技术,优先加载缓存于内存的立方体拼接图或快视图,对多个时间片的预设尺度的二维镶嵌图进行在线时空轴滚动显示。
11.在一个实施例中,所述检索模块具体用于:基于分布式内存文件系统构建跨云平台的分布式虚拟内存层,在所述分布式虚拟内存层中跨云挂载来自不同云存储平台或本地存储系统的多源遥感数据;利用基于多线程的爬虫技术从所述分布式虚拟内存层中自动爬取遥感数据的元数据信息并进行数据解析,基于解析后的元数据信息在数据立方体存储平台中进行数据立方体的构建与集成;按预设的时空范围及时间轴显示间隔,构建多级并行数据检索任务,进行跨云的数据立方体检索,包括:1)在时间维度,在预设的时间范围内按照预设的时间间隔进行划分,得到多个时间轴上的时间片的一级子检索任务;2)在空间维度,按预设的空间范围,在每个子检索任务内,将预设的空间范围划分为大小相同的格网,得到多个二级子检索任务;3)将二级子检索任务分发给多个任务执行器,多个执行器并行地从数据立方体中并行检索符合预设的空间范围和预设的时间范围的多源遥感数据立方体索引信息,汇总多个任务执行器检索到的数据立方体索引信息,得到每个时空轴上的时间片的初始数据检索结果。
12.在一个实施例中,所述筛选模块具体用于:在空间维度,按预设的空间范围对每个时间片的初始数据检索序列进行空间划分,并为划分后的子区域构建最优数据筛选任务,分发给并行任务执行器;任务执行器并发地执行子区域的数据筛选任务,对各个子区域初始数据检索序列进行云量和数据覆盖度最优的并行数据筛选,包括:对子区域内的初始数据检索序列,按多边形边界范围大小和云量进行数据评分和排序;根据评分排序结果,选取多边形范围最大且云量最少的数据立方体,加入筛选数
据队列,并将其初始数据检索序列中剔除通过所选数据与子区域的空间多边形运算,重新计算并更新子空间未被覆盖的空间多边形范围;对新序列继续排序并重复以上步骤,直到序列为空或已完全覆盖预设的空间范围;合并子区域筛选结果,得到每个时间片显示所需的最优遥感数据立方体时空序列。
13.本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述跨云的多维遥感数据立方体在线时空轴显示方法的步骤。
14.本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述跨云的多维遥感数据立方体在线时空轴显示方法的步骤。
15.本发明实施例提供的一种跨云的多维遥感数据立方体在线时空轴显示方法、装置、电子设备及存储介质,能够实现基于数据立方体的跨云时空数据检索,云量与时空覆盖度最优的并行数据筛选,基于分布式内存数据预取与暂存的分布式数据镶嵌,基于金字塔格网分级缓存与并发加载的遥感拼接时序图在线时空轴显示,为遥感领域的人员提供方便高效的管理和获取和遥感大数据的方式,为大时空范围内的资源检测、地表分类识别等遥感应用提供数据分析的平台。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
17.图1为本发明跨云的多维遥感数据立方体在线时空轴显示方法的流程图;图2为本发明跨云的多维遥感数据立方体在线时空轴显示方法的整体具体流程图;图3为本发明的云量与时空覆盖度最优的并行数据筛选过程实例图;图4为本发明基于分布式内存数据预取与暂存的分布式数据镶嵌子流程图;图5为本发明基于金字塔格网分级缓存与并发加载的遥感拼接时序图在线时空轴显示子流程图;图6为本发明跨云的多维遥感数据立方体在线时空轴显示装置的结构图;图7为本发明电子设备的结构图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
19.下面结合图1-图7描述本发明提供的跨云的多维遥感数据立方体在线时空轴显示方法、装置、电子设备及存储介质。
20.图1和图2示出了本发明提供的一种跨云的多维遥感数据立方体在线时空轴显示方法的流程示意图及具体流程示意图,参见图1和图2,该方法包括以下步骤:11、对来自不同云平台的多源遥感数据进行基于分布式内存跨云数据挂载,并按预设的时空范围及时间轴显示间隔构建多级并行数据检索任务,进行跨云的数据立方体检索;12、根据时间轴显示间隔,对检索结果进行云量与时空覆盖度最优的并行数据筛选,得到每个时间片显示所需的最优遥感数据立方体时空序列;13、利用基于分布式内存数据暂存的并行镶嵌方法,对每个尚未形成二维镶嵌图的时间片显示所需的数据立方体进行二维空间的并行数据镶嵌,得到每个时间片的预设尺度的二维镶嵌图并存入缓存数据库;14、采用基于金字塔格网分级缓存与并发加载技术,优先加载缓存于内存的立方体拼接图或快视图,对多个时间片的预设尺度的二维镶嵌图进行在线时空轴滚动显示。
21.针对步骤11,需要说明的是,具体如下:首先,分布式虚拟内存的多源遥感大数据跨云挂载。在分布式虚拟内存层中挂在各存储平台(如不同云存储平台或本地存储系统)的遥感数据集,利用基于多线程的爬虫技术从分布式虚拟内存层中自动爬取遥感数据集的元数据信息,基于元数据信息在数据立方体存储平台中构建数据立方体。
22.为实现跨云检索,使用以内存为中心的分布式存储系统 alluxio 来对亚马逊云、谷歌云、hdfs 以及本地存储系统进行挂载,链接各存储平台的可用的遥感数据集,构建跨云平台的分布式虚拟内存层。利用爬虫技术从分布式虚拟内存层中自动爬取遥感数据集的元数据信息,基于元数据信息构建数据立方体。该数据立方体能够提供索引,能够助于系统根据多源影像元数据信息检索到对应的影像信息。
23.其次,多级跨云并行数据检索任务构建。在每个基于时空范围的检索过程中,首先确定预设的时间范围,在时间维度上按照系统预设的时间间隔进行划分,得到多个时间段(时间轴上的时间片)的一级子检索任务,启用多个线程并行处理所有一级子检索任务;然后确定预设的空间范围,在每个一级子检索任务内对空间维度进一步划分,将空间范围划分为大小相同的格网(如格网大小默认为5
°
),得到多个二级子检索任务。将二级子检索分发给系统中的多个执行器,多个执行器并行地从数据立方体中并行检索符合空间范围和时间范围的多源影像元数据信息,最后汇总多个执行器的检索结果,得到每个时空轴上的时间片的初始数据检索结果,即影像元数据信息。
24.本发明通过从空间和时间上的划分及并行检索,提高检索过程的精确性及减小检索过程中的处理压力。
25.针对步骤12,需要说明的是,具体如下:在空间维度,按预设的空间范围对每个时间片的初始数据检索序列进行空间划分,并为划分后的子区域构建最优数据筛选任务,分发给并行任务执行器;任务执行器并发地执行子区域的数据筛选任务,对各个子区域初始数据检索序列进行云量和数据覆盖度最优的并行数据筛选,包括:
对子区域内的初始数据检索序列,按多边形边界范围大小和云量进行数据评分和排序;根据评分排序结果,选取多边形范围最大且云量最少的数据立方体,加入筛选数据队列,并将其初始数据检索序列中剔除通过所选数据与子区域的空间多边形运算,重新计算并更新子空间未被覆盖的空间多边形范围;对新序列继续排序并重复以上步骤,直到序列为空或已完全覆盖预设的空间范围;合并子区域筛选结果,得到每个时间片显示所需的最优遥感数据立方体时空序列。
26.针对上述的描述,参见图3,具体为:根据影像元数据信息中的影像有效范围坐标构建代表影像边界的多边形序列p,同时记录多边形到对应影像信息的映射;将对预设空间范围q进行划分,得到多个大小相同的子空间范围(即子区域) { q1, q2, ... , qn } ,并行地对每个子空间范围进行影像筛选;将多边形pi和划分得到的 { q1, q2, ... , qn } 进行匹配,每个子空间qi记录与自己相交的多边形序列pi,将pi中的每个多边形与qi构成的多边形作与运算,保留pi和qi相交的部分得到si,对si进行由大到小排序;每次选取si中第一个,即评分最高的多边形si[0],将多边形si[0]从序列中剔除,并让余下的所有多边形和si[0]作差运算得到新的多边形序列si’,对新序列继续排序并重复以上步骤直到序列为空或已完全覆盖预设空间范围。
[0027]
针对步骤13,需要说明的是,参见图4,具体如下:在二维空间维度,对每个时间片筛选后的数据立方体时空序列,进行按全球经纬度格网划分,以格网为单位构建并行镶嵌格网任务;对每个格网内的影像数据进行重投影和切分,采并用全球格网与hilbert相结合的二级编码方式对切分后的数据块进行地理编码,用于镶嵌过程中的数据库快速索引;采用分布式计算框架对切分后的数据块进行并行镶嵌处理,得到每个时间片的预设尺度的二维镶嵌图并存入缓存数据库。
[0028]
需要说明的是,首先获取所有待拼接影像的最大经纬度范围,并将最大经纬度范围划分为固定大小的格网块,将序列中的影像按照经纬度范围是否与格网相交将其划分至多个格网中,形成多个可多线程并行处理的格网任务,对每个格网内的影像数据进行重投影和切分,并采用全球格网与hilbert相结合的二级编码方式对切分后的数据块进行地理编码以提供镶嵌过程中的数据库快速索引;采用分布式计算框架对切分后的数据块进行并行镶嵌处理,并为数据拼接、拼接线处理及匀色等处理步骤之间提供基于分布式内存的数据暂存与交换,得到每个时间片的大尺度二维镶嵌图。
[0029]
通过从空间上的划分及并行拼接,减小拼接过程中的处理压力。还需要说明的是,拼接完成的检索影像还需进行存储过程,本发明将拼接成功的影像信息缓存在redis中,redis是内存数据库,读写速度快,但redis缺乏odc中针对影像信息的高效时空索引,因此本发明通过redis的有序集合(zset)和hilbert编码建立了一个索引结构以实现影像信息的快速检索。有序集合的键为时间信息,对应一个定长的时间段,由该时间段的开始时间的
时间戳表示;每一项为影像块的元数据信息;每一项的评分则是影像块空间范围对应全球经纬度格网划分的hilbert编码值。检索时首先根据检索条件的时间范围确定符合条件的所有有序集合对应的键值,再根据检索条件的空间范围计算其对应的hilbert编码范围,最后根据有序集合的范围查询检索得到符合时空范围的元数据检索结果。
[0030]
针对步骤14,需要说明的是,参见图5,具体如下:利用分布式计算框架,对多个时间片的预设尺度的镶嵌图进行重投影和基于全球剖分格网的数据格网切分;并基于分布式存储-数据立方体-分布式缓存的分级缓存机制对切分后的二维格网数据瓦片进行分布式的多级数据缓存;利用分布式计算框架,从优先分布式多级缓存多个时间片的镶嵌数据瓦片,并对其进行多级金字塔格网数据生产,得到每个时间片的预设尺度的二维镶嵌图;通过地图组件并发地加载金字塔数据,并在图层中渲染实现影像块并对多个时间片的预设尺度的二维镶嵌图进行在线时空轴滚动显示。
[0031]
在本发明的显示过程中,加载影像时用户在客户端拖动时间轴以选择查看某一时间段的影像时,触发时间轴组件事件,客户端以当前查询时间段为时间参数向服务端发出获取当前时间段影像的请求,服务端接收请求根据请求时间段(默认是最早的时间段)从分布式内存中检索符合时空范围的影像信息,根据其中的路径信息读取影像并对其重投影切分后通过分布式计算框架并行生成多级的金字塔数据,最后通过客户端的地图组件并发加载将金字塔数据块实现影像的加载与显示。
[0032]
在本发明中,影像金字塔数据的生成,首先读取影像,根据金字塔最高层级z所对应的影像单元的分辨率(2z)重投影后分片,对每一块切片构建键值对,其中键采用包含影像切片所覆盖空间信息的索引,值为影像切片,接着从最高层到最低层级依次构建每层的金字塔数据。每层的金字塔数据包含对应层级的影像切片集合以及一个记录影像切片和空间范围映射的元数据信息;对于除最高层级外的每一层,将上一层的影像切片集合重投影后分块,使其影像切片的分辨率是上一层级的一半,并相应修改键中的空间信息,将影像切片序列化后以二进制文件形式写入本地同时根据影像切片的对应的键生成包含相应映射的元数据信息。为了加速写入过程,本发明对每一缩放等级分别启用一个独立线程以实现多个缩放层级金字塔数据的并行写入。本发明默认生成10级到0级的金字塔数据。
[0033]
在本发明中,金字塔数据到客户端地图组件的映射,服务端生成金字塔数据后将路径信息回传客户端,客户端地图组件接收路径信息后更新显示图层地图组件默认将地图范围分块并对每一分块赋予空间序号x和y,当用户浏览地图时,地图组件对每个块根据当前图层中地路径信息、缩放层级z以及块的空间序号x和y并行地向服务端发送tms请求,服务端根据请求信息读取相应路径中的z层金字塔的序号x和y对应的金字塔数据,染色后以字节形式回传客户端,地图组件将收到的字节在图层中渲染实现影像块并发加载。
[0034]
本发明实施例提供的一种跨云的多维遥感数据立方体在线时空轴显示方法,能够实现基于数据立方体的跨云时空数据检索,云量与时空覆盖度最优的并行数据筛选,基于分布式内存数据预取与暂存的分布式数据镶嵌,基于金字塔格网分级缓存与并发加载的遥感拼接时序图在线时空轴显示,为遥感领域的人员提供方便高效的管理和获取和遥感大数据的方式,为大时空范围内的资源检测、地表分类识别等遥感应用提供数据分析的平台。
[0035]
下面对本发明提供的跨云的多维遥感数据立方体在线时空轴显示装置进行描述,
下文描述的跨云的多维遥感数据立方体在线时空轴显示装置与上文描述的跨云的多维遥感数据立方体在线时空轴显示方法可相互对应参照。
[0036]
图6示出了本发明提供的一种跨云的多维遥感数据立方体在线时空轴显示装置的结构示意图,参见图6,该装置包括检索模块61、筛选模块62、处理模块63和显示模块64,其中:检索模块61,用于对来自不同云平台的多源遥感数据进行基于分布式内存跨云数据挂载,并按预设的时空范围及时间轴显示间隔构建多级并行数据检索任务,进行跨云的数据立方体检索;筛选模块62,用于根据时间轴显示间隔,对检索结果进行云量与时空覆盖度最优的并行数据筛选,得到每个时间片显示所需的最优遥感数据立方体时空序列;处理模块63,用于利用基于分布式内存数据暂存的并行镶嵌方法,对每个尚未形成二维镶嵌图的时间片显示所需的数据立方体进行二维空间的并行数据镶嵌,得到每个时间片的预设尺度的二维镶嵌图并存入缓存数据库;显示模块64,用于采用基于金字塔格网分级缓存与并发加载技术,优先加载缓存于内存的立方体拼接图或快视图,对多个时间片的预设尺度的二维镶嵌图进行在线时空轴滚动显示。
[0037]
在上述装置的进一步装置中,该检索模块具体用于:基于分布式内存文件系统构建跨云平台的分布式虚拟内存层,在所述分布式虚拟内存层中跨云挂载来自不同云存储平台或本地存储系统的多源遥感数据;利用基于多线程的爬虫技术从所述分布式虚拟内存层中自动爬取遥感数据的元数据信息并进行数据解析,基于解析后的元数据信息在数据立方体存储平台中进行数据立方体的构建与集成;按预设的时空范围及时间轴显示间隔,构建多级并行数据检索任务,进行跨云的数据立方体检索,包括:1)在时间维度,在预设的时间范围内按照预设的时间间隔进行划分,得到多个时间轴上的时间片的一级子检索任务;2)在空间维度,按预设的空间范围,在每个子检索任务内,将预设的空间范围划分为大小相同的格网,得到多个二级子检索任务;3)将二级子检索任务分发给多个任务执行器,多个执行器并行地从数据立方体中并行检索符合预设的空间范围和预设的时间范围的多源遥感数据立方体索引信息,汇总多个任务执行器检索到的数据立方体索引信息,得到每个时空轴上的时间片的初始数据检索结果。
[0038]
在上述装置的进一步装置中,该筛选模块具体用于:在空间维度,按预设的空间范围对每个时间片的初始数据检索序列进行空间划分,并为划分后的子区域构建最优数据筛选任务,分发给并行任务执行器;任务执行器并发地执行子区域的数据筛选任务,对各个子区域初始数据检索序列进行云量和数据覆盖度最优的并行数据筛选,包括:对子区域内的初始数据检索序列,按多边形边界范围大小和云量进行数据评分和排序;
根据评分排序结果,选取多边形范围最大且云量最少的数据立方体,加入筛选数据队列,并将其初始数据检索序列中剔除通过所选数据与子区域的空间多边形运算,重新计算并更新子空间未被覆盖的空间多边形范围;对新序列继续排序并重复以上步骤,直到序列为空或已完全覆盖预设的空间范围;合并子区域筛选结果,得到每个时间片显示所需的最优遥感数据立方体时空序列。
[0039]
在上述装置的进一步装置中,该处理模块具体用于:在二维空间维度,对每个时间片筛选后的数据立方体时空序列,进行按全球经纬度格网划分,以格网为单位构建并行镶嵌格网任务;对每个格网内的影像数据进行重投影和切分,采并用全球格网与hilbert相结合的二级编码方式对切分后的数据块进行地理编码,用于镶嵌过程中的数据库快速索引;采用分布式计算框架对切分后的数据块进行并行镶嵌处理,得到每个时间片的预设尺度的二维镶嵌图并存入缓存数据库。
[0040]
在上述装置的进一步装置中,该显示模块具体用于:利用分布式计算框架,对多个时间片的预设尺度的镶嵌图进行重投影和基于全球剖分格网的数据格网切分;并基于分布式存储-数据立方体-分布式缓存的分级缓存机制对切分后的二维格网数据瓦片进行分布式的多级数据缓存;利用分布式计算框架,从优先分布式多级缓存多个时间片的镶嵌数据瓦片,并对其进行多级金字塔格网数据生产,得到每个时间片的预设尺度的二维镶嵌图;通过地图组件并发地加载金字塔数据,并在图层中渲染实现影像块并对多个时间片的预设尺度的二维镶嵌图进行在线时空轴滚动显示。
[0041]
由于本发明实施例所述装置与上述实施例所述方法的原理相同,对于更加详细的解释内容在此不再赘述。
[0042]
需要说明的是,本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
[0043]
本发明提供的一种跨云的多维遥感数据立方体在线时空轴显示装置,能够实现基于数据立方体的跨云时空数据检索,云量与时空覆盖度最优的并行数据筛选,基于分布式内存数据预取与暂存的分布式数据镶嵌,基于金字塔格网分级缓存与并发加载的遥感拼接时序图在线时空轴显示,为遥感领域的人员提供方便高效的管理和获取和遥感大数据的方式,为大时空范围内的资源检测、地表分类识别等遥感应用提供数据分析的平台。
[0044]
图7示例了一种电子设备的实体结构示意图,如图7所示,该电子设备可以包括:处理器(processor)71、通信接口(communications interface)72、存储器(memory)73和通信总线74,其中,处理器71,通信接口72,存储器73通过通信总线74完成相互间的通信。处理器71可以调用存储器73中的逻辑指令,以执行如下方法:对来自不同云平台的多源遥感数据进行基于分布式内存跨云数据挂载,并按预设的时空范围及时间轴显示间隔构建多级并行数据检索任务,进行跨云的数据立方体检索;根据时间轴显示间隔,对检索结果进行云量与时空覆盖度最优的并行数据筛选,得到每个时间片显示所需的最优遥感数据立方体时空序列;
利用基于分布式内存数据暂存的并行镶嵌方法,对每个尚未形成二维镶嵌图的时间片显示所需的数据立方体进行二维空间的并行数据镶嵌,得到每个时间片的预设尺度的二维镶嵌图并存入缓存数据库;采用基于金字塔格网分级缓存与并发加载技术,优先加载缓存于内存的立方体拼接图或快视图,对多个时间片的预设尺度的二维镶嵌图进行在线时空轴滚动显示。
[0045]
此外,上述的存储器73中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0046]
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的方法,该方法包括:对来自不同云平台的多源遥感数据进行基于分布式内存跨云数据挂载,并按预设的时空范围及时间轴显示间隔构建多级并行数据检索任务,进行跨云的数据立方体检索;根据时间轴显示间隔,对检索结果进行云量与时空覆盖度最优的并行数据筛选,得到每个时间片显示所需的最优遥感数据立方体时空序列;利用基于分布式内存数据暂存的并行镶嵌方法,对每个尚未形成二维镶嵌图的时间片显示所需的数据立方体进行二维空间的并行数据镶嵌,得到每个时间片的预设尺度的二维镶嵌图并存入缓存数据库;采用基于金字塔格网分级缓存与并发加载技术,优先加载缓存于内存的立方体拼接图或快视图,对多个时间片的预设尺度的二维镶嵌图进行在线时空轴滚动显示。
[0047]
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的方法,例如包括:对来自不同云平台的多源遥感数据进行基于分布式内存跨云数据挂载,并按预设的时空范围及时间轴显示间隔构建多级并行数据检索任务,进行跨云的数据立方体检索;根据时间轴显示间隔,对检索结果进行云量与时空覆盖度最优的并行数据筛选,得到每个时间片显示所需的最优遥感数据立方体时空序列;利用基于分布式内存数据暂存的并行镶嵌方法,对每个尚未形成二维镶嵌图的时间片显示所需的数据立方体进行二维空间的并行数据镶嵌,得到每个时间片的预设尺度的二维镶嵌图并存入缓存数据库;采用基于金字塔格网分级缓存与并发加载技术,优先加载缓存于内存的立方体拼接图或快视图,对多个时间片的预设尺度的二维镶嵌图进行在线时空轴滚动显示。
[0048]
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该
计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0049]
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征:
1.一种跨云的多维遥感数据立方体在线时空轴显示方法,其特征在于,包括:对来自不同云平台的多源遥感数据进行基于分布式内存跨云数据挂载,并按预设的时空范围及时间轴显示间隔构建多级并行数据检索任务,进行跨云的数据立方体检索;根据时间轴显示间隔,对检索结果进行云量与时空覆盖度最优的并行数据筛选,得到每个时间片显示所需的最优遥感数据立方体时空序列;利用基于分布式内存数据暂存的并行镶嵌方法,对每个尚未形成二维镶嵌图的时间片显示所需的数据立方体进行二维空间的并行数据镶嵌,得到每个时间片的预设尺度的二维镶嵌图并存入缓存数据库;采用基于金字塔格网分级缓存与并发加载技术,优先加载缓存于内存的立方体拼接图或快视图,对多个时间片的预设尺度的二维镶嵌图进行在线时空轴滚动显示。2.根据权利要求1所述的跨云的多维遥感数据立方体在线时空轴显示方法,其特征在于,所述对来自不同云平台的多源遥感数据进行基于分布式内存跨云数据挂载,并按预设的时空范围及时间轴显示间隔构建多级并行数据检索任务,进行跨云的数据立方体检索,包括:基于分布式内存文件系统构建跨云平台的分布式虚拟内存层,在所述分布式虚拟内存层中跨云挂载来自不同云存储平台或本地存储系统的多源遥感数据;利用基于多线程的爬虫技术从所述分布式虚拟内存层中自动爬取遥感数据的元数据信息并进行数据解析,基于解析后的元数据信息在数据立方体存储平台中进行数据立方体的构建与集成;按预设的时空范围及时间轴显示间隔,构建多级并行数据检索任务,进行跨云的数据立方体检索,包括:1)在时间维度,在预设的时间范围内按照预设的时间间隔进行划分,得到多个时间轴上的时间片的一级子检索任务;2)在空间维度,按预设的空间范围,在每个子检索任务内,将预设的空间范围划分为大小相同的格网,得到多个二级子检索任务;3)将二级子检索任务分发给多个任务执行器,多个执行器并行地从数据立方体中并行检索符合预设的空间范围和预设的时间范围的多源遥感数据立方体索引信息,汇总多个任务执行器检索到的数据立方体索引信息,得到每个时空轴上的时间片的初始数据检索结果。3.根据权利要求2所述的跨云的多维遥感数据立方体在线时空轴显示方法,其特征在于,根据时间轴显示间隔,对检索结果进行云量与时空覆盖度最优的并行数据筛选,得到每个时间片显示所需的最优遥感数据立方体时空序列,包括:在空间维度,按预设的空间范围对每个时间片的初始数据检索序列进行空间划分,并为划分后的子区域构建最优数据筛选任务,分发给并行任务执行器;任务执行器并发地执行子区域的数据筛选任务,对各个子区域初始数据检索序列进行云量和数据覆盖度最优的并行数据筛选,包括:对子区域内的初始数据检索序列,按多边形边界范围大小和云量进行数据评分和排序;根据评分排序结果,选取多边形范围最大且云量最少的数据立方体,加入筛选数据队
列,并将其初始数据检索序列中剔除通过所选数据与子区域的空间多边形运算,重新计算并更新子空间未被覆盖的空间多边形范围;对新序列继续排序并重复以上步骤,直到序列为空或已完全覆盖预设的空间范围;合并子区域筛选结果,得到每个时间片显示所需的最优遥感数据立方体时空序列。4.根据权利要求3所述的跨云的多维遥感数据立方体在线时空轴显示方法,其特征在于,所述利用基于分布式内存数据暂存的并行镶嵌方法,对每个尚未形成二维镶嵌图的时间片显示所需的数据立方体进行二维空间的并行数据镶嵌,得到每个时间片的预设尺度的二维镶嵌图并存入缓存数据库,包括:在二维空间维度,对每个时间片筛选后的数据立方体时空序列,进行按全球经纬度格网划分,以格网为单位构建并行镶嵌格网任务;对每个格网内的影像数据进行重投影和切分,采并用全球格网与hilbert相结合的二级编码方式对切分后的数据块进行地理编码,用于镶嵌过程中的数据库快速索引;采用分布式计算框架对切分后的数据块进行并行镶嵌处理,得到每个时间片的预设尺度的二维镶嵌图并存入缓存数据库。5.根据权利要求4所述的跨云的多维遥感数据立方体在线时空轴显示方法,其特征在于,所述采用基于金字塔格网分级缓存与并发加载技术,优先加载缓存于内存的立方体拼接图或快视图,对多个时间片的预设尺度的二维镶嵌图进行在线时空轴滚动显示,包括:利用分布式计算框架,对多个时间片的预设尺度的镶嵌图进行重投影和基于全球剖分格网的数据格网切分;并基于分布式存储-数据立方体-分布式缓存的分级缓存机制对切分后的二维格网数据瓦片进行分布式的多级数据缓存;利用分布式计算框架,从优先分布式多级缓存多个时间片的镶嵌数据瓦片,并对其进行多级金字塔格网数据生产,得到每个时间片的预设尺度的二维镶嵌图;通过地图组件并发地加载金字塔数据,并在图层中渲染实现影像块并对多个时间片的预设尺度的二维镶嵌图进行在线时空轴滚动显示。6.一种跨云的多维遥感数据立方体在线时空轴显示装置,其特征在于,包括:检索模块,用于对来自不同云平台的多源遥感数据进行基于分布式内存跨云数据挂载,并按预设的时空范围及时间轴显示间隔构建多级并行数据检索任务,进行跨云的数据立方体检索;筛选模块,用于根据时间轴显示间隔,对检索结果进行云量与时空覆盖度最优的并行数据筛选,得到每个时间片显示所需的最优遥感数据立方体时空序列;处理模块,用于利用基于分布式内存数据暂存的并行镶嵌方法,对每个尚未形成二维镶嵌图的时间片显示所需的数据立方体进行二维空间的并行数据镶嵌,得到每个时间片的预设尺度的二维镶嵌图并存入缓存数据库;显示模块,用于采用基于金字塔格网分级缓存与并发加载技术,优先加载缓存于内存的立方体拼接图或快视图,对多个时间片的预设尺度的二维镶嵌图进行在线时空轴滚动显示。7.根据权利要求6所述的跨云的多维遥感数据立方体在线时空轴显示装置,其特征在于,所述检索模块具体用于:基于分布式内存文件系统构建跨云平台的分布式虚拟内存层,在所述分布式虚拟内存
层中跨云挂载来自不同云存储平台或本地存储系统的多源遥感数据;利用基于多线程的爬虫技术从所述分布式虚拟内存层中自动爬取遥感数据的元数据信息并进行数据解析,基于解析后的元数据信息在数据立方体存储平台中进行数据立方体的构建与集成;按预设的时空范围及时间轴显示间隔,构建多级并行数据检索任务,进行跨云的数据立方体检索,包括:1)在时间维度,在预设的时间范围内按照预设的时间间隔进行划分,得到多个时间轴上的时间片的一级子检索任务;2)在空间维度,按预设的空间范围,在每个子检索任务内,将预设的空间范围划分为大小相同的格网,得到多个二级子检索任务;3)将二级子检索任务分发给多个任务执行器,多个执行器并行地从数据立方体中并行检索符合预设的空间范围和预设的时间范围的多源遥感数据立方体索引信息,汇总多个任务执行器检索到的数据立方体索引信息,得到每个时空轴上的时间片的初始数据检索结果。8.根据权利要求7所述的跨云的多维遥感数据立方体在线时空轴显示装置,其特征在于,所述筛选模块具体用于:在空间维度,按预设的空间范围对每个时间片的初始数据检索序列进行空间划分,并为划分后的子区域构建最优数据筛选任务,分发给并行任务执行器;任务执行器并发地执行子区域的数据筛选任务,对各个子区域初始数据检索序列进行云量和数据覆盖度最优的并行数据筛选,包括:对子区域内的初始数据检索序列,按多边形边界范围大小和云量进行数据评分和排序;根据评分排序结果,选取多边形范围最大且云量最少的数据立方体,加入筛选数据队列,并将其初始数据检索序列中剔除通过所选数据与子区域的空间多边形运算,重新计算并更新子空间未被覆盖的空间多边形范围;对新序列继续排序并重复以上步骤,直到序列为空或已完全覆盖预设的空间范围;合并子区域筛选结果,得到每个时间片显示所需的最优遥感数据立方体时空序列。9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述跨云的多维遥感数据立方体在线时空轴显示方法的步骤。10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至5任一项所述跨云的多维遥感数据立方体在线时空轴显示方法的步骤。

技术总结
本发明涉及遥感技术领域,提供一种跨云的多维遥感数据立方体在线时空轴显示方法及装置,该方法包括:对多源遥感数据按预设的时空范围及时间轴显示间隔构建多级并行数据检索任务,进行跨云的数据立方体检索;根据时间轴显示间隔,对检索结果进行云量与时空覆盖度最优的并行数据筛选,得到每个时间片显示所需的最优遥感数据立方体时空序列;对每个尚未形成二维镶嵌图的时间片显示所需的数据立方体进行二维空间的并行数据镶嵌,得到每个时间片的预设尺度的二维镶嵌图;对多个时间片的预设尺度的二维镶嵌图进行在线时空轴滚动显示,提供高效的管理和获取遥感大数据的方式,为大时空范围内的资源检测、地表分类识别等遥感应用提供分析平台。供分析平台。供分析平台。


技术研发人员:马艳 任星韬 张芷馨 陈腊娇
受保护的技术使用者:中国科学院空天信息创新研究院
技术研发日:2023.09.05
技术公布日:2023/10/11
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐