随着对地立体观测体系的建立,遥感大数据不断累积。传统基于文件、景/幅式的影像组织方式,时空基准不够统一,集中式存储不利于大规模并行分析。对地观测大数据分析仍缺乏一套统一的数据模型与基础设施理论。近年来,数据立方体的研究为对地观测领域大数据分析基础设施提供了前景。基于统一的分析就绪型多维数据模型和集成对地观测数据分析功能,可构建一个基于数据立方的对地观测大数据分析基础设施。因此,本文提出了一个面向大规模分析的多源对地观测时空立方体,相较于现有的数据立方体方法,强调多源数据的统一组织、基于云计算的立方体处理模式以及基于人工智能优化的立方体计算。研究有助于构建时空大数据分析的新框架,同时建立与商业智能领域的数据立方体关联,为时空大数据建立统一的时空组织模型,支持大范围、长时序的快速大规模对地观测数据分析。本文在性能上与开源数据立方做了对比,结果证明提出的多源对地观测时空立方体在处理性能上具有明显优势。
开源数据立方体是由卫星对地观测委员会CEOS(CommitteeonEarthObservationSatellites)推动的项目,目标是为了降低数据立方构建过程中的技术屏障,提供一种构建数据立方体的开源解决方案(CEOS,b)。开源数据立方面向卫星遥感数据,其通过对遥感影像进行重采样、重投影等处理,以瓦片的组织模式将数据纳入到统一的时空基准下进行管理。开源数据立方采用5个简单的数据表并结合JSONB格式来管理瓦片元数据,采用NetCDF格式存储瓦片数据。开源数据立方同样提供了OGC网络覆盖服务和网络处理服务等接口,并且支持用户在JupyterNotebook中自定义开发。
地球系统数据立方体是一个面向多源栅格数据的基础设施,该立方体将数据源作为一个维度,将多源栅格数据组织在一个统一分辨率和坐标系统的立方体中,有助于多源栅格数据的联合分析。该立方体主要采用Julia语言进行开发,同时也支持Python和R语言。数据存储方面采用Zarr数据格式在云上存储(
转载请注明:http://www.0431gb208.com/sjszyzl/9205.html