大数据架构的遥感资源存储管理方法
Resource Storage and Management Method of Massive Remote Sensing Data Supported by the Big Data Architecture
查看参考文献18篇
|
文摘
|
随着遥感数据获取能力的日益增强,一方面导致遥感数据的多元化和海量化,使"存不起"的问题日益突出,另一方面由于缺少有效和高效的存储管理方法,难以及时发现终端应用所需的数据,使结果"存而无用"。本文围绕巨量、高吞吐、空间结构化的遥感影像数据及其基础土地信息产品的存储与管理问题,提出采用大数据架构的遥感资源存储管理方法,并基于MongoDB数据库实现了原型系统;通过使用PB量级数据进行试验,证明了该方法满足大数据时代对遥感矢栅数据的存储管理需求。 |
|
其他语种文摘
|
The ability to acquire the remote sensing data is increasing day by day, which directly causes the remote sensing data to become diverse and massive, and the issue that the massive amount of data is being non-affordable to store has become more and more prominent. On the other hand, due to the lack of an effective and efficient method of storage management, the data that theterminal application need is difficult to found in a timely manner, therefore, is stored but useless. This paper focuses on the storage and management problems of the massive, high through put and spatially structured remote sensing data and the basic land information products. We have presented a storage and management method which uses the big data structure and can integrate both the vector and raster data. Based on the MongoDB database, the prototype system is realized and we use the data of PB rangeto test it. Eventually, we have proved that this method meets the demand for the storage and management of the remote sensing vector-raster data in the era of big data. On the basis of the study results and prototype system, the following studies need to be further explored: (1) The organization and management methods for internal data of resources, especially the objective and timely management for the vector data; (2) Real-time interactive visualization methods for different data types and storage modes of resources, achieving dynamic extraction and rendering ability based on in the heterogeneous data model; (3) To construct large data computing architecture on the heterogeneous type storage mode, and to implement multimodal computing framework to meet the needs of the remote sensing applications require. |
|
来源
|
地球信息科学学报
,2016,18(5):681-689 【核心库】
|
|
关键词
|
遥感数据管理
;
遥感大数据
;
存储架构
;
数据组织方式
;
MongoDB
|
|
地址
|
1.
中国科学院遥感与数字地球研究所, 遥感科学国家重点实验室, 北京, 100101
2.
中科软科技股份有限公司, 北京, 100190
|
|
语种
|
中文 |
|
文献类型
|
研究性论文 |
|
ISSN
|
1560-8999 |
|
学科
|
测绘学 |
|
基金
|
国家自然科学青年基金项目
;
中国科学院重点部署项目
;
中国科学院遥感与数字地球研究所"135"计划项目
|
|
文献收藏号
|
CSCD:5694341
|
参考文献 共
18
共1页
|
|
1.
李德仁. 遥感大数据自动分析与数据挖掘.
测绘学报,2014,43(12):1211-1216
|
被引
108
次
|
|
|
|
|
2.
龚健雅. 面向对象集成化空间数据库管理系统的设计与实现.
武汉测绘科技大学学报,2000,25(4):289-293
|
被引
20
次
|
|
|
|
|
3.
付雪梅.
GIS空间数据快速检索技术研究及应用,2006
|
被引
2
次
|
|
|
|
|
4.
王密. 大型无缝影像数据库管理系统的设计与实现.
武汉大学学报·信息科学版,2003,28(3):294-300
|
被引
22
次
|
|
|
|
|
5.
池子文. 一种基于影像块组织的遥感数据分布式存储方法.
浙江大学学报(理学版),2014,41(1):95-99
|
被引
3
次
|
|
|
|
|
6.
陈崇成. 基于NoSQL的海量空间数据云存储与服务方法.
地球信息科学学报,2013,15(2):166-174
|
被引
24
次
|
|
|
|
|
7.
申德荣. 支持大数据管理的NoSQL系统研究综述.
软件学报,2013,24(8):1786-1803
|
被引
48
次
|
|
|
|
|
8.
吕雪锋. 海量遥感数据存储管理技术综述.
中国科学:技术科学,2011,41(12):1561-1573
|
被引
18
次
|
|
|
|
|
9.
李荣亚.
双态云支持下高分辨率遥感存储与计算一体化研究,2014
|
被引
2
次
|
|
|
|
|
10.
Li B. Parallel ISODATA clustering of remote sensing images based on MapReduce.
IEEE International Conference on Cyber-Enabled Distributed Computing and Knowledge Discovery (CyberC),2010:380-383
|
被引
1
次
|
|
|
|
|
11.
王旭东.
面向海量遥感影像数据的分布式文件系统管理技术研究,2012
|
被引
2
次
|
|
|
|
|
12.
Lee C A. Recent developments in high performance computing for remote sensing: a review.
IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2011,4(3):508-527
|
被引
15
次
|
|
|
|
|
13.
徐俊刚. 数据ETL研究综述.
计算机科学,2011,38(4):15-20
|
被引
12
次
|
|
|
|
|
14.
Pieter H.
ZeroMQ: messaging for many applications,2013:164-191
|
被引
1
次
|
|
|
|
|
15.
Roy T F.
Architectural styles and the design of network-based software architectures,2000
|
被引
1
次
|
|
|
|
|
16.
王晋年. 遥感卫星数据产品分类分级规则研究.
遥感学报,2013,17(3):566-577
|
被引
9
次
|
|
|
|
|
17.
国家测绘局.
CH/T 1007-2001,基础地理信息数字产品元数据,2001:1-24
|
被引
1
次
|
|
|
|
|
18.
张莉霞. TB级多源遥感影像高效建库方法研究.
遥感技术与应用,2013,28(3):496-504
|
被引
3
次
|
|
|
|
|
了解气象卫星更多信息，请访问