基于MPP架构的并行空间数据库原型系统的设计与实现
Research of the Parallel Spatial Database Proto System Based on MPP Architecture
查看参考文献23篇
|
文摘
|
快速高效地查询信息是衡量当前空间数据库性能的重要指标之一。传统的单节点关系型空间数据管理方式难以满足大数据量空间数据查询的需求,特别是高性能的复杂空间多表连接任务需求。鉴此,本文设计并实现了基于Massive Parallel Processing(MPP)架构的并行空间数据库中间件原型系统。系统充分利用无共享(shared-nothing)架构的优势,特别是针对空间数据的特性,设计了并行空间数据划分与导入、并行空间多表连接、空间数据查询优化等算法与模型。首先介绍了近年来并行数据库系统的发展现状,接着阐述了基于MPP架构的并行空间数据库中间件系统的查询计划算法及其系统架构,最后作者对一些大规模数据量做查询实验及其查询结果分析。实验表明,在处理挖掘大规模数据量时,该系统有近似线性的加速比,相比于传统单节点数据库,它能充分提高海量空间数据的复杂查询的性能,解决了空间数据库并行化处理海量数据的问题。 |
|
其他语种文摘
|
The efficiency for querying complex spatial information resources is an important indicator to evaluate the performance of current spatial databases. Traditional single node relation spatial data management is difficult to meet the demand of high-performance in querying large amounts of spatial data, especially for the complex join query on multi-table. In order to solve this problem, we design and implement a spatial database middleware prototype system. This system takes full advantages of the massive parallel processing (MPP) and shared-nothing architecture. In consideration of the characteristics of spatial data, we design the spatial data parallel import, multi-spatial-tables join strategy, spatial data query optimization and other algorithms and models. This paper firstly introduces the development status of parallel database systems in recent years, and then elaborates its MPP architecture and its organizational model, and the strategy of the join query on multi-spatial-table. Finally, we made some query experiments on massive spatial data and analyzed the results of these inquiries. The experimental results show that this system indicates a good performance (nearly linear speedup) in processing the complex query of massive spatial data. Compared with the tradition single node database, this system can fully improve the efficiency of complex querying for large spatial data, and it is a more efficient solution to solve the complex spatial data queries. |
|
来源
|
地球信息科学学报
,2016,18(2):151-159 【核心库】
|
|
DOI
|
10.3724/SP.J.1047.2016.00151
|
|
关键词
|
MPP
;
空间数据库
;
并行
;
Shared Nothing
|
|
地址
|
中国科学院地理科学与资源研究所, 资源与环境信息系统国家重点实验室, 北京, 100101
|
|
语种
|
中文 |
|
文献类型
|
研究性论文 |
|
ISSN
|
1560-8999 |
|
学科
|
测绘学 |
|
基金
|
国家863计划
|
|
文献收藏号
|
CSCD:5628502
|
参考文献 共
23
共2页
|
|
1.
雷德龙. 基于MongoDB的矢量空间数据云存储与处理系统.
地球信息科学学报,2014,16(4):507-516
|
被引
11
次
|
|
|
|
|
2.
龚健雅. 空间数据库管理系统的概念与发展趋势.
测绘科学,2001,26(3):4-9
|
被引
23
次
|
|
|
|
|
3.
Stonebraker M. SQL databases v. NoSQL databases.
Communications of the ACM,2010,53(4):10-11
|
被引
26
次
|
|
|
|
|
4.
范协裕. 基于代理的并行空间查询语言.
计算机工程,2013,39(11):61-64
|
被引
1
次
|
|
|
|
|
5.
柳锴. 基于机群架构的并行数据库实现技术研究.
计算机工程与设计,2008,29(3):526-529
|
被引
4
次
|
|
|
|
|
6.
汪永琳. 并行数据库系统实现技术的研究.
陕西工学院学报,2000,16(2):10-12
|
被引
1
次
|
|
|
|
|
7.
陈虎. 基于机群架构的并行数据库中间件系统改进研究.
计算机研究与发展,2007(z3):142-146
|
被引
1
次
|
|
|
|
|
8.
贾婷. 一种面向并行空间查询的数据划分方法.
计算机科学,2010,37(8):198-200
|
被引
8
次
|
|
|
|
|
9.
周胜.
并行数据库系统PBASE/3数据缓冲技术研究,2000
|
被引
1
次
|
|
|
|
|
10.
王珊. 架构大数据:挑战、现状与展望.
计算机学报,2011,34(10):1741-1752
|
被引
78
次
|
|
|
|
|
11.
刘宇. 并行空间连接查询处理.
上海交通大学学报,2002,36(4):512-515
|
被引
2
次
|
|
|
|
|
12.
蔡亚杰. 并行数据库基于多连接的查询优化算法的研究.
计算机应用与软件,2012,12:52
|
被引
1
次
|
|
|
|
|
13.
王永杰. 基于并行空间数据库和GML的WebGIS系统的研究与实现.
测绘科学,2007,32(4):131-132
|
被引
1
次
|
|
|
|
|
14.
文继荣. Shared-nothing并行数据库系统查询优化技术.
计算机学报,2000,23(1):28-38
|
被引
7
次
|
|
|
|
|
15.
许新华. 并行数据库查询优化技术的最新进展.
计算机工程与设计,2009(16):3814-3819
|
被引
1
次
|
|
|
|
|
16.
程昌秀.
空间数据库管理系统概论,2012
|
被引
8
次
|
|
|
|
|
17.
周光明. DB2并行数据库核心技术探究.
电子制作,2013,9:69
|
被引
1
次
|
|
|
|
|
18.
Li C. The distributed storage system based on MPP for mass data.
2012 IEEE Asia-Pacific Services Computing Conference (APSCC),2012:384-387
|
被引
1
次
|
|
|
|
|
19.
Alam S R. Performance evaluation of a scalable molecular dynamics simulation framework on a massively-parallel system.
Proceedings of the 7th IEEE International Conference on Bioinformatics and Bioengineering,2007:1459-1466
|
被引
1
次
|
|
|
|
|
20.
颜勋. 内嵌式空问数据库优化器代价评估框架及实现.
武汉大学学报(信息科学版),2011,36(6):726-730
|
被引
2
次
|
|
|
|
|
了解气象卫星更多信息，请访问