时空大数据背景下并行数据处理分析挖掘的进展及趋势
Research progress and trends of parallel processing,analysis,and mining of big spatiotemporal data
查看参考文献69篇
|
文摘
|
随着互联网、物联网和云计算的高速发展,与时间、空间相关的数据呈现出“爆炸式”增长的趋势,时空大数据时代已经来临。时空大数据除具备大数据典型的“4V”特性外,还具备丰富的语义特征和时空动态关联特性,已经成为地理学者分析自然地理环境、感知人类社会活动规律的重要资源。然而在具体研究应用中,传统数据处理和分析方法已无法满足时空大数据高效存取、实时处理、智能挖掘的性能需求。因此,时空大数据与高性能计算/云计算融合是必然的发展趋势。在此背景下,本文首先从大数据的起源出发,回顾了大数据概念的发展历程,以及时空大数据的特有特征;然后分析了时空大数据研究应用产生的性能需求,总结了底层平台软硬件的发展现状;进而重点从时空大数据的存储管理、时空分析和领域挖掘3个角度对并行化现状进行了总结,阐述了其中存在的问题;最后指出了时空大数据研究发展趋势。 |
|
其他语种文摘
|
With the rapid development of the Internet,Internet of things,and cloud computing technology,data with geographical location and time tag are accumulated in an explosive way,and this indicates that we are in the era of big spatiotemporal data.In addition to the typical "4V" characteristics,big spatiotemporal data also contain rich semantic information and dynamic spatiotemporal patterns.Although massive spatiotemporal data have promoted the evolvement of various cross-disciplinary studies,traditional methods of data processing and analysis would no longer meet the requirements of efficient storage and real- time analysis of such data.Therefore,it is of great importance to integrate big spatiotemporal data with high-performance computing/cloud computing.To address this problem,this article begins with the concept and origin of big spatiotemporal data,and introduces its unique characteristics.Then,the performance requirements generated by current big data applications are analyzed,and the status quo of the underlying hardware and software is summarized.Furthermore,the article comprehensively reviews parallel processing,analysis,and mining methods for big spatiotemporal data.Finally,we conclude with the challenges and opportunities of storage,management,and parallel processing analysis of big spatiotemporal data. |
|
来源
|
地理科学进展
,2018,37(10):1314-1327 【核心库】
|
|
DOI
|
10.18306/dlkxjz.2018.10.002
|
|
关键词
|
时空大数据
;
高性能软硬件
;
并行空间分析
;
数据挖掘
;
进展及趋势
|
|
地址
|
武汉大学, 测绘遥感信息工程国家重点实验室, 武汉, 430079
|
|
语种
|
中文 |
|
文献类型
|
研究性论文 |
|
ISSN
|
1007-6301 |
|
学科
|
自动化技术、计算机技术 |
|
基金
|
国家自然科学基金项目
|
|
文献收藏号
|
CSCD:6357368
|
参考文献 共
69
共4页
|
|
1.
程果. 栅格数据处理中邻域型算法的并行优化方法.
国防科技大学学报,2012,34(4):114-119
|
被引
4
次
|
|
|
|
|
2.
杜江. MapReduce并行编程模型研究综述.
计算机科学,2015,42(S1):537-541
|
被引
3
次
|
|
|
|
|
3.
贾婷. 一种面向并行空间查询的数据划分方法.
计算机科学,2010,37(8):198-200
|
被引
8
次
|
|
|
|
|
4.
隽志才. 两种策略下的最短路径并行算法研究与实现.
系统工程理论方法应用,2006,15(2):123-127
|
被引
3
次
|
|
|
|
|
5.
雷德龙. 基于MongoDB的矢量空间数据云存储与处理系统.
地球信息科学学报,2014,16(4):507-516
|
被引
11
次
|
|
|
|
|
6.
李德仁. 论时空大数据及其应用.
卫星应用,2015(9):7-11
|
被引
24
次
|
|
|
|
|
7.
李德仁.
空间数据挖掘理论与应用,2013
|
被引
8
次
|
|
|
|
|
8.
李德仁. 遥感大数据自动分析与数据挖掘.
测绘学报,2014,43(12):1211-1216
|
被引
109
次
|
|
|
|
|
9.
李建江. MapReduce并行编程模型研究综述.
电子学报,2011,39(11):2635-2642
|
被引
50
次
|
|
|
|
|
10.
李绍俊. 基于NoSQL数据库的空间大数据分布式存储策略.
武汉大学学报:信息科学版,2017,42(2):163-169
|
被引
15
次
|
|
|
|
|
11.
廉捷.
基于用户特征的社交网络数据挖掘研究,2013
|
被引
2
次
|
|
|
|
|
12.
廖理. 基于Neo_4J图数据库的时空数据存储.
信息安全与技术,2015,6(8):43-45
|
被引
2
次
|
|
|
|
|
13.
刘润涛. 一种基于R-树的空间索引结构.
计算机工程,2009,35(23):32-34
|
被引
6
次
|
|
|
|
|
14.
卢风顺. CPU/GPU协同并行计算研究综述.
计算机科学,2011,38(3):5-10
|
被引
40
次
|
|
|
|
|
15.
卢俊. 基于GPU的遥感影像数据融合IHS变换算法.
计算机工程,2009,35(7):261-263
|
被引
8
次
|
|
|
|
|
16.
卢照. 并行最短路径搜索算法的设计与实现.
计算机工程与应用,2010,46(3):69-71
|
被引
10
次
|
|
|
|
|
17.
罗俊.
数据挖掘算法的并行化研究及其应用,2016
|
被引
1
次
|
|
|
|
|
18.
马林.
数据重现:文件系统原理精解与数据恢复最佳实践,2009
|
被引
2
次
|
|
|
|
|
19.
马义松. 基于Neo4 j的电力大数据建模及分析.
电工电能新技术,2016,35(2):24-29
|
被引
6
次
|
|
|
|
|
20.
孟小峰. 大数据管理:概念、技术与挑战.
计算机研究与发展,2013,50(1):146-169
|
被引
276
次
|
|
|
|
|
了解气象卫星更多信息，请访问