ElasticSearch分布式搜索引擎在天文大数据检索中的应用研究
The Application of ElasticSearch in the Massive Astronomical Data Retrieval
查看参考文献13篇
|
文摘
|
天文观测数据是天文研究的基础,但传统的集中式数据检索方法已难以满足日益增长的海量天文数据的高性能检索和查询需求.提出了一种基于ElasticSearch分布式搜索引擎,通过River机制对现有的海量FITS(Flexible Image Transport System)数据进行索引构建,从而实现海量FITS数据高效检索的方法,并讨论了其中的近实时检索和查询的关键技术.实测结果表明,在百万到千万级的天文数据量下,该方法可获得极高的检索性能,并能够很方便地集成到现有的天文数据归档系统中,完全可以满足当前国内各类望远镜系统天文数据的归档要求. |
|
其他语种文摘
|
Astronomical observational data are the fundamental element for modern astronomical researches. However, with the rapid increase of astronomical data, the traditional centralized retrieval methods are hard to meet the requirements of high-performance data retrieval. In the study, we present a novel method which is based on the ElasticSearch distributed retrieval engine and River mechanism to create data indexes, and provide high performance data retrieval for massive FITS (Flexible Image Transport System) data. We discuss the key technologies of the nearly real-time retrieval and query. The experimental results show that the method is capable of obtaining high retrieval performance especially for the cases in which the number of the FITS data exceeds millions or even tens of millions. Meanwhile, the method can be easily integrated into the current astronomical data archiving systems, and completely meet the archive requirements of all kinds of astronomical telescope systems. |
|
来源
|
天文学报
,2016,57(2):241-251 【核心库】
|
|
DOI
|
10.15940/j.cnki.0001-5245.2016.02.011
|
|
关键词
|
方法:数值
;
方法:解析
;
天文数据库
;
其他诸多方面
|
|
地址
|
昆明理工大学, 云南省计算机技术应用重点实验室, 昆明, 650500
|
|
语种
|
中文 |
|
文献类型
|
研究性论文 |
|
ISSN
|
0001-5245 |
|
学科
|
天文学 |
|
基金
|
国家自然科学基金项目
;
云南省应用基础研究计划重点项目
|
|
文献收藏号
|
CSCD:5663007
|
参考文献 共
13
共1页
|
|
1.
Pence W D.
A&A,2010,524:A42
|
被引
7
次
|
|
|
|
|
2.
Lin Q.
NewA,2013,21:33
|
被引
1
次
|
|
|
|
|
3.
Andreeva J.
ITNS,2005,52:884
|
被引
1
次
|
|
|
|
|
4.
Xiao W.
AMM,2013,303:2235
|
被引
1
次
|
|
|
|
|
5.
Crestani F.
Advances in Information Retrieval,2013,7814:865
|
被引
1
次
|
|
|
|
|
6.
Berriman G B.
Communications of the ACM,2011,54:52
|
被引
2
次
|
|
|
|
|
7.
樊东卫. FITS文件管理器设计与实现.
天文研究与技术,2011,8:306
|
被引
3
次
|
|
|
|
|
8.
王歆. 基于非关系型数据库系统的近地天体望远镜图像数据库的设计与实现.
天文学报,2013,54:382
|
被引
4
次
|
|
|
|
|
9.
Wang X.
ChA&A,2014,38:211
|
被引
3
次
|
|
|
|
|
10.
刘应波. 基于NoSQL的FITS文件头元数据存储和查询研究.
计算机应用研究,2015,32:461
|
被引
3
次
|
|
|
|
|
11.
崔辰州. FITS数据文件的检索和访问.
天文研究与技术,2008,5:116
|
被引
12
次
|
|
|
|
|
12.
季凯帆. FITS、BMP和SCR图象格式及相互转换.
云南天文台台刊,1996:60
|
被引
9
次
|
|
|
|
|
13.
时金桥(译).
ElasticSearch可扩展的开源弹性搜索解决方案,2015:25
|
被引
1
次
|
|
|
|
|
了解气象卫星更多信息，请访问