分布式实时存储环境下的FITS 数据一致性研究
Research on the Consistency of FITS Data in the Process of Distributed Real-time Storage
查看参考文献15篇
|
文摘
|
在大型太阳望远镜观测数据的分布式高速实时存储过程中,作为元数据的FITS头和FITS数据文件的不一致,导致应用程序不能根据构建在元数据上的索引信息检索到相对应的FITS数据文件。研究了这种环境下,两类数据的一致性模型;分析总结了二者在实时存储时的一致性保障机制和解决方案,提出了应用改进的两段提交协议来协商这两种数据之间的一致性关系,并给出了两段提交协议在高速数据存储背景下的算法实现,研究过程和方法能够对其他科学领域的相关应用提供参考。 |
|
其他语种文摘
|
In the process of a distributed high-speed real-time storage of data from a large solar telescope, inconsistency occurs between FITS header, a kind of meta-data, and FITS data files,which causes applications unable to retrieve correct FITS data files when applying the index information built on the metadata. In this paper,models of consistency between the above-mentioned two types of data are studied during high-speed data storage; and the mechanism and solutions are summarized to achieve consistency for real-time data storage. A two-phase commit protocol (2PC) is proposed to ensure consistency,and 2PC algorithm implementation in high-speed data storage is given. The present study on different applications of data storage, with its unique research process and methods,can serve as references to other fields of scientific study. |
|
来源
|
天文研究与技术
,2016,13(4):489-497 【核心库】
|
|
关键词
|
FITS
;
元数据
;
一致性
;
两段提交协议
|
|
地址
|
昆明理工大学, 云南省计算机技术应用重点实验室, 云南, 昆明, 650500
|
|
语种
|
中文 |
|
文献类型
|
研究性论文 |
|
ISSN
|
1672-7673 |
|
学科
|
自动化技术、计算机技术 |
|
基金
|
国家自然科学基金
;
云南省应用基础研究计划重点项目
|
|
文献收藏号
|
CSCD:5811861
|
参考文献 共
15
共1页
|
|
1.
Vera I. Centralized FITS metadata handling framework at ESO.
Astronomical Data Analysis Software and Systems XX. ASP Conference Proceedings,2011:33-36
|
CSCD被引
1
次
|
|
|
|
|
2.
Goodrich B D. Gathering headers in a distributed environment.
Prcoeedings of SPIE,2008
|
CSCD被引
1
次
|
|
|
|
|
3.
崔辰州. FITS数据文件的检索和访问.
天文研究与技术---国家天文台台刊,2008,5(2):116-123
|
CSCD被引
12
次
|
|
|
|
|
4.
Murphy T. Data storage,processing,and visualization for the Australia telescope compact array.
Publications of the Astronomical Society of Australia,2006,23(1):25-32
|
CSCD被引
3
次
|
|
|
|
|
5.
Blatnik M. Mining the GBT metadata archive: statistics on radio frequency use,2002-2010.
Bulletin of the American Astronomical Society,2011
|
CSCD被引
1
次
|
|
|
|
|
6.
Mann B. Some data derivation and provenance issues in astronomy.
Workshop on Data Derivation and Provenance,2002
|
CSCD被引
1
次
|
|
|
|
|
7.
Bernstein P A.
Concurrency control and recovery in database systems,1987
|
CSCD被引
29
次
|
|
|
|
|
8.
Skeen D. A formal model of crash recovery in a distributed system.
IEEE Transactions on Software Engineering,1983,9(3):219-228
|
CSCD被引
4
次
|
|
|
|
|
9.
Lamport L. The part-time parliament.
ACM Transactions on Computer Systems (TOCS),1998,16(2):133-169
|
CSCD被引
92
次
|
|
|
|
|
10.
Bernstein P A.
Principles of transaction processing,2009
|
CSCD被引
3
次
|
|
|
|
|
11.
Weikum G.
Transactional information systems: theory,algorithms,and the practice of concurrency control and recovery,2001
|
CSCD被引
1
次
|
|
|
|
|
12.
Liu Zhong. 1-meter near-infrared solar telescope.
First Asia-Pacific Solar Physics Meeting ASI Conference Series,2011:9-17
|
CSCD被引
6
次
|
|
|
|
|
13.
董立岩. 基于分布式多服务系统的数据同步方法.
吉林大学学报:理学版,2011,49(4):745-749
|
CSCD被引
1
次
|
|
|
|
|
14.
李光. 分布式事处理系统中超时值的一种计算方法.
计算机学报,1990,13(11):824-830
|
CSCD被引
1
次
|
|
|
|
|
15.
于红. 改进的两阶段提交协议.
大连水产学院学报,2005,20(4):335-339
|
CSCD被引
1
次
|
|
|
|
|
了解气象卫星更多信息，请访问