基于MPI的高性能UVFITS数据合成研究与应用
The Study and Application of a High Performance UVFITS Assembly System Based on MPI
查看参考文献9篇
|
文摘
|
中国明安图超宽频谱射电日像仪(Mingantu Ultrawide Spectral Radioheliograph, MUSER)进入实际观测后,每3 ms产生一帧100 kB左右的数据,每天的原始观测数据约3.5 TB。由于射电日像仪的原始数据采用自定义格式,为了后续数据分析和共享的需要,有必要根据数据存储需求把这些原始数据转换成天文常用的文件格式。在前期工作中已经实现了原始数据格式到UVFITS文件的转换,在此基础上研究了基于MPI的集群并行环境下UVFITS合成系统的性能优化。通过实验验证,在改进后的并行环境下,UVFITS合成系统的性能达到了需求的2.5倍,可以有效处理当前及未来一定时间内射电日像仪的海量观测数据。同时,改进后的系统具有良好的横向扩展能力,能够为相关项目的数据处理提供借鉴和参考。 |
|
其他语种文摘
|
Mingantu Ultrawide Spectral Radioheliograph (MUSER) generates 100 kilobytes raw observational data in every 3 milliseconds and more than 3.5 Terabytes data per day. For further data analysis and sharing,it is necessary to convert the raw data stored in self-defined format to standard format usually used in the field of radio astronomy. In previous work,we have analyzed the format of UVFITS and converted the raw data to UVFITS file successfully. However,the efficiency of the format converting system needs to be further improved. This paper presents a parallel UVFITS file assembly system based on cluster parallel environment. Experiments show that the system can reduce the execution time of assembling a UVFITS file to about 1.2 milliseconds,2.5 times faster than that of the data acquisition,which is very promising to meet the data processing requirements in the project. Moreover,the parallel system can be used for reference in other systems. The implementation of this parallel data format converting system can also provide a good reference to similar data processing systems. |
|
来源
|
天文研究与技术
,2016,13(2):184-189 【核心库】
|
|
关键词
|
UVFITS
;
海量数据
;
MPI
;
并行计算
;
高性能计算
|
|
地址
|
1.
昆明理工大学, 云南省计算机技术应用重点实验室, 云南, 昆明, 650500
2.
中国科学院国家天文台, 北京, 100012
|
|
语种
|
中文 |
|
文献类型
|
研究性论文 |
|
ISSN
|
1672-7673 |
|
学科
|
自动化技术、计算机技术 |
|
基金
|
国家自然科学基金
;
国家自然科学基金
;
云南省应用基础研究计划重点项目
|
|
文献收藏号
|
CSCD:5686171
|
参考文献 共
9
共1页
|
|
1.
Yan Y. The Chinese Spectral Radioheliograph-CSRH.
Earth, Moon,and Planets,2009,104(1):97-100
|
CSCD被引
26
次
|
|
|
|
|
2.
Jaeger S. The Common Astronomy Software Application (CASA).
Astronomical Data Analysis Software and Systems XVII,2008:623
|
CSCD被引
1
次
|
|
|
|
|
3.
Wells D C. FITS-a flexible image transport system.
Astronomy and Astrophysics Supplement Series,1981,44:363
|
CSCD被引
10
次
|
|
|
|
|
4.
高姣姣. 面向射电日像仪的随机组结构剖析与文件设计.
天文研究与技术---国家天文台台刊,2013,10(4):365-371
|
CSCD被引
4
次
|
|
|
|
|
5.
Nakajima H. The Nobeyama radioheliograph.
Proceedings of the IEEE,1994,82(5):705-713
|
CSCD被引
20
次
|
|
|
|
|
6.
王威. CSRH光纤传输方案探讨.
天文研究与技术---国家天文台台刊,2006,3(2):143-147
|
CSCD被引
5
次
|
|
|
|
|
7.
姬国枢. CSRH模拟接收机设计.
天文研究与技术---国家天文台台刊,2006,3(2):135-142
|
CSCD被引
5
次
|
|
|
|
|
8.
张坚. 用于双天线干涉实验的数字相关接收机.
天文研究与技术---国家天文台台刊,2006,3(2):148-153
|
CSCD被引
2
次
|
|
|
|
|
9.
刘东浩. 新一代厘米--分米波射电日像仪系统延时校准方法研究.
电子学报,2013,31(3):570-574
|
CSCD被引
3
次
|
|
|
|
|
了解气象卫星更多信息，请访问