气象数据归档与查询系统超立方体结构并行算法设计

J4 ›› 2014, Vol. 36 ›› Issue (12): 2410-2417.

气象数据归档与查询系统超立方体结构并行算法设计

宋石磊，宋君强，任开军

（国防科学技术大学计算机学院，湖南长沙 410073）

收稿日期:2014-08-06 修回日期:2014-10-17 出版日期:2014-12-25 发布日期:2014-12-25

Design of a parallel algorithm for data cube of MARS

SONG Shilei,SONG Junqiang,REN Kaijun

（College of Computer,National University of Defense Technology,Changsha 410073,China）

Received:2014-08-06 Revised:2014-10-17 Online:2014-12-25 Published:2014-12-25

摘要/Abstract

摘要：

气象归档与查询系统（MARS）是欧洲中期天气预报中心（ECMWF）开发的用于多种类海量气象数据管理的框架，其核心是利用多维数据模型和数据立方体来组织和管理气象数据。重点研究了MARS系统的主要架构及其超立方体结构的数据索引方法，在此基础上提出了一种大数据背景下数据立方体的元数据查询优化和并行计算方法。实验表明，该方法能够有效缩短大数据量查询及归档情况下的系统响应时间。

关键词: 气象归档与查询系统（MARS）, 元数据, 多维数据模型, 数据立方体, 并行计算

Abstract:

Meteorological Archival and Retrieval System (MARS) is developed by Europe Center for Mediumrange Weather Forecasts (ECMWF) for managing massive meteorological data.Its core technique is to use the multidimensional data model and the data cube to organize and manage meteorological data.The architecture of MARS and the data indexing method of the data cube are studied.On this basis,we propose a metadata retrieval optimization and parallel computation method of data cube in the context of big data.Experiments show that the method can reduce the response time for archival and retrieval of massive meteorological data.

Key words: meteorological archival and retrieval system (MARS);metadata;multidimensional data model;data cube;parallel computing

宋石磊，宋君强，任开军. 气象数据归档与查询系统超立方体结构并行算法设计[J]. J4, 2014, 36(12): 2410-2417.

SONG Shilei,SONG Junqiang,REN Kaijun. Design of a parallel algorithm for data cube of MARS [J]. J4, 2014, 36(12): 2410-2417.

参考文献［5］

［1］	Zhao Y, Deshpande P M, Naughton J F. An arraybased algorithm for simultaneous multidimensional aggregates［C］∥Proc of the 1997 ACM SIGMOD International Conference on Management of Data, 1997:159170.
［2］	Li Shengen. Research on multidimensional data model and data cube technology［D］.Beijing:Chinese Academy of Sciences, 2003.(in Chinese)
［3］	Guttman A. Rtrees:A dynamic index structure for spatial searching［C］∥Proc of the 1984 ACM SIGMOD International Conference on Management of Data, 1984:4757.
［4］	Hou Dongfeng,Lu Changhui,Liu Qingbao.Survey on computation of data cubes［J］. Computer Science, 2008,35(10):15.(in Chinese)
［5］	Shi Zhibin. Research on high performance data cube and its semantics［D］.Beijing:Beijing Jiaotong University, 2010.(in Chinese)
［6］	Harsola S K, Deshpande P M, Haritsa J R. IceCube:Efficient targeted mining in data cubes［C］∥Proc of the 12th International Conference on Data Mining (ICDM), 2012:894899.
［7］	Gray J, Bosworth A, Lyaman A, et al. Data cube:A relational aggregation operator generalizing GROUPBY, CROSSTAB, and SUBTOTALS［C］∥Proc of the 12th International Conference on Data Engineering, 1996:152159.
［8］	Dehne F, Zaboli H. Parallel realtime OLAP on multicore processors［C］∥Proc of the 12th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGrid), 2012:588594.
［9］	Hasan K M A, Omar M T, Ahsan S M M, et al. Chunking implementation of extendible array to handle address space overflow for large multidimensional data sets［C］∥Proc of International Conference on Electrical Information and Communication Technology (EICT), 2014:16.
［10］	Dong J,Tsuji T.Parallel data cube construction based on an extendible multidimensional array［C］∥Proc of the 10th International Conference on Trust, Security and Privacy in Computing and Communications (TrustCom), 2011:11391145.
	附中文参考文献：
［2］	李盛恩. 多维数据模型和数据立方体技术研究［D］.北京：中国科学院, 2003.
［4］	侯东风, 陆昌辉, 刘青宝. 数据立方体计算方法研究综述［J］. 计算机科学, 2008, 35(10):15.
［5］	师智斌. 高性能数据立方体及其语义研究［D］.北京：北京交通大学, 2010.

[1]	刘屹成, 刘晓燕, 严馨. 并行平衡级联支持向量机[J]. 计算机工程与科学, 2023, 45(07): 1170-1177.
[2]	臧照虎, 李晨, 王耀华, 陈小文, 郭阳. 面向众核系统的层次化栅栏同步机制[J]. 计算机工程与科学, 2022, 44(11): 1901-1908.
[3]	张勇, 张曦, 万云博, 何先耀, 赵钟, 卢宇彤. 非结构有限体积CFD计算的网格重排序优化[J]. 计算机工程与科学, 2022, 44(10): 1721-1729.
[4]	范培勤, 过武宏, 韩梅, 唐帅, 张驰, . 水声环境特征参数并行预报方法研究[J]. 计算机工程与科学, 2021, 43(11): 1920-1925.
[5]	龚昊, 刘莹, 冯建周, 赵仁良, 冷佳旭, . 基于GPU加速的脉冲多普勒雷达信号处理[J]. 计算机工程与科学, 2021, 43(07): 1141-1149.
[6]	焦育威, 王鹏, 辛罡, . 基于采样尺度自适应的多尺度量子谐振子优化算法并行化[J]. 计算机工程与科学, 2021, 43(07): 1200-1209.
[7]	俞茂学, 贾东宁, 魏志强, 许佳立, 马广浩. 一种基于国产异构众核处理器的C++智能源码转换框架[J]. 计算机工程与科学, 2021, 43(06): 997-1005.
[8]	丁哲昭, 储根深, 胡长军, 李扬. 基于申威众核处理器的圣维南求解程序的并行与优化[J]. 计算机工程与科学, 2021, 43(05): 820-829.
[9]	丁峻宏, 苗新强, 李根国. 面向异构超算的结构分析高效并行计算方法[J]. 计算机工程与科学, 2020, 42(12): 2133-2140.
[10]	徐传福, 车永刚, 李大力, 王勇献, 王正华. 天河超级计算机上超大规模高精度计算流体力学并行计算研究进展[J]. 计算机工程与科学, 2020, 42(10高性能专刊): 1815-1826.
[11]	刘夏真, 袁武, 马文鹏, 胡晓东, 陆忠华, 张鉴. CCFD重叠网格并行算法设计和优化[J]. 计算机工程与科学, 2020, 42(10高性能专刊): 1833-1841.
[12]	赵钟，何磊，何先耀. 风雷（PHengLEI）通用CFD软件设计[J]. 计算机工程与科学, 2020, 42(02): 210-219.
[13]	李红军, 郭阳, 贾润. 归一化积相关算法加速方法研究及FPGA实现[J]. 计算机工程与科学, 2019, 41(11): 1905-1910.
[14]	李安民,计卫星,廖心怡，高建花，谈兆年，王一拙，石峰. 一种面向异构计算的结构化并行编程框架[J]. 计算机工程与科学, 2019, 41(03): 424-432.
[15]	杨冬菊1,2,徐晨阳1,2. 大数据环境下基于元模型控制的数据质量保障技术研究[J]. 计算机工程与科学, 2019, 41(02): 197-206.