气象数据归档与查询系统超立方体结构并行算法设计

J4 ›› 2014, Vol. 36 ›› Issue (12): 2410-2417.

气象数据归档与查询系统超立方体结构并行算法设计

宋石磊，宋君强，任开军

（国防科学技术大学计算机学院，湖南长沙 410073）

收稿日期:2014-08-06 修回日期:2014-10-17 出版日期:2014-12-25 发布日期:2014-12-25

Design of a parallel algorithm for data cube of MARS

SONG Shilei,SONG Junqiang,REN Kaijun

（College of Computer,National University of Defense Technology,Changsha 410073,China）

Received:2014-08-06 Revised:2014-10-17 Online:2014-12-25 Published:2014-12-25

摘要/Abstract

摘要：

气象归档与查询系统（MARS）是欧洲中期天气预报中心（ECMWF）开发的用于多种类海量气象数据管理的框架，其核心是利用多维数据模型和数据立方体来组织和管理气象数据。重点研究了MARS系统的主要架构及其超立方体结构的数据索引方法，在此基础上提出了一种大数据背景下数据立方体的元数据查询优化和并行计算方法。实验表明，该方法能够有效缩短大数据量查询及归档情况下的系统响应时间。

关键词: 气象归档与查询系统（MARS）, 元数据, 多维数据模型, 数据立方体, 并行计算

Abstract:

Meteorological Archival and Retrieval System (MARS) is developed by Europe Center for Mediumrange Weather Forecasts (ECMWF) for managing massive meteorological data.Its core technique is to use the multidimensional data model and the data cube to organize and manage meteorological data.The architecture of MARS and the data indexing method of the data cube are studied.On this basis,we propose a metadata retrieval optimization and parallel computation method of data cube in the context of big data.Experiments show that the method can reduce the response time for archival and retrieval of massive meteorological data.

Key words: meteorological archival and retrieval system (MARS);metadata;multidimensional data model;data cube;parallel computing

宋石磊，宋君强，任开军. 气象数据归档与查询系统超立方体结构并行算法设计[J]. J4, 2014, 36(12): 2410-2417.

SONG Shilei,SONG Junqiang,REN Kaijun. Design of a parallel algorithm for data cube of MARS [J]. J4, 2014, 36(12): 2410-2417.

[1]	吴超, 卫谦, 周俊伟, 李会民, 孙广中. 基于异构计算平台的背景噪声预处理并行算法[J]. 计算机工程与科学, 2023, 45(10): 1711-1719.
[2]	王鑫, 彭健. 基于HYB格式SpMV在新一代申威架构上的实现与优化[J]. 计算机工程与科学, 2023, 45(10): 1754-1762.
[3]	刘屹成, 刘晓燕, 严馨. 并行平衡级联支持向量机[J]. 计算机工程与科学, 2023, 45(07): 1170-1177.
[4]	臧照虎, 李晨, 王耀华, 陈小文, 郭阳. 面向众核系统的层次化栅栏同步机制[J]. 计算机工程与科学, 2022, 44(11): 1901-1908.
[5]	张勇, 张曦, 万云博, 何先耀, 赵钟, 卢宇彤. 非结构有限体积CFD计算的网格重排序优化[J]. 计算机工程与科学, 2022, 44(10): 1721-1729.
[6]	范培勤, 过武宏, 韩梅, 唐帅, 张驰, . 水声环境特征参数并行预报方法研究[J]. 计算机工程与科学, 2021, 43(11): 1920-1925.
[7]	龚昊, 刘莹, 冯建周, 赵仁良, 冷佳旭, . 基于GPU加速的脉冲多普勒雷达信号处理[J]. 计算机工程与科学, 2021, 43(07): 1141-1149.
[8]	焦育威, 王鹏, 辛罡, . 基于采样尺度自适应的多尺度量子谐振子优化算法并行化[J]. 计算机工程与科学, 2021, 43(07): 1200-1209.
[9]	俞茂学, 贾东宁, 魏志强, 许佳立, 马广浩. 一种基于国产异构众核处理器的C++智能源码转换框架[J]. 计算机工程与科学, 2021, 43(06): 997-1005.
[10]	丁哲昭, 储根深, 胡长军, 李扬. 基于申威众核处理器的圣维南求解程序的并行与优化[J]. 计算机工程与科学, 2021, 43(05): 820-829.
[11]	丁峻宏, 苗新强, 李根国. 面向异构超算的结构分析高效并行计算方法[J]. 计算机工程与科学, 2020, 42(12): 2133-2140.
[12]	徐传福, 车永刚, 李大力, 王勇献, 王正华. 天河超级计算机上超大规模高精度计算流体力学并行计算研究进展[J]. 计算机工程与科学, 2020, 42(10高性能专刊): 1815-1826.
[13]	刘夏真, 袁武, 马文鹏, 胡晓东, 陆忠华, 张鉴. CCFD重叠网格并行算法设计和优化[J]. 计算机工程与科学, 2020, 42(10高性能专刊): 1833-1841.
[14]	赵钟，何磊，何先耀. 风雷（PHengLEI）通用CFD软件设计[J]. 计算机工程与科学, 2020, 42(02): 210-219.
[15]	李红军, 郭阳, 贾润. 归一化积相关算法加速方法研究及FPGA实现[J]. 计算机工程与科学, 2019, 41(11): 1905-1910.