海量气象数据实时解析与存储系统的设计与实现

摘要/Abstract

摘要：

气象数据是一种典型的非结构化数据，在实际应用中其日增量达数十TB，基于关系数据库和传统文件系统的解析、存储与访问模式已成为制约天气预报系统信息化发展的瓶颈之一。为满足全国天气预报平台MICAPS用户对实时数据的及时、快速查询，介绍了能够7*24小时稳定工作、支撑数十TB/天的数据实时解析系统。根据气象数据的多维模型和用户行为，采用非关系型分布式KeyValue数据库，设计实现了高性能海量数据存储系统。实践证明，数据实时解析系统和基于分布式非关系型KeyValue数据库的存储系统能有效满足海量实时气象数据存储、查询和应用需求。该系统已成为中国天气预报业务流程中的核心系统，体现了优异的功能和性能。

关键词: 多维数据, 气象数据, 分布式, 解析, 存储, MICAPS

Abstract:

Meteorological data is a typical non-structure data, which reaches dozens of TBs per day. Parsing, storage and access mode based on RDBMS and file systems become the bottleneck of weather forecast data processing system. To fulfill fast and in time queries of realtime data of the users of national weather forecast platform MICAPS’, we depict a stable 7*24 distributed data parsing system, supporting a realtime parsing system containing dozens of TBs per day. According to the multidimension model and the user behaviors of meteorological data, using nonrelational keyvalue DDBMS, we design and implement a high performance massive data storage system. Experiments prove that the proposed real time data parsing system and the massive data storage system based on non-relational key-value DDBMS can meet storage, query and applications requirements of massive meteorological data. This system is also the core system of China weather forecast data flow, possessing excellent functions and performance.

Key words: multi-dimension data;meteorological data;distributed;parse;storage;MICAPS

王若曈1，黄向东2，张博2，王建民2，罗兵1. 海量气象数据实时解析与存储系统的设计与实现[J]. J4, 2015, 37(11): 245-2054.

WANG Ruotong1，HUANG Xiangdong2，ZHANG Bo2，WANG Jianmin2，LUO Bing1. Design and implementation of a real time parsing and
storage system for massive meteorological data [J]. J4, 2015, 37(11): 245-2054.

参考文献

［1］Li Yuean,Cao Li,Gao Song,et al. The current stage and development of MICAPS［J］.Meteorological Monthly,2010,36(7):5055.(in Chinese)
［2］Wang Jingli, Tan Xiaoguang, Zhang Dezheng,et al. Design and application of data access structure of metropolis meteorological service information system［J］. Meteorological Science and Technology, 2004, 31(6):409412.(in Chinese)
［3］Qi Guibin, Zhou Erbin, Ju Yang. Using samba service to realize information sharing［J］. Heilongjiang Meteorology, 2012, 28(4): 4041.(in Chinese)
［4］Zhao Chunyan, Sun Yingrui, Dong Feng,et al. Application of high performance meteorological data storage cluster and online extension［J］. Computing Technology and Automation, 2013, 32(3): 117121.(in Chinese)
［5］He Zhenfang, Zhang Yaonan, Zhao Guohui. Storing massive spatiotemporal data using parallel NetCDF［J］. EScience Technology & Application, 2012, 32(1): 5461.(in Chinese)
［6］Huang Xiangdong, Wang Jianmin, Ge Sihan,et al. A storage model for large scale multidimension data files［C］∥Proc of NDBC, 2014:1.(in Chinese)
［7］Sakr S, Liu A, Batista D M. A survey of large scale data management approaches in cloud environments［J］. IEEE Communications Surveys Tutorials, 2011, 13(3): 311336.
［8］Lakshman A, Malik P. Cassandra—A decentralized structured storage system［J］. Operating Systems Review, 2010,44(2):35.
［9］Zhong Yu, Huang Xiangdong, Liu Dan. NoSQL storage solution for massive equipment monitoring data management［J］. Computer Integrated Manufacturing Systems, 2013(12): 30083016.(in Chinese)
［10］Zhu Y, Yu P S, Wang J. Recods: Replica consistencyondemand store［C］∥Proc of 2013 IEEE 29th International Conference on Data Engineering (ICDE), 2013: 13601363.
［11］Gorawski M, Gorawska A. Research on the stream ETL process［M］∥Beyond Databases, Architectures, and Structures, 2014: 6171.
［12］Bansal S K. Towards a semantic extracttransformload (ETL) framework for big data integration［C］∥Proc of 2014 IEEE International Congress on Big Data (BigData Congress), 2014: 522529.
［13］Zhu Y, Du N, Tian H, et al. laUDMS: An extensible system for unstructured data management［C］∥Proc of the 12th International AsiaPacific Web Conference (APWEB), 2010:435440.
［14］Um J H, Jeong C H, Choi S P, et al. Fast big textual data parsing in distributed and parallel computing environment［M］∥Mobile, Ubiquitous, and Intelligent Computing. 2014: 267271.
［15］Manual on CodesInternational Codes, Volume I.2: Part B and Part C. ［EB/OL］.［20150511］. http://library.wmo.int.
附中文参考文献：
［1］李月安,曹莉,高嵩,等. MICAPS预报业务平台现状与发展［J］.气象，2010,36(7):5055.
［2］王京丽, 谭晓光, 张德政,等. 大城市气象服务信息系统数据存储体系框架设计与实现［J］. 气象科技, 2004, 31(6): 409412.
［3］齐贵滨, 周尔滨, 鞠洋. 利用 samba 服务实现信息共享［J］. 黑龙江气象, 2012, 28(4): 4041.
［4］赵春燕, 孙英锐, 董峰,等. 高性能气象数据存储集群及在线扩展技术应用［J］. 计算技术与自动化, 2013, 32(3): 117121.
［5］何振芳, 张耀南, 赵国辉. 基于Parallel NetCDF的海量时空数据存储研究［J］. 科研信息化技术与应用, 2012, 32(1): 5461.
［6］黄向东,王建民,葛斯函,等, 一种海量多维文件集合的存储模型［C］∥Proc of NDBC 2014,2014:1.
［9］钟雨, 黄向东, 刘丹,等. 大规模装备监测数据的NoSQL存储方案［J］. 计算机集成制造系统, 2013(12): 30083016.

[1]	尹春勇, 冯梦雪. 基于注意力机制的半监督日志异常检测方法[J]. 计算机工程与科学, 2023, 45(08): 1405-1415.
[2]	唐敏, 戚妞妞, 邓国强. 基于模算术系数解析的稀疏插值算法[J]. 计算机工程与科学, 2023, 45(04): 599-606.
[3]	姚袭欣, 章博, 陈香兰, 乔磊, 李曦. 一种基于Event-B语言的时间触发系统建模方法[J]. 计算机工程与科学, 2023, 45(04): 613-621.
[4]	付伟, 谢振杰, 朱婷婷, 任正伟. 基于密文强不可分性的云数据确定性删除方案[J]. 计算机工程与科学, 2023, 45(03): 434-442.
[5]	白耀文, 杜亚江, 李宗刚, . 基于多步长的多机器人分布式巡逻算法研究[J]. 计算机工程与科学, 2023, 45(02): 313-320.
[6]	姚隆兴, 韩江涛, 张志毅. Tsai氏相机平面标定算法的一种解析改进[J]. 计算机工程与科学, 2022, 44(11): 1976-1984.
[7]	杨子言, 胡纯栋, 赵远哲. CFETR中性束注入实验数据绘制分析系统开发[J]. 计算机工程与科学, 2022, 44(08): 1433-1439.
[8]	王笑雨, 董德尊. 一种面向分布式深度学习的轻量级聚合通信库[J]. 计算机工程与科学, 2022, 44(07): 1191-1198.
[9]	郑思飞, 冯子婧, 刘成语, 陈日清, 柳晓龙. 云存储环境中基于矢量量化的图像伪装加密方法[J]. 计算机工程与科学, 2022, 44(06): 1030-1036.
[10]	沈佳杰, 卢修文, 向望, 赵泽宇, 王新, . 分布式存储系统读写一致性算法性能优化研究综述[J]. 计算机工程与科学, 2022, 44(04): 571-583.
[11]	刘世缘, 李云春, 陈晨, 杨海龙. 面向大数据存储的主动与被动相结合的性能评测方法体系结构与实现[J]. 计算机工程与科学, 2022, 44(04): 584-593.
[12]	张珂, 李涛, 邢立冬. 基于OpenVX并行处理器的微程序控制[J]. 计算机工程与科学, 2022, 44(03): 403-410.
[13]	邓亚峰, 魏子健, 王栋. 忆阻器阻变机制及其材料研究进展[J]. 计算机工程与科学, 2022, 44(01): 36-47.
[14]	周静, 关玉蓉. 基于SDN的DWSN技术分析及性能优化研究[J]. 计算机工程与科学, 2021, 43(08): 1413-1421.
[15]	杨坚伟, 孟敏, 黄家乐, 武继刚. 分布式训练异构任务调度算法研究[J]. 计算机工程与科学, 2021, 43(07): 1160-1167.