利用HDF5和Esper的高效外汇数据分析系统

J4 ›› 2011, Vol. 33 ›› Issue (4): 159-163.

利用HDF5和Esper的高效外汇数据分析系统

蔡昭权1,吴文忠2,卢庆武1,张〓锐1

(1.惠州学院教育技术中心，广东惠州 516007；2.广东金融学院，广东广州510521)

收稿日期:2010-09-08 修回日期:2010-12-18 出版日期:2011-04-25 发布日期:2011-04-25
作者简介:蔡昭权(1970),男,广东陆丰人，硕士，教授，CCF会员（E2006137S）,研究方向为计算机网络、软件技术、数据库和信息安全。吴文忠(1968),男,广东潮州人，硕士，高级实验师，研究方向为计算机网络、信息系统和教育技术。卢庆武(1977),男，广东陆丰人，硕士，工程师，研究方向为软件技术和数据库。张锐(1958),男，河南焦作人，高级实验师，研究方向为教育技术。
基金资助:
广东省科技计划资助项目（2009B010800026）；广东省自然科学基金资助项目（9151008901000165）；惠州市科技计划资助项目（2009G024）

An Effective Data Analysis System of Foreign Exchange Using HDF5 and Esper

CAI Zhaoquan1,WU Wenzhong2,Lu Qingwu1,ZHANG Rui1

(1.Educational Technology Center,Huizhou University,Huizhou 516007;2.Guangdong University of Finance,Guangzhou 510521,China)

Received:2010-09-08 Revised:2010-12-18 Online:2011-04-25 Published:2011-04-25

摘要/Abstract

摘要：

为解决目前关系型数据库由于死锁和阻塞等原因造成系统随数据量增加性能急剧降低的问题，本文提出结合HDF5和Esper的数据处理方法，利用HDF5（层次型数据存储格式）的强大I/O性能和数据类型自定义功能做数据存储，加快数据存储的速度。同时，结合Esper实时计算的高运算效率特征，设计出一套针对外汇计算行业的可移植的数据格式和函数库，解决了即时数据分析系统在存储、管理、交换、归档需求中出现的性能和效率问题。实验结果表明，在10G/天的数据量下，HDF5的数据读写性能比MSSQL要高80倍左右，结合Esper的毫秒级处理能力，能够做到外汇数据的实时计算。系统对于数据处理分析和实时性要求极高的情况有较高的应用价值。

关键词: 关系数据库, HDF5, 高效数据分析系统, 外汇分析模型

Abstract:

To solve the existing problem of the decreasing low performance of the relational database caused by dead lock and blocking as the bulk data increase, the authors put forward a method of handling data with HDF5 and Esper by taking the advantage of HDF5's powerful I/O performance and Esper's high operational efficiency property. Thus, the design of a portable data format and a function bank may solve the problems of performance and efficiency that exist in the instant systematic storage, management, exchange and the filing requirement of the data analysis. The experimental results indicate that HDF5's data reading and writing performance are 80 times higher than that of the MSSQL under the condition of 10G per day data bulk. Taking Esper's millisecond level handling capacity into account, the system has a relatively high application value in the field of data handling analysis and the realtime requirement.

Key words: relational database；HDF5；effective data analysis system；analytic model for foreign exchange

蔡昭权1,吴文忠2,卢庆武1,张〓锐1. 利用HDF5和Esper的高效外汇数据分析系统[J]. J4, 2011, 33(4): 159-163.

CAI Zhaoquan1,WU Wenzhong2,Lu Qingwu1,ZHANG Rui1. An Effective Data Analysis System of Foreign Exchange Using HDF5 and Esper[J]. J4, 2011, 33(4): 159-163.

[1]	杨宁，杨种学，田丰春. 模糊关系数据库中的非对称冗余元组[J]. J4, 2011, 33(3): 163-166.
[2]	王岁花,张晓丹,王〓越. OWL本体关系数据库构建方法[J]. J4, 2011, 33(12): 143-147.
[3]	曾一，王健，洪媛，周欣，蔡森虎. 一种支持MDA的UML类图到RDB模型的转换方法[J]. J4, 2010, 32(4): 67-70.
[4]	李勇李跃龙. 基于关系数据库存储OWL本体的方法研究[J]. J4, 2008, 30(7): 105-107.
[5]	郝春辉[1] 姚淑珍[1] 邹静[2]. 基于关系数据库的XML分解存储方案[J]. J4, 2005, 27(12): 51-53.
[6]	宋善德肖必强. 关系模式下的XML数据存取技术研究[J]. J4, 2004, 26(8): 63-65.
[7]	刘云生钟昊陈明俊王毅. XML DTD到关系模式的映射研究[J]. J4, 2004, 26(6): 73-76.
[8]	朱羚杨宗源. 基于B（V）的关系数据库视图增量更新的研究[J]. J4, 2004, 26(6): 81-84.
[9]	王志琪方康玲. 一种基于关系数据库的Fix工控系统报表生成方法[J]. J4, 2002, 24(6): 58-60.
[10]	曹渝昆朱征宇等. SQL3对面向对象技术的支持[J]. J4, 2002, 24(4): 64-67.
[11]	丁善镜. 关系数据库嵌套查询的一种简化方法[J]. J4, 2002, 24(3): 51-52.
[12]	阳国贵吴泉源. 对象关系数据库中若干关键技术的研究[J]. J4, 2002, 24(2): 109-109.
[13]	阳国贵. DBStar关系数据库管理系统的设计与实现[J]. J4, 1998, 20(4): 46-50.
[14]	曾小兰. 一个多级安全关系数据模型[J]. J4, 1998, 20(1): 35-38.
[15]	严开涛邓家提. 关系数据库上SDAI实现的研究[J]. J4, 1997, 19(4): 5-9.