基于负载均衡的多源流数据实时存储系统

计算机工程与科学

基于负载均衡的多源流数据实时存储系统

郭会云1,2，房俊1,2，李冬1,2

(1.大规模流数据集成与分析技术北京市重点实验室,北京 100144;

2.北方工业大学数据工程研究院,北京 100144)

收稿日期:2016-12-24 修回日期:2017-02-04 出版日期:2017-04-25 发布日期:2017-04-25
基金资助:
北京市自然科学基金(4131001)

A multi-source streaming data real-time

storage system based on load balance

GUO Hui-yun1,2，FANG Jun1,2，LI Dong1,2

(1.Beijing Key Laboratory on Integration and Analysis of Largescale Stream Data,Beijing 100144;

2.Institute of Data Engineering,North China University of Technology,Beijing 100144,China)

Received:2016-12-24 Revised:2017-02-04 Online:2017-04-25 Published:2017-04-25

摘要/Abstract

摘要：

物联网感知流数据多以时序数据为主，具有数据量大、连续到达、多来源等特点。现有的基于HBase的交通流数据存储系统在数据写入并发量大时，仍然存在存储效率低与系统可用性不高的问题。针对该问题，设计并实现了基于负载均衡的多源流数据实时存储系统。该系统将数据代理扩展为集群架构，提出了一种基于负载均衡的任务调度算法，实现了任务与数据代理之间的按序匹配，使数据代理集群负载均衡地处理任务，实现数据并行存储到HBase数据库中。实验对比结果表明：该系统使各数据代理的数据分配比例维持在0.3~0.4，同时以约1.5倍于单数据代理的速度将数据写入HBase数据库。

关键词: 多源流数据, HBase, 实时存储系统, 数据代理, 负载均衡, 任务调度

Abstract:

The perceptual streaming data of the Internet of things is mainly centered on timeseries data, and has the characteristics of a large amount of data, continuous arrival, and multiple sources and so on. When data is written in a large amount of concurrency, the existing traffic streaming data storage system based on HBase still has the problems of storage efficiency and system availability. To solve the problems, we design and implement a multisource streaming data realtime storage system based on load balance. The system expands the data proxy into a cluster architecture, presents a task scheduling algorithm based on load balance, and achieves the sequence matching between tasks and data proxy servers, thus making the data proxy cluster processing tasks in a balanced manner and achieving data storage in parallel in the HBase database. Experimental results show that the system maintains the data distribution ratio of each data agent between 0.3 and 0.4, and writes data to the HBase database at about 1.5 times the speed of the single data proxy.

Key words: multi-source streaming data, HBase, realtime storage system, data proxy, load balance, task scheduling

郭会云1,2，房俊1,2，李冬1,2. 基于负载均衡的多源流数据实时存储系统[J]. 计算机工程与科学.

GUO Hui-yun1,2，FANG Jun1,2，LI Dong1,2.

A multi-source streaming data real-time

storage system based on load balance

[J]. Computer Engineering & Science.

[1]	孙庆骁, 刘轶, 杨海龙, 王一晴, 贾婕, 栾钟治, 钱德沛. GNNSched：面向GPU的图神经网络推理任务调度框架[J]. 计算机工程与科学, 2024, 46(01): 1-11.
[2]	温瑞林, 樊春, 马银萍 , 王政丹, 向广宇 , 付振新. SlurmX：基于Slurm使用面向对象设计方法重构的任务调度系统[J]. 计算机工程与科学, 2022, 44(09): 1532-1541.
[3]	李文佳, 史岚, 季航旭, 罗意彭. 面向Flink的负载均衡任务调度算法的研究与实现[J]. 计算机工程与科学, 2022, 44(07): 1141-1151.
[4]	徐浩桐, 黄山, 孙国璋, 贺菲莉, 段晓东, . 面向云环境的Flink负载均衡策略[J]. 计算机工程与科学, 2022, 44(05): 779-787.
[5]	罗晓霞, 王佳, 罗香玉, 李嘉楠 . 一种基于GN算法的动态图划分方法[J]. 计算机工程与科学, 2022, 44(02): 306-311.
[6]	李力, 汪硕, 黄韬, 刘韵洁, . 数据中心网络四层负载均衡技术综述[J]. 计算机工程与科学, 2022, 44(01): 48-59.
[7]	罗磊, 陈照云, 王俪璇. 用户QoS感知的GPU集群深度学习任务动态调度[J]. 计算机工程与科学, 2021, 43(08): 1331-1340.
[8]	杨坚伟, 孟敏, 黄家乐, 武继刚. 分布式训练异构任务调度算法研究[J]. 计算机工程与科学, 2021, 43(07): 1160-1167.
[9]	黄山, 房六一, 徐浩桐, 段晓东, . 面向容器环境的Flink的任务调度优化研究[J]. 计算机工程与科学, 2021, 43(07): 1173-1184.
[10]	陈俊彦, 李玥, 梁楚欣, 雷晓春. SDN多控制器部署及流量均衡研究[J]. 计算机工程与科学, 2021, 43(05): 830-835.
[11]	邢红星, 魏叶华, 乐懿. 硬件成本缩减的异构分布式嵌入式系统调度算法[J]. 计算机工程与科学, 2021, 43(02): 258-265.
[12]	丁峻宏, 苗新强, 李根国. 面向异构超算的结构分析高效并行计算方法[J]. 计算机工程与科学, 2020, 42(12): 2133-2140.
[13]	王丽, 郭振华, 曹芳, 高开, 赵雅倩, 赵坤. 面向模型并行训练的模型拆分策略自动生成方法[J]. 计算机工程与科学, 2020, 42(09): 1529-1537.
[14]	张开琦, 刘晓燕, 王信, 吉春山, 严馨. 基于动态权重的一致性哈希微服务负载均衡优化[J]. 计算机工程与科学, 2020, 42(08): 1339-1344.
[15]	胡亚红1，盛夏2，毛家发1. 资源不均衡Spark环境任务调度优化算法研究[J]. 计算机工程与科学, 2020, 42(02): 203-209.