一种基于Agent和活动优先度的ETL过程并行方法

计算机工程与科学

一种基于Agent和活动优先度的ETL过程并行方法

陈刚，杜鑫霖，曾司凤，安宝冉

（中国工程物理研究院计算机应用研究所，四川绵阳 621900）

收稿日期:2015-11-10 修回日期:2016-07-01 出版日期:2017-09-25 发布日期:2017-09-25
基金资助:
国家863计划(2007AA1236)；中国工程物理研究院发展基金(14-FZJJ-0442)

A parallel method for ETL process

based on agent and activity priority

CHEN Gang，DU Xin-lin,ZENG Si-feng,AN Bao-ran

（Institute of Computer Application,China Academy of Engineering Physics,Mianyang 621900,China）

Received:2015-11-10 Revised:2016-07-01 Online:2017-09-25 Published:2017-09-25

摘要/Abstract

摘要：

ETL是数据仓库获得高质量数据的关键环节，在数据仓库的构建和实施中占有重要地位。针对传统ETL串行执行方式的不足，提出一种基于Agent和活动优先度相结合的ETL并行执行方法。该方法计算ETL执行过程中各个活动的优先度，利用Agent理论和多线程并行计算技术实现并行执行具有相同优先度且相互间没有依赖关系的ETL活动。实验结果表明，该方法在数据量较大时具有较好的加速比，提高了ETL过程的执行效率。

关键词: Agent, 活动优先度, ETL, 并行

Abstract:

ETL is the essential step to obtain high-quality data for data warehouse, and plays an important role in the construction and implementation of data warehouse. Aiming at the deficiency of traditional serial ETL process, we propose a parallel method for ETL based on agent and activity priority. This method first calculates the priority of each ETL activity and then utilizes the agent theory and multi-thread computing techniques to achieve parallel execution of independent ETL activities with the same priority. Experimental results show that this method achieves high speedup when the data volume is large and improves the efficiency of ETL process.

Key words: agent, activity priority, ETL, parallel

陈刚，杜鑫霖，曾司凤，安宝冉. 一种基于Agent和活动优先度的ETL过程并行方法[J]. 计算机工程与科学.

CHEN Gang，DU Xin-lin,ZENG Si-feng,AN Bao-ran.

A parallel method for ETL process

based on agent and activity priority

[J]. Computer Engineering & Science.

[1]	杨乾明, 邵靖杰, 曾聘, 袁梦, 宋卓秦, 邓秋严, 张剑锋, 王勇. 一种基于Crossbar结构的分布式共享缓存交换机设计与实现[J]. 计算机工程与科学, 2025, 47(6): 951-957.
[2]	李俊哲, 付振新, 杨宏辉, 马银萍, 李若淼, 樊春, . 面向算力网络的跨集群数据迁移系统的设计和实现[J]. 计算机工程与科学, 2025, 47(5): 775-786.
[3]	廉凯成, 杨晨, 朱佳伟, 柴志雷, . 基于Floyd-Steinberg误差扩散的数字半调高效计算[J]. 计算机工程与科学, 2025, 47(5): 875-884.
[4]	李世杰, 刘阳, 唐晋韬, 郄航. 基于孤立集分区的并行Louvain社区发掘算法[J]. 计算机工程与科学, 2025, 47(4): 621-633.
[5]	董勇, 邬会军, 杨梨花, 张伟, 王睿伯, 周恩强. 基于天河互连的并行文件系统网络驱动[J]. 计算机工程与科学, 2025, 47(3): 392-399.
[6]	朱琦, 戴艺, 彭晋韬, 谢旻, 梁崇山, 刘鹏, 杨博, 刘杰, . 基于“天河二号”聚合通信卸载特性的 MPI_Barrier优化[J]. 计算机工程与科学, 2025, 47(3): 400-411.
[7]	张元胤, 肖敏广, 刘志勇, 翁灵玲, 陈志广, 卢宇彤. 基于国产异构众核处理器的等值线与等值面提取算法优化[J]. 计算机工程与科学, 2025, 47(2): 200-209.
[8]	李胜国, 廖霞, 于恒彪, 黄春, 姜浩, 逯喜燕, 王华林, 成礼智. 面向结构矩阵的可扩展并行矩阵乘算法框架[J]. 计算机工程与科学, 2024, 46(9): 1529-1538.
[9]	代长威, 孔瑞林, 季哲, . 面向离散粒子多尺度分析CPU/GPU架构的并行近邻搜索算法[J]. 计算机工程与科学, 2024, 46(8): 1349-1360.
[10]	杨仕琦, 武优西, 耿萌, 李艳. 一次性条件下的三支序列模式挖掘[J]. 计算机工程与科学, 2024, 46(7): 1286-1295.
[11]	郭宸良, 阎少宏, 宗晨琪. 线云隐私攻击算法的并行加速研究[J]. 计算机工程与科学, 2024, 46(4): 615-625.
[12]	杨航, 山蕊, 杨坤, 崔馨月. 基于动态自重构结构的3D-HEVC帧内预测算法并行化实现[J]. 计算机工程与科学, 2024, 46(11): 1931-1939.
[13]	黄山, 吴煜凡, 吕鹤轩, 段晓东, . 异构微差同步并行训练算法[J]. 计算机工程与科学, 2024, 46(11): 1949-1959.
[14]	朱文龙, 江嘉治, 黄聃, 肖侬. ParM:基于国产处理器的异构并行编程模型[J]. 计算机工程与科学, 2023, 45(9): 1521-1531.
[15]	刘屹成, 刘晓燕, 严馨. 并行平衡级联支持向量机[J]. 计算机工程与科学, 2023, 45(7): 1170-1177.