一种基于Agent和活动优先度的ETL过程并行方法

计算机工程与科学

一种基于Agent和活动优先度的ETL过程并行方法

陈刚，杜鑫霖，曾司凤，安宝冉

（中国工程物理研究院计算机应用研究所，四川绵阳 621900）

收稿日期:2015-11-10 修回日期:2016-07-01 出版日期:2017-09-25 发布日期:2017-09-25
基金资助:
国家863计划(2007AA1236)；中国工程物理研究院发展基金(14-FZJJ-0442)

A parallel method for ETL process

based on agent and activity priority

CHEN Gang，DU Xin-lin,ZENG Si-feng,AN Bao-ran

（Institute of Computer Application,China Academy of Engineering Physics,Mianyang 621900,China）

Received:2015-11-10 Revised:2016-07-01 Online:2017-09-25 Published:2017-09-25

摘要/Abstract

摘要：

ETL是数据仓库获得高质量数据的关键环节，在数据仓库的构建和实施中占有重要地位。针对传统ETL串行执行方式的不足，提出一种基于Agent和活动优先度相结合的ETL并行执行方法。该方法计算ETL执行过程中各个活动的优先度，利用Agent理论和多线程并行计算技术实现并行执行具有相同优先度且相互间没有依赖关系的ETL活动。实验结果表明，该方法在数据量较大时具有较好的加速比，提高了ETL过程的执行效率。

关键词: Agent, 活动优先度, ETL, 并行

Abstract:

ETL is the essential step to obtain high-quality data for data warehouse, and plays an important role in the construction and implementation of data warehouse. Aiming at the deficiency of traditional serial ETL process, we propose a parallel method for ETL based on agent and activity priority. This method first calculates the priority of each ETL activity and then utilizes the agent theory and multi-thread computing techniques to achieve parallel execution of independent ETL activities with the same priority. Experimental results show that this method achieves high speedup when the data volume is large and improves the efficiency of ETL process.

Key words: agent, activity priority, ETL, parallel

陈刚，杜鑫霖，曾司凤，安宝冉. 一种基于Agent和活动优先度的ETL过程并行方法[J]. 计算机工程与科学.

CHEN Gang，DU Xin-lin,ZENG Si-feng,AN Bao-ran.

A parallel method for ETL process

based on agent and activity priority

[J]. Computer Engineering & Science.

[1]	杨仕琦, 武优西, 耿萌, 李艳. 一次性条件下的三支序列模式挖掘[J]. 计算机工程与科学, 2024, 46(07): 1286-1295.
[2]	郭宸良, 阎少宏, 宗晨琪. 线云隐私攻击算法的并行加速研究[J]. 计算机工程与科学, 2024, 46(04): 615-625.
[3]	肖调杰, 周峰, 郑翾宇, 刘剑, 陈琳, 刘杰, 易明宽, 陈旭光, 龚春叶, 杨博, 甘新标, 李胜国, 左克, . 大规模三维频率域电磁积分方程法数值模拟[J]. 计算机工程与科学, 2023, 45(11): 1901-1910.
[4]	王继昌, 吕高锋, 刘忠沛, 杨翔瑞. 基于数据处理器的QUIC加密/解密卸载[J]. 计算机工程与科学, 2023, 45(11): 1960-1969.
[5]	吴超, 卫谦, 周俊伟, 李会民, 孙广中. 基于异构计算平台的背景噪声预处理并行算法[J]. 计算机工程与科学, 2023, 45(10): 1711-1719.
[6]	王鑫, 彭健. 基于HYB格式SpMV在新一代申威架构上的实现与优化[J]. 计算机工程与科学, 2023, 45(10): 1754-1762.
[7]	朱文龙, 江嘉治, 黄聃, 肖侬. ParM:基于国产处理器的异构并行编程模型[J]. 计算机工程与科学, 2023, 45(09): 1521-1531.
[8]	刘屹成, 刘晓燕, 严馨. 并行平衡级联支持向量机[J]. 计算机工程与科学, 2023, 45(07): 1170-1177.
[9]	孙国璋, 黄山, 艾力卡木·再比布拉, 徐浩桐, 段晓东, . 基于Flink的k-支配skyline体并行求解算法[J]. 计算机工程与科学, 2023, 45(01): 17-27.
[10]	管延霞, 刘逊韵, 刘运韬, 谢旻, 徐新海. 面向多智能体博弈的并行蒙特卡洛树搜索算法研究[J]. 计算机工程与科学, 2022, 44(12): 2128-2133.
[11]	臧照虎, 李晨, 王耀华, 陈小文, 郭阳. 面向众核系统的层次化栅栏同步机制[J]. 计算机工程与科学, 2022, 44(11): 1901-1908.
[12]	张勇, 张曦, 万云博, 何先耀, 赵钟, 卢宇彤. 非结构有限体积CFD计算的网格重排序优化[J]. 计算机工程与科学, 2022, 44(10): 1721-1729.
[13]	葛旭冉, 刘洋, 陈志广, 肖侬. 基于MPI的并行大数据集生成器[J]. 计算机工程与科学, 2022, 44(07): 1152-1161.
[14]	陈奉贤. 基于NR-Transformer的集群作业运行时间预测[J]. 计算机工程与科学, 2022, 44(07): 1181-1190.
[15]	许晓阳, 王斯棋. 基于粒子分解的SPH并行算法研究与应用[J]. 计算机工程与科学, 2022, 44(06): 964-970.