基于Hadoop的多维关联规则挖掘算法研究及应用

计算机工程与科学

基于Hadoop的多维关联规则挖掘算法研究及应用

杨青1,2,3，张亚文1,2，张琴1，袁佩玲1

（1.华中师范大学计算机学院，湖北武汉 430079;2.人工智能与智慧学习湖北省重点实验室,湖北武汉 430079;

3.国家语言资源监测与研究网络媒体中心,湖北武汉 430079）

收稿日期:2019-07-07 修回日期:2019-09-17 出版日期:2019-12-25 发布日期:2019-12-25
基金资助:
国家自然科学基金（61532008）;国家重点研发计划（2017YFC0909502）

Research and application of a multidimensional

association rules mining algorithm based on Hadoop

YANG Qing1,2,3,ZHANG Ya-wen1,2,ZHANG Qin1,YUAN Pei-ling1

（1.School of Computer,Central China Normal University,Wuhan 430079;

2.Hubei Provincial Key Laboratory of Artificial Intelligence and Smart Learning,Wuhan 430079;

3.National Language Resources Monitor & Research Center for Network Media,Wuhan 430079,China）

Received:2019-07-07 Revised:2019-09-17 Online:2019-12-25 Published:2019-12-25

摘要/Abstract

摘要：

传统的Apriori算法要多次扫描数据集，随着数据量的快速增长，传统的Apriori算法已经不能很好地适用于大数据分析，针对该情况设计了IPApriori算法。首先通过剪枝策略设计了一种适用于多维数据的IApriori算法，再将IApriori算法与Hadoop分布式框架相结合，实现了多维关联规则挖掘算法的并行化。将IPApriori算法运用到手机用户行为预测关联分析中，分析影响手机用户行为的一些主要因素，挖掘出手机用户行为与年龄维度、性别维度、时间维度、地点维度和手机品牌维度属性之间可能存在的某种关联。最后通过实验证明，算法的并行化和建立结构的方法可以降低系统的I/O负荷，提高算法的执行效率。

关键词: Apriori算法, Hadoop, 多维关联规则, 并行化

Abstract:

The traditional Apriori algorithm has to scan the data set multiple times. With the rapid growth of data volume, it cannot be applied to big data analysis. For this problem, an improved parallel Apriori algorithm is designed. Firstly, an IApriori algorithm for multidimensional data is designed by pruning strategy. Secondly, the IApriori algorithm is combined with the Hadoop distributed framework to realize the parallelization of multidimensional association rules mining algorithm. This paper applies the IPApriori algorithm to the correlation analysis of mobile phone user behavior prediction, analyzes some main factors affecting the behavior of mobile phone users, and discovers the possible correlation between mobile phone user behavior and some attributes such as age dimension, gender dimension, time dimension, location dimension and mobile phone brand dimension. Finally, experiments prove that this parallelization algorithm process and the structure building method can reduce the I/O load of the system and improve the execution efficiency of the algorithm.

Key words: Apriori algorithm, Hadoop, multidimensional association rules, parallelization

杨青1,2,3，张亚文1,2，张琴1，袁佩玲1. 基于Hadoop的多维关联规则挖掘算法研究及应用[J]. 计算机工程与科学.

YANG Qing1,2,3,ZHANG Ya-wen1,2,ZHANG Qin1,YUAN Pei-ling1.

Research and application of a multidimensional

association rules mining algorithm based on Hadoop

[J]. Computer Engineering & Science.

[1]	苏丽，孙彦猛，张博为，杨先博，朱颖. 一种基于Hadoop+CUDA实现相关器的方法[J]. J4, 20160101, 38(01): 46-51.
[2]	杨仕琦, 武优西, 耿萌, 李艳. 一次性条件下的三支序列模式挖掘[J]. 计算机工程与科学, 2024, 46(07): 1286-1295.
[3]	郭宸良, 阎少宏, 宗晨琪. 线云隐私攻击算法的并行加速研究[J]. 计算机工程与科学, 2024, 46(04): 615-625.
[4]	赵俊生, 王鑫宇, 尹玉洁, 张林. 基于蒙古语新闻领域本体的分布式检索方法[J]. 计算机工程与科学, 2021, 43(03): 560-570.
[5]	廖纪勇，吴晟，刘爱莲. 基于布尔矩阵约简的Apriori算法改进研究[J]. 计算机工程与科学, 2019, 41(12): 2231-2238.
[6]	何登平1，2，3，何宗浩1,2，李培强1,2. 基于Spark的并行化高效用项集挖掘算法[J]. 计算机工程与科学, 2019, 41(10): 1723-1730.
[7]	陶晓玲1,2,亢蕊楠3，刘丽燕3. 基于选择性集成的并行多分类器融合方法[J]. 计算机工程与科学, 2018, 40(05): 787-792.
[8]	王永坤1,罗萱1,金耀辉1,2. 基于私有云和物理机的混合型大数据平台设计及实现[J]. 计算机工程与科学, 2018, 40(02): 191-199.
[9]	刘鹏1,2，叶帅3，孟磊1,2，王灿4. 基于Spark的并行遗传算法求解多峰函数极值[J]. 计算机工程与科学, 2018, 40(02): 210-217.
[10]	肖文，胡娟，周晓峰. PFPonCanTree：一种基于MapReduce的并行频繁模式增量挖掘算法[J]. 计算机工程与科学, 2018, 40(01): 15-23.
[11]	蔡武越1,王珂2，郝玉洁2，段晓冉2. 一种Hadoop集群下的行为异常检测方法[J]. 计算机工程与科学, 2017, 39(12): 2185-2191.
[12]	吴云蔚，宁芊. 基于Hadoop平台的分布式SVM参数寻优[J]. 计算机工程与科学, 2017, 39(06): 1042-1047.
[13]	张敏华,张剑贤,裘雪红,周端. 基于OpenCL 的JPEG压缩算法并行化设计与实现[J]. 计算机工程与科学, 2017, 39(05): 860-.
[14]	谭延丹，易会战，张鹏. 面向多核体系结构的并行迭代编译技术研究[J]. 计算机工程与科学, 2017, 39(03): 436-442.
[15]	侯泳旭1,段磊1,2,秦江龙3,秦攀1,唐常杰1. 基于Isolation Forest的并行化异常探测设计[J]. 计算机工程与科学, 2017, 39(02): 236-244.