基于选择性集成的并行多分类器融合方法

计算机工程与科学

基于选择性集成的并行多分类器融合方法

陶晓玲1,2,亢蕊楠3，刘丽燕3

(1.桂林电子科技大学广西云计算与大数据协同创新中心，广西桂林 541004；

2.桂林电子科技大学广西密码学与信息安全重点实验室，广西桂林 541004；

3.桂林电子科技大学信息与通信学院,广西桂林 541004）

收稿日期:2016-11-16 修回日期:2017-03-30 出版日期:2018-05-25 发布日期:2018-05-25
基金资助:
国家自然科学基金（61363006）；广西自然科学基金（2016GXNSFAA380098）；广西云计算与大数据协同创新中心开放课题（YD16803）；桂林电子科技大学研究生科研创新项目（2016YJCX94）

A parallel multi-classifier fusion approach

based on selective ensemble

TAO Xiao-ling1,2,KANG Rui-nan3,LIU Li-yan3

(1.Guangxi Collaboration Innovation Center of Cloud Computing and Big Data,

Guilin University of Electronic Technology,Guilin 541004;

2.Guangxi Key Laboratory of Cryptography and Information Security,

Guilin University of Electronic Technology,Guilin 541004;

3.College of Information and Communication,Guilin University of Electronic Technology,Guilin 541004,China)

Received:2016-11-16 Revised:2017-03-30 Online:2018-05-25 Published:2018-05-25

摘要/Abstract

摘要：

为解决多分类器融合过程中时间开销大和准确率不高的问题，采用改进的Bagging方法并结合MapReduce技术，提出了一种基于选择性集成的并行多分类器融合方法PMCF-SE。该方法基于MapReduce并行计算架构。在Map阶段，选择分类效果较好的基分类器；在Reduce阶段，从所选的基分类器中选择差异性较大的基分类器，然后采用D-S证据理论融合被选的基分类器。实验结果表明，在执行效率方面，与单机环境相比，集群环境下该方法的执行效率有所提高；在分类准确率方面，与Bagging算法相比，PMCF-SE在不同的基分类器数目下的分类准确率都高于Bagging算法。

关键词: 多分类器融合, 选择性集成, D-S证据理论, MapReduce, 并行化

Abstract:

In order to solve the problem of large time and low accuracy in the process of multi-classifier fusion,a Parallel Multi-Classifier Fusion Approach based on Selective Ensemble (PMCF-SE) is proposed by adopting both the improved Baggingmethod and MapReduce technique. Our approach is based on the MapReduce parallel computing framework.In the Map phase,the base classifiers with better classification performance are selected. In the Reduce phase,the base classifiers of greater diversity are selected, and then the selected base classifiers are fused with the D-S evidence theory. Experimental results show that, compared with the stand-alone environment, the execution efficiency of the classification model in the cluster environment is improved. PMCF-SE has higher classification accuracy than the Bagging algorithm under different numbers of base classifiers.

Key words: multi-classifier fusion, selective ensemble, D-S evidence theory, MapReduce, parallelization

陶晓玲1,2,亢蕊楠3，刘丽燕3. 基于选择性集成的并行多分类器融合方法[J]. 计算机工程与科学.

TAO Xiao-ling1,2,KANG Rui-nan3,LIU Li-yan3.

A parallel multi-classifier fusion approach

based on selective ensemble

[J]. Computer Engineering & Science.

[1]	杨航, 山蕊, 杨坤, 崔馨月. 基于动态自重构结构的3D-HEVC帧内预测算法并行化实现[J]. 计算机工程与科学, 2024, 46(11): 1931-1939.
[2]	杨仕琦, 武优西, 耿萌, 李艳. 一次性条件下的三支序列模式挖掘[J]. 计算机工程与科学, 2024, 46(07): 1286-1295.
[3]	郭宸良, 阎少宏, 宗晨琪. 线云隐私攻击算法的并行加速研究[J]. 计算机工程与科学, 2024, 46(04): 615-625.
[4]	谢苗苗, 李华龙. 基于改进D-S证据理论的室内环境控制决策系统[J]. 计算机工程与科学, 2020, 42(05): 938-943.
[5]	杨青1,2,3，张亚文1,2，张琴1，袁佩玲1. 基于Hadoop的多维关联规则挖掘算法研究及应用[J]. 计算机工程与科学, 2019, 41(12): 2127-2133.
[6]	何登平1，2，3，何宗浩1,2，李培强1,2. 基于Spark的并行化高效用项集挖掘算法[J]. 计算机工程与科学, 2019, 41(10): 1723-1730.
[7]	王宇新，王飞，王冠，郭禾. 一种基于两级DAG模型的MapReduce工作流异构调度算法[J]. 计算机工程与科学, 2019, 41(08): 1353-1359.
[8]	孙子文1,2，李松1，孙晓雯1. 基于D-S证据理论的人体跌倒检测方法[J]. 计算机工程与科学, 2018, 40(05): 829-835.
[9]	王菁1,2，王若飞1,2. 基于日志挖掘的电商查询建议方法[J]. 计算机工程与科学, 2018, 40(02): 231-237.
[10]	肖文，胡娟，周晓峰. PFPonCanTree：一种基于MapReduce的并行频繁模式增量挖掘算法[J]. 计算机工程与科学, 2018, 40(01): 15-23.
[11]	蔡武越1,王珂2，郝玉洁2，段晓冉2. 一种Hadoop集群下的行为异常检测方法[J]. 计算机工程与科学, 2017, 39(12): 2185-2191.
[12]	赵宝文，徐华. 基于MapReduce的并行MRACO-PAM聚类算法[J]. 计算机工程与科学, 2017, 39(10): 1801-1806.
[13]	吴云蔚，宁芊. 基于Hadoop平台的分布式SVM参数寻优[J]. 计算机工程与科学, 2017, 39(06): 1042-1047.
[14]	赵一宁,肖海力. 对于大规模系统日志的日志模式提炼算法的优化[J]. 计算机工程与科学, 2017, 39(05): 821-828.
[15]	张元鸣，陈苗，陆佳炜，徐俊，肖刚. 基于MapReduce的Bagging决策树优化算法[J]. 计算机工程与科学, 2017, 39(05): 841-848.