一种基于集成的不均衡数据流分类算法

计算机工程与科学

• 人工智能与数据挖掘 • 上一篇

一种基于集成的不均衡数据流分类算法

袁泉1,2,郭江帆1,赵学华1

（1.重庆邮电大学通信与信息工程学院通信新技术应用研究中心,重庆 400065;

2.重庆信科设计有限公司,重庆 401121）

收稿日期:2018-12-12 修回日期:2019-03-12 出版日期:2019-08-25 发布日期:2019-08-25

An imbalanced data stream classification

algorithm based on ensemble learning

YUAN Quan1,2,GUO Jiang-fan1,ZHAO Xue-hua1

(1.Research Center of New Telecommunication Technology Applications,
School of Telecommunications and Information Engineering,
Chongqing University of Posts and Telecommunications,Chongqing 400065;

2.Chongqing Information Technology Designing Company Limited,Chongqing 401121,China)

Received:2018-12-12 Revised:2019-03-12 Online:2019-08-25 Published:2019-08-25

摘要/Abstract

摘要：

目前数据流分类算法大多是基于类分布这一理想状态，然而在真实数据流环境中数据分布往往是不均衡的，并且数据流中往往伴随着概念漂移。针对数据流中的不均衡问题和概念漂移问题，提出了一种新的基于集成学习的不均衡数据流分类算法。首先为了解决数据流的不均衡问题，在训练模型前加入混合采样方法平衡数据集，然后采用基分类器加权和淘汰策略处理概念漂移问题，从而提高分类器的分类性能。最后与经典数据流分类算法在人工数据集和真实数据集上进行对比实验，实验结果表明，本文提出的算法在含有概念漂移和不均衡的数据流环境中，其整体分类性能优于其他算法的。

关键词: 数据流, 概念漂移, 集成学习, 不均衡

Abstract:

At present, most data stream classification algorithms assume that the class distribution is basically balanced. However, the data distribution is often unbalanced and accompanied by conceptual drift in real data stream environments. Aiming at the problem of unbalanced data distribution and concept drift, we propose an unbalanced data stream classification algorithm based on ensemble learning. Firstly, in order to solve the problem of unbalanced data flows, a mixed sampling method is added to balance the data set before model training. And then the concept drift problem is solved with base classifier weight and elimination strategy. Finally, comparison experiments among data stream classification algorithms are carried out on artificial and real data sets. Experimental results show that the proposed algorithm has better overall classification performance than other algorithms in data stream environments with concept drift and imbalance.

Key words: data stream, concept drift, ensemble learning, unbalance

袁泉1,2,郭江帆1,赵学华1. 一种基于集成的不均衡数据流分类算法[J]. 计算机工程与科学.

YUAN Quan1,2,GUO Jiang-fan1,ZHAO Xue-hua1.

An imbalanced data stream classification

algorithm based on ensemble learning

[J]. Computer Engineering & Science.

[1]	李金熹, 尹首一, 魏少军, 胡杨. 基于MLIR的数据流模型[J]. 计算机工程与科学, 2024, 46(07): 1151-1157.
[2]	张家豪, 邓金易, 尹首一, 魏少军, 胡杨. 基于Actor模型的众核数据流硬件架构探索[J]. 计算机工程与科学, 2024, 46(06): 959-967.
[3]	董燕灵, 张淑芬, 徐精诚, 王豪石, . 面向Stacking算法的差分隐私保护研究[J]. 计算机工程与科学, 2024, 46(02): 244-252.
[4]	庞诺言, 关东海, 袁伟伟. 基于早期时间序列分类的可解释实时机动识别算法[J]. 计算机工程与科学, 2024, 46(02): 353-362.
[5]	陈俊彦, 卢贤涛, 黄雪锋, 卢小烨, 廖岑卉珊. 基于Double-Bagging特征降维异质集成入侵检测[J]. 计算机工程与科学, 2023, 45(06): 1011-1019.
[6]	苏赋, 罗海波. 改进Stacking集成学习的指纹识别算法[J]. 计算机工程与科学, 2022, 44(12): 2153-2161.
[7]	丁滟, 王闯, 冯了了, 王锋, 常俊胜. 基于区块链监管的联盟数据可信流通[J]. 计算机工程与科学, 2022, 44(10): 1771-1780.
[8]	张喜龙, 韩萌, 陈志强, 武红鑫, 李慕航. 基于Hellinger距离的不平衡漂移数据流Boosting分类算法[J]. 计算机工程与科学, 2022, 44(05): 788-799.
[9]	乔冠杰, 吕高锋, 谭靖, 莫露莎. 大规模数据流统计中冷热流替换策略优化[J]. 计算机工程与科学, 2021, 43(09): 1567-1573.
[10]	朱广林, 吕方, 赖庆宽, 陈华英, 何先波, . 编译器中激进蝴蝶优化方法的研究与实现[J]. 计算机工程与科学, 2021, 43(06): 962-968.
[11]	陈丽芳, 代琪, 赵佳亮. 不平衡数据多粒度集成分类算法研究[J]. 计算机工程与科学, 2021, 43(05): 917-925.
[12]	曹婷婷, 张忠林. 代价敏感的KPCA-Stacking不均衡数据分类算法[J]. 计算机工程与科学, 2021, 43(03): 525-533.
[13]	文凯, 耿小海, 朱璐伟, 许萌萌, . 基于AO算法的数据流频繁项集挖掘[J]. 计算机工程与科学, 2020, 42(12): 2259-2264.
[14]	李勇, 陈思萱, 贾海 , 王霞. 基于C-AdaBoost模型的乳腺癌预测研究[J]. 计算机工程与科学, 2020, 42(08): 1414-1422.
[15]	赵俊生，候圣，王鑫宇，尹玉洁. 基于集成学习的图像垃圾邮件过滤方法[J]. 计算机工程与科学, 2020, 42(06): 1049-1059.

一种基于集成的不均衡数据流分类算法

An imbalanced data stream classification

algorithm based on ensemble learning

PDF

可视化

摘要/Abstract

引用本文

使用本文

相关文章 15

编辑推荐

Metrics

本文评价