基于信息熵的集成学习过程多样性度量研究

计算机工程与科学

基于信息熵的集成学习过程多样性度量研究

周钢,郭福亮

（海军工程大学,湖北武汉 430033）

收稿日期:2018-10-29 修回日期:2019-01-08 出版日期:2019-09-25 发布日期:2019-09-25

Process diversity measurement of

ensemble learning based on information entropy

ZHOU Gang,GUO Fu-liang

(Naval University of Engineering,Wuhan 430033,China)

Received:2018-10-29 Revised:2019-01-08 Online:2019-09-25 Published:2019-09-25

摘要/Abstract

摘要：

基分类器的多样性是提升集成学习的精度和泛化能力的重要因素，大数据环境下的传统后验证多样性度量方法计算效率较低，提出一种基于信息熵的过程多样性度量方法。通过使用分类器各属性的增益及其所在树层次得到属性集的联合增益，并计算分类器间的熵距离评估其多样性，利用熵距离按照K-means方法即可动态购置集成学习分类器。在西瓜数据集和典型分类数据集上进行比较研究，发现与传统集成学习方法相比，该方法具有相近的准确性和更高的计算效率。

关键词: 集成学习, 过程多样性, 联合增益, K-means, 多样性度量

Abstract:

The diversity of base classifiers is an important factor to improve the accuracy and generalization ability of ensemble learning. The traditional post verification diversity measurement method is inefficient in big data environment. We therefore propose a process diversity measurement method based on information entropy. The method uses the gain of each attribute of the base classifier and its tree level to obtain the joint gain of the attribute set, and calculates the entropy distance between the classifiers to evaluate their diversity. It dynamically integrates the learning classifier with the entropy distance in accordance with the K-means method. Compared with traditional methods on watermelon dataset and other classification datasets, it is found that the proposed method has similar accuracy and higher computational efficiency.

Key words: ensemble learning, process diversity, joint gain, K-means, diversity measurement

周钢,郭福亮. 基于信息熵的集成学习过程多样性度量研究[J]. 计算机工程与科学.

ZHOU Gang,GUO Fu-liang.

Process diversity measurement of

ensemble learning based on information entropy

[J]. Computer Engineering & Science.

[1]	董燕灵, 张淑芬, 徐精诚, 王豪石, . 面向Stacking算法的差分隐私保护研究[J]. 计算机工程与科学, 2024, 46(02): 244-252.
[2]	庞诺言, 关东海, 袁伟伟. 基于早期时间序列分类的可解释实时机动识别算法[J]. 计算机工程与科学, 2024, 46(02): 353-362.
[3]	刘浩翰, 孙铖, 贺怀清, 惠康华. 基于改进YOLOv3的金属表面缺陷检测[J]. 计算机工程与科学, 2023, 45(07): 1226-1235.
[4]	陈俊彦, 卢贤涛, 黄雪锋, 卢小烨, 廖岑卉珊. 基于Double-Bagging特征降维异质集成入侵检测[J]. 计算机工程与科学, 2023, 45(06): 1011-1019.
[5]	苏赋, 罗海波. 改进Stacking集成学习的指纹识别算法[J]. 计算机工程与科学, 2022, 44(12): 2153-2161.
[6]	李兰, 刘杰, 张洁. 基于YOLOv4改进算法的复杂行人检测模型研究[J]. 计算机工程与科学, 2022, 44(08): 1449-1456.
[7]	庞兴龙, 朱国胜, 杨少龙, 李修远. 一种基于聚类与噪声的网络流量分类方法[J]. 计算机工程与科学, 2022, 44(07): 1207-1215.
[8]	黄志强, 李军, 张世义. 基于轻量级神经网络的目标检测研究[J]. 计算机工程与科学, 2022, 44(07): 1265-1272.
[9]	苏小会, 张玉西, 徐淑萍, 尚煜. 改进K-means聚类算法行驶工况及油耗研究[J]. 计算机工程与科学, 2021, 43(11): 2020-2026.
[10]	谢挺, 刘瑞华, 魏正元. 一类连续的K-means 等价聚类模型及其优化算法[J]. 计算机工程与科学, 2021, 43(11): 2077-2083.
[11]	张瑾, 洪莉, 戴二壮. 求解带容量和时间窗约束车辆路径问题的改进蝙蝠算法[J]. 计算机工程与科学, 2021, 43(08): 1479-1487.
[12]	陈俊彦, 李玥, 梁楚欣, 雷晓春. SDN多控制器部署及流量均衡研究[J]. 计算机工程与科学, 2021, 43(05): 830-835.
[13]	陈丽芳, 代琪, 赵佳亮. 不平衡数据多粒度集成分类算法研究[J]. 计算机工程与科学, 2021, 43(05): 917-925.
[14]	方姣丽, 左克, 黄春, 刘杰, 李胜国, 卢凯. FD-LSTM:基于大规模系统日志的故障分析模型[J]. 计算机工程与科学, 2021, 43(01): 33-41.
[15]	李勇, 陈思萱, 贾海 , 王霞. 基于C-AdaBoost模型的乳腺癌预测研究[J]. 计算机工程与科学, 2020, 42(08): 1414-1422.