文本分类中基于概率主题模型的噪声处理方法

doi:10.3969/j.issn.1007130X.2010.

J4 ›› 2010, Vol. 32 ›› Issue (7): 89-92.doi: 10.3969/j.issn.1007130X.2010.

文本分类中基于概率主题模型的噪声处理方法

林洋港，陈恩红

(中国科学技术大学计算机科学与技术学院，安徽合肥 230027)

收稿日期:2009-01-13 修回日期:2009-05-18 出版日期:2010-06-25 发布日期:2010-06-25
通讯作者: 林洋港 E-mail:cheneh@ustc.edu.cn
作者简介:林洋港(1983)，男，福建诏安人，硕士生，研究方向为信息检索；陈恩红，教授,博士生导师，研究方向为数据挖掘、信息检索、语义计算等。
基金资助:
国家自然科学基金资助项目(60775037);国家863计划资助项目(2009AA01Z123)

A Probabilistic Topic Model Based Noise Processing Method for Text Classification

LIN Yanggang,CHEN Enhong

（School of Computer Science and Technology,University of Science and Technology of China,Hefei 230027,China）

Received:2009-01-13 Revised:2009-05-18 Online:2010-06-25 Published:2010-06-25
Contact: LIN Yanggang E-mail:cheneh@ustc.edu.cn

摘要/Abstract

摘要：

训练集中文本质量的好坏直接决定着文本分类的结果。实际应用中训练集的构建不可避免地会产生噪声样本，从而影响文本分类方法的实际应用效果。为此，针对文本分类中的噪声问题，本文提出一种基于概率主题模型的噪声处理方法，首先对训练集中的每个样本计算其类别熵，根据类别熵对噪声样本进行过滤；然后利用主题模型进行数据平滑，进一步减弱噪声样本的影响。这种方法不但能够减弱噪声样本对分类结果的影响，同时还保持了训练集的原有规模。在真实数据上的实验表明，该方法对噪声样本的分布具有较好的鲁棒性，在噪声比例较大的情况下仍能保持较好的分类结果。

关键词: 噪声数据, 文本分类, 概率主题模型, 类别熵

Abstract:

The performance of text classification depends directly on the quality of training corpus.In practical applications,noise samples are unavoidable in the training corpus and thus influence the effect of the text classification approach.To this end,a novel probabilistic topic model based noise processing method is proposed for text classification.In our method,the noise samples are filtered according to the class entropy.Then the data is smoothed using the generative process of the topic model to further weaken the influence of noise samples,meanwhile the original size of the training corpus is kept.The experimental results of the real world data show that the method proposed is robust to the distribution of noise samples,and has a relative good performance on the data sets with a high noise ratio.

Key words: noisy data;text classification;probabilistic topic model;class entropy

林洋港，陈恩红. 文本分类中基于概率主题模型的噪声处理方法[J]. J4, 2010, 32(7): 89-92.

LIN Yanggang,CHEN Enhong. A Probabilistic Topic Model Based Noise Processing Method for Text Classification[J]. J4, 2010, 32(7): 89-92.

编辑推荐

Metrics

阅读次数

全文

HTML			PDF

最新录用	在线预览	正式出版	最新录用	在线预览	正式出版
0	0	0	0	0	82

来源	本网站	其他网站

次数	57	25
比例	70%	30%

摘要

最新录用	在线预览	正式出版

0	0	59

	来源	本网站

	次数	59
	比例	100%

[1]	冯兴杰, 曹若轩. 融合特征投影和负监督的文本分类[J]. 计算机工程与科学, 2024, 46(10): 1864-1874.
[2]	肖新正, 黄瑞章, 陈艳平, 秦永彬, 宋玉梅, 周裕林, . Corrective-Net：面向多标签文本分类的标签关联学习模块[J]. 计算机工程与科学, 2024, 46(06): 1092-1100.
[3]	高珊, 李世杰, 蔡志平. 基于深度学习的中文文本分类综述[J]. 计算机工程与科学, 2024, 46(04): 684-692.
[4]	杨春霞, 马文文, 徐奔, 韩煜, . 融合标签信息的分层图注意力网络文本分类模型[J]. 计算机工程与科学, 2023, 45(11): 2018-2026.
[5]	许浪, 李代伟, 张海清, 唐聃, 何磊, 于曦. 基于神经网络的医疗文本分类研究[J]. 计算机工程与科学, 2023, 45(06): 1116-1122.
[6]	梅侠峰, 吴晓鸰, 黄泽民, 凌捷. 融合RoBERTa的多尺度语义协同专利文本分类模型[J]. 计算机工程与科学, 2023, 45(05): 903-910.
[7]	文武, 万玉辉, 张许红, 文志云, . 基于改进CHI和PCA的文本特征选择[J]. 计算机工程与科学, 2021, 43(09): 1645-1652.
[8]	张丽, 马静. 融合词语统计特征和语义信息的文本分类方法研究[J]. 计算机工程与科学, 2021, 43(07): 1308-1315.
[9]	李晓红, 王闪闪, 马堉银, 马慧芳. 融合相似度图和随机游走模型的多标签短文本分类算法[J]. 计算机工程与科学, 2021, 43(06): 1081-1087.
[10]	李校林, 王成, . 一种基于质心的多标签文本分类模型研究[J]. 计算机工程与科学, 2020, 42(06): 1120-1126.
[11]	葛晓伟, 李凯霞, 程铭. 基于CNN-SVM的护理不良事件文本分类研究[J]. 计算机工程与科学, 2020, 42(01): 161-166.
[12]	黄贤英,熊李媛,刘英涛,李沁东. 基于类别特征改进的KNN短文本分类算法[J]. 计算机工程与科学, 2018, 40(01): 148-154.
[13]	刘述昌,张忠林. 基于中心向量的多级分类KNN算法研究[J]. 计算机工程与科学, 2017, 39(09): 1758-1764.
[14]	马长林，杨正良，谢罗迪. 文本分类中CTM模型的优化和可视化应用研究[J]. 计算机工程与科学, 2017, 39(03): 599-604.
[15]	马慧芳，周汝南，吉余岗，鲁小勇. 融合词语类别特征和语义的短文本分类方法[J]. 计算机工程与科学, 2017, 39(02): 399-404.

文本分类中基于概率主题模型的噪声处理方法

A Probabilistic Topic Model Based Noise Processing Method for Text Classification

PDF

可视化

摘要/Abstract

引用本文

使用本文

相关文章 15

编辑推荐

Metrics

本文评价