融合词语类别特征和语义的短文本分类方法

计算机工程与科学

• 论文 • 上一篇

融合词语类别特征和语义的短文本分类方法

马慧芳，周汝南，吉余岗，鲁小勇

（西北师范大学计算机科学与工程学院，甘肃兰州 730070）

收稿日期:2015-11-13 修回日期:2015-12-30 出版日期:2017-02-25 发布日期:2017-02-25
基金资助:
国家自然科学基金（61163039，61363058）；甘肃省青年科技基金(145RJYA259);甘肃省自然科学研究基金(145RJZA232);西北师范大学2013年度青年教师科研能力提升计划(NWNU-LKQN-12-23);中国科学院计算技术研究所智能信息处理重点实验室开放基金(IIP2014-4);2016年甘肃省大学生创新创业训练计划(201610736041,201610736040)

A short text classification method combining

lexical category features and semantics

MA Hui-fang，ZHOU Ru-nan,JI Yu-gang，LU Xiao-yong

(College of Computer Science and Engineering,Northwest Normal University,Lanzhou 730070,China)

Received:2015-11-13 Revised:2015-12-30 Online:2017-02-25 Published:2017-02-25

摘要/Abstract

摘要：

针对短文本内容简短、特征稀疏等特点，提出一种新的融合词语类别特征和语义的短文本分类方法。该方法采用改进的特征选择方法从短文本中选择最能代表类别特征的词语构造特征词典，同时结合利用隐含狄利克雷分布LDA主题模型从背景知识中选择最优主题形成新的短文本特征，在此基础上建立分类器进行分类。采用支持向量机SVM与k近邻法k-NN分类器对搜狗语料库数据集上的搜狐新闻标题内容进行分类，实验结果表明该方法对提高短文本分类的性能是有效的。

关键词: 短文本分类, 隐含狄利克雷分布, 词汇特征, 语义特征, 特征选择

Abstract:

Classification of short texts is challenging due to their typical characteristics of severe sparseness and high dimension. We propose a novel approach to classify short texts by combining both lexical and semantic features. To construct the term dictionary, we firstly select lexical features of the most distinctive words of a certain category, and then extract the optimal topic distribution from the background knowledge repository based on the Latent Dirichlet Allocation so as to construct the new features of short texts. Experiments on classifying Sohu news titles which are typical short texts via SVM and K-NN show that our method can greatly improve the classification results.

Key words: short text classification, Latent Dirichlet Allocation, lexical features, semantic features, feature selection

马慧芳，周汝南，吉余岗，鲁小勇. 融合词语类别特征和语义的短文本分类方法[J]. 计算机工程与科学.

MA Hui-fang，ZHOU Ru-nan,JI Yu-gang，LU Xiao-yong.

A short text classification method combining

lexical category features and semantics

[J]. Computer Engineering & Science.

[1]	陈丽芳, 白云, 施永辉, 代琪. 面向不平衡数据的特征子空间增强的异质集成学习[J]. 计算机工程与科学, 2025, 47(5): 940-950.
[2]	刘振超, 苑迎春, 王克俭, 何晨. 融合特征权重与改进粒子群优化的特征选择算法[J]. 计算机工程与科学, 2024, 46(2): 282-291.
[3]	钟卓辉, 陈黎飞, . 基于模型的非凸聚类算法[J]. 计算机工程与科学, 2024, 46(2): 292-302.
[4]	赵瑞平, 降爱莲. 基于自编码器和局部嵌入的无监督特征选择[J]. 计算机工程与科学, 2023, 45(7): 1282-1291.
[5]	顾楚梅, 曹建军, 王保卫, 徐雨芯, . 基于蚁群参数优化的LightGBM辐射源个体识别[J]. 计算机工程与科学, 2023, 45(1): 85-94.
[6]	杨昊, 赵刚, 王兴芬. 基于混合模型的事件触发词抽取[J]. 计算机工程与科学, 2023, 45(1): 171-180.
[7]	文武, 万玉辉, 文志云, . 基于正余弦算法的文本特征选择[J]. 计算机工程与科学, 2022, 44(8): 1467-1473.
[8]	刘云, 肖添, 王梓宇. 动态特征选择算法对恶意行为检测的优化研究[J]. 计算机工程与科学, 2022, 44(4): 665-673.
[9]	吴尚智, 徐丹丹, 王旭文, 夏宁. 基于广义重要度和runner-root算法的特征选择[J]. 计算机工程与科学, 2022, 44(4): 723-729.
[10]	文武, 万玉辉, 张许红, 文志云, . 基于改进CHI和PCA的文本特征选择[J]. 计算机工程与科学, 2021, 43(9): 1645-1652.
[11]	黄泽民, 吴晓鸰, 吴迎岗, 凌捷. 结合BERT和BiSRU-AT的中文文本情感分类[J]. 计算机工程与科学, 2021, 43(9): 1668-1674.
[12]	李晓红, 王闪闪, 马堉银, 马慧芳. 融合相似度图和随机游走模型的多标签短文本分类算法[J]. 计算机工程与科学, 2021, 43(6): 1081-1087.
[13]	刘豪, 马慧芳, 龚楠, 闫彩瑞. 基于多粒度语义分析的二进制漏洞搜索方法[J]. 计算机工程与科学, 2021, 43(12): 2169-2176.
[14]	李雨晨, 魏巍, 白伟明, 王达. 基于标签共现关系的多标签特征选择[J]. 计算机工程与科学, 2021, 43(11): 2049-2055.
[15]	李向军1,2，孔珂2，魏智翔1，王科选1，肖聚鑫1. 面向Android恶意应用静态检测的特征频数差异增强算法[J]. 计算机工程与科学, 2020, 42(6): 993-1002.

融合词语类别特征和语义的短文本分类方法

A short text classification method combining

lexical category features and semantics

PDF

可视化

摘要/Abstract

引用本文

使用本文

相关文章 15

编辑推荐

Metrics

本文评价