基于深度置信网络的维吾尔文垃圾短信分类技术研究

计算机工程与科学

基于深度置信网络的维吾尔文垃圾短信分类技术研究

阿丽亚·艾尔肯，哈力旦·阿布都热依木，何燕，吴冰冰

（新疆大学电气工程学院，新疆乌鲁木齐 830047）

收稿日期:2015-07-07 修回日期:2015-11-15 出版日期:2016-10-25 发布日期:2016-10-25
基金资助:
国家自然科学基金（61163026）

A Uyghur spam classification method

based on deep belief networks

Aliya·Aierken, Halidan·Abudureyimu, HE Yan, WU Bing-bing

（College of Electrical Engineering, Xinjiang University, Urumqi 830047, China）

Received:2015-07-07 Revised:2015-11-15 Online:2016-10-25 Published:2016-10-25

摘要/Abstract

摘要：

针对传统分类算法对维吾尔文文本分类准确率不高的问题，提出了一种基于深度置信网络的维吾尔文短信文本分类模型。深度学习模拟人脑的多层次结构，对数据从低层到高层逐渐地进行特征提取，深层挖掘数据集的分布规律，从而提高分类准确性。通过逐层无监督的方法完成深度置信网络的初始化，并结合softmax回归分类器实现文本的分类。最后在收集的维吾尔文短信数据集上进行实验论证。实验结果表明，相比KNN、SVM和决策树算法，深度置信网络具有更好的分类效果，准确率更高。

关键词: 深度置信网络, 维吾尔文, 垃圾短信, 文本分类

Abstract:

Traditional Uygur text classification algorithms have disadvantages such as low accuracy and a long operation time. We therefore propose a Uyghur text messages classification method using the deep learning model. Deep learning simulates the multi-layered structure of the brain which gradually extracts data features from low level to high level, and deeply exploits the distribution law of data sets to improve classification accuracy. We use the layered unsupervised method to initialize the deep belief network, and combining with the softmax regression classifier, we realize the classification of Uyghur message data sets. Experiments on Uyghur messages datasets show that compared with the KNN, SVM and the decision tree algorithm, the proposed method has better classification effect.

Key words: deep belief networks (DBNs), Uyghur, spam, text classification

阿丽亚·艾尔肯，哈力旦·阿布都热依木，何燕，吴冰冰. 基于深度置信网络的维吾尔文垃圾短信分类技术研究[J]. 计算机工程与科学.

Aliya·Aierken, Halidan·Abudureyimu, HE Yan, WU Bing-bing.

A Uyghur spam classification method

based on deep belief networks

[J]. Computer Engineering & Science.

参考文献

［1］Chen Yang，Halidan·Abudureyimu，Yiliyaer·Dawuti，et al. Uyghur text classification based on weighted improved Bayes［J］.Computer Engineering and Design,2014,35(6):1999-2003.(in Chinese)

［2］Ahmatjan·Ablat，Turdi·Tohti，Askar·Hamdulla.Uyghur text classification based on native Bayes and its performance analysis［J］.Computer Applications and Software,2012,29(12):27-29.(in Chinese)

［3］Li Yan-jiao,Jiang Tong-hai.Uyghur text classification model based on improved weighted Bayes［J］.Computer Engineering and Design,2012,33(12):4726-4730.(in Chinese)

［4］Dong Rui，Zhou Xi.Feature selection method for Uyghur imbalanced classification［J］.Computer Engineering and Design,2013,34(1):349-352.(in Chinese)

［5］Alimjan·Aysa，Turgun·Ibrahim，Kurban·Obul，et al.Research of Uyghur language text categorization based on SVM［J］.Computer Engineering & Science,2012,34(12):150-154.(in Chinese)

［6］Alimjan·Aysa，Turgun·Ibrahim，Kurban·Obul,et al.Phrase based Uyghur language text categorization［J］.Journal of Computer Applications,2012,32(10):2923-2926.(in Chinese)

［7］Tohti T, Ablat A, Aniwar M, et al.Combined algorithm of GAAC and K-means for Uyghur text clustering［J］.Computer Engineering & Science,2013,35(7):149-155.(in Chinese)

［8］Alimjan·Aysa,Turgun·Ibrahim,Hasan·Omar,et al.Machine learning based Uyghur language text categorization［J］.Computer Engineering and Applications,2012,48(5)：110-112.(in Chinese)

［9］Hinton G E.Osindero S,Teh Y.A fast learning algorithm for deep belief nets［J］.Neural Computation,2006,18(17):1527-1554.

［10］Lü Qi,Dou Yong,Niu Xin,et al.Remote sensing image classification based on DBN model［J］.Journal of Computer Research and Development,2014,51(9):1911-1918.(in Chinese)

［11］Chen Yu.Research on Chinese information extraction based on deep belief nets［D］.Harbin:Harbin Institute of Technology,2014.(in Chinese)

［12］Larochelle H, Bengio Y, Louradour J,et al.Exploring strategies for training deep neural networks［J］.Journal of Machine Learning Research,2009,10(1):1-10.

附中文参考文献：

［1］陈洋,哈力旦·阿布都热依木,伊力亚尔·达吾提,等.基于加权改进贝叶斯算法的维吾尔文文本分类［J］.计算机工程与设计,2014,35(6):1999-2003.

［2］艾海麦提江·阿布来提,吐尔地·托合提,艾斯卡尔·艾木都拉.基于Natve Bayes的维吾尔文文本分类算法及其性能分析［J］.计算机应用与软件,2012,29(12):27-29.

［3］李艳姣,蒋同海.基于改进权重贝叶斯的维文文本分类模型［J］.计算机工程与设计,2012,33(12):4726-4730.

［4］董瑞,周喜.面向维吾尔文不平衡数据分类的特征选择方法［J］.计算机工程与设计,2013,34(1):349-352.

［5］阿力木江·艾沙,吐尔根·依布拉音,库尔班·吾布力,等.基于SVM的维吾尔文文本分类研究［J］.计算机工程与科学,2012,34(12):150-154.

［6］阿力木江·艾沙,吐尔根·依布拉音,库尔班·吾布力,等.基于短语的维吾尔文文本分类［J］.计算机应用,2012,32(10):2923-2926.

［7］吐尔地·托合提,艾海麦提江·阿布来提,米也塞·艾尼玩,等.一种结合GAAC和K-means的维吾尔文文本聚类算法［J］.计算机工程与科学,2013,35(7):149-155.

［8］阿力木江·艾沙,吐尔根·依布拉音,艾山·吾买尔,等.基于机器学习的维吾尔文文本分类研究［J］.计算机工程与应用,2012,48(5):110-112.

［10］吕启,窦勇,牛新,等.基于DBN模型的遥感图像分类［J］.计算机研究与发展,2014,51(9):1911-1918.

［11］陈宇.基于深度置信网络的中文信息抽取方法［D］.哈尔滨:哈尔滨工业大学,2014.

[1]	许浪, 李代伟, 张海清, 唐聃, 何磊, 于曦. 基于神经网络的医疗文本分类研究[J]. 计算机工程与科学, 2023, 45(06): 1116-1122.
[2]	梅侠峰, 吴晓鸰, 黄泽民, 凌捷. 融合RoBERTa的多尺度语义协同专利文本分类模型[J]. 计算机工程与科学, 2023, 45(05): 903-910.
[3]	文武, 万玉辉, 张许红, 文志云, . 基于改进CHI和PCA的文本特征选择[J]. 计算机工程与科学, 2021, 43(09): 1645-1652.
[4]	张丽, 马静. 融合词语统计特征和语义信息的文本分类方法研究[J]. 计算机工程与科学, 2021, 43(07): 1308-1315.
[5]	李晓红, 王闪闪, 马堉银, 马慧芳. 融合相似度图和随机游走模型的多标签短文本分类算法[J]. 计算机工程与科学, 2021, 43(06): 1081-1087.
[6]	张原, 姜焕成. 基于深度学习的大口径火炮健康管理系统研究[J]. 计算机工程与科学, 2020, 42(11): 2050-2058.
[7]	李校林, 王成, . 一种基于质心的多标签文本分类模型研究[J]. 计算机工程与科学, 2020, 42(06): 1120-1126.
[8]	葛晓伟, 李凯霞, 程铭. 基于CNN-SVM的护理不良事件文本分类研究[J]. 计算机工程与科学, 2020, 42(01): 161-166.
[9]	黄贤英,熊李媛,刘英涛,李沁东. 基于类别特征改进的KNN短文本分类算法[J]. 计算机工程与科学, 2018, 40(01): 148-154.
[10]	刘述昌,张忠林. 基于中心向量的多级分类KNN算法研究[J]. 计算机工程与科学, 2017, 39(09): 1758-1764.
[11]	马长林，杨正良，谢罗迪. 文本分类中CTM模型的优化和可视化应用研究[J]. 计算机工程与科学, 2017, 39(03): 599-604.
[12]	马慧芳，周汝南，吉余岗，鲁小勇. 融合词语类别特征和语义的短文本分类方法[J]. 计算机工程与科学, 2017, 39(02): 399-404.
[13]	周杭霞，叶佳骏，任欢. 基于快速自编码的RELM的文本分类[J]. J4, 2016, 38(05): 871-876.
[14]	谭光兴，刘臻晖. 基于SVM的局部潜在语义分析算法研究[J]. J4, 2016, 38(01): 177-182.
[15]	戴上平1，冯鹏1，刘盛英杰1，舒红2. 基于余弦距离的局部敏感哈希的KNN算法在中文文本上的快速分类[J]. J4, 2015, 37(10): 1971-1976.