基于Hadoop平台的TFIDF算法并行化研究

J4 ›› 2014, Vol. 36 ›› Issue (06): 1018-1022.

基于Hadoop平台的TFIDF算法并行化研究

王静宇1,2,赵伟燕2

(1.北京科技大学计算机与通信工程学院,北京 100083;2.内蒙古科技大学信息工程学院,内蒙古包头 014010)

收稿日期:2012-12-22 修回日期:2013-02-25 出版日期:2014-06-25 发布日期:2014-06-25
基金资助:
国家自然科学基金资助项目(61163025);内蒙古自然科学基金资助项目(2012MS0912);内蒙古教育厅科研资助项目（Njzy12110）

Research on parallelizing the
TFIDF algorithm based on Hadoop

WANG Jingyu1,2,ZHAO Weiyan2

(1.School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083;
2.College of Information Engineering,Inner Mongolia University of Science and Technology,Baotou 014010,China)

Received:2012-12-22 Revised:2013-02-25 Online:2014-06-25 Published:2014-06-25

摘要/Abstract

摘要：

针对大数据集下文本分类算法在单机上训练和测试过程效率低下的问题，提出了基于Hadoop分布式平台的TFIDF文本分类算法，并给出了算法实现的具体流程。通过MapReduce编程模型实现了考虑到词在文档中位置的并行化TFIDF文本分类算法，并与传统串行算法进行了对比，同时在单机和集群模式下进行了实验。实验表明，使用并行化的TFIDF文本分类算法可实现对海量数据的高速有效分类，并使算法性能得到优化。

关键词: 文本分类, MapReduce, 并行化, TFIDF算法

Abstract:

Aiming to improve the efficiency of text classification algorithm on a large data set during the training and testing process, the TFIDF text classification algorithm based on the Hadoop distribution platform is proposed, and its implementation process is given. By using the MapReduce programming model, the parallelized TFIDF text classification algorithm is implemented, which takes the word locations into consideration. Comparative experiments are conducted between the improved TFIDF algorithm and the traditional serial algorithm in both the standalone mode and the cluster mode. The experimental results show that the improved TFIDF text classification algorithm can achieve highspeed mass data classification and optimize performance.Key words

Key words: text classification；MapReduce；parallelization；TFIDF algorithm

王静宇1,2,赵伟燕2. 基于Hadoop平台的TFIDF算法并行化研究[J]. J4, 2014, 36(06): 1018-1022.

WANG Jingyu1,2,ZHAO Weiyan2. Research on parallelizing the
TFIDF algorithm based on Hadoop [J]. J4, 2014, 36(06): 1018-1022.

参考文献

［1］Sebastiani F. Text categorization［EB/Ol］.［20051215］.http://nmis.isti.cnr.it/sebastiani/publications/TM05.pdf.
［2］Yang Y.An evaluation of statistical approaches to text categorization［J］.Journal of Information Retrieval,1999,1(1/2):6768.
［3］Xie Xinjun, He Zhijun. Design and implementation of a unique form workflow system［J］. Computer Engineering，1988,24(9):5355.(in Chinese)
［4］Xiang Xiaojun，Gao Yang，Shang Lin，et al．Parallel text categorization of massive texr based on Hadoop［J］．Computer Science，2011.(in Chinese)
［5］Wang Yu. Reseach on text classification algorithms based TFIDF［D］．Zhengzhou：Zhengzhou University，2006.(in Chinese)
［6］Liu Peng. Actual combat Hadoopopen the shortcut to cloud computing［M］. Beijing:Publishing House of Electronics Industry, 2011.(in Chinese)
［7］Li Bin．Improve of TFIDF algorithm based on Hadoop［J］．Microcomputer & Its Applications, 2012,31(7):1416.(in Chinese)
［8］Text categorization corpus［EB/OL］.［20120915］.http://www.sogou.com/labs/dl/c.html.(in Chinese)
［9］Xue Yibo，Wang Jianzhong.The study of speedup on parallel processing system［J］.Computer Engineering & Design，1994,16(1):1216.(in Chinese)
附中文参考文献:
［3］谢鑫军，何志均. 一种单一表单工作流系统的设计和实现［J］. 计算机工程，1988,24(9):5355.
［4］向小军，高阳，商琳，等．基于Hadoop平台的海量文本分类的并行化［J］．计算机科学，2011,38(10):184188.
［5］王宇．基于TFIDF的文本分类算法研究.［D］．郑州：郑州大学，2006.
［6］刘鹏.实战Hadoop开启通向云计算的捷径［M］.北京:电子工业出版社,2011.
［7］李彬．基于Hadoop 框架的TF IDF 算法改进［J］．微型机与应用，2012,31(7):1416.
［8］Sogou文本分类语料库［EB/OL］.［20120915］.http://www.sogou.com/labs/dl/c.html.
［9］薛一波，王建中.并行处理中加速比的研究［J］.计算机工程与设计，1994,16(1):1216.

[1]	许浪, 李代伟, 张海清, 唐聃, 何磊, 于曦. 基于神经网络的医疗文本分类研究[J]. 计算机工程与科学, 2023, 45(06): 1116-1122.
[2]	梅侠峰, 吴晓鸰, 黄泽民, 凌捷. 融合RoBERTa的多尺度语义协同专利文本分类模型[J]. 计算机工程与科学, 2023, 45(05): 903-910.
[3]	文武, 万玉辉, 张许红, 文志云, . 基于改进CHI和PCA的文本特征选择[J]. 计算机工程与科学, 2021, 43(09): 1645-1652.
[4]	张丽, 马静. 融合词语统计特征和语义信息的文本分类方法研究[J]. 计算机工程与科学, 2021, 43(07): 1308-1315.
[5]	李晓红, 王闪闪, 马堉银, 马慧芳. 融合相似度图和随机游走模型的多标签短文本分类算法[J]. 计算机工程与科学, 2021, 43(06): 1081-1087.
[6]	李校林, 王成, . 一种基于质心的多标签文本分类模型研究[J]. 计算机工程与科学, 2020, 42(06): 1120-1126.
[7]	葛晓伟, 李凯霞, 程铭. 基于CNN-SVM的护理不良事件文本分类研究[J]. 计算机工程与科学, 2020, 42(01): 161-166.
[8]	杨青1,2,3，张亚文1,2，张琴1，袁佩玲1. 基于Hadoop的多维关联规则挖掘算法研究及应用[J]. 计算机工程与科学, 2019, 41(12): 2127-2133.
[9]	何登平1，2，3，何宗浩1,2，李培强1,2. 基于Spark的并行化高效用项集挖掘算法[J]. 计算机工程与科学, 2019, 41(10): 1723-1730.
[10]	王宇新，王飞，王冠，郭禾. 一种基于两级DAG模型的MapReduce工作流异构调度算法[J]. 计算机工程与科学, 2019, 41(08): 1353-1359.
[11]	陶晓玲1,2,亢蕊楠3，刘丽燕3. 基于选择性集成的并行多分类器融合方法[J]. 计算机工程与科学, 2018, 40(05): 787-792.
[12]	王菁1,2，王若飞1,2. 基于日志挖掘的电商查询建议方法[J]. 计算机工程与科学, 2018, 40(02): 231-237.
[13]	肖文，胡娟，周晓峰. PFPonCanTree：一种基于MapReduce的并行频繁模式增量挖掘算法[J]. 计算机工程与科学, 2018, 40(01): 15-23.
[14]	黄贤英,熊李媛,刘英涛,李沁东. 基于类别特征改进的KNN短文本分类算法[J]. 计算机工程与科学, 2018, 40(01): 148-154.
[15]	蔡武越1,王珂2，郝玉洁2，段晓冉2. 一种Hadoop集群下的行为异常检测方法[J]. 计算机工程与科学, 2017, 39(12): 2185-2191.