基于Hadoop平台的TFIDF算法并行化研究

J4 ›› 2014, Vol. 36 ›› Issue (06): 1018-1022.

基于Hadoop平台的TFIDF算法并行化研究

王静宇1,2,赵伟燕2

(1.北京科技大学计算机与通信工程学院,北京 100083;2.内蒙古科技大学信息工程学院,内蒙古包头 014010)

收稿日期:2012-12-22 修回日期:2013-02-25 出版日期:2014-06-25 发布日期:2014-06-25
基金资助:
国家自然科学基金资助项目(61163025);内蒙古自然科学基金资助项目(2012MS0912);内蒙古教育厅科研资助项目（Njzy12110）

Research on parallelizing the
TFIDF algorithm based on Hadoop

WANG Jingyu1,2,ZHAO Weiyan2

(1.School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083;
2.College of Information Engineering,Inner Mongolia University of Science and Technology,Baotou 014010,China)

Received:2012-12-22 Revised:2013-02-25 Online:2014-06-25 Published:2014-06-25

摘要/Abstract

摘要：

针对大数据集下文本分类算法在单机上训练和测试过程效率低下的问题，提出了基于Hadoop分布式平台的TFIDF文本分类算法，并给出了算法实现的具体流程。通过MapReduce编程模型实现了考虑到词在文档中位置的并行化TFIDF文本分类算法，并与传统串行算法进行了对比，同时在单机和集群模式下进行了实验。实验表明，使用并行化的TFIDF文本分类算法可实现对海量数据的高速有效分类，并使算法性能得到优化。

关键词: 文本分类, MapReduce, 并行化, TFIDF算法

Abstract:

Aiming to improve the efficiency of text classification algorithm on a large data set during the training and testing process, the TFIDF text classification algorithm based on the Hadoop distribution platform is proposed, and its implementation process is given. By using the MapReduce programming model, the parallelized TFIDF text classification algorithm is implemented, which takes the word locations into consideration. Comparative experiments are conducted between the improved TFIDF algorithm and the traditional serial algorithm in both the standalone mode and the cluster mode. The experimental results show that the improved TFIDF text classification algorithm can achieve highspeed mass data classification and optimize performance.Key words

Key words: text classification；MapReduce；parallelization；TFIDF algorithm

王静宇1,2,赵伟燕2. 基于Hadoop平台的TFIDF算法并行化研究[J]. J4, 2014, 36(06): 1018-1022.

WANG Jingyu1,2,ZHAO Weiyan2. Research on parallelizing the
TFIDF algorithm based on Hadoop [J]. J4, 2014, 36(06): 1018-1022.

[1]	杨仕琦, 武优西, 耿萌, 李艳. 一次性条件下的三支序列模式挖掘[J]. 计算机工程与科学, 2024, 46(07): 1286-1295.
[2]	肖新正, 黄瑞章, 陈艳平, 秦永彬, 宋玉梅, 周裕林, . Corrective-Net：面向多标签文本分类的标签关联学习模块[J]. 计算机工程与科学, 2024, 46(06): 1092-1100.
[3]	郭宸良, 阎少宏, 宗晨琪. 线云隐私攻击算法的并行加速研究[J]. 计算机工程与科学, 2024, 46(04): 615-625.
[4]	高珊, 李世杰, 蔡志平. 基于深度学习的中文文本分类综述[J]. 计算机工程与科学, 2024, 46(04): 684-692.
[5]	杨春霞, 马文文, 徐奔, 韩煜, . 融合标签信息的分层图注意力网络文本分类模型[J]. 计算机工程与科学, 2023, 45(11): 2018-2026.
[6]	许浪, 李代伟, 张海清, 唐聃, 何磊, 于曦. 基于神经网络的医疗文本分类研究[J]. 计算机工程与科学, 2023, 45(06): 1116-1122.
[7]	梅侠峰, 吴晓鸰, 黄泽民, 凌捷. 融合RoBERTa的多尺度语义协同专利文本分类模型[J]. 计算机工程与科学, 2023, 45(05): 903-910.
[8]	文武, 万玉辉, 张许红, 文志云, . 基于改进CHI和PCA的文本特征选择[J]. 计算机工程与科学, 2021, 43(09): 1645-1652.
[9]	张丽, 马静. 融合词语统计特征和语义信息的文本分类方法研究[J]. 计算机工程与科学, 2021, 43(07): 1308-1315.
[10]	李晓红, 王闪闪, 马堉银, 马慧芳. 融合相似度图和随机游走模型的多标签短文本分类算法[J]. 计算机工程与科学, 2021, 43(06): 1081-1087.
[11]	李校林, 王成, . 一种基于质心的多标签文本分类模型研究[J]. 计算机工程与科学, 2020, 42(06): 1120-1126.
[12]	葛晓伟, 李凯霞, 程铭. 基于CNN-SVM的护理不良事件文本分类研究[J]. 计算机工程与科学, 2020, 42(01): 161-166.
[13]	杨青1,2,3，张亚文1,2，张琴1，袁佩玲1. 基于Hadoop的多维关联规则挖掘算法研究及应用[J]. 计算机工程与科学, 2019, 41(12): 2127-2133.
[14]	何登平1，2，3，何宗浩1,2，李培强1,2. 基于Spark的并行化高效用项集挖掘算法[J]. 计算机工程与科学, 2019, 41(10): 1723-1730.
[15]	王宇新，王飞，王冠，郭禾. 一种基于两级DAG模型的MapReduce工作流异构调度算法[J]. 计算机工程与科学, 2019, 41(08): 1353-1359.