基于余弦距离的局部敏感哈希的KNN算法在中文文本上的快速分类

J4 ›› 2015, Vol. 37 ›› Issue (10): 1971-1976.

基于余弦距离的局部敏感哈希的KNN算法在中文文本上的快速分类

戴上平1，冯鹏1，刘盛英杰1，舒红2

(1.华中师范大学计算机学院，湖北武汉 430079;2.测绘遥感信息工程国家重点实验室，湖北武汉 430079)

收稿日期:2015-07-25 修回日期:2015-09-21 出版日期:2015-10-25 发布日期:2015-10-25
基金资助:
武汉市政府资助项目（基于网格的社区宜居环境分析研究）

A fast KNN algorithm for Chinese text classification
based on the LSH of cosine distance

DAI Shangping1,FENG Peng1,LIUSHEN Yingjie1,SHU Hong2

(1.School of Computer Science,Central China Normal University,Wuhan 430079;2.National Key Laboratory of Surveying and Remote Sensing I nformation Engineering,Wuhan 430079,China)

Received:2015-07-25 Revised:2015-09-21 Online:2015-10-25 Published:2015-10-25

摘要/Abstract

摘要：

文本分类是文本挖掘中最重要的研究内容之一。为了克服目前以距离衡量的近似分类算法在海量数据下耗费大量时间的缺陷，提出了结合基于余弦距离的局部敏感哈希的方式将KNN算法在TFIDF下对中文文本进行快速分类。同时结合文本数据的特性给出了不同的哈希函数级联方式分别进行实验。在实验过程采用了布尔向量的方式规避重复访问，使分类的结果在可以允许的范围内，分类速度比原始KNN提高了许多。

关键词: 文本分类, 局部敏感哈希, TF-IDF, KNN, 布尔向量

Abstract:

Text classification is one of the most important study spots in text mining.In order to overcome the drawback that the classification algorithm based on distance brings high query time cost,a KNearest Neighbors (KNN) algorithm based on the Locality Sensitive Hashing (LSH) of cosine distance under TFIDF is proposed,which can classify Chinese text quickly.Besides,by combing the properties of the text data,experiments with different parameters are carried out.In the experiments,boolean vectors are used to avoid the duplication calculation.Compared with the original KNN,our algorithm can increase the speed of classification in ensuring the accuracy.

Key words: text classification;Locality Sensitive Hashing (LSH);TF-IDF;KNN;boolean vector

戴上平1，冯鹏1，刘盛英杰1，舒红2. 基于余弦距离的局部敏感哈希的KNN算法在中文文本上的快速分类[J]. J4, 2015, 37(10): 1971-1976.

DAI Shangping1,FENG Peng1,LIUSHEN Yingjie1,SHU Hong2. A fast KNN algorithm for Chinese text classification
based on the LSH of cosine distance [J]. J4, 2015, 37(10): 1971-1976.

[1]	赵文韬, 官礼和, 何建国, 唐昊. 区块链环境中的隐私保护推荐算法研究[J]. 计算机工程与科学, 2024, 46(06): 1032-1040.
[2]	肖新正, 黄瑞章, 陈艳平, 秦永彬, 宋玉梅, 周裕林, . Corrective-Net：面向多标签文本分类的标签关联学习模块[J]. 计算机工程与科学, 2024, 46(06): 1092-1100.
[3]	高珊, 李世杰, 蔡志平. 基于深度学习的中文文本分类综述[J]. 计算机工程与科学, 2024, 46(04): 684-692.
[4]	杨春霞, 马文文, 徐奔, 韩煜, . 融合标签信息的分层图注意力网络文本分类模型[J]. 计算机工程与科学, 2023, 45(11): 2018-2026.
[5]	许浪, 李代伟, 张海清, 唐聃, 何磊, 于曦. 基于神经网络的医疗文本分类研究[J]. 计算机工程与科学, 2023, 45(06): 1116-1122.
[6]	梅侠峰, 吴晓鸰, 黄泽民, 凌捷. 融合RoBERTa的多尺度语义协同专利文本分类模型[J]. 计算机工程与科学, 2023, 45(05): 903-910.
[7]	汪静, 钱晓东. 区块链环境中基于局部敏感哈希的协同过滤推荐研究[J]. 计算机工程与科学, 2022, 44(03): 436-446.
[8]	孙宝贵, 车文刚, 廖江福, . 一种改进的KNN案例推理检索算法[J]. 计算机工程与科学, 2021, 43(12): 2263-2271.
[9]	文武, 万玉辉, 张许红, 文志云, . 基于改进CHI和PCA的文本特征选择[J]. 计算机工程与科学, 2021, 43(09): 1645-1652.
[10]	张丽, 马静. 融合词语统计特征和语义信息的文本分类方法研究[J]. 计算机工程与科学, 2021, 43(07): 1308-1315.
[11]	李晓红, 王闪闪, 马堉银, 马慧芳. 融合相似度图和随机游走模型的多标签短文本分类算法[J]. 计算机工程与科学, 2021, 43(06): 1081-1087.
[12]	杨岚雁, 靳敏, 张迎春, 张珣. 一种基于关联规则的MLKNN多标签分类算法[J]. 计算机工程与科学, 2020, 42(07): 1309-1317.
[13]	李校林, 王成, . 一种基于质心的多标签文本分类模型研究[J]. 计算机工程与科学, 2020, 42(06): 1120-1126.
[14]	葛晓伟, 李凯霞, 程铭. 基于CNN-SVM的护理不良事件文本分类研究[J]. 计算机工程与科学, 2020, 42(01): 161-166.
[15]	陈静杰,李浩. 基于任务相关性的机务虚拟维修系统的场景管理[J]. 计算机工程与科学, 2019, 41(05): 910-916.