一种结合关键词与共现词对的向量空间模型

J4 ›› 2014, Vol. 36 ›› Issue (05): 971-976.

一种结合关键词与共现词对的向量空间模型

唐守忠，齐建东

（北京林业大学信息学院，北京 100083）

收稿日期:2013-02-25 修回日期:2013-04-24 出版日期:2014-05-25 发布日期:2014-05-25
基金资助:
十二五科技支撑课题（2011BAH10B04）

Vector space model based on keywords
and cooccurrence word pairs

TANG Shouzhong，QI Jiandong

（School of Information,Beijing Forestry University,Beijing 100083,China）

Received:2013-02-25 Revised:2013-04-24 Online:2014-05-25 Published:2014-05-25

摘要/Abstract

摘要：

提出了一种结合关键词特征和共现词对特征的向量空间模型。首先，通过分词和去除停用词提取文本中的候选关键词，利用文本频率筛选关键词特征。然后，基于获得的关键词特征两两构造候选共现词对，定义支持度和置信度筛选共现词对特征。最后，结合关键词特征和共现词对特征构建向量空间模型。文本分类实验结果表明，提出的模型具有更强的文本分类能力。

关键词: 向量空间模型, 共现词对, 语义相关性, 文本分类

Abstract:

A new vector space model is proposed, which uses both keyword and cooccurrence term as the representation features of documents. Firstly, the keyword candidates are extracted from documents by segmenting texts and removing stop words,and the keyword features are filtered by document frequency.Secondly, based on the obtained keyword features, the cooccurrence word pairs are constructed,and support degree and confidence degree are defined to filter the features of cooccurrence word pairs. Finally, the keyword features and the features of cooccurrence word pairs are combined to construct the vector space model. The textclassification experiments show that the proposed model has better ability of text classification.

Key words: vector space model;cooccurrence word;semantical relationship;text classification

唐守忠，齐建东. 一种结合关键词与共现词对的向量空间模型[J]. J4, 2014, 36(05): 971-976.

TANG Shouzhong，QI Jiandong. Vector space model based on keywords
and cooccurrence word pairs [J]. J4, 2014, 36(05): 971-976.

参考文献

［1］Salton G, Wong A, Yang C S. A vector space model for automatic indexing［J］. Communications of the ACM, 1975, 18(11):613620.
［2］Zhang Xiaodan, Zhou Xiaohua, Hu Xiaohua. Semantic smoothing for modelbased document clustering［C］∥Proc of the 6th International Conference on Data Mining, 2006:11931198.
［3］Zhou Xiaohua, Zhang Xiaodan, Hu Xiaohua. Semantic smoothing of document models for agglomerative clustering［C］∥Proc of the 20th International Joint Conference on Artifical Intelligence, 2007:29222927.
［4］Liu Hua. Research of text classification based on key phrases［J］. Journal of Chinese Information Processing, 2007,21(4):3441.(in Chinese)
［5］Shi Qingwei, Zhao Zheng, Chao Ke. Hierarchical clustering of Chinese web pages based on suffix tree［J］. Joumal of Liaoning Technical University, 2006, 25(6):890892.(in Chinese)
［6］Du Hongbin, Xia Kewen, Liu Nanping. An improved text clustering algorithm of generalized suffix tree［J］. Information and Control, 2009, 38(3):331336. (in Chinese)
［7］Wang Junze,Mo Yijun,Huang Benxiong,et al. Web search results clustering based on a novel suffix tree structure［J］. Autonomic and Trusted Computing, 2008, 5060(23):540554.
［8］Zhao Jun, Jin Qianli, Xu Bo. Semantic computation for text retrieval［J］. Chinese Journal of Computers, 2005, 28(12):20682078. (in Chinese)
［9］Jing Liping, Zhou Lixin, Ng Michael K, et al. Ontologybased distance measure for text clustering［C］∥Proc of the Text Mining Workshop, SIAM International Conference on Data Mining, 2006:1.
［10］Xie Hongwei, Yan Xiaolin, Yu Xueli. Research on web page clustering based on ontology［J］. Computer Science, 2008, 35(9):153155. (in Chinese)
［11］Zhu Huifeng, Zuo Wanli, He Fengling. A novel text clustering method based on ontology［J］. Journal of Jilin University(Science Edtion), 2010, 48(2):277283. (in Chinese)
［12］Ponte J M, Bruce C W. A language modeling approach to information retrieval［C］∥Proc of the 21st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 1998:275281.
［13］Chang Peng, Feng Nan. A cooccurrence based vector space model for document indexing［J］. Journal of Chinese Information Processing, 2012, 26(1):5157.(in Chinese)
［14］Cao Tian, Zhou Li, Zhang Guoxuan. Text similarity computing based on word cooccurrence［J］. Computer Engineering & Science, 2008, 29(3):5253.(in Chinese)
［15］Wu Guangyuan, He Pilian, Cao Guihong. Vector space model based on word cooccurrence and its application in text classification［J］. Computer Applications, 2003, 23(23):138140.(in Chinese)
附中文参考文献：
［4］刘华. 基于关键短语的文本分类研究［J］. 中文信息学报, 2007, 21(4):3441.
［5］史庆伟，赵政，朝柯. 一种基于后缀树的中文网页层次聚类方法［J］. 辽宁工程技术大学学报, 2006, 25(6):890892.
［6］杜红斌，夏克文，刘南平. 一种改进的基于广义后缀树的文本聚类算法［J］. 信息与控制, 2009, 38(3):331336.
［8］赵军，金千里，徐波. 面向文本检索的语义计算［J］. 计算机学报, 2005, 28(12):20682078.
［10］谢红薇，颜小林，余雪丽. 基于本体的WEB页面聚类研究［J］. 计算机科学, 2008, 35(9):153155.
［11］朱会峰，左万利，赫枫龄. 一种基于本体的文本聚类方法［J］. 吉林大学学报（自然科学版）, 2010, 48(2):277283.
［13］常鹏，冯楠. 基于词共现的文档表示模型［J］. 中文信息学报, 2012, 26(1):5157.
［14］曹恬，周丽，张国煊. 一种基于词共现的文本相似度计算［J］. 计算机工程与科学, 2008, 29(3):5253.
［15］吴光远，何丕廉，曹桂宏. 基于向量空间模型的词共现研究及其在文本分类中的引用［J］. 计算机应用， 2003, 23(23):138140.

[1]	许浪, 李代伟, 张海清, 唐聃, 何磊, 于曦. 基于神经网络的医疗文本分类研究[J]. 计算机工程与科学, 2023, 45(06): 1116-1122.
[2]	梅侠峰, 吴晓鸰, 黄泽民, 凌捷. 融合RoBERTa的多尺度语义协同专利文本分类模型[J]. 计算机工程与科学, 2023, 45(05): 903-910.
[3]	文武, 万玉辉, 张许红, 文志云, . 基于改进CHI和PCA的文本特征选择[J]. 计算机工程与科学, 2021, 43(09): 1645-1652.
[4]	张丽, 马静. 融合词语统计特征和语义信息的文本分类方法研究[J]. 计算机工程与科学, 2021, 43(07): 1308-1315.
[5]	李晓红, 王闪闪, 马堉银, 马慧芳. 融合相似度图和随机游走模型的多标签短文本分类算法[J]. 计算机工程与科学, 2021, 43(06): 1081-1087.
[6]	李校林, 王成, . 一种基于质心的多标签文本分类模型研究[J]. 计算机工程与科学, 2020, 42(06): 1120-1126.
[7]	葛晓伟, 李凯霞, 程铭. 基于CNN-SVM的护理不良事件文本分类研究[J]. 计算机工程与科学, 2020, 42(01): 161-166.
[8]	黄贤英,熊李媛,刘英涛,李沁东. 基于类别特征改进的KNN短文本分类算法[J]. 计算机工程与科学, 2018, 40(01): 148-154.
[9]	刘述昌,张忠林. 基于中心向量的多级分类KNN算法研究[J]. 计算机工程与科学, 2017, 39(09): 1758-1764.
[10]	马长林，杨正良，谢罗迪. 文本分类中CTM模型的优化和可视化应用研究[J]. 计算机工程与科学, 2017, 39(03): 599-604.
[11]	马慧芳，周汝南，吉余岗，鲁小勇. 融合词语类别特征和语义的短文本分类方法[J]. 计算机工程与科学, 2017, 39(02): 399-404.
[12]	阿丽亚·艾尔肯，哈力旦·阿布都热依木，何燕，吴冰冰. 基于深度置信网络的维吾尔文垃圾短信分类技术研究[J]. 计算机工程与科学, 2016, 38(10): 2134-2139.
[13]	周杭霞，叶佳骏，任欢. 基于快速自编码的RELM的文本分类[J]. J4, 2016, 38(05): 871-876.
[14]	谭光兴，刘臻晖. 基于SVM的局部潜在语义分析算法研究[J]. J4, 2016, 38(01): 177-182.
[15]	戴上平1，冯鹏1，刘盛英杰1，舒红2. 基于余弦距离的局部敏感哈希的KNN算法在中文文本上的快速分类[J]. J4, 2015, 37(10): 1971-1976.