基于SVM的局部潜在语义分析算法研究

J4 ›› 2016, Vol. 38 ›› Issue (01): 177-182.

基于SVM的局部潜在语义分析算法研究

谭光兴，刘臻晖

（江西财经大学信息管理学院,江西南昌 330013）

收稿日期:2015-03-08 修回日期:2015-06-18 出版日期:2016-01-25 发布日期:2016-01-25
基金资助:
江西省博士研究生创新项目科研基金(YC2011B026)

A local latent semantic analysis algorithm
based on support vector machine

TAN Guangxing,LIU Zhenhui

（School of Information Technology,Jiangxi University of Finance and Economics,Nanchang 330013,China）

Received:2015-03-08 Revised:2015-06-18 Online:2016-01-25 Published:2016-01-25

摘要/Abstract

摘要：

针对现有的Web文本分类与表示方法中出现的各种分类效果与性能优化等问题，基于局部潜在语义分析的理论原理，利用支持向量机分类优势，设计出一种基于文档与类别之间相关度的生成局部区域的算法，即SLLSA。该算法在语义分析使用矩阵的奇异值分解过程中引入不同类别信息，分析特征词的局部特征，使用支持向量机分类器计算文本对类别的相关度参数，并应用于局部区域生成过程。通过实验表明，SLLSA算法有效解决了局部区域如何进行局部奇异值分解问题，有效提高并优化了Web文本分类效果，更好地表示了Web文本潜在语义空间。

关键词: 文本分类, 局部潜在语义分析, 支持向量机, 奇异值分解, S-LLSA

Abstract:

Based on the theoretical principles of latent semantic analysis, and combined with support vector machine (SVM) classifier performance, we propose a local latent semantic analysis algorithm (SLLSA) to solve multiple problems about classification effect and performance optimization in web text categorization and representation. We introduce category information into singular value decomposition (SVD), analyze the local features of feature words, uses the SVM classifier to compute the dependency degree, and select local areas . Experimental results show that the SLLSA algorithm effectively solves the key problems of SVD, greatly improves the effectiveness of web text classification, and better represents the latent semantic space of web texts.

Key words: text classification;local latent semantic analysis;SVM;SVD;S-LLSA

谭光兴，刘臻晖. 基于SVM的局部潜在语义分析算法研究[J]. J4, 2016, 38(01): 177-182.

TAN Guangxing,LIU Zhenhui. A local latent semantic analysis algorithm
based on support vector machine [J]. J4, 2016, 38(01): 177-182.

参考文献［15］

［1］	Guo Yan,Bai Shuo,Yu Manquan. Survey of web usage mining［J］. Computer Science,2005,32(1):17. (in Chinese)
［2］	Kontostathis A,Pottenger W. A framework for understanding Latent Semantic Indexing (LSI) performance ［J］. Information Processing and Management,2006,42(1):5673.
［3］	Wang Yun. Research on data acquisition and topic analysis of online public opinion［D］. Zhengzhou:The PLA Information Engineering University,2010. (in Chinese)
［4］	Burges C J. A tutorial on support vector machines for pattern recognition ［J］. Data Mining and Knowledge Discovery,1998,2(2):121167.
［5］	Cui Jianming,Liu Jianming,Liao Zhouyu. Research of text categorization based on support vector machine［J］. Computer Simulation,2013,30(2):299368. (in Chinese)
［6］	Fan Yuhua,Qin Shiyin. Optimizing decision for scene classification based on latent semantic analysis［J］. Journal of Computer—Aided Design&Computer Graphics,2013,25(2):176182. (in Chinese)
［7］	Xiao Zheng, Liu Hui, Li Bing. SVM sentiment classifier based on semantic distance for web comments［J］. Computer Science,2014,41(9):248252. (in Chinese)
［8］	Du Weifu. Research on sentimental lexicon construction for text sentiment analysis［D］. Harbin:Harbin Institute of Technology,2010. (in Chinese)
［9］	Liu T,Chen Z,Zhang B Y,et al. Improving text classification using local latent semantic indexing［C］∥Proc of the 4th IEEE International Conference on Data Mining,2004:162169.
［10］	Wang Yongzhi, Teng Zhiyang, Wang Peng, et al. Research of text categorization model based on LSA and SVM［J］. Computer Engineering & Design,2009,30(3):729734. (in Chinese)
［11］	Zhang Yufeng,He Chao. Research on text categorization model based on latent semantic analysis and HSSVM［J］. Information Studies:Theory & Application,2010,33(7):104107. (in Chinese)
［12］	Yu H,HatzivassilogIou V. Towards answering opinion questions:Separating facts from opinions and identifying the polarity of opinion sentences ［C］∥Proc of Conference on Empirical Methods in Natural Language Processing (EMNLP),2003:129136.
［13］	Song Shucai,Pang Hui,Ding Xuejun. Research of text categorization based on genetic algorithm and support vector machine［J］. Computer Simulation,2011,28(1):222225. (in Chinese)
［14］	Xu Jun,Ding Yuxin,Wang Xiaolong. Sentiment classification for Chinese news using machine learning methods［J］. Journal of Chinese Information Processing,2007,21(6):95100. (in Chinese)
［15］	Tan Songbo. Research on highperformance text categorization［D］. Beijing:University of Chinese Academy of Sciences,2006. (in Chinese)
	附中文参考文献：
［1］	郭岩,白硕,于满泉. Web使用信息挖掘综述［J］. 计算机科学,2005,32(1):17.
［3］	王允. 网络舆情数据获取与话题分析技术研究［D］. 郑州：解放军信息工程大学,2010.
［5］	崔建明,刘建明,廖周宇. 基于SVM算法的文本分类技术研究［J］. 计算机仿真,2013,30(2):299368.
［6］	范玉华,秦世引. 基于潜在语义分析的场景分类优化决策方法［J］. 计算机辅助设计与图形学学报,2013,25(2):176182.
［7］	肖正,刘辉,李兵. 一种基于语义距离的Web评论SVM情感分类方法［J］. 计算机科学,2014,41(9):248252.
［8］	杜伟夫. 文本倾向性分析中的情感词典构建技术研究［D］. 哈尔滨:哈尔滨工业大学,2010.
［10］	王永智,藤至阳,王鹏，等. 基于LSA和SVM的文本分类模型的研究［J］. 计算机工程与设计,2009,30(3):729734.
［11］	张玉峰,何超. 基于潜在语义分析和HSSVM的文本分类模型研究［J］. 情报理论与实践,2010,33(7):104107.
［13］	宋淑彩,庞慧,丁学钧. GA_SVM 在文本分类算法中的应用研究［J］. 计算机仿真,2011,28(1):222225.
［14］	徐军,丁宇新,王晓龙. 使用机器学习方法进行新闻的情感自动分类［J］. 中文信息学报,2007,21(6):95100.
［15］	谭松波. 高性能文本分类算法研究［D］. 北京：中国科学院研究生院,2006.

[1]	刘屹成, 刘晓燕, 严馨. 并行平衡级联支持向量机[J]. 计算机工程与科学, 2023, 45(07): 1170-1177.
[2]	许浪, 李代伟, 张海清, 唐聃, 何磊, 于曦. 基于神经网络的医疗文本分类研究[J]. 计算机工程与科学, 2023, 45(06): 1116-1122.
[3]	梅侠峰, 吴晓鸰, 黄泽民, 凌捷. 融合RoBERTa的多尺度语义协同专利文本分类模型[J]. 计算机工程与科学, 2023, 45(05): 903-910.
[4]	唐宇, 代琪, 杨梦园, 陈丽芳, . 改进麻雀搜索算法优化SVM的异常点检测[J]. 计算机工程与科学, 2023, 45(02): 346-354.
[5]	仲臣, 余学祥, 邰晓曼, 韩雨辰, 肖星星, 刘清华, . 萤火虫算法优化支持向量机室内定位研究[J]. 计算机工程与科学, 2022, 44(11): 1968-1975.
[6]	马汉达, 朱敏. 改进SVM不平衡数据分类的IGWOSMOTE方法[J]. 计算机工程与科学, 2022, 44(06): 1133-1140.
[7]	文武, 万玉辉, 张许红, 文志云, . 基于改进CHI和PCA的文本特征选择[J]. 计算机工程与科学, 2021, 43(09): 1645-1652.
[8]	魏云鹤, 马慧芳, 姜彦斌, 宿云. 融合社交信息的局部潜在空间推荐方法[J]. 计算机工程与科学, 2021, 43(09): 1653-1659.
[9]	张丽, 马静. 融合词语统计特征和语义信息的文本分类方法研究[J]. 计算机工程与科学, 2021, 43(07): 1308-1315.
[10]	李晓红, 王闪闪, 马堉银, 马慧芳. 融合相似度图和随机游走模型的多标签短文本分类算法[J]. 计算机工程与科学, 2021, 43(06): 1081-1087.
[11]	王文冰, 刘胜利. 基于奇异向量鲁棒性的水印方法的质量补偿分析[J]. 计算机工程与科学, 2020, 42(09): 1572-1577.
[12]	李校林, 王成, . 一种基于质心的多标签文本分类模型研究[J]. 计算机工程与科学, 2020, 42(06): 1120-1126.
[13]	葛晓伟, 李凯霞, 程铭. 基于CNN-SVM的护理不良事件文本分类研究[J]. 计算机工程与科学, 2020, 42(01): 161-166.
[14]	韦修喜1，黄华娟1，周永权1,2. 基于AP聚类的约简孪生支持向量机快速分类算法[J]. 计算机工程与科学, 2019, 41(10): 1899-1904.
[15]	王云艳1,2，罗冷坤1，王重阳1. 基于流形学习的光学遥感图像分类[J]. 计算机工程与科学, 2019, 41(07): 1212-1219.