结合词向量和聚类算法的新闻评论话题演进分析

计算机工程与科学

• 论文 • 上一篇

结合词向量和聚类算法的新闻评论话题演进分析

林江豪1，周咏梅1，2，阳爱民1，2，王伟2

（1.广东外语外贸大学语言工程与计算实验室，广东广州 510006;

2.广东外语外贸大学思科信息学院,广东广州 510006）

收稿日期:2016-07-01 修回日期:2016-09-05 出版日期:2016-11-25 发布日期:2016-11-25
基金资助:
国家社科基金项目(12BYY045)；广东省哲学社会科学“十二五”规划项目(GD15YTS01)

Analysis on topic evolution of news comments by

combining word vector and clustering algorithm

LIN Jianghao1，ZHOU Yongmei1，2,YANG Aimin1，2,WANG Wei2

（1.Laboratory for Language Engineering and Computing,Guangdong University of Foreign

Studies,Guangzhou 510006;

2.Cisco School of Informatics,Guangdong University of Foreign Studies,Guangzhou

510006,China）

Received:2016-07-01 Revised:2016-09-05 Online:2016-11-25 Published:2016-11-25

摘要/Abstract

摘要：

话题演进分析主要是挖掘话题内容随着时间流的演进情况。话题的内容可用关键词来表示。利用

word2vec对75万篇新闻和微博文本进行训练，得到词向量模型。将文本流处理后输入模型，获得时间序

列下所有词汇的词向量，利用Kmeans对词向量进行聚类，从而实现话题关键词的抽取。实验对比了基

于PLSA和LDA主题模型下的话题抽取效果，发现本文的话题分析效果优于主题模型的方法。同时，采集足

够大量、内容足够丰富的语料，可训练得到泛化能力比较强的模型，有利于实时话题演进分析研究工作

。

关键词: 话题演进, word2vec, PLSA, LDA

Abstract:

The analysis of topic evolution is regarded as the mining of topic content evolving with

the time. This article, based on the hypothesis that topic content may be embodied by key

words, adopt word2vec for the training of 750 thousand pieces of news and microblog texts

to establish the model of word vector. The text information flow is applied to the model

and all word vectors by time series are acquired. Kmeans is used to cluster the word

vectors before the key words are drawn and the analysis of topic evolution is visualized.

By comparing the effect of the word vector model with those of PLSA or LDA topic models on

drawing topic, the results show that the former is more effective than the latter two

models. In addition, the collection of abundant and varied data can facilitate the training

of the word vector model with better generalization ability and the investigation on real

time analysis of topic evolution.

Key words: topic evolution, word2vec, PLSA, LDA

林江豪1，周咏梅1，2，阳爱民1，2，王伟2. 结合词向量和聚类算法的新闻评论话题演进分析[J]. 计算机工程与科学.

LIN Jianghao1，ZHOU Yongmei1，2,YANG Aimin1，2,WANG Wei2.

Analysis on topic evolution of news comments by

combining word vector and clustering algorithm

[J]. Computer Engineering & Science.

参考文献

［1］Chen H C,Wang F Y,Zeng D.Intelligence and security informatics for homeland

security:Information,communication,and transportation［J］.IEEE Transactions on Intelligent

Transportation Systems,2004,5（4）:329341．

［2］Wang Feiyue.Decision service and academic analytics for development of S&T based on

open source intelligence and big data［J］.Bulletin of Chinese Academy of Sciences,2012,27

（5）:527537.（in Chinese）

［3］Allan J,Papka R,Lavrenko V.Online new event detection and tracking［C］∥Proc of the

21st Annual International ACM SIGIR Conference on Research and Development in Information

Retrieval,1998:3745．

［4］Han Zhongming, Chen Ni, Le Jiajin,et al.An efficient and effective clustering

algorithm for time series of hot topics［J］.Chinese Journal of Computers,2012,35

（11）:23372347.（in Chinese）

［5］Zhang Shouhua, Liu Zhenpeng. Study on clustering method for Internet public

opinion hotspot topic［J］.Journal of Chinese Computer Systems,2013,34（3）:471474.（in

Chinese）

［6］Sakaki T, Okazaki M, Matsuo Y. Earthquake shakes twitter users:Realtime event

detection by social sensors［C］∥Proc of the 19th International WWW Conference, 2010:851

860.

［7］Zhou Hong, Liu Jinling, Wang Xingong.Retrospective topic identification model for

short text information flow［J］.Journal of Chinese Information Processing,2015,29（1）:111

117．(in Chinese)

［8］Zhou Yadong,
Liu Xiaoming, Du Youtian, et al.
A method for identifying the evolutionary focuses of online social topics［J］.Chinese

Journal of Computers,2015,38（2）:261271.

［9］Xing E P,Yan R,Hauptmann A G.Mining associated text and images with dualwing

harmoniums［C］∥Proc of the 21st Conference on
Uncertainty in Artificial Intelligence（UAI2005）,2005:1.

［10］Lin Jianghao, Zhou Yongmei, Yang Aimin,et al.Analysis of public emotion

evolution based on probabilistic latent semantic analysis［J］.Journal of Computer

Applications,2015,35（10）:27472751.（in Chinese）

［11］He Jianyun, Chen Xingshu, Du Min, et al.Topic evolution analysis based on

improved online LDA model［J］.Journal of Central South University （Science and Technology

）,2015,46（2）:547553.（in Chinese）

［12］Lin Ping, Huang Weidong. Topic evolution analysis of Internet emergency based on

LDA model［J］.Information Science,2014(10):2023.（in Chinese）

［13］Cao Jianping, Wang Hui, Xia Youqing, et al.Bipath evolution model for online

topic model based on LDA［J］.Acta Automatica Sinica,2014,40（12）:28772886.（in Chinese

）

［14］AlSumait L,Barbar D,Domeniconi C.Online LDA:Adaptive topic models for mining text

streams with applications to topic detection and tracking［C］∥
Proc of the 8th IEEE International Conference on Data Mining(ICDM’08),2008:312．

［15］Keane N,Yee C,Zhou L.Using topic modeling and similarity thresholds to detect events

［C］∥Proc of the 3rd Workshop on EVENTS at the NAACLHLT,2015:3442．

［16］Chu Keming,Li Fang.LDA modelbased news topic evolution［J］.Computer Applications

and Software,2011，28（4）:47．(in Chinese)

附中文参考文献：

［2］王飞跃.知识产生方式和科技决策支撑的重大变革面向大数据和开源信息的科技态势解析与决策服

务［J］.中国科学院院刊,2012,27（5）:527537．

［4］韩忠明,陈妮,乐嘉锦，等.面向热点话题时间序列的有效聚类算法研究［J］.计算机学报,2012,35

（11）:23372347．

［5］张寿华,刘振鹏.网络舆情热点话题聚类方法研究［J］.小型微型计算机系统,2013,34（3）:471

474．

［7］周泓,刘金岭,王新功.基于短文本信息流的回顾式话题识别模型［J］.中文信息学报,2015,29（1）

:111117．

［8］周亚东,刘晓明,杜友田，等.一种网络话题的内容焦点迁移识别方法［J］.计算机学报,2015,38（2

）:261271．

［10］林江豪，周咏梅，阳爱民,等.基于概率潜在语义分析的群体情绪演进分析［J］.计算机应用，

2015，35（10）:27472751．

［11］何建云,陈兴蜀,杜敏，等.基于改进的在线LDA模型的主题演化分析［J］.中南大学学报(自然科学

版),2015,46（2）:547553．

［12］林萍,黄卫东.基于 LDA 模型的网络突发事件话题演化路径研究［J］.情报科学,2014(10):2023

．

［13］曹建平,王晖,夏友清,等.基于 LDA 的双通道在线主题演化模型［J］.自动化学报,2014,40（12）

:28772886．

［16］楚克明，李芳.基于LDA模型的新闻话题的演化［J］.计算机应用与软件,2011，28（4）:47．

[1]	王保成, 刘利军, 黄青松, . 基于LDA和卷积神经网络的半监督图像标注方法[J]. 计算机工程与科学, 2022, 44(01): 110-117.
[2]	宁珊, 严馨, 周枫, 王红斌, 张金鹏. 融合LSTM和LDA差异的新闻文本关键词抽取方法[J]. 计算机工程与科学, 2020, 42(01): 153-160.
[3]	马长林1，闵洁2，谢罗迪1. 基于领域识别的主题模型观点挖掘研究[J]. 计算机工程与科学, 2019, 41(07): 1297-1302.
[4]	胡瑗1，夏利民1，王嘉1,2. 基于轨迹分析的行人异常行为识别[J]. 计算机工程与科学, 2017, 39(11): 2054-2059.
[5]	程蔚1,2,线岩团1,2,周兰江1,2,余正涛1,2,王红斌1,2. 基于双语LDA的跨语言文本相似度计算方法研究[J]. 计算机工程与科学, 2017, 39(05): 978-983.
[6]	欧书华，刘学军，张礼. 基于KL散度的RNA-Seq数据差异异构体比例检测[J]. 计算机工程与科学, 2017, 39(01): 158-164.
[7]	张钊1,2,3，张新峰1,2,3，郑楠1,2,3，贵明俊1,2,3. 基于Hadoop平台的LDA算法的并行化实现[J]. J4, 2016, 38(02): 231-239.
[8]	马长林，谢罗迪，司琪，王梦. 基于情感从属和最大熵模型的细粒度观点挖掘[J]. J4, 2015, 37(10): 1952-1958.
[9]	胡春安，陈玉玲. 基于Gabor和改进LDA的人耳识别[J]. J4, 2015, 37(07): 1355-1359.
[10]	胡明明1,2，唐宇1，李军1，陈宏盛1. 一种基于目录服务的分布式空间元数据检索方法[J]. J4, 2011, 33(8): 162-166.
[11]	胡建鹏. 基于Portal的统一身份认证与系统集成研究[J]. J4, 2010, 32(12): 30-33.
[12]	徐聪渊, 刘万军. 网格环境中基于移动Agent 的资源发现模型[J]. J4, 2010, 32(1): 109-112.
[13]	杨修兰蒋泽军王丽芳. 基于LDAP和双因素身份认证的统一认证[J]. J4, 2008, 30(7): 27-29.
[14]	贺秉庚李凯里. 目录服务与分布对象的串行化存储技术[J]. J4, 2008, 30(2): 110-114.
[15]	欧阳星明赵颢程剑. 运用LDAP在Web上实现RBAC的一个方案[J]. J4, 2005, 27(11): 1-2.

结合词向量和聚类算法的新闻评论话题演进分析

Analysis on topic evolution of news comments by

combining word vector and clustering algorithm

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价