结合词向量和聚类算法的新闻评论话题演进分析

计算机工程与科学

• 论文 • 上一篇

结合词向量和聚类算法的新闻评论话题演进分析

林江豪1，周咏梅1，2，阳爱民1，2，王伟2

（1.广东外语外贸大学语言工程与计算实验室，广东广州 510006;

2.广东外语外贸大学思科信息学院,广东广州 510006）

收稿日期:2016-07-01 修回日期:2016-09-05 出版日期:2016-11-25 发布日期:2016-11-25
基金资助:
国家社科基金项目(12BYY045)；广东省哲学社会科学“十二五”规划项目(GD15YTS01)

Analysis on topic evolution of news comments by

combining word vector and clustering algorithm

LIN Jianghao1，ZHOU Yongmei1，2,YANG Aimin1，2,WANG Wei2

（1.Laboratory for Language Engineering and Computing,Guangdong University of Foreign

Studies,Guangzhou 510006;

2.Cisco School of Informatics,Guangdong University of Foreign Studies,Guangzhou

510006,China）

Received:2016-07-01 Revised:2016-09-05 Online:2016-11-25 Published:2016-11-25

摘要/Abstract

摘要：

话题演进分析主要是挖掘话题内容随着时间流的演进情况。话题的内容可用关键词来表示。利用

word2vec对75万篇新闻和微博文本进行训练，得到词向量模型。将文本流处理后输入模型，获得时间序

列下所有词汇的词向量，利用Kmeans对词向量进行聚类，从而实现话题关键词的抽取。实验对比了基

于PLSA和LDA主题模型下的话题抽取效果，发现本文的话题分析效果优于主题模型的方法。同时，采集足

够大量、内容足够丰富的语料，可训练得到泛化能力比较强的模型，有利于实时话题演进分析研究工作

。

关键词: 话题演进, word2vec, PLSA, LDA

Abstract:

The analysis of topic evolution is regarded as the mining of topic content evolving with

the time. This article, based on the hypothesis that topic content may be embodied by key

words, adopt word2vec for the training of 750 thousand pieces of news and microblog texts

to establish the model of word vector. The text information flow is applied to the model

and all word vectors by time series are acquired. Kmeans is used to cluster the word

vectors before the key words are drawn and the analysis of topic evolution is visualized.

By comparing the effect of the word vector model with those of PLSA or LDA topic models on

drawing topic, the results show that the former is more effective than the latter two

models. In addition, the collection of abundant and varied data can facilitate the training

of the word vector model with better generalization ability and the investigation on real

time analysis of topic evolution.

Key words: topic evolution, word2vec, PLSA, LDA

林江豪1，周咏梅1，2，阳爱民1，2，王伟2. 结合词向量和聚类算法的新闻评论话题演进分析[J]. 计算机工程与科学.

LIN Jianghao1，ZHOU Yongmei1，2,YANG Aimin1，2,WANG Wei2.

Analysis on topic evolution of news comments by

combining word vector and clustering algorithm

[J]. Computer Engineering & Science.

[1]	阎红灿, 李铂初, 谷建涛, . 一种基于共现关键词的TextRank文摘自动生成算法[J]. 计算机工程与科学, 2023, 45(11): 2060-2069.
[2]	王保成, 刘利军, 黄青松, . 基于LDA和卷积神经网络的半监督图像标注方法[J]. 计算机工程与科学, 2022, 44(01): 110-117.
[3]	宁珊, 严馨, 周枫, 王红斌, 张金鹏. 融合LSTM和LDA差异的新闻文本关键词抽取方法[J]. 计算机工程与科学, 2020, 42(01): 153-160.
[4]	马长林1，闵洁2，谢罗迪1. 基于领域识别的主题模型观点挖掘研究[J]. 计算机工程与科学, 2019, 41(07): 1297-1302.
[5]	胡瑗1，夏利民1，王嘉1,2. 基于轨迹分析的行人异常行为识别[J]. 计算机工程与科学, 2017, 39(11): 2054-2059.
[6]	程蔚1,2,线岩团1,2,周兰江1,2,余正涛1,2,王红斌1,2. 基于双语LDA的跨语言文本相似度计算方法研究[J]. 计算机工程与科学, 2017, 39(05): 978-983.
[7]	欧书华，刘学军，张礼. 基于KL散度的RNA-Seq数据差异异构体比例检测[J]. 计算机工程与科学, 2017, 39(01): 158-164.
[8]	张钊1,2,3，张新峰1,2,3，郑楠1,2,3，贵明俊1,2,3. 基于Hadoop平台的LDA算法的并行化实现[J]. J4, 2016, 38(02): 231-239.
[9]	马长林，谢罗迪，司琪，王梦. 基于情感从属和最大熵模型的细粒度观点挖掘[J]. J4, 2015, 37(10): 1952-1958.
[10]	胡春安，陈玉玲. 基于Gabor和改进LDA的人耳识别[J]. J4, 2015, 37(07): 1355-1359.
[11]	胡明明1,2，唐宇1，李军1，陈宏盛1. 一种基于目录服务的分布式空间元数据检索方法[J]. J4, 2011, 33(8): 162-166.
[12]	胡建鹏. 基于Portal的统一身份认证与系统集成研究[J]. J4, 2010, 32(12): 30-33.
[13]	徐聪渊, 刘万军. 网格环境中基于移动Agent 的资源发现模型[J]. J4, 2010, 32(1): 109-112.
[14]	杨修兰蒋泽军王丽芳. 基于LDAP和双因素身份认证的统一认证[J]. J4, 2008, 30(7): 27-29.
[15]	贺秉庚李凯里. 目录服务与分布对象的串行化存储技术[J]. J4, 2008, 30(2): 110-114.

结合词向量和聚类算法的新闻评论话题演进分析

Analysis on topic evolution of news comments by

combining word vector and clustering algorithm

PDF

可视化

摘要/Abstract

引用本文

使用本文

相关文章 15

编辑推荐

Metrics

本文评价