融合BTM和图论的微博检索模型

计算机工程与科学

融合BTM和图论的微博检索模型

蔡晨1,2，罗可1,2

（1.长沙理工大学计算机与通信工程学院，湖南长沙 410114；

2.长沙理工大学综合交通运输大数据智能处理湖南省重点实验室，湖南长沙 410114）

收稿日期:2018-09-27 修回日期:2018-11-30 出版日期:2019-08-25 发布日期:2019-08-25
基金资助:
国家自然科学基金(11671125，71371065)

A microblog retrieval model combining BTM and graph theory

CAI Chen1,2,LUO Ke1,2

(1.School of Computer & Communication Engineering,Changsha University of Science and Technology,Changsha 410114；

2.Hunan Provincial Key Laboratory of Intelligent Processing of Big Data on Transportation,

Changsha University of Science and Technology,Changsha 410114,China)

Received:2018-09-27 Revised:2018-11-30 Online:2019-08-25 Published:2019-08-25

摘要/Abstract

摘要：

微博数据量庞大且微博文本的字符数少、特征稀疏，为提高检索精度，提出一种融合BTM和图论的微博检索模型，通过词汇语义相关度计算微博文本中带有标签的特征相关度，构建bi-term主题模型，用JSD距离计算映射到该模型中短文本的词对相关度，抽取CN-DBpedia中实体及图结构，再使用SimRank算法计算图结构中实体间的相关度。综上3种相关度为该模型最终相关度。最后使用新浪微博数据集进行检索实验，实验结果表明：对比于融合隐含狄利克雷分布算法与图论的检索模型和基于开放数据关联和图论方法系统模型，新模型在MAP、准确率和召回率上性能有明显提高，说明该模型具有较优的检索性能。

关键词: 微博, 短文本, 相似度计算, BTM, 图论, 主题模型

Abstract:

Microblogs have a large amount of data but a few characters in the text, and their features are sparse. In order to improve the retrieval precision, we propose a microblog retrieval model combining BTM and graph theory. The lexical semantic correlation is used to calculate the correlation between features with labels in microblog text. Then we construct a bi-term topic model, use JSD distance to calculate the correlation of pair words in the short text that mapped to the model. Thirdly, we extract the entity and graph structure in CN-DBpedia, and then use the SimRank algorithm to calculate inter-entity correlation between graph structures. The above three correlations are the final correlation of the model. Finally, the Sina Weibo data set is used for the retrieval experiments. Experimental results show that compared with the retrieval model based on the combination of the implicit Dirichlet distribution algorithm and graph theory and the system model based on open data correlation and graph theory, the performance of the new model is significantly improved in MAP, accuracy and recall rate, indicating that the model has better retrieval performance.

Key words: microblog, short text, similarity calculation, BTM, graph theory, topic model

蔡晨1,2，罗可1,2 . 融合BTM和图论的微博检索模型[J]. 计算机工程与科学.

CAI Chen1,2,LUO Ke1,2. A microblog retrieval model combining BTM and graph theory[J]. Computer Engineering & Science.

[1]	王钦晨, 段利国, 王君山, 张昊妍, 郜浩. 基于BERT字句向量与差异注意力的短文本语义匹配策略[J]. 计算机工程与科学, 2024, 46(07): 1321-1330.
[2]	贾康, 李晓楠, 李冠宇. 一种基于自适应结构感知池化图匹配的图相似度计算模型[J]. 计算机工程与科学, 2023, 45(11): 1999-2007.
[3]	段玲, 郭军军, 余正涛, 相艳, . 基于正文和评论交互注意的微博案件方面识别[J]. 计算机工程与科学, 2022, 44(06): 1097-1104.
[4]	陈健鹏, 陈剑, 佘祥荣, 水新莹, 陈刚. 混合神经网络模型与注意力机制的地址匹配算法[J]. 计算机工程与科学, 2022, 44(05): 901-909.
[5]	王春东, 张卉, 莫秀良, 杨文军. 微博情感分析综述[J]. 计算机工程与科学, 2022, 44(01): 165-175.
[6]	李晓红, 王闪闪, 马堉银, 马慧芳. 融合相似度图和随机游走模型的多标签短文本分类算法[J]. 计算机工程与科学, 2021, 43(06): 1081-1087.
[7]	刘亚波, 吴秋轩. 基于长短时记忆网络的电商大数据同一性标定[J]. 计算机工程与科学, 2021, 43(03): 407-415.
[8]	李超, 严馨, 谢俊, 徐广义, 周枫, 莫源源, . 基于HDP的主题词向量构造——以柬语为例[J]. 计算机工程与科学, 2020, 42(06): 1111-1119.
[9]	尤诚诚, 冯旭鹏, 刘利军, 黄青松, . 基于主题模型的胸部X光片诊断报告异常检测方法[J]. 计算机工程与科学, 2020, 42(04): 741-748.
[10]	蒋亚芳, 严馨, 徐广义, 周枫, 邓忠莹, . 融合多信息句子图模型的多文档摘要抽取[J]. 计算机工程与科学, 2020, 42(03): 535-542.
[11]	韩肖赟,侯再恩,孙绵. 主题模型在短文本上的应用研究[J]. 计算机工程与科学, 2020, 42(01): 144-152.
[12]	谢庆1，严馨1，诺宇1，徐广义2，周枫1，郭剑毅1. 基于短语的柬汉双语LDA主题模型[J]. 计算机工程与科学, 2019, 41(08): 1497-1503.
[13]	高永兵1,宋添树1,2,李江宇1,马占飞3. 基于知网的个人微博语义相关度的聚类研究[J]. 计算机工程与科学, 2019, 41(06): 1128-1135.
[14]	裴颂文1,2，王露露1. 基于注意力机制的文本情感倾向性研究[J]. 计算机工程与科学, 2019, 41(02): 343-353.
[15]	邱云飞，陈昂. 微博社区的动态节点自适应增量交互优化[J]. 计算机工程与科学, 2019, 41(02): 370-377.