基于知网的个人微博语义相关度的聚类研究

计算机工程与科学

基于知网的个人微博语义相关度的聚类研究

高永兵1,宋添树1,2,李江宇1,马占飞3

（1.内蒙古科技大学信息工程学院，内蒙古包头 014010；2.桂林航天工业学院计算机科学与工程学院，广西桂林 541004；

3.包头师范学院计算机系,内蒙古包头 014030）

收稿日期:2018-03-06 修回日期:2018-10-17 出版日期:2019-06-25
基金资助:
国家自然科学基金（61762071）；内蒙古自治区自然科学基金（2015MS0621）

Individual microblog clustering by

semantic correlation based on HowNet

GAO Yongbing1,SONG Tianshu1,2,LI Jiangyu1,MA Zhanfei3

(1.School of Information Engineering,Inner Mongolia University of Science and Technology,Baotou 014010;

2.School of Computer Science and Engineering,Guilin University of Aerospace Technology,Guilin 541004;

3.Department of Computer,Baotou Teachers’ College,Baotou 014030,China)

Received:2018-03-06 Revised:2018-10-17 Online:2019-06-25

摘要/Abstract

摘要：

聚类相关度大的个人微博有助于快速了解博主的专业兴趣和经历，目前的短文本聚类方法缺乏对于语义和句子相关度的充分考虑，提出了一种基于知网的个人微博语义相关度的聚类方法。其要点如下：（1）利用Skipgram训练大量微博文本生成词汇向量；（2）根据词汇义原进行句内词汇消除歧义；（3）分别计算个人微博之间词汇和句子的相似度并将其综合得到博文相关度；（4）根据博文相关度进行个人微博的聚类。实验表明，相较于层次聚类法、密度聚类法，本文算法的准确度有明显提高。

关键词: 个人微博, 知网, 语义, 聚类, 消歧

Abstract:

Individual microblogs with large clustering correlation enable a quick understanding of bloggers' professional interests and experiences. Existing short text clustering methods lack sufficient consideration of the correlation between semantics and sentences. We propose a novel individual microblog clustering method according to semantic correlation based on the HowNet. The main steps are as follows: (1) use the skipgram to train a large number of microblog texts to generate word vectors; (2) according to original semantic senses of words to eliminate ambiguity in the sentence; (3) calculate the similarity of words and sentences between microblogs respectively and get the correlation metrics; (4) cluster individual microblogs according to the microblog correlation. Experimental results show that the proposed clustering method outperforms the hierarchical clustering method and density clustering method.

Key words: individual microblog, HowNet, semantics, clustering, disambiguation

高永兵1,宋添树1,2,李江宇1,马占飞3. 基于知网的个人微博语义相关度的聚类研究[J]. 计算机工程与科学.

GAO Yongbing1,SONG Tianshu1,2,LI Jiangyu1,MA Zhanfei3.

Individual microblog clustering by

semantic correlation based on HowNet

[J]. Computer Engineering & Science.

[1]	杨旭东, 李秋燕, 高岭, 刘鑫, 邓雅妮. 一种基于多区块链协作的分布式位置匿名方法[J]. 计算机工程与科学, 2024, 46(12): 2171-2185.
[2]	刘合兵, 孔玉杰, 席磊, 尚俊平. 融合注意力机制的解耦对比聚类[J]. 计算机工程与科学, 2024, 46(12): 2261-2270.
[3]	徐欣, 李若诗, 袁野, 刘娜. 基于可学习图像滤波器的雾天驾驶场景图像语义分割[J]. 计算机工程与科学, 2024, 46(11): 2027-2034.
[4]	陈昌奉, 赵宏州, 周恺卿. 基于图神经网络的代码抄袭检测方法[J]. 计算机工程与科学, 2024, 46(10): 1815-1824.
[5]	李猛, 刘姿邑, 宋宇航. 基于双重自表达与最大熵原理的深度子空间聚类算法[J]. 计算机工程与科学, 2024, 46(09): 1685-1692.
[6]	马冬梅, 王鹏宇, 郭智浩. 一种基于注意力机制的轻量级语义分割[J]. 计算机工程与科学, 2024, 46(08): 1503-1512.
[7]	徐捷, 邵玉斌, 杜庆治, 龙华, 马迪南. 结合混合特征提取与深度学习的长文本语义相似度计算[J]. 计算机工程与科学, 2024, 46(08): 1513-1520.
[8]	柴旭清, 乔一航, 范黎林, . 一种基于随机森林分类器构建高性能应用程序性能分析模型的方法[J]. 计算机工程与科学, 2024, 46(07): 1218-1228.
[9]	王钦晨, 段利国, 王君山, 张昊妍, 郜浩. 基于BERT字句向量与差异注意力的短文本语义匹配策略[J]. 计算机工程与科学, 2024, 46(07): 1321-1330.
[10]	张玉莹, 朱广丽, 谈光璞, . 基于情感增强和语义依存的金融隐式情感分析模型[J]. 计算机工程与科学, 2024, 46(06): 1112-1120.
[11]	宋鑫海, 韩京宇, 郎杭, 毛毅. 滑动窗口投票策略的QRS波群形态识别[J]. 计算机工程与科学, 2024, 46(02): 272-281.
[12]	钟卓辉, 陈黎飞, . 基于模型的非凸聚类算法[J]. 计算机工程与科学, 2024, 46(02): 292-302.
[13]	邱晓梦, 王琳, 谷文俊, 宋伟, 田浩来, 胡誉. 光流法修正的时序图像语义分割模型[J]. 计算机工程与科学, 2024, 46(01): 102-110.
[14]	肖振国, 陈林书, 孙少杰, 梅本霞, 柳媛慧, 赵磊. 基于代数粒的聚类方法[J]. 计算机工程与科学, 2024, 46(01): 150-158.
[15]	范林雨, 李军辉, 孔芳. 基于无监督预训练的跨语言AMR解析[J]. 计算机工程与科学, 2024, 46(01): 170-178.