融合共现距离和区分度的短文本相似度计算方法

计算机工程与科学

融合共现距离和区分度的短文本相似度计算方法

刘文1,马慧芳1,2,脱婷1,陈海波1

（1.西北师范大学计算机科学与工程学院，甘肃兰州 730070

2.桂林电子科技大学广西可信软件重点实验室,广西桂林 541004）

收稿日期:2016-12-20 修回日期:2017-02-28 出版日期:2018-07-25 发布日期:2018-07-25
基金资助:
国家自然科学基金(61762078,61363058)；广西可信软件重点实验室研究课题（KX201705）;
西北师范大学学生创新能力计划（CX2018Y054）

Short text similarity measure based on

co-occurrence distance and discrimination

LIU Wen1，MA Huifang1,2，TUO Ting1,CHEN Haibo1

（1.College of Computer Science and Engineering,Northwest Normal University,Lanzhou 730070;

2.Guangxi Key Laboratory of Trusted Software,Guilin University of Electronic Technology,Guilin 541004,China）

Received:2016-12-20 Revised:2017-02-28 Online:2018-07-25 Published:2018-07-25

摘要/Abstract

摘要：

针对短文本内容简短、特征稀疏等特点，提出一种融合共现距离和区分度的短文本相似度计算方法。一方面，该方法在整个短文本语料库中利用两个共现词之间距离计算它们的共现距离相关度。另一方面通过计算共现区分度来提高距离相关度的准确度，然后对每个文本中词项进行相关性加权，最后通过词项的权重和词项之间的共现距离相关度计算两个文本的相似度。实验结果表明，本文提出的方法能够提高短文本相似度计算的准确率。

Abstract:

Aiming at the typical characteristics of severe sparseness and high dimension of short texts, we propose a short text similarity measure method based on cooccurrence distance and discrimination. On the one hand, the method leverages the cooccurrence distance between terms in each document to determine cooccurrence distance correlation. On the other hand, we calculate the cooccurrence discrimination to improve the accuracy of cooccurrence distance correlation, and then the relevance weight of the terms in the text is calculated. The text similarity between two short texts is calculated according to the term weights and the cooccurrence distance between terms. Experimental results show that the proposed method outperforms the baseline algorithm in term of performance and efficiency in similarity calculation.

Key words: short text, co-occurrence distance correlation, cooccurrence discrimination, term weighting, similarity calculation

刘文1,马慧芳1,2,脱婷1,陈海波1. 融合共现距离和区分度的短文本相似度计算方法[J]. 计算机工程与科学.

LIU Wen1，MA Huifang1,2，TUO Ting1,CHEN Haibo1.

Short text similarity measure based on

co-occurrence distance and discrimination

[J]. Computer Engineering & Science.

[1]	王钦晨, 段利国, 王君山, 张昊妍, 郜浩. 基于BERT字句向量与差异注意力的短文本语义匹配策略[J]. 计算机工程与科学, 2024, 46(7): 1321-1330.
[2]	贾康, 李晓楠, 李冠宇. 一种基于自适应结构感知池化图匹配的图相似度计算模型[J]. 计算机工程与科学, 2023, 45(11): 1999-2007.
[3]	陈健鹏, 陈剑, 佘祥荣, 水新莹, 陈刚. 混合神经网络模型与注意力机制的地址匹配算法[J]. 计算机工程与科学, 2022, 44(5): 901-909.
[4]	李晓红, 王闪闪, 马堉银, 马慧芳. 融合相似度图和随机游走模型的多标签短文本分类算法[J]. 计算机工程与科学, 2021, 43(6): 1081-1087.
[5]	刘亚波, 吴秋轩. 基于长短时记忆网络的电商大数据同一性标定[J]. 计算机工程与科学, 2021, 43(3): 407-415.
[6]	韩肖赟,侯再恩,孙绵. 主题模型在短文本上的应用研究[J]. 计算机工程与科学, 2020, 42(1): 144-152.
[7]	蔡晨1,2，罗可1,2 . 融合BTM和图论的微博检索模型[J]. 计算机工程与科学, 2019, 41(8): 1512-1518.
[8]	脱婷1，马慧芳1,2，魏家辉1，刘海姣1. 基于语义特征空间上下文的短文本表示学习[J]. 计算机工程与科学, 2019, 41(2): 378-384.
[9]	裴颂文1,2，王露露1. 基于注意力机制的文本情感倾向性研究[J]. 计算机工程与科学, 2019, 41(2): 343-353.
[10]	李晓红，冉宏艳，龚继恒，颜丽，马慧芳. 基于改进相似度与类中心向量的半监督短文本聚类算法[J]. 计算机工程与科学, 2018, 40(9): 1710-1716.
[11]	马慧芳1,2，邢玉莹1，王双1，张旭鹏1. 融合词语共现距离和类别信息的短文本特征提取方法[J]. 计算机工程与科学, 2018, 40(9): 1689-1695.
[12]	赵谦1，荆琪1，李爱萍1，2，段利国1. 一种基于语义与句法结构的短文本相似度计算方法[J]. 计算机工程与科学, 2018, 40(7): 1287-1294.
[13]	洪庆,王思尧,赵钦佩,李江峰,饶卫雄. 基于弹幕情感分析和聚类算法的视频用户群体分类[J]. 计算机工程与科学, 2018, 40(6): 1125-1139.
[14]	陈婷1,2,刘建勋1,2,曹步清1,2,李润2. 基于BTM主题模型的Web服务聚类方法研究[J]. 计算机工程与科学, 2018, 40(10): 1737-1745.
[15]	黄贤英,熊李媛,刘英涛,李沁东. 基于类别特征改进的KNN短文本分类算法[J]. 计算机工程与科学, 2018, 40(1): 148-154.