高维数据的增量式聚类算法的距离度量选择研究

计算机工程与科学

高维数据的增量式聚类算法的距离度量选择研究

邵俊健，王士同

(江南大学数字媒体学院,江苏无锡 214122)

收稿日期:2017-10-23 修回日期:2018-06-20 出版日期:2019-02-25 发布日期:2019-02-25

Selecting distance metrics for incremental

clustering algorithm of high dimensional data

SHAO Junjian,WANG Shitong

(School of Digital Media，Jiangnan University，Wuxi 214122，China)

Received:2017-10-23 Revised:2018-06-20 Online:2019-02-25 Published:2019-02-25

摘要/Abstract

摘要：

合适的距离度量函数对于聚类结果有重要的影响。针对大规模高维数据集，使用增量式聚类算法进行距离度量的选择分析。SpFCM算法是将大规模数据集分成小样本进行增量分批聚类，可在有限的计算机内存中获得较好的聚类结果。在传统的SpFCM算法的基础上，使用不同的距离度量函数来衡量样本之间的相似性，以得出不同的距离度量对SpFCM算法的影响。在不同的大规模高维数据集中，使用欧氏距离、余弦距离、相关系数距离和扩展的杰卡德距离来计算距离。实验结果表明，后3个距离度量相对于欧氏距离可以很大程度地提高聚类效果，其中相关系数距离可以得到较好的结果，余弦距离和扩展的杰卡德距离效果比较一般。

关键词: 高维数据, SpFCM算法, 距离度量, 增量式模糊聚类算法, 相关系数距离度量

Abstract:

Appropriate distance metric functions have an important effect on clustering results. For large-scale and high-dimensional datasets, the incremental fuzzy clustering algorithm is used to analyze the selection of distance metrics. Since the SpFCM algorithm divides a large-scale dataset into small samples for incremental batch clustering, it can get better clustering results in limited computer memory. Different distance metric functions are applied into the traditional SpFCM algorithm in order to measure the similarities between different samples to check the effect of different distance metrics on the SpFCM algorithm. Four distance metrics, which are the Euclidean metric, the cosine metric, the correlation distance metric and the extended Jaccard similarity metric, are used to calculate the distance for different large-scale high dimensional datasets. Experimental results show that, the latter three distance metrics can greatly improve the clustering effect. The correlation distance metric gets a better clustering result while the cosine distance metric and the extended Jaccard similarity distance get an average result.

Key words: high dimensional data, SpFCM algorithm, distance metric, incremental fuzzy clustering algorithm, correlation coefficient distance metric

邵俊健，王士同. 高维数据的增量式聚类算法的距离度量选择研究[J]. 计算机工程与科学.

SHAO Junjian,WANG Shitong.

Selecting distance metrics for incremental

clustering algorithm of high dimensional data

[J]. Computer Engineering & Science.

[1]	马慧, 魏立力. 加权犹豫三角模糊距离度量及其在群决策中的应用[J]. 计算机工程与科学, 2020, 42(08): 1430-1439.
[2]	李秋珍1，白兴强2，李立夏1，王赢1. 量化编码的分层可通航小世界图算法[J]. 计算机工程与科学, 2019, 41(04): 618-625.
[3]	赵亮1,刘建辉2,张昭昭2. 基于贝叶斯距离的K-modes聚类算法[J]. 计算机工程与科学, 2017, 39(01): 188-193.
[4]	曹玉东，刘艳洋，孙福明，贾旭. 低空间复杂度的LSH算法及其在图像检索中的应用[J]. J4, 2015, 37(02): 379-383.
[5]	张新红1，张帆2，张军亮2. 一种改进的二值图像质量评价方法[J]. J4, 2010, 32(6): 52-54.
[6]	谢明霞1,2，郭建忠1，张海波3，陈科1. 高维数据相似性度量方法研究[J]. J4, 2010, 32(5): 92-96.