基于密度的聚类算法DBSCAN详解!

2024-06-03 20:28

本文主要是介绍基于密度的聚类算法DBSCAN详解!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

公众号:尤而小屋
编辑:Peter
作者:Peter

大家好,我是Peter~

今天给大家介绍基于密度的聚类算法DBSCAN,包含:

  • DBSCAN算法定义
  • sklearn.cluster.DBSCAN参数详解
  • DBSCAN聚类实战
  • DBSCAN聚类效果评估
  • DBSCAN聚类可视化
  • DBSCAN算法优缺点总结

不同的聚类算法效果对比

https://scikit-learn.org/stable/auto_examples/cluster/plot_cluster_comparison.html#sphx-glr-auto-examples-cluster-plot-cluster-comparison-py

1 DBSCAN定义

DBSCAN(Density-Based Spatial Clustering of Applications with Noise,基于密度的带有噪声的空间聚类应用)是一种基于密度的聚类算法。

密度聚类算法一般假定类别是可以通过样本分布的紧密程度来决定。同一个类别中,样本之间是紧密相连的,也就说通过将紧密相连的样本划分为一类,这样就生成了一个聚类类别。

关于DBSCAN到底是如何实现聚类的?

一个关键点:DBSCAN是基于一组邻域来描述样本集的紧密程度,参数 ( ϵ , M i n P t s ) (\epsilon,MinPts) (ϵ,MinPts)用来描述邻域的样本紧密程度。其中 ϵ \epsilon ϵ描述邻域半径,表示两个样本被视为相邻的最大距离;MinPts表示某一样本的距离为 ϵ \epsilon ϵ的邻域中样本个数的阈值。

DBSCAN的全称是Density-Based Spatial Clustering of Applications with Noise,中文意为“基于密度的带有噪声的空间聚类应用”。它能够通过样本点的密集区域识别出各个聚类簇,并且对噪声点具有很强的鲁棒性。以下是关于DBSCAN的相关介绍:

  1. 核心思想:DBSCAN的核心在于基于样本点的密度进行聚类,即通过找出样本空间中密集的区域来进行簇的划分。
  2. 算法参数:DBSCAN需要两个主要参数:邻域半径和最少点数目。只有当某点在其邻域内的点数大于或等于最少点数目时,该点才被视为核心点。
  3. 点类别:DBSCAN中的点分为三类:核心点、边界点和噪声点。核心点是指那些在邻域内具有足够多的点的对象,边界点则是那些邻近核心点但自身不是核心点的点,而噪声点则既不是核心点也不是边界点
  4. 点关系:DBSCAN中的点关系包括密度直达、密度可达和密度相连。这些关系定义了如何从一个核心点扩展至整个簇。

更多详细的定义请见:参考资料2

2 sklearn用法

2.1 参数

sklearn.cluster.DBSCAN的完整参数解释-参考资料1:

sklearn.cluster.DBSCAN(eps=0.5,  # 邻域半径;它表示两个样本被视为相邻的最大距离。较大的值会导致更多的簇,较小的值会导致更少的簇*,min_samples=5,  # 形成簇所需的最小样本数# euclidean-欧式距离;manhattan-曼哈顿距离;chebyshev-切比雪夫距离;minkowski-闵可夫斯基距离;# wminkowski-带权重闵可夫斯基距离;seuclidean-标准化欧式距离;mahalanobis-马氏距离metric='euclidean',  # 计算样本之间距离的度量方法;metric_params=None,  # 度量方法的其他参数algorithm='auto', # 用于计算最近邻的算法,默认'auto', ['auto'、'ball_tree'、'kd_tree'和'brute']leaf_size=30,  # 构建最近邻树时的叶子大小p=None,  # Minkowski距离的幂指数,默认值为None。当度量方法为'minkowski'时,该参数有效n_jobs=None,  # 并行计算的线程数,默认为None;若为-1,则使用所有可用的处理器
)

其中最主要的参数eps(对应 ϵ \epsilon ϵ)和Min_samples(对应 M i n P t s MinPts MinPts

2.2 属性

  • core_sample_indices:核心店的index
  • components:核心点的原始数据信息
  • lables:每个样本的类别label,noise的label是-1

3 案例1

3.1 模拟数据

In [1]:

import numpy as np
import matplotlib.pyplot as pltfrom sklearn.cluster import DBSCAN
from sklearn import metrics  # 评估指标import warnings
warnings.filterwarnings("ignore")

In [2]:

X = np.array([[1, 2], [2, 2], [2, 3],[3, 5],[9, 7], [8, 9], [45, 80],[30, 50]])

3.2 训练数据

In [3]:

# 邻域半径为3;最少样品数为2
clustering = DBSCAN(eps=3, min_samples=2).fit(X)

3.3 3个重要属性

In [4]:

clustering.labels_  # 1、查看标签属性

Out[4]:

array([ 0,  0,  0,  0,  1,  1, -1, -1], dtype=int64)

其中类别为-1的点表示的离群点(noise)

核心点的index;标签为-1的没有显示:

In [5]:

clustering.core_sample_indices_  #  2、核心点index

Out[5]:

array([0, 1, 2, 3, 4, 5], dtype=int64)

核心点的原始数据信息:

In [6]:

clustering.components_    # 3、核心点原始数据

Out[6]:

array([[1, 2],[2, 2],[2, 3],[3, 5],[9, 7],[8, 9]])

4 案例2

4.1 make_blobs用法

In [7]:

from sklearn.datasets import make_blobs  # 生成聚类数据
from sklearn.preprocessing import StandardScaler  # 数据标准化

make_blobs的用法

data, label = make_blobs(n_features=2, n_samples=100, centers=3, random_state=3, cluster_std=[0.8, 2, 5]
)
  • n_features:表示每一个样本有多少个特征值
  • n_samples:表示样本数
  • centers:聚类中心点个数,即label数
  • random_state:随机种子,可以固定生成的数据
  • cluster_std:设置每个类别的方差

4.2 模拟数据

In [8]:

centers = [[1, 1], [-1, -1], [1, -1]]  # 设置中心X, labels_true = make_blobs(n_samples=2000, # 样本数centers=centers,  # 中心点cluster_std=0.4, # 类别的方差random_state=0  # 随机种子)
X = StandardScaler().fit_transform(X)
X

Out[8]:

array([[ 1.72569617,  1.28988372],[-1.28326016,  0.21227269],[-1.10466777, -0.69345567],...,[ 0.41235673,  1.11593922],[ 1.03405507,  1.54909595],[-0.87265606, -1.06013063]])

In [9]:

labels_true[:10]

Out[9]:

array([0, 1, 1, 2, 1, 2, 2, 2, 0, 0])

4.3 原数据可视化

In [10]:

plt.scatter(X[:, 0], # 所有行第一列X[:, 1])  # 所有行第二列
plt.show()

4.4 训练数据

In [11]:

db = DBSCAN(eps=0.3, min_samples=100).fit(X)# -1是异常点noise
labels = db.labels_
labels[:20]

Out[11]:

array([-1, -1,  0,  2,  0,  2,  2,  2,  1, -1, -1,  0,  2,  1,  0,  2,  2,1,  0,  1], dtype=int64)

In [12]:

n_clusters = len(set(labels)) - (1 if -1 in labels else 0)
# n_clusters = len(set(labels)) - 1print(f"DBSCAN聚类簇的数量:{n_clusters}")
DBSCAN聚类簇的数量:3

In [13]:

# 离群点的数量
n_noise = list(labels).count(-1)print(f"DBSCAN聚类离群点的数量:{n_noise}")
DBSCAN聚类离群点的数量:332

4.5 聚类评估metrics

In [14]:

# 1、同质性:表示每个簇内样本的相似度;值接近1则表示簇内样本越相似
print(f"Homogeneity: {metrics.homogeneity_score(labels_true, labels):.3f}") # 2、完整性:表示每个簇内的样本是否被完整地划分到某个簇中。值越接近1,表示簇内样本越完整。
print(f"Completeness: {metrics.completeness_score(labels_true, labels):.3f}")# 3、V-measure指标,是同质性和完整性的加权平均。值越接近1,表示聚类效果越好。
print(f"V-measure: {metrics.v_measure_score(labels_true, labels):.3f}")# 4、调整后的Rand指数:用于衡量两个数据分割之间的相似度。值越接近1,表示两个分割越相似。
print(f"Adjusted Rand Index: {metrics.adjusted_rand_score(labels_true, labels):.3f}")# 5、调整后的互信息(Adjusted Mutual Information):用于衡量两个数据分割之间的互信息量。值越大,表示两个分割越相似。
print("Adjusted Mutual Information:"
f" {metrics.adjusted_mutual_info_score(labels_true, labels):.3f}"
)# 6、轮廓系数(Silhouette Coefficient):用于衡量聚类结果的质量。值越接近1,表示聚类效果越好;值越接近-1,表示聚类效果越差。
print(f"Silhouette Coefficient: {metrics.silhouette_score(X, labels):.3f}")

具体结果为:

Homogeneity: 0.827
Completeness: 0.666
V-measure: 0.738
Adjusted Rand Index: 0.733
Adjusted Mutual Information: 0.737
Silhouette Coefficient: 0.489

4.6 聚类可视化

In [15]:

unique_labels = set(labels)  # 唯一值
core_samples_mask = np.zeros_like(labels, dtype=bool) # 核心点T-F
core_samples_mask[:20]  # 全部为False

Out[15]:

array([False, False, False, False, False, False, False, False, False,False, False, False, False, False, False, False, False, False,False, False])

In [16]:

db.core_sample_indices_[:20]  # 核心点索引号

Out[16]:

array([ 2,  4,  8, 11, 12, 13, 14, 15, 16, 18, 22, 31, 32, 34, 35, 36, 38,39, 40, 44], dtype=int64)

In [17]:

core_samples_mask[db.core_sample_indices_] = True  # 核心点设置为True
core_samples_mask[:20]

Out[17]:

array([False, False,  True, False,  True, False, False, False,  True,False, False,  True,  True,  True,  True,  True,  True, False,True, False])

写法1:

In [18]:

# # colors = ['black','red','green','blue']# colors = [plt.cm.Spectral(each) for each in np.linspace(0, 1, len(unique_labels))]
# print(colors)# for k, col in zip(unique_labels, colors):
#     color=colors[k+1]#     # 类别k的mask矩阵
#     class_member_mask = (labels == k)#     xy = X[class_member_mask & core_samples_mask] # 核心
#     plt.scatter(
#         xy[:, 0],
#         xy[:, 1],
#         s=10,
#         c=color)#     # 绘制非核心点
#     xy = X[class_member_mask & ~core_samples_mask]  # 非核心
#     plt.scatter(
#         xy[:, 0],
#         xy[:, 1],
#         s=60,
#         c=color)# plt.title(f"Estimated number of clusters: {n_clusters}")
# plt.show()

写法2:

In [19]:

colors = [plt.cm.Spectral(each) for each in np.linspace(0, 1, len(unique_labels))]
for k, col in zip(unique_labels, colors):if k == -1:# noise点为黑色col = [0, 0, 0, 1]class_member_mask = labels == kxy = X[class_member_mask & core_samples_mask]plt.plot(xy[:, 0],xy[:, 1],"o",markerfacecolor=tuple(col),markeredgecolor="k",markersize=14,)xy = X[class_member_mask & ~core_samples_mask]plt.plot(xy[:, 0],xy[:, 1],"o",markerfacecolor=tuple(col),markeredgecolor="k",markersize=6,)plt.title(f"Estimated number of clusters: {n_clusters}")
plt.show()

5 DBSCAN特点

总结下DBSCAN聚类算法的优缺点:

5.1 优点

  • 能够处理任意形状和大小的簇:由于DBSCAN是基于密度的聚类算法,它能够识别并形成任意形状的簇。这对于具有复杂分布特征的数据集来说尤其适用。
  • 对噪声不敏感:DBSCAN算法在设计时考虑到了噪声点的影响,所以对于那些位于低密度区域的噪声点,算法能够将它们排除在聚类之外(类别为-1的点)
  • 无需事先指定簇的数量:不像K-means需要指定聚类的簇数,DBSCAN可以自动找出数据集中的簇数量
  • 可以发现数据集中的异常点:通过标记那些不属于任何簇的异常点,DBSCAN可以帮助识别数据集中的异常或离群点,常用于异常点检测。

5.2 缺点

  • 对输入参数非常敏感:DBSCAN的两个主要参数(邻域半径Eps和最少点数MinPts),对聚类的结果影响巨大。稍微改变这些参数就可能导致聚类结果的显著不同;
  • 在高维数据集上表现不佳:随着维度的增加,数据的稀疏性问题会变得更加严重,导致基于密度的聚类方法难以有效区分簇和噪声
  • 计算复杂度高:特别是在大数据集上,因为每个点的邻域都需要被考虑和计算,这会导致计算量的大幅增加
  • 对于密度不均匀的数据集表现不佳:如果一个数据集中的密度差异很大,使用全局的密度参数可能会导致无法正确发现某些密度较低区域的簇

总的来说,DBSCAN算法在处理具有不规则分布、含噪声的数据集中表现出了显著的优势。它能自动确定簇的数量并发现数据集中的异常值。然而,这种算法对参数的选择非常敏感,且在高维数据集和密度不均匀的数据集上的应用受到了限制

6 参考资料

1、sklearn的官网学习地址:

  • https://scikit-learn.org/stable/modules/generated/sklearn.cluster.DBSCAN.html
  • https://scikit-learn.org/dev/auto_examples/cluster/plot_dbscan.html#sphx-glr-auto-examples-cluster-plot-dbscan-py
  • https://scikit-learn.org/dev/auto_examples/cluster/plot_cluster_comparison.html#sphx-glr-auto-examples-cluster-plot-cluster-comparison-py

2、刘建平老师博客:

  • https://www.cnblogs.com/pinard/p/6208966.html
  • https://www.cnblogs.com/pinard/p/6217852.html

最后介绍一个DBSCAN聚类可视化的网站:https://www.naftaliharris.com/blog/visualizing-dbscan-clustering/

这篇关于基于密度的聚类算法DBSCAN详解!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1028027

相关文章

Spring Boot中的路径变量示例详解

《SpringBoot中的路径变量示例详解》SpringBoot中PathVariable通过@PathVariable注解实现URL参数与方法参数绑定,支持多参数接收、类型转换、可选参数、默认值及... 目录一. 基本用法与参数映射1.路径定义2.参数绑定&nhttp://www.chinasem.cnbs

MySql基本查询之表的增删查改+聚合函数案例详解

《MySql基本查询之表的增删查改+聚合函数案例详解》本文详解SQL的CURD操作INSERT用于数据插入(单行/多行及冲突处理),SELECT实现数据检索(列选择、条件过滤、排序分页),UPDATE... 目录一、Create1.1 单行数据 + 全列插入1.2 多行数据 + 指定列插入1.3 插入否则更

Redis中Stream详解及应用小结

《Redis中Stream详解及应用小结》RedisStreams是Redis5.0引入的新功能,提供了一种类似于传统消息队列的机制,但具有更高的灵活性和可扩展性,本文给大家介绍Redis中Strea... 目录1. Redis Stream 概述2. Redis Stream 的基本操作2.1. XADD

Spring StateMachine实现状态机使用示例详解

《SpringStateMachine实现状态机使用示例详解》本文介绍SpringStateMachine实现状态机的步骤,包括依赖导入、枚举定义、状态转移规则配置、上下文管理及服务调用示例,重点解... 目录什么是状态机使用示例什么是状态机状态机是计算机科学中的​​核心建模工具​​,用于描述对象在其生命

Java JDK1.8 安装和环境配置教程详解

《JavaJDK1.8安装和环境配置教程详解》文章简要介绍了JDK1.8的安装流程,包括官网下载对应系统版本、安装时选择非系统盘路径、配置JAVA_HOME、CLASSPATH和Path环境变量,... 目录1.下载JDK2.安装JDK3.配置环境变量4.检验JDK官网下载地址:Java Downloads

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定

MySQL中的LENGTH()函数用法详解与实例分析

《MySQL中的LENGTH()函数用法详解与实例分析》MySQLLENGTH()函数用于计算字符串的字节长度,区别于CHAR_LENGTH()的字符长度,适用于多字节字符集(如UTF-8)的数据验证... 目录1. LENGTH()函数的基本语法2. LENGTH()函数的返回值2.1 示例1:计算字符串

Spring Boot spring-boot-maven-plugin 参数配置详解(最新推荐)

《SpringBootspring-boot-maven-plugin参数配置详解(最新推荐)》文章介绍了SpringBootMaven插件的5个核心目标(repackage、run、start... 目录一 spring-boot-maven-plugin 插件的5个Goals二 应用场景1 重新打包应用

mybatis执行insert返回id实现详解

《mybatis执行insert返回id实现详解》MyBatis插入操作默认返回受影响行数,需通过useGeneratedKeys+keyProperty或selectKey获取主键ID,确保主键为自... 目录 两种方式获取自增 ID:1. ​​useGeneratedKeys+keyProperty(推

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数