【深度学习:t-SNE 】T 分布随机邻域嵌入

2024-01-28 23:52

本文主要是介绍【深度学习:t-SNE 】T 分布随机邻域嵌入,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

【深度学习:t-SNE 】T 分布随机邻域嵌入

    • 降低数据维度的目标
    • 什么是PCA和t-SNE,两者有什么区别或相似之处?
      • 主成分分析(PCA)
      • t-分布式随机邻域嵌入(t-SNE)
    • 在 MNIST 数据集上实现 PCA 和 t-SNE
    • 结论

了解 t-SNE 的基本原理、与 PCA 的区别以及如何在 MNIST 数据集上应用 t-SNE

在本文中,您将了解到

  • t-SNE 与 PCA(主成分分析)的区别
  • 简单易懂地解释 t-SNE 的工作原理
  • 了解 t-SNE 可用的不同参数
  • 在 MNIST 上应用 t-SNE 和 PCA

在这里插入图片描述
如果数据集中有数百个特征或数据点,而您想在二维或三维空间中表示它们,该怎么办?

在保留数据集中最多信息的同时降低数据集维度的两种常用技术是

  • 主成分分析(PCA)
  • 分布式随机邻域嵌入(t-SNE)

降低数据维度的目标

  • 在低维表示中尽可能多地保留高维数据中存在的数据的重要结构或信息。
  • 在较低维度上提高数据的可解释性
  • 最大限度地减少由于降维而导致的数据信息丢失

什么是PCA和t-SNE,两者有什么区别或相似之处?

PCA 和 t-SNE 都是无监督降维技术。这两种技术都用于将高维数据可视化到低维空间。

主成分分析(PCA)

  • 一种用于特征提取和可视化的无监督确定性算法
  • 应用线性降维技术,其重点是在低维空间中保持不同点之间的距离。
  • 通过使用特征值保留数据中的方差,将原始数据转换为新数据。
  • PCA 影响异常值。

t-分布式随机邻域嵌入(t-SNE)

  • 一种无监督的随机算法,仅用于可视化
  • 应用非线性降维技术,其重点是在低维空间中保持非常相似的数据点靠近。
  • 使用学生 t 分布来计算低维空间中两点之间的相似度,从而保留数据的局部结构。t-SNE 使用重尾 Student-t 分布而不是高斯分布来计算低维空间中两点之间的相似度,这有助于解决拥挤和优化问题。
  • 异常值不会影响 t-SNE

T 分布式随机邻域嵌入 (t-SNE) 是一种用于可视化的无监督机器学习算法,由 Laurens van der Maaten 和 Geoffrey Hinton 开发。

t-SNE 如何运作?

步骤 1:查找高维空间中邻近点之间的成对相似度。

t-SNE 将数据点 xᵢ 和 xⱼ 之间的高维欧氏距离转换为条件概率 P(j|i)。

在这里插入图片描述

高维空间中的数据(作者提供的图片)

xᵢ 会根据以点 xᵢ 为中心的高斯分布下的概率密度比例选择 xⱼ 作为其邻居。

σi 是以数据点习为中心的高斯方差

一对点的概率密度与其相似度成正比。对于附近的数据点,p(j|i) 将相对较高,而对于相距较远的点,p(j|i) 将很小。

对高维空间中的条件概率进行对称化,得到高维空间中最终的相似度。

条件概率通过对两个概率求平均值来实现对称,如下所示。

在这里插入图片描述

对称条件概率

步骤2:根据高维空间中点的成对相似度,将高维空间中的每个点映射到低维映射。

低维地图将是 2 维或 3 维地图

在这里插入图片描述
yᵢ 和 yⱼ 是高维数据点 xᵢ 和 xⱼ 的低维对应项。

我们计算类似于以点 yᵢ 为中心的高斯分布下的 P(j]i) 的条件概率 q(j|i),然后对概率进行对称化。

步骤 3:使用基于 Kullback-Leibler 散度(KL 散度)的梯度下降找到一个低维数据表示,以最小化 Pᵢⱼ 和 qᵢⱼ 之间的不匹配

在这里插入图片描述

Pᵢ 表示点 xᵢ 在所有其他数据点上的条件概率分布。 Qᵢ 表示给定地图点 yᵢ 的所有其他地图点的条件概率分布

t-SNE 使用梯度下降优化低维空间中的点。

为什么使用 KL 散度?

当我们最小化 KL 散度时,它使得 qᵢⱼ 在物理上与 Pᵢⱼ 相同,因此高维空间中的数据结构将与低维空间中的数据结构相似。

基于KL散度方程,

  • 如果 Pᵢⱼ 很大,那么我们需要很大的 qᵢⱼ 值来表示具有更高相似度的局部点。
  • 如果 Pᵢⱼ 很小,那么我们需要较小的 qᵢⱼ 值来表示相距较远的局部点。

步骤 4:使用 Student-t 分布计算低维空间中两点之间的相似度。

t-SNE 使用具有一个自由度的重尾 Student-t 分布来计算低维空间中两点之间的相似度,而不是高斯分布。

T-分布创建了低维空间中点的概率分布,这有助于减少拥挤问题。

如何在数据集上应用 t-SNE?

在用 python 编写代码之前,我们先了解一下可以使用的 TSNE 的一些关键参数

n_components:嵌入空间的维度,这是我们希望将高维数据转换为的较低维度。对于二维空间,默认值为 2。

Perplexity:困惑度与 t-SNE 算法中使用的最近邻居的数量有关。更大的数据集通常需要更大的困惑度。困惑度的值可以在 5 到 50 之间。默认值为 30。

n_iter:优化的最大迭代次数。应至少为 250,默认值为 1000

Learning_rate:t-SNE 的学习率通常在 [10.0, 1000.0] 范围内,默认值为 200.0。

在 MNIST 数据集上实现 PCA 和 t-SNE

我们将使用 sklearn.decomposition.PCA 应用 PCA,并在 MNIST 数据集上使用 sklearn.manifold.TSNE 实现 t-SNE。

加载 MNIST 数据

导入所需的库

import time
import numpy as np
import pandas as pd

获取 MNIST 训练和测试数据并检查训练数据的形状

(X_train, y_train) , (X_test, y_test) = mnist.load_data()
X_train.shape

在这里插入图片描述

创建一个包含多个图像和图像中的像素数的数组,并将 X_train 数据复制到 X

X = np.zeros((X_train.shape[0], 784))
for i in range(X_train.shape[0]):X[i] = X_train[i].flatten()

打乱数据集,取出 10% 的 MNIST 训练数据并将其存储在数据框中。

X = pd.DataFrame(X)
Y = pd.DataFrame(y_train)
X = X.sample(frac=0.1, random_state=10).reset_index(drop=True)
Y = Y.sample(frac=0.1, random_state=10).reset_index(drop=True)
df = X

数据准备好后,我们可以应用PCA和t-SNE。

在 MNIST 数据集上应用 PCA

使用 sklearn.decomposition 中的 PCA 库应用 PCA。

from sklearn.decomposition import PCA
time_start = time.time()
pca = PCA(n_components=2)
pca_results = pca.fit_transform(df.values)
print ('PCA done! Time elapsed: {} seconds'.format(time.time()-time_start))

在这里插入图片描述
PCA 生成两个维度,主成分 1 和主成分 2。将两个 PCA 成分与标签一起添加到数据框中。

pca_df = pd.DataFrame(data = pca_results, columns = ['pca_1', 'pca_2'])
pca_df['label'] = Y

仅在可视化时才需要该标签。

绘制 PCA 结果

fig = plt.figure(figsize = (8,8))
ax = fig.add_subplot(1,1,1) 
ax.set_xlabel('Principal Component 1', fontsize = 15)
ax.set_ylabel('Principal Component 2', fontsize = 15)
ax.set_title('2 component PCA', fontsize = 20)
targets = [0,1,2,3,4,5,6,7,8,9]
colors=['yellow', 'black', 'cyan', 'green', 'blue', 'red', 'brown','crimson', 'gold', 'indigo']
for target, color in zip(targets,colors):indicesToKeep = pca_df['label'] == targetax.scatter(pca_df.loc[indicesToKeep, 'pca_1'], pca_df.loc[indicesToKeep, 'pca_2'], c = color, s = 50)
ax.legend(targets)
ax.grid()

在这里插入图片描述

在 MNIST 数据集上应用 t-SNE

导入 t-SNE 和可视化所需的库

import time
from sklearn.manifold import TSNE
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
import seaborn as sns
import matplotlib.patheffects as PathEffects
%matplotlib inline

首先使用默认参数创建 TSNE 实例,然后将高维图像输入数据拟合到嵌入空间中,并使用 fit_transform 返回转换后的输出。

图像数据的维度应为 (n_samples, n_features) 形状

time_start = time.time()
tsne = TSNE(random=0)
tsne_results = tsne.fit_transform(df.values)
print ('t-SNE done! Time elapsed: {} seconds'.format(time.time()-time_start))

将标签添加到数据框中,并且仅在绘图期间使用它来标记集群以进行可视化。

df['label'] = Y

数据可视化功能

def plot_scatter(x, colors):# choose a color palette with seaborn.num_classes = len(np.unique(colors))palette = np.array(sns.color_palette("hls", num_classes))print(palette)# create a scatter plot.f = plt.figure(figsize=(8, 8))ax = plt.subplot(aspect='equal')sc = ax.scatter(x[:,0], x[:,1],  c=palette[colors.astype(np.int)], cmap=plt.cm.get_cmap('Paired'))plt.xlim(-25, 25)plt.ylim(-25, 25)ax.axis('off')ax.axis('tight')
# add the labels for each digit corresponding to the labeltxts = []
for i in range(num_classes):
# Position of each label at median of data points.
xtext, ytext = np.median(x[colors == i, :], axis=0)txt = ax.text(xtext, ytext, str(i), fontsize=24)txt.set_path_effects([PathEffects.Stroke(linewidth=5, foreground="w"),PathEffects.Normal()])txts.append(txt)
return f, ax, sc, txts

可视化 MNIST 数据集的 -SNE 结果

plot_scatter( tsne_results, df['label'])

在这里插入图片描述

尝试使用不同的参数值并观察不同的绘图

不同困惑值的可视化

在这里插入图片描述
n_iter 不同值的可视化

在这里插入图片描述
我们可以看到,从 t-SNE 图生成的聚类比使用 PCA 生成的聚类更加明确。

  • PCA 是确定性的,而 t-SNE 不是确定性的并且是随机的。
  • t-SNE 尝试仅映射局部邻居,而 PCA 只是我们初始协方差矩阵的对角旋转,特征向量表示并保留全局属性

结论

PCA和t-SNE是两种常见的降维方法,它们使用不同的技术将高维数据降维为可以可视化的低维数据。

这篇关于【深度学习:t-SNE 】T 分布随机邻域嵌入的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/655176

相关文章

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

Python与DeepSeek的深度融合实战

《Python与DeepSeek的深度融合实战》Python作为最受欢迎的编程语言之一,以其简洁易读的语法、丰富的库和广泛的应用场景,成为了无数开发者的首选,而DeepSeek,作为人工智能领域的新星... 目录一、python与DeepSeek的结合优势二、模型训练1. 数据准备2. 模型架构与参数设置3

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

最长公共子序列问题的深度分析与Java实现方式

《最长公共子序列问题的深度分析与Java实现方式》本文详细介绍了最长公共子序列(LCS)问题,包括其概念、暴力解法、动态规划解法,并提供了Java代码实现,暴力解法虽然简单,但在大数据处理中效率较低,... 目录最长公共子序列问题概述问题理解与示例分析暴力解法思路与示例代码动态规划解法DP 表的构建与意义动