SVD降维

2024-09-07 01:12
文章标签 降维 svd

本文主要是介绍SVD降维,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 一、SVD降维的基本原理
  • 二、SVD降维的步骤
  • 三、SVD降维的优点
  • 四、SVD降维的应用
  • 五、代码应用
  • 六、SVD降维的局限性

一、SVD降维的基本原理

SVD是线性代数中的一种技术,它将一个矩阵A分解为三个矩阵的乘积:A = UΣV^T。其中,U和V是正交矩阵,Σ是对角矩阵,对角线上的元素称为奇异值。这些奇异值表示了矩阵A在各个方向上的“重要性”或“能量”。

在降维过程中,SVD通过保留矩阵A中最大的几个奇异值,并忽略其他较小的奇异值,来近似地重构原始矩阵。这样做可以在保留数据主要信息的同时,减少数据的维度。

二、SVD降维的步骤

计算SVD:首先,对原始数据矩阵A进行SVD分解,得到矩阵U、Σ和V^T。
选择奇异值:根据需要保留的信息量或数据特征,选择Σ中前k个最大的奇异值。这一步是关键,因为它决定了降维后的数据维度和保留的信息量。
重构矩阵:使用选定的奇异值和对应的U、V^T的子矩阵,重构出一个近似于原始矩阵A但维度更低的矩阵A’。

三、SVD降维的优点

简化数据:通过去除不重要的特征,简化了数据表示,便于后续处理和分析。
去除噪声:较小的奇异值通常与噪声相关,因此通过忽略这些奇异值,可以在一定程度上去除数据中的噪声。
提高算法性能:降维后的数据具有更低的维度,可以减少计算量和存储需求,从而提高算法的性能。

四、SVD降维的应用

SVD降维在多个领域都有广泛的应用,包括但不限于:

推荐系统:在推荐系统中,SVD可以用于构建用户或物品的隐式特征向量,从而计算用户或物品之间的相似度。
图像处理:SVD可以用于图像压缩和去噪。通过保留图像中的主要特征(即较大的奇异值),可以在保持图像质量的同时减少数据量。
文本挖掘:SVD可以用于提取文本数据中的主题或潜在语义结构,帮助理解和分析大量文本数据。

五、代码应用

import numpy as np
from PIL import Image
import matplotlib.pyplot as pltdef pic_compress(k, pic_array):global u, sigma, vt, sig, new_picu, sigma, vt = np.linalg.svd(pic_array)  # 进行奇异分解sig = np.eye(k) * sigma[:k]  # np.eye用于生成一个单位矩阵new_pic = np.dot(np.dot(u[:, :k], sig), vt[:k, :])  # np.dot用于矩阵的乘法运算size = u.shape[0] * k + sig.shape[1] + k * vt.shape[1]return new_pic, sizeimg = Image.open("lf.jpg")
ori_img = np.array(img)
new_img, size = pic_compress(100, ori_img)  # 压缩的维度
print("original size:" + str(ori_img.shape[0] * ori_img.shape[1]))
print("compress size:" + str(size))
fig, ax = plt.subplots(1, 2)
ax[0].imshow(ori_img, cmap='gray')
ax[0].set_title("before compress")
ax[1].imshow(new_img, cmap='gray')
ax[1].set_title("after compress")
plt.show()
  • 函数定义:pic_compress 函数接受两个参数:k(要保留的奇异值的数量)和pic_array(图像的NumPy数组表示)。它使用SVD来分解图像矩阵,并尝试通过保留最大的k个奇异值来重构图像。
  • SVD分解:使用 np.linalg.svd 对图像矩阵进行奇异值分解,得到矩阵 U、sigma(奇异值向量)和V的转置。这里需要注意的是,sigma 实际上是一个向量,而不是矩阵。
  • 重构图像:通过创建一个对角矩阵 sig(其前k个对角元素是sigma的前k个元素,其余为0)来重构图像。通过np.dot对矩阵进行运算。
  • 图像处理:读取图像,并进行维度压缩,然后打印原属数据的大小与压缩后数据的大小。
  • 图像显示:使用 matplotlib 来显示原始图像和压缩后的图像。使用了 cmap=‘gray’,这会将图像转换为灰度进行显示。
    在这里插入图片描述

六、SVD降维的局限性

尽管SVD降维具有许多优点,但它也存在一些局限性:

  • 计算复杂度:对于大规模数据集,SVD的计算复杂度较高,可能需要较长的计算时间。
  • 难以解释:SVD降维后的数据维度通常不再具有原始数据的直观意义,因此可能需要额外的解释工作来理解降维后的数据。
  • 无法处理非线性关系:SVD是一种线性降维方法,无法有效处理数据中的非线性关系。

综上所述,SVD降维是一种有效的数据预处理技术,它可以通过提取数据的主要特征来降低数据的维度,并保留大部分重要信息。然而,在使用SVD降维时,也需要注意其局限性,并结合具体应用场景来选择合适的降维方法。

这篇关于SVD降维的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1143640

相关文章

特征值分解(EVD)和奇异值分解(SVD)—应用于图片压缩

特征值分解(EVD)和奇异值分解(SVD)—应用于图片压缩 目录 前言 一、特征值分解 二、应用特征值分解对图片进行压缩 三、矩阵的奇异值分解 四、应用奇异值分解对图片进行压缩 五、MATLAB仿真代码 前言         学习了特征值分解和奇异值分解相关知识,发现其可以用于图片压缩,但网上没有找到相应代码,本文在学习了之后编写出了图片压缩的代码,发现奇异值分

保研 比赛 利器: 用AI比赛助手降维打击数学建模

数学建模作为一个热门但又具有挑战性的赛道,在保研、学分加分、简历增色等方面具有独特优势。近年来,随着AI技术的发展,特别是像GPT-4模型的应用,数学建模的比赛变得不再那么“艰深”。通过利用AI比赛助手,不仅可以大大提升团队效率,还能有效提高比赛获奖几率。本文将详细介绍如何通过AI比赛助手完成数学建模比赛,并结合实例展示其强大功能。 一、AI比赛助手的引入 1. 什么是AI比赛助手? AI比

《机器学习》 基于SVD的矩阵分解 推导、案例实现

目录 一、SVD奇异值分解 1、什么是SVD 2、SVD的应用         1)数据降维         2)推荐算法         3)自然语言处理 3、核心         1)什么是酉矩阵         2)什么是对角矩阵 4、分解过程 二、推导 1、如何求解这三个矩阵         1)已知:          2)根据酉矩阵的特点即可得出:

[干货汇总]LSA及SVD介绍

1. 前言 近期在看关于NER(Named Entity Recognition)的paper,里面涉及到的几个机器学习的算法,需要学习一下,在网上看了一些相关干货,汇总一下前人智慧。 首先贴出几篇写的还不错的blog blog1 LSA潜在语义分析 该blog是在Wiki中翻译过来,翻译的反正比我看原文理解的好,进行初步了解还是不错的。 blog2 SVD矩阵奇异值分解 &&

《机器学习》PCA数据降维 推导、参数讲解、代码演示及分析

目录 一、主成分分析 1、什么是主成分分析? 2、什么是降维? 3、如何进行主成分分析         1)数据标准化         2)计算协方差矩阵         3)计算特征值和特征向量         4)选择主成分         5)构建投影矩阵         6)数据降维 4、为什么要进行主成分分析         1)数据可视化         2)

《机器学习》—— PCA降维

文章目录 一、PCA降维简单介绍二、python中实现PCA降维函数的介绍三、代码实现四、PCA降维的优缺点 一、PCA降维简单介绍 PCA(主成分分析,Principal Component Analysis)是一种常用的数据降维技术。它通过线性变换将原始数据转换到新的坐标系统中,使得任何投影的第一大方差在第一个坐标(称为第一主成分)上,第二大方差在第二个坐标(第二主成分)上,

基于Python的机器学习系列(23):奇异值分解(SVD)

在本篇中,我们将介绍如何利用奇异值分解(SVD)进行降维。SVD 是一种强大的矩阵分解方法,可以帮助我们提取数据中的重要特征,广泛应用于数据分析、图像处理等领域。 问题定义         在数据分析中,特别是当数据维度很高时,我们经常需要减少数据的维度以便于处理和可视化。奇异值分解(SVD)提供了一种有效的方法来实现这一目标。SVD 通过将原始数据矩阵分解成三个矩阵的乘积,从

特征值分解(EVD)和奇异值分解(SVD)

两篇博文,写得很好: http://blog.sina.com.cn/s/blog_3f738ee00102val0.html http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html

PCA降维奇异值分解SVD

PCA降维 涉及高维数据的问题容易陷入维数灾难,随着数据集维数的增加,算法学习所需的样本数量呈指数级增加,且需要更多的内存和处理能力,消耗资源。主成分分析也称为K-L变换,常用于高位数据预处理和可视化。PCA可以把可能具有相关性的高维变量合成线性无关的低维变量,称为主成分。原理就是PCA将高维具有相关性的数据进行线性变换映射到一个低维子空间,尽可能多的保留更多变量(代表原特征),降维成一个线性无

数据降维技术——PCA(主成分分析)

为什么要对数据进行降维?     在机器学习或者数据挖掘中,我们往往会get到大量的数据源,这些数据源往往有很多维度来表示它的属性,但是我们在实际处理中只需要其中的几个主要的属性,而其他的属性或被当成噪声处理掉。比如,13*11的源数据经过将为后变成了13*4的优化数据,那么,中间就减去了7个不必要的属性,选取了4个主要属性成分,简化了计算。     常用的数据降维方法有:主成分分析