【机器学习】必会降维算法之:独立成分分析(ICA)

2024-06-06 14:20

本文主要是介绍【机器学习】必会降维算法之:独立成分分析(ICA),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

独立成分分析(ICA)

  • 1、引言
  • 2、独立成分分析(ICA)
    • 2.0 引言
    • 2.1 定义
    • 2.2 应用场景
    • 2.3 核心原理
    • 2.4 实现方式
    • 2.5 算法公式
    • 2.6 代码示例
  • 3、总结

1、引言

小屌丝:鱼哥,最近胡塞武装很哇塞啊。
小鱼:你什么时候开始关注军事了?
小屌丝:这…还用关注吗? 都上新闻了。
小鱼:嗯,那你知道胡塞武装为什么这么厉害吗?
小屌丝:额… 当然是光脚不怕穿鞋的。
小鱼:… 你可真是…
小屌丝:真是啥?
小鱼:一个字,自己体会
在这里插入图片描述

小屌丝:网友都这么说啊,我这是引用而已。
小鱼:… 看来,你还有很长一段距离要走啊。
小屌丝:那你倒是说说啊,
小鱼:我不说,我不说,我写我的博客了
小屌丝:唉~~ 看来你也不是很了解啊
小鱼:去…
小屌丝:说说嘛,
小鱼:别撒娇, 你特喵的 是个爷们。
小屌丝:你不说,我就这样。

在这里插入图片描述

2、独立成分分析(ICA)

2.0 引言

在机器学习和数据分析领域,降维是一项至关重要的技术。

通过降维,我们可以简化数据的复杂性,去除噪声,并提高模型的性能。

其中,独立成分分析(Independent Component Analysis, ICA)作为一种高级的降维算法,旨在从观测数据中分离出独立的源信号,广泛应用于信号处理、图像处理及金融数据分析等领域。

接下来,就跟着小鱼一起,详细探究独立成分分析(ICA)

2.1 定义

独立成分分析(ICA)是一种用于寻找潜在变量(或称为源信号)的统计和计算方法,这些潜在变量通过线性混合产生观察到的数据。

与主成分分析(PCA)不同,ICA 强调信号的统计独立性,而不仅仅是去相关性。

具体来说,ICA 希望从混合信号中提取出尽可能独立且非高斯的信号。

2.2 应用场景

ICA 在多个领域有广泛的应用,以下是一些典型的应用场景:

  • 信号处理:例如,从混杂的音频信号中分离出单独的声音源,这在「鸡尾酒会问题」中尤为经典。
  • 图像处理:用于提取图像的基本构建块,应用于人脸识别和特征提取。
  • 生物医学信号处理:如从脑电图(EEG)中分离独立的脑信号及去除噪声。
  • 金融:分析金融时间序列,分离出独立的市场因素,为投资决策提供支持。

2.3 核心原理

ICA 的核心思想是将观测到的多维信号表示为多个独立源信号的线性组合。

假设我们有观测信号 ( X ) ( \mathbf{X} ) (X),并且这些信号是未知的独立信号 ( S ) ( \mathbf{S} ) (S) 的线性组合:

[ X = A S ] [ \mathbf{X} = \mathbf{A} \mathbf{S} ] [X=AS]

其中, ( A ) ( \mathbf{A} ) (A) 是一个未知的混合矩阵,目标是通过对 ( X ) (\mathbf{X}) (X)进行操作,分离出独立的信号 ( S ) (\mathbf{S}) (S)

2.4 实现方式

ICA 有多种实现方式,最常见的算法是 FastICA。

FastICA 通过最大化信号的非高斯性来估计独立成分,使用定量标准如 negentropy(负熵)来进行优化。

2.5 算法公式

FastICA 的迭代计算方法可以通过以下公式表示:

  • 中心化:移除数据的均值,使数据零均值化。
  • 白化:将观测信号进行线性变换,使其成为白噪声(各维度独立且方差为1)。
  • 迭代求解独立成分:使用如负熵等准则进行非高斯性最大化。

具体的迭代公式如下: [ w + = E [ X g ( w T X ) ] − E [ g ′ ( w T X ) ] w ] [ \mathbf{w}_{+} = \mathbb{E}[\mathbf{X}g(\mathbf{w}^T \mathbf{X})] - \mathbb{E}[g'(\mathbf{w}^T \mathbf{X})] \mathbf{w} ] [w+=E[Xg(wTX)]E[g(wTX)]w]

其中,

  • ( g ) ( g ) (g) 通常选择为非线性函数,如 ( g ( u ) = tanh ⁡ ( u ) ) ( g(u) = \tanh(u) ) (g(u)=tanh(u))
  • ( w ) ( \mathbf{w} ) (w) 是权重向量,通过迭代求解得到。

2.6 代码示例

# -*- coding:utf-8 -*-
# @Time   : 2024-05-30
# @Author : Carl_DJimport numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import FastICA# 生成随机信号
np.random.seed(0)
n_samples = 2000
time = np.linspace(0, 8, n_samples)s1 = np.sin(2 * time)  # 正弦波
s2 = np.sign(np.sin(3 * time))  # 方波
s3 = np.cumsum(np.random.randn(n_samples))  # 随机步进信号S = np.c_[s1, s2, s3]
S += 0.2 * np.random.normal(size=S.shape)  # 加入噪声
S /= S.std(axis=0)  # 标准化# 混合信号
A = np.array([[1, 1, 1], [0.5, 2, 1.0], [1.5, 1.0, 2.0]])  # 混合矩阵
X = np.dot(S, A.T)  # 混合后的信号# 使用FastICA还原信号
ica = FastICA(n_components=3)
S_ = ica.fit_transform(X)  # 重建信号
A_ = ica.mixing_  # 估计的混合矩阵# 我们可以看到A_的乘法近似为单位矩阵,表明信号已经被很好地分离
assert np.allclose(X, np.dot(S_, A_.T) + ica.mean_)# 绘图
plt.figure()models = [X, S, S_]
names = ['混合信号 (观察信号)','源信号 (实际信号)','重建信号 (ICA)']
colors = ['red', 'steelblue', 'orange']for i, (model, name) in enumerate(zip(models, names), 1):plt.subplot(3, 1, i)plt.title(name)for sig, color in zip(model.T, colors):plt.plot(sig, color=color)plt.tight_layout()
plt.show()

解析

  • 首先、生成了三种不同类型的信号(正弦波、方波和随机步进信号),并将它们混合为观测信号 ( X ) ( X ) (X)
  • 其次、使用FastICA从观测信号 ( X ) ( X ) (X) 中分离出独立成分 ( S_ )。
  • 最后、通过绘图,比较混合信号、实际信号和 ICA 重建后的信号。

在这里插入图片描述

3、总结

独立成分分析(ICA)是一种强大的降维和信号分离方法,广泛应用于各个领域。

通过最大化信号的非高斯性,ICA 能够有效地分离出互相独立的源信号,从而在复杂的混合信号中提取出有用的信息。

我是小鱼

  • CSDN 博客专家
  • 阿里云 专家博主
  • 51CTO博客专家
  • 企业认证金牌面试官
  • 多个名企认证&特邀讲师等
  • 名企签约职场面试培训、职场规划师
  • 多个国内主流技术社区的认证专家博主
  • 多款主流产品(阿里云等)评测一等奖获得者

关注小鱼,学习【机器学习】&【深度学习】领域的知识。

这篇关于【机器学习】必会降维算法之:独立成分分析(ICA)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1036358

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

康拓展开(hash算法中会用到)

康拓展开是一个全排列到一个自然数的双射(也就是某个全排列与某个自然数一一对应) 公式: X=a[n]*(n-1)!+a[n-1]*(n-2)!+...+a[i]*(i-1)!+...+a[1]*0! 其中,a[i]为整数,并且0<=a[i]<i,1<=i<=n。(a[i]在不同应用中的含义不同); 典型应用: 计算当前排列在所有由小到大全排列中的顺序,也就是说求当前排列是第

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

【数据结构】——原来排序算法搞懂这些就行,轻松拿捏

前言:快速排序的实现最重要的是找基准值,下面让我们来了解如何实现找基准值 基准值的注释:在快排的过程中,每一次我们要取一个元素作为枢纽值,以这个数字来将序列划分为两部分。 在此我们采用三数取中法,也就是取左端、中间、右端三个数,然后进行排序,将中间数作为枢纽值。 快速排序实现主框架: //快速排序 void QuickSort(int* arr, int left, int rig