线性因子模型 - 独立分量分析（ICA）篇

本文主要是介绍线性因子模型 - 独立分量分析（ICA）篇，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

序言

线性因子模型是数据分析与机器学习中的一类重要模型，它们通过引入潜变量（$\text{latent variables}$）来更好地表征数据。其中，独立分量分析（$\text{ICA}$）作为线性因子模型的一种，以其独特的视角和广泛的应用领域而备受关注。$\text{ICA}$旨在将观察到的复杂信号分解成多个独立信号，这些独立信号通过缩放和叠加能够恢复成原始数据。这种方法不仅有助于理解数据的内在结构，还能在信号处理、语音识别、图像分析等多个领域发挥重要作用。

独立分量分析（ICA）

• 独立分量分析 ($\text{independent component analysis, ICA}$) 是最古老的表示学习算法之一。
  • $\text{Herault and Ans, 1984}$;
  • $\text{Jutten and Herault, 1991}$;
  • $\text{Comon, 1994; Hyva¨rinen,1999}$;
  • $\text{Hyva¨rinen et al., 2001}$;
  • $\text{Hinton et al., 2001; Teh et al., 2003}$。
• 它是一种建模线性因子的方法，旨在将观察到的信号分离成许多潜在信号，这些潜在信号通过伸缩并叠加可以恢复成观察数据。这些信号是完全独立的，而不是仅仅彼此不相关。
• 许多不同的具体方法被称为$\text{ICA}$。
  • 与我们描述的其他生成模型最相似的$\text{ICA}$变种 ($\text{Pham et al., 1992}$) 训练了完全参数化的生成模型。
  • 潜在因子 $\mathbf{h}$ 的先验$p(\mathbf{h})$，必须由用户提前给出并固定。
  • 接着模型确定性地生成 $\mathbf{x}=\mathbf{Wh}$。
  • 我们可以通过非线性变化（使用公式1）来确定 $p(\mathbf{x})$。
  • 然后通过一般的方法比如最大化似然进行学习。
    $p_x(\mathbf{x})=p_y(g(\mathbf{x}))\left|\det \left(\frac{\partial g(\mathbf{x})}{\partial \mathbf{x}}\right)\right|$ $\text{—公式1}$
• 这种方法的动机是，通过选择一个独立的 $p(\mathbf{h})$，我们可以尽可能恢复接近独立的潜在因子。
  • 这是一种常用的方法，它并不是用来捕捉高级别的抽象因果因子，而是恢复已经混合在一起的低级别信号。
  • 在该设置中，每个训练样本对应一个时刻，每个 $x_i$ 是一个传感器对混合信号的观察值，并且每个 $h_i$ 是单个原始信号的一个估计。
  • 例如，我们可能有 $n$ 个人同时说话。
    • 如果我们具有放置在不同位置的 $n$ 个不同的麦克风，则$\text{ICA}$可以检测每个麦克风的音量变化，并且分离信号，使得每个 $h_i$ 仅包含一个人清楚地说话。
    • 这通常用于脑电图的神经科学，一种用于记录源自大脑的电信号的技术。
    • 放置在对象的头部上的许多电极传感器用于测量来自身体的许多电信号。
    • 实验者通常仅对来自大脑的信号感兴趣，但是来自受试者的心脏和眼睛的信号强到足以混淆在受试者的头皮处进行的测量。
    • 信号到达电极，并且混合在一起，因此为了分离源于心脏与源于大脑的信号，并且将不同脑区域中的信号彼此分离$\text{ICA}$是必要的。
• 如前所述，$\text{ICA}$存在许多变种。
  • 一些版本在 $\mathbf{x}$ 的生成中添加一些噪声，而不是使用确定性的解码器。
  • 大多数方法不使用最大似然准则，而是旨在使 $\mathbf{h}={\mathbf{W}}^{-1}\mathbf{x}$ 的元素彼此独立。
  • 许多准则能够达成这个目标。
  • 公式1需要用到 $\mathbf{W}$ 的行列式，这可能是昂贵且数值不稳定的操作。
  • $\text{ICA}$的一些变种通过将 $\mathbf{W}$ 约束为正交来避免这个有问题的操作。
• $\text{ICA}$的所有变种要求 $p(\mathbf{h})$ 是非高斯的。
  • 这是因为如果 $p(\mathbf{h})$ 是具有高斯分量的独立先验，则 $\mathbf{W}$ 是不可识别的。
  • 对于许多 $\mathbf{W}$ 值，我们可以在 $p(\mathbf{x})$ 上获得相同的分布。
  • 这与其他线性因子模型有很大的区别，例如概率$\text{PCA}$和因子分析通常要求$p(\mathbf{h})$ 是高斯的，以便使模型上的许多操作具有闭式解。
  • 在用户明确指定分布的最大似然方法中，一个典型的选择是使用 $p(h_i)=\frac{d}{d{h}_i}\sigma (h_i)$。
  • 这些非高斯分布的典型选择在 $0$ 附近具有比高斯分布更高的峰值，因此我们也可以看到独立分量分析经常在学习稀疏特征时使用。
• 按照我们对生成模型这个术语的定义$\text{ICA}$的许多变种不是生成模型。
  • 在本篇中，生成模型可以直接表示 $p(\mathbf{x})$，也可以认为是从 $p(\mathbf{x})$ 中抽取样本。
  • $\text{ICA}$的许多变种仅知道如何在 $\mathbf{x}$ 和 $\mathbf{h}$ 之间变换，但没有任何表示 $p(\mathbf{h})$ 的方式，因此也无法确定 p(x)。
  • 例如，许多$\text{ICA}$变量旨在增加 $\mathbf{h}={\mathbf{W}}^{-1}\mathbf{x}$ 的样本峰度，因为高峰度说明了 $p(\mathbf{h})$ 是非高斯的，但这是在没有显式表示 $p(\mathbf{h})$ 的情况下完成的。
  • 这是为什么$\text{ICA}$更多用作分离信号的分析工具，而不是用于生成数据或估计其密度。
• 正如$\text{PCA}$可以推广到后续：自编码器系列篇中描述的非线性自编码器，$\text{ICA}$可以推广到非线性生成模型，其中我们使用非线性函数 $f$ 来生成观测数据。
  • 关于非线性$\text{ICA}$最初的工作可以参考$\text{Hyva¨rinen and Pajunen (1999)}$，它和集成学习的成功结合可以参见$\text{Roberts and Everson (2001); Lappalainen et al. (2000)}$。
  • $\text{ICA}$的另一个非线性扩展是非线性独立分量估计 ($\text{nonlinear independent components estimation, NICE}$) 方法($\text{Dinh et al., 2014}$)，这个方法堆叠了一系列可逆变换（在编码器阶段），从而能够高效地计算每个变换的$\underline{\text{Jacobian}}$行列式。
  • 这使得我们能够精确地计算似然，并且像$\text{ICA}$一样，$\text{NICE}$尝试将数据变换到具有可分解边缘分布的空间。
  • 由于非线性编码器的使用，这种方法更可能成功。
  • 因为编码器和一个与其（ 编码器）完美逆作用的解码器相关联，所以可以直接从模型生成样本（通过首先从 $p(\mathbf{h})$ 采样，然后使用解码器）。
• $\text{ICA}$的另一个推广是通过在组内鼓励统计依赖关系在组之间抑制依赖关系来学
  习特征组。
  • 当相关单元的组被选为不重叠时，这被称为独立子空间分析 ($\text{independent subspace analysis}$)。
  • 还可以向每个隐藏单元分配空间坐标，并且空间上相邻的单元组形成一定程度的重叠。
  • 这能够鼓励相邻的单元学习类似的特征。
  • 当应用于自然图像时，这种地质$\text{ICA}$ ($\text{topographic ICA}$) 方法学习 $\underline{\text{Gabor}}$ 滤波器，从而使得相邻特征具有相似的定向、位置或频率。
  • 在每个区域内出现类似 $\text{Gabor}$ 函数的许多不同相位存在抵消作用，使得在小区域上的池化产生了平移不变性。

总结

• 独立分量分析通过寻找数据中的独立成分，实现了对复杂信号的有效分解。与主成分分析（$\text{PCA}$）不同，$\text{ICA}$不仅要求成分间不相关，更强调成分的独立性。这种特性使得$\text{ICA}$在处理非高斯分布的数据时具有显著优势。
• $\text{ICA}$的应用广泛，包括语音信号分离、特征提取、盲源信号分离等多个方面。通过$\text{ICA}$，我们可以从混合信号中分离出独立的声源，提取出有用的特征信息，进而为后续的数据处理和分析提供有力支持。
• 因此，理解和掌握独立分量分析的基本原理和应用方法，对于从事数据分析与机器学习工作的人员来说至关重要。

往期重要内容回顾

应用数学与机器学习基础 - 概率与信息论篇

这篇关于线性因子模型 - 独立分量分析（ICA）篇的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---