T-SNE笔记 无痛理解

首先看下面两个图，
作左图是t-SNE降维后得到的，有图是PCA 降维后得到的。很明显t-SNE将分的更加清晰，而PCA则重叠严重。
t-sne 是一种非线性的降维方法，一般可视化用的比较多，利用t-sne 可以把高维数据降维到2维或者3维空间上，然后各个数据点跟自己在高维空间上相近的数据点聚集在一起 好比空中漂浮的不同颜色的小球 让它们落地后 再根据原本在空中的聚集情况聚集在一起。
t-sne的原理是在高维空间上非常接近的点在转换到低维空间上相近的可能性会大。而高维空间上比较远的点映射到低维空间上的时候会自然区分得比较远。
推理过程如下：
首先我们分别计算在高维空间上similarity S(xi,xj)，和降维后的similarity S(zi,zj)
图片来自台湾大学李宏毅教授课件
由上图可见，当在高维空间上xi和xi越相近两个点的距离越小越可靠近y轴，假设在sigmiod function 上黄色曲线代表降维前，蓝色曲线代表降维后，当xi和xj距离变大时 其下降速度会非常快，对应到低维空间Z曲线的距离就会很大两者之间的相似度就会减小。
为了统一标准衡量高维空间和低维空间上相似性。在此把点在高维空间上距离和在低维空间上的距离概率化把这两个相似度放到同一个概率分布（t 分布）上由此把双方统一到0到1之间的数值（如下图），这样我们就可以计算Loss fuction 了。

所以定义一个 loss fuction：

最小化这个Loss Function 后就可以找到Z使得P和Z的分布尽可能接近。Z就是降维后的结果。