理论知识 随机向量的“零均值化”和“空间解相关”是最常用的两个预处理过程，其中“零均值化”比较简单，而“空间解相关”涉及一些矩阵的知识。     设有均值为零的随机信号向量  ，其自相关矩阵为 很明显，  是对称矩阵，且是非负定的（所有特征值都大于或等于0）。     现在，寻找一个线性变换  对  进行变换，即  ，使得 上式的含义是：y的

减去均值，白化：在训练一个网络的时候我们经常会做对输入减去均值，以及白化等操作，其目的均是为了加快训练速度。关于原因一般我们输入的图像数据是高度相关的，假设其分布如下图a所示，由于初始化模型参数时，一般参数时0均值的，因此开始的拟合y=Wx+b基本是过原点的，如图b红色线所示，因此网络需要经过多次学习才能够达到如紫色实现的拟合，因此训练过程中模型的收敛速度慢。如果我们对输入的数据先做减均值操作，便

欢迎关注公众号，更多知识分享，多谢 数据白化预处理     随机向量的“零均值化”和“空间解相关”是最常用的两个预处理过程，其中“零均值化”比较简单，而“空间解相关”涉及一些矩阵的知识。     设有均值为零的随机信号向量 ，其自相关矩阵为 很明显， 是对称矩阵，且是非负定的（所有特征值都大于或等于0）。     现在，寻找一个线性变换 对 进行变换，即 ，使得