梯度下降法-最速下降法

转自：http://blog.csdn.net/majinlei121/article/details/47261539

梯度下降法是一个一阶最优化算法，通常也称为最速下降法。

梯度下降法，就是利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。

    最速下降法的一种简单形式是：x(k+1)=x(k)-a*g(k),其中a称为学习速率，可以是较小的常数。g（k）是x(k)的梯度。

    直观的说，就是在一个有中心的等值线中，从初始值开始，每次沿着垂直等值线方向移动一个小的距离，最终收敛在中心。 

    对于某一个性能指数，我们能够运用梯度下降法，使这个指数降到最小。若该指数为均方误差，我们便得到了最小均方误差（LMS）算法。

http://wenku.baidu.com/view/9d2fd423dd36a32d73758197.html

参考文献 很不错！

http://zh.wikipedia.org/wiki/%E6%9C%80%E9%80%9F%E4%B8%8B%E9%99%8D%E6%B3%95

http://www.docin.com/p-125724187.html

http://wenku.baidu.com/view/80a40b323968011ca3009190.html