1.gradient descent梯度下降优化 1.1假设要优化一个函数 f(x)=(x−1)2 f(x)=(x-1)^2求它的最小值。这个函数在 x=1 x=1 时有最小值，这是解析解。如果用梯度下降法，是这样的： f′(x)=2(x−1) f^{'}(x)=2(x-1) 每一步的迭代公式是： xi+1=xi−ηf′(xi) x_{i+1}=x_{i} - \eta f^{'}(x