机器学习实战—第5章：Logistic回归中程序清单5-1中的数学推导

本文主要是介绍机器学习实战—第5章：Logistic回归中程序清单5-1中的数学推导，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

如图中梯度上升法给出的函数代码。 
假设函数为： 

1、梯度上升算法（参数极大似然估计值）： 
通过查看《统计学习方法》中的模型参数估计，分类结果为类别0和类别1的概率分别为： 

则似然函数为： 

对数似然函数为： 

最大似然估计求使得对数似然函数取最大值时的参数θθ 
对L（θ）求导得： 

即为： 

则单个特征系数的梯度上升法的迭代公式为： 

对整个特征参数向量的梯度上升法的迭代公式为： 

2、当然也可以采用梯度下降方法（代价函数最小化） 

这部分可以参考吴恩达老师的《机器学习》视频，就不详细说明了。 
代价函数为： 

求导得到： 

对参数向量有： 

这篇关于机器学习实战—第5章：Logistic回归中程序清单5-1中的数学推导的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---