回归:假设有一些数据点,用一条直线对这些点进行拟合的过程(成为最佳拟合直线),叫做回归。 Logistic回归进行分类的思想是:根据现有数据对分类边界建立回归公式,以此进行分类。 训练分类器时的做法就是寻找最佳拟合参数,使用的是最优化算法。 i i i表示第?个训练样本, y ^ \widehat{y} y 表示预测值。 损失函数(误差函数): L ( y ^ , y ) = −
算法原理 在线性模型的基础上增加一个激活函数用于映射。 知识预备 信息论 用概率论和随机过程为基本研究工具,研究广义通信系统的整个过程。常见的有无损压缩、有数据压缩等。 自信息: I ( X ) = − log b p ( x ) I(X)=-\log_bp(x) I(X)=−logbp(x) 在概率是0.5的时候最没法确认到底数值是多少 信息熵(自信息的期望):信息熵越大越不