adaboost.M1与adaboost.M2差别比较

本文主要是介绍adaboost.M1与adaboost.M2差别比较，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

三种算法的差别

adaboost是由Yoav Freund和Robert E. Schapire 首先提出来的一种用于二分类问题的集成方法，紧接着出现的adaboost.M1将二分类扩展到多分类问题，而adaboost.M2不仅可以处理多分类问题，还引入了置信度的概念，进一步扩展了adaboost算法。

adaboost的简单介绍

由

$$H(x)=sign(\sum_{t=1}^{T}\alpha_th_t(x))$$ 可知
adaboost采用的集成方式是对基分类器的结果进行加权求和，如果结果大于0则样本被分为正类，如果结果小于0则样本被分为负类。
adaboost算法要做的就是每次迭代过程中，赋予被错误分类的样本更大的权重，从上图的步骤10可以看出：
$$D_{t+1}(i)=\left\{\begin{array}{ll} D_t(i)*e^{-\alpha_t}&\text{$if$ $h_t(x_i)=y_i$},\\ D_t(i)*e^{\alpha_t}&\text{$if$ not}. \end{array}\right.\tag{1}$$
如果一个样本被上一个分类器正确分类，那么它的权重将乘以 $e^{-\alpha_t}(e^{-\alpha_t}\in(0,1))$,
如果这个样本被上一个分类器错误分类，那么它的权重将乘以 $e^{\alpha_t}(e^{-\alpha_t}>1)$。
也就是说错误分类的样本权值相对于正确分类的样本权值扩大了 $e^{2\alpha_t}$倍，而 $e^{2\alpha_t}=\frac{1-\epsilon_t}{\epsilon_t}$

adaboost.M1

与前面提到的原版adaboost不同，adaboost.M1适用于多分类问题，为此，adaboost.M1对算法进行了一些必要的修改。不同之处在于：

一

$H(x)$的形式发生了一些变化，没有使用符号函数$sign()$,但作用并没有发生实质的变化，任然可以看成是及基分类器对输出结果进行投票，而且基分类器的权重实质上也没有变化，依然是$ln(\frac{1-\epsilon_t}{\epsilon_t} )$

二

对比第十步可以发现，adaboost.M1对权值更新函数做了一些调整以适应多分类的问题。权值更新规律如下：
如果一个样本被上一个分类器错误分类，那么它的权重不变，
如果这个样本被上一个分类器正确分类，那么它的权重将乘以$\beta_t=\frac{\epsilon_t}{1-\epsilon_t}$
也就是说错误分类的样本权值相对于正确分类的样本权值扩大了$\frac{1-\epsilon_t}{\epsilon_t}$倍，这与adaboost的权值更新法。

adaboost.M2

在adaboost.M2中算法对基分类器的输出形式做出了限制，给定一个样本，基分类器对$c_1到c_m$的类都输出一个介于0和1之间的值，表示这个样本属于某个类的概率，且这些值相加等于1。
$w_{i,y}^t$表示第t次迭代中样本i的某个错误标签y的权重

$W_i^t$表示在第t次迭代中样本i的的错误标签的权重和

$q_t(i,y)$表示$w_{i,y}^t$在$W_i^t$中占的比重

$D_t(i)$表示第i个样本在所有样本中占的权重

adaboost.M2的思路还是提高难以被正确分类的样本的权重，
假如样本可被分为A，B, C三类，某个样本$x_i$的真实标签为A，上一个基分类器对$x_i$的分类结果如下：

类别	A	B	C
概率	0.1	0.4	0.5

显然当前基分类器对这个样本的分类不理想，那么adaboost.M2算法会根据步骤8来计算计算当前基分类器的误差，接着步骤10会修改错误类B,C的权重，进而在下一次迭代的步骤6中更新这个样本的权重。

这篇关于adaboost.M1与adaboost.M2差别比较的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---