本文主要是介绍SVM使用对偶、核函数、软间隔的动机，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
使用对偶问题动机
SVM可以通过QP即二次规划求解，通过QP求解时问题的求解复杂度是与是与输入特征的维度相关的，在对原来的X进行使用核函数做升维度后，此时的维度会非常的大。例如使用二次多项式核函数时，映射后的维度为原始维度的平方倍数量级，如果使用高斯核函数则映射后的维度为无穷维。所以此时再使用QP解原始的SVM最小化问题效率会非常低下，这就引出了通过解SVM的对偶问题来解原始最优化问题，而原始SVM优化问题的对偶问题只与输入的样本数量有关，当数据特征为无穷维，样本数据量不大时候可以采用求解对偶问题求解。
QP和求解对偶问题都能解决SVM优化问题，只是两者的侧重点不一样。
- QP对特征的维度敏感。
- 对偶问题求解对样本数量敏感。
使用核函数动机
1.第一点最容易理解为了解决数据线性不可分问题，将数据映射到高维空间后再利用超平面对高维数据线性划分。
2. 第二点通常被忽略，在求解对偶问题时涉及 X T ∗ X X^T*X XT∗X的内积操作，这实际上还是和输入数据的特征为度相关的操作，在使用核函数后可以将高维空间的内积操作转换为在原始空间的内积操作，大大提高计算效率。
常见的核函数：
- 多项式核函数
- 高斯核函数
使用软间隔动机
- 在真实应用场景中很难确定合适的核函数使得训练样本是否线性可分，同时即便是线性可分也很难确定这是否是过拟合造成的。所以使用软间隔允许SVM在一些样本上不满足约束。
这篇关于SVM使用对偶、核函数、软间隔的动机的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
