手推机器学习系列笔记——手推SVM(1)硬间隔、软间隔、约束优化问题、对偶性证明、KKT条件

笔记是听了b站大神的白板推导机器学习系列课，再结合李航老师的《统计学习方法》、周志华老师的西瓜书以及其他优秀博主的博客而成（浑然天成！！！）：

https://space.bilibili.com/97068901?from=search&seid=9183191776664110144（大神的白板推导机器学习系列课传送门）

对于大神的课，我只能说太强了，讲的特别特别好！下面让我们开始吧！

考虑一个二分类问题，给定一些样本点，我们希望将这些样本分为两类。预期设定这些样本是可以分成两类的，或存在特异点(去除特异点后可被线性分为两类)，或线性不可分三种情况，我们也将SVM(Support Vector Machines, SVM)分为三种，hard-margin SVM、soft-margin SVM以及kernel SVM。

SVM总结起来有三宝：间隔、对偶、核技巧。

原始的SVM是一个二元线性分类器，如图1所示，红线超平面将样本分为蓝色和红色两部分，三维情况下超平面的表达式为：。

                                                                                           图1：SVM图示 

SVM整体我将从六个部分来说明，手推SVM的第1部分主要包含以下几个方面：（第一部分已经基本包含了SVM的全部内容）

• 硬间隔SVM(hard-margin SVM)
• 软间隔SVM(soft-margin SVM)
• 约束优化问题、对偶性、KKT条件
• 核技巧SVM(kernel SVM) 简述

手推SVM的第2部分将详细讲述核技巧、SMO算法及python实现，第2部分侧重于对SVM进行补充。下面就让我们正式进入！

 注意，软间隔SVM相比于硬间隔SVM，只是加了一个loss作为罚项（我很喜欢数学里这个叫法），解约束优化问题的过程与硬间隔是一样的。

 （下面这张图有笔误，第三行应该为：）

 好了，第一部分就到这里，下次再见~