最小二乘支持向量机（LSSVM）简述

本文主要是介绍最小二乘支持向量机（LSSVM）简述，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言：偶然间看过July的《支持向量机通俗导论》，受益良多，出于兴趣又看了一些LSSVM（最小二乘支持向量机）的相关文献，在这儿随便贴一点。

正文：首先，关于支持向量机的基础知识可以戳[http://www.cnblogs.com/v-July-v/archive/2012/06/01/2539022.html]，这篇《支持向量机通俗导论》已经把SVM的基本概念讲得很透彻了。

先说LSSVM分类，LSSVM和SVM的区别就在于，LSSVM把原方法的不等式约束变为等式约束，从而大大方便了Lagrange乘子alpha的求解，原问题是QP问题，而在LSSVM中则是一个解线性方程组的问题。

对于SVM问题，约束条件是不等式约束：

m i n w, b, ξ J (w, ξ) s . t . y k [w T φ (x k) + b] ξ k = 1 2 w T w + c \sum k = 1 N ξ k \geq 1 - ξ k, k = 1, \dots, N \geq 0, k = 1, \dots, N

对于LSSVM，原问题变为等式约束：

m i n w, b, e J (w, e) s . t . y k [w T φ (x k) + b] = 1 2 w T w + 1 2 γ \sum k = 1 N e 2 k = 1 - e k, k = 1, \dots, N

原SVM问题中的

ξ 是一个松弛变量，它的意义在于在支持向量中引入离群点。而对于LSSVM的等式约束，等式右侧的

e 和SVM的

ξ 的意义是类似的，最后的优化目标中也包含了

e 。我个人理解成：在LSSVM中，所有的训练点均为支持向量，而误差

e 是我们的优化目标之一。

另外，在LSSVM中 γ 和SVM中 c 的意义是一样的，一个权重，用于平衡寻找最优超平面和偏差量最小。

接下来，和SVM类似，采用 Lagrange 乘数法把原问题转化为对单一参数，也就是 α 的求极大值问题。新问题如下：

L (w, b, e; α) = J (w, e) - \sum k = 1 N α k {y k [w T φ (x k) + b] - 1 + e k}

分别对 w，b，ek，αk 求导=0，有:

\partial L \partial ω \partial L \partial b \partial L \partial e k \partial L \partial α k = 0 \to w = \sum k = 1 N α k y k φ (x k) = 0 \to \sum k = 1 N α k y k = 0 = 0 \to α k = γ e k, k = 1, . . ., N = 0 \to y k [w T φ (x k) + b] - 1 + e k = 0, k = 1, . . ., N

接下来，根据这四个条件可以列出一个关于

α 和

b 的线性方程组:

[0 y y T Ω + I / y] [b α] = [0 1 v]

其中 Ω 被称作核矩阵：

Ω k l = y k y l φ (x k) T φ (x l) = y k y l K (x k, x l), k, l = 1, . . ., N

解上述方程组可以得到一组

α 和

b 。

最后得到LSSVM分类表达式：

y (x) = s i g n [\sum k = 1 N α k y k K (x, x k) + b]

那么对比SVM，LSSVM的预测能力究竟怎么样呢，简单说来，由于是解线性方程组，LSSVM的求解显然更快，但标准基本形式的LSSVM的预测精准度比SVM稍差一些。

接下来说回归。
如果说分类是用一个超平面将两组数据分开的话，个人理解LSSVM回归就是用一个超平面对已知数据进行拟合，问题如下：

m i n w, b, e J (w, e) s . t . y k = 1 2 w T w + 1 2 γ \sum k = 1 N e 2 k = w T φ (x k) + b + e k, k = 1, \dots, N

这里的 yk 不再是表明类别的标签，而是我们需要估计函数中 y=f(x) 中的 y ，同样的，首先采用 Lagrange 乘数法：

L (w, b, e; α) = J (w, e) - \sum k = 1 N α k {w T φ (x k) - b + e k - y k}

进一步推导：

\partial L \partial ω \partial L \partial b \partial L \partial e k \partial L \partial α k = 0 \to w = \sum k = 1 N α k φ (x k) = 0 \to \sum k = 1 N α k = 0 = 0 \to α k = γ e k, k = 1, . . ., N = 0 \to w T φ (x k) + b + e k - y k = 0, k = 1, . . ., N

最后化为解下列线性方程组：

[0 1 v 1 T v Ω + I / y] [b α] = [0 y]

有核矩阵如下：

Ω k l = φ (x k) T φ (x l) = K (x k, x l), k, l = 1, . . ., N

解上述方程组得到LSSVM回归函数：

y (x) = \sum k = 1 N α k K (x, x k) + b

阅读全文

本文转载自：http://blog.csdn.net/u011542413/article/details/46682877

这篇关于最小二乘支持向量机（LSSVM）简述的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！