LIBSVM学习总结

2024-05-09 00:58
文章标签 学习 总结 libsvm

本文主要是介绍LIBSVM学习总结,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Support Vector Machines,SVM,支持向量机


各种SVM


C C -Support Vector Classi cation

训练向量 — xiRn,i=1,,l
两个类class
指标向量 — yRl y ∈ R l yi{1,1} y i ∈ { 1 , − 1 }
C C -SVC解决如下原始优化问题:

这里写图片描述

ϕ(xi) xi x i 映射到更高维空间, C>0 C > 0 为正则化参数。

由于向量参数 w w 的可能的高维度,通常我们解决如下对偶问题

这里写图片描述

e=[1,,1]T为全为1的向量
Q Q — 一个l×l的半正定矩阵positive semidefinite matrix
QijyiyjK(xi,xj) Q i j ≡ y i y j K ( x i , x j )
K(xi,xj)ϕ(xi)Tϕ(xj) K ( x i , x j ) ≡ ϕ ( x i ) T ϕ ( x j ) — 核函数

问题(2)解决后,使用 primal-dual relationship 原始-对偶关系,最优的 w w 满足:

这里写图片描述

决策函数为

这里写图片描述

为进行预测,存储如下参数:

yiαi,i
b b
标签名称
其他参数 如 — 核参数


ν-Support Vector Classi cation

引入了新的参数 — ν(0,1] ν ∈ ( 0 , 1 ]

这里写图片描述

对偶问题为

这里写图片描述

当且仅当

这里写图片描述

问题才有意义

决策函数为

这里写图片描述

可用 eTα=ν e T α = ν 替代 eTαν e T α ≥ ν

LIBSVM解决一个缩放版的问题,这是因为 αi1/l α i ≤ 1 / l 可能过小。

这里写图片描述

α α 对于对偶问题(5)是最优的
ρ ρ 对于原始问题(4)是最优的
则, α/ρ α / ρ 是带有 C=1/(ρl) C = 1 / ( ρ l ) C C -SVM的一个最优解,因此,在LIBSVM模型中的输出为(α/ρ,b/ρ)


Distribution Estimation (One-class SVM)

单类别SVM

无类别信息

这里写图片描述

对偶问题为

这里写图片描述

决策函数为

这里写图片描述

缩放版

这里写图片描述


ϵ ϵ -Support Vector Regression ( ϵ ϵ -SVR)

训练点集 — {(x1,z1),,(xl,zl)} { ( x 1 , z 1 ) , … , ( x l , z l ) }
xiRn x i ∈ R n — 特征向量
ziR1 z i ∈ R 1 — 目标输出
给定参数 — C>0 C > 0 ϵ>0 ϵ > 0 ,支持向量回归的标准形式为:

这里写图片描述

对偶问题为

这里写图片描述

在解决问题(9)后,估计函数为

这里写图片描述

输出为 — αα α ∗ − α


ν ν -Support Vector Regression ( ν ν -SVR)

这里写图片描述

对偶问题为

这里写图片描述

估计函数为

这里写图片描述

eT(α+α)Cν e T ( α + α ∗ ) ≤ C ν 可替换为等式

C¯=C/l C ¯ = C / l

这里写图片描述

如下二者有相同解
1. ϵ ϵ -SVR — 参数 (C¯,ϵ) ( C ¯ , ϵ )
2. ν ν -SVR — 参数 (lC¯,ν) ( l C ¯ , ν )


性能度量


分类

这里写图片描述


回归

这里写图片描述


整体组织

这里写图片描述

这篇关于LIBSVM学习总结的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/971935

相关文章

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Python实现图片分割的多种方法总结

《Python实现图片分割的多种方法总结》图片分割是图像处理中的一个重要任务,它的目标是将图像划分为多个区域或者对象,本文为大家整理了一些常用的分割方法,大家可以根据需求自行选择... 目录1. 基于传统图像处理的分割方法(1) 使用固定阈值分割图片(2) 自适应阈值分割(3) 使用图像边缘检测分割(4)

Windows Docker端口占用错误及解决方案总结

《WindowsDocker端口占用错误及解决方案总结》在Windows环境下使用Docker容器时,端口占用错误是开发和运维中常见且棘手的问题,本文将深入剖析该问题的成因,介绍如何通过查看端口分配... 目录引言Windows docker 端口占用错误及解决方案汇总端口冲突形成原因解析诊断当前端口情况解

java常见报错及解决方案总结

《java常见报错及解决方案总结》:本文主要介绍Java编程中常见错误类型及示例,包括语法错误、空指针异常、数组下标越界、类型转换异常、文件未找到异常、除以零异常、非法线程操作异常、方法未定义异常... 目录1. 语法错误 (Syntax Errors)示例 1:解决方案:2. 空指针异常 (NullPoi

Java反转字符串的五种方法总结

《Java反转字符串的五种方法总结》:本文主要介绍五种在Java中反转字符串的方法,包括使用StringBuilder的reverse()方法、字符数组、自定义StringBuilder方法、直接... 目录前言方法一:使用StringBuilder的reverse()方法方法二:使用字符数组方法三:使用自

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

Python依赖库的几种离线安装方法总结

《Python依赖库的几种离线安装方法总结》:本文主要介绍如何在Python中使用pip工具进行依赖库的安装和管理,包括如何导出和导入依赖包列表、如何下载和安装单个或多个库包及其依赖,以及如何指定... 目录前言一、如何copy一个python环境二、如何下载一个包及其依赖并安装三、如何导出requirem

Rust格式化输出方式总结

《Rust格式化输出方式总结》Rust提供了强大的格式化输出功能,通过std::fmt模块和相关的宏来实现,主要的输出宏包括println!和format!,它们支持多种格式化占位符,如{}、{:?}... 目录Rust格式化输出方式基本的格式化输出格式化占位符Format 特性总结Rust格式化输出方式

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

Python中连接不同数据库的方法总结

《Python中连接不同数据库的方法总结》在数据驱动的现代应用开发中,Python凭借其丰富的库和强大的生态系统,成为连接各种数据库的理想编程语言,下面我们就来看看如何使用Python实现连接常用的几... 目录一、连接mysql数据库二、连接PostgreSQL数据库三、连接SQLite数据库四、连接Mo