Scikit-Learn支持向量机回归

2024-06-19 04:28

本文主要是介绍Scikit-Learn支持向量机回归,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Scikit-Learn支持向量机回归

    • 1、支持向量机回归
      • 1.1、最大间隔与SVM的分类
      • 1.2、软间隔最大化
      • 1.3、支持向量机回归
      • 1.4、支持向量机回归的优缺点
    • 2、Scikit-Learn支持向量机回归
      • 2.1、Scikit-Learn支持向量机回归API
      • 2.2、支持向量机回归初体验
      • 2.3、支持向量机回归实践(加州房价预测)



1、支持向量机回归


支持向量机(Support Vector Machine,SVM)算法既可以用于回归问题(SVR),也可以用于分类问题(SVC)。通常情况下,SVM用于分类问题,但后来也被扩展用于回归问题。SVM(回归)在机器学习知识结构中的位置如下:

1.1、最大间隔与SVM的分类


SVM是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,他的学习策略就是间隔最大化

如图所示,三条直线分别代表三个SVM分类器,请问哪一个分类器比较好?

在这里插入图片描述
凭直观感受答案应该是H3。首先H1不能把类别分开;H2可以,但分割线与最近的数据点只有很小的间隔,如果测试数据有一些噪声的话可能就会被H2错误分类(即对噪声敏感、泛化能力弱)。H3以较大间隔将它们分开,这样就能容忍测试数据的一些噪声,是一个泛化能力不错的分类器

对于支持向量机来说,数据点若是p维向量,我们用p−1维的超平面来分开这些点。但是可能有许多超平面可以把数据分类。最佳超平面的一个合理选择就是以最大间隔把两个类分开的超平面。因此,SVM选择能够使离超平面最近的数据点的到超平面距离最大的超平面

以上介绍的SVM只能解决线性可分的问题,为了解决更加复杂的问题,支持向量机学习方法由简至繁可分为三类:

  • 线性可分SVM

    当训练数据线性可分时,通过硬间隔(Hard Margin)最大化学习一个线性的分类器,即线性可分支持向量机(亦称作硬间隔支持向量机)

  • 线性SVM

    当训练数据不能线性可分但是可以近似线性可分时,通过软间隔(Soft Margin)最大化学习一个线性的分类器,即线性支持向量机(又称作软间隔支持向量机)

  • 非线性SVM

    当训练数据线性不可分时,通过使用核技巧(Kernel Trick)及软间隔最大化可以学习非线性支持向量机,等价于隐式地在高维特征空间中学习线性支持向量机

1.2、软间隔最大化


在实际应用中,完全线性可分(硬间隔)的情况非常少见。例如下面的分类图,我们没有办法找到一条直线,把空间划分为2个区域,因此,要对其进行切分,有以下两种方案:

1)仍然使用直线,不过不追求完全可分,适当包容一些分错的情况(线性SVM)

在这里插入图片描述
在这个过程中,我们会在模型中加入惩罚函数,尽量让分错的点不要太多。对分错点的惩罚函数就是这个点到其正确位置的距离

如上图所示,黄色、蓝色的直线分别为支持向量所在的边界,黑色的线为决策函数,那些绿色的线表示分错的点到其相应的决策面的距离,这样我们可以在原函数上面加上一个惩罚函数,并且带上其限制条件为:

在这里插入图片描述
上式为在线性可分问题的基础上加上的惩罚函数部分,当 x i x_i xi在正确一边的时候, ε i \varepsilon_i εi=0,R为全部的样本点的数目,C是惩罚系数

  • 当C很大的时候,分错的点就会更少,但是过拟合的情况可能会比较严重
  • 当C很小的时候,分错的点可能会很多,不过可能由此得到的模型也会不太正确

C越小对误分类的惩罚越小,C越大对误分类的惩罚越大,当C取正无穷时就变成了硬间隔优化。C越小越容易欠拟合,C越大越容易过拟合。实际应用中我们也会调整和选择合适的C值

2)用曲线将其完全分开,即非线性的决策边界(非线性SVM)

在这里插入图片描述
如果我们要处理的分类问题更加复杂,甚至不能像上面一样近似线性可分,这种情况下找到的超平面分错的程度太高,是不可接受的

对于这样的问题,解决的方案是将样本从原始空间映射到一个更高维的特征空间,使得样本在这个特征空间内线性可分,然后再运用SVM求解。这个映射的函数称为核函数

在这里插入图片描述
更多关于软间隔与硬间隔、SVM的损失函数、核函数以及SVM分类的介绍详见文章:传送门

1.3、支持向量机回归


支持向量机回归的核心思想是通过最小化预测误差来拟合数据,并且在拟合过程中保持一个边界(间隔),使得大部分数据点都落在这个边界之内。SVR与分类问题中的支持向量机(SVC)类似,但其目标是拟合数据而不是分离数据

在SVC中,在数据集线性可分的情况下,训练数据集的样本点中与分离超平面距离最近的数据点称为支持向量(Support Vector)

在这里插入图片描述
即所有在直线 ω X \omega X ωX+ b b b= 1 1 1和直线 ω X \omega X ωX+ b b b= − 1 -1 1上的点。在决定最佳超平面时只有支持向量起作用,而其他数据点并不起作用

与SVC类似,在SVR中,我们同样定义一个边界,由一个中心线和两个平行的边界线组成。这些边界线之间的距离称为间隔,它由用户预先设定。SVR的目标是找到一个函数,使得大部分数据点都落在间隔内,并

这篇关于Scikit-Learn支持向量机回归的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1074000

相关文章

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

Vector3 三维向量

Vector3 三维向量 Struct Representation of 3D vectors and points. 表示3D的向量和点。 This structure is used throughout Unity to pass 3D positions and directions around. It also contains functions for doin

8. 自然语言处理中的深度学习:从词向量到BERT

引言 深度学习在自然语言处理(NLP)领域的应用极大地推动了语言理解和生成技术的发展。通过从词向量到预训练模型(如BERT)的演进,NLP技术在机器翻译、情感分析、问答系统等任务中取得了显著成果。本篇博文将探讨深度学习在NLP中的核心技术,包括词向量、序列模型(如RNN、LSTM),以及BERT等预训练模型的崛起及其实际应用。 1. 词向量的生成与应用 词向量(Word Embedding)

✨机器学习笔记(二)—— 线性回归、代价函数、梯度下降

1️⃣线性回归(linear regression) f w , b ( x ) = w x + b f_{w,b}(x) = wx + b fw,b​(x)=wx+b 🎈A linear regression model predicting house prices: 如图是机器学习通过监督学习运用线性回归模型来预测房价的例子,当房屋大小为1250 f e e t 2 feet^

Golang支持平滑升级的HTTP服务

前段时间用Golang在做一个HTTP的接口,因编译型语言的特性,修改了代码需要重新编译可执行文件,关闭正在运行的老程序,并启动新程序。对于访问量较大的面向用户的产品,关闭、重启的过程中势必会出现无法访问的情况,从而影响用户体验。 使用Golang的系统包开发HTTP服务,是无法支持平滑升级(优雅重启)的,本文将探讨如何解决该问题。 一、平滑升级(优雅重启)的一般思路 一般情况下,要实现平滑

sqlite不支持中文排序,采用java排序

方式一 不支持含有重复字段进行排序 /*** sqlite不支持中文排序,改用java排序* 根据指定的对象属性字段,排序对象集合,顺序* @param list* @param field* @return*/public static List sortListByField(List<?> list,String field){List temp = new ArrayList(

一款支持同一个屏幕界面同时播放多个视频的视频播放软件

GridPlayer 是一款基于 VLC 的免费开源跨平台多视频同步播放工具,支持在一块屏幕上同时播放多个视频。其主要功能包括: 多视频播放:用户可以在一个窗口中同时播放任意数量的视频,数量仅受硬件性能限制。支持多种格式和流媒体:GridPlayer 支持所有由 VLC 支持的视频格式以及流媒体 URL(如 m3u8 链接)。自定义网格布局:用户可以配置播放器的网格布局,以适应不同的观看需求。硬

Science Robotics 首尔国立大学研究团队推出BBEX外骨骼,实现多维力量支持!

重复性举起物体可能会对脊柱和背部肌肉造成损伤,由此引发的腰椎损伤是工业环境等工作场所中一个普遍且令人关注的问题。为了减轻这类伤害,有研究人员已经研发出在举起任务中为工人提供辅助的背部支撑装置。然而,现有的这类装置通常无法在非对称性的举重过程中提供多维度的力量支持。此外,针对整个人体脊柱的设备安全性验证也一直是一个缺失的环节。 据探索前沿科技边界,传递前沿科技成果的X-robot投稿,来自首尔国立

用Python实现时间序列模型实战——Day 14: 向量自回归模型 (VAR) 与向量误差修正模型 (VECM)

一、学习内容 1. 向量自回归模型 (VAR) 的基本概念与应用 向量自回归模型 (VAR) 是多元时间序列分析中的一种模型,用于捕捉多个变量之间的相互依赖关系。与单变量自回归模型不同,VAR 模型将多个时间序列作为向量输入,同时对这些变量进行回归分析。 VAR 模型的一般形式为: 其中: ​ 是时间  的变量向量。 是常数向量。​ 是每个时间滞后的回归系数矩阵。​ 是误差项向量,假

超级 密码加密 解密 源码,支持表情,符号,数字,字母,加密

超级 密码加密 解密 源码,支持表情,符号,数字,字母,加密 可以将表情,动物,水果,表情,手势,猫语,兽语,狗语,爱语,符号,数字,字母,加密和解密 可以将文字、字母、数字、代码、标点符号等内容转换成新的文字形式,通过简单的文字以不同的排列顺序来表达不同的内容 源码截图: https://www.httple.net/152649.html