支持向量机SVM与逻辑斯谛回归LR区别

2024-05-24 20:18

本文主要是介绍支持向量机SVM与逻辑斯谛回归LR区别,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

逻辑回归模型

逻辑回归模型是一种分类模型,由条件概率分布P(Y|X) 表示,形式为参数化的逻辑分布,这里,随机变量X取值为实数,随机变量Y取值为1或0。

在学习逻辑回归时大家总是将线性回归作比较,线性回归模型的输出一般是连续

在线性回归模型中每一个输入x,都有一个对应的y输出。模型的定义域和值域都可以是[-∞, +∞]。但是逻辑回归输入可以是连续的[-∞, +∞],输出却一般是离散的,即只有有限个多个输出值。例如值域可以只有两个值{0,1},这两个值可以表示对样本的某种分类(高/低,好/坏等),这就是常见的二分类逻辑回归。因此,从整体上来说,通过LR我们可以将整个实数范围上的x映射到了有限个点上,这样就实现了对X的分类

LR与SVM的相同点

  • LR和SVM都是分类算法;
  • 如果不考虑核函数,LR和SVM都是线性分类算法,也就是它们的分类决策面都是线性的;
  • SVM只考虑局部的边界线附近的点,而LR考虑全局(远离的点对边界线的确定也起作用)。

影响SVM决策面的样本点只有少数的结构支持向量,当在支持向量外添加或减少任何样本点对分类决策面没有任何影响;而在LR中,每个样本点都会影响决策面的结果。

a.SVM改变非支持向量样本并不会引起决策面的变化


b.LR中改变任何样本都会引起决策面的变化


  • LR和SVM都是监督学习。
  • LR和SVM都是判别模型

判别模型会生成一个表示P(Y|X)的判别函数(或预测模型),而生成模型先计算联合概率p(Y,X)然后通过贝叶斯公式转化为条件概率。简单来说,在计算判别模型时,不会计算联合概率,而在计算生成模型时,必须先计算联合概率

常见的判别模型有:SVM、LR,条件随机场(CRF),CART,最大熵,决策树

常见的生成模型有:朴素贝叶斯,隐马尔可夫模型,贝叶斯网络,KNN,马尔科夫随机场(MRF)



LR与SVM的不同

  • 本质上是两者的损失函数的不同
逻辑回归一般使用交叉熵作为损失函数:

SVM损失函数:


其中, m:训练样本的个数;hθ(x):用参数θ和x预测出来的y值;y:原训练样本中的y值,也就是标准答案; 上角标(i):第i个样本

  • 线性SVM依赖数据表达的距离测度,所以需要对数据先做Normalization,  LR不受其影响;
要说有什么本质区别,那就是两个模型对数据和参数的敏感程度不同,因为SVM在计算margin有多“宽”的时候依赖数据表达上的距离测度,如果这个测度不好,所求得的Large margin就没有意义了,这个问题即使换用kernel trick也无法避免。所以使用SVM之前都需要先对数据进行Normalization,而求解LR时候则不需要或者结果不敏感。
  • 在解决非线性问题时,SVM采用核函数的机制,而LR通常不采用核函数

这个问题理解起来非常简单。分类模型的结果就是计算决策面,模型训练的过程就是决策面的计算过程。通过上面的第二点不同点可以了解,在计算决策面时,SVM算法里只有少数几个代表支持向量的样本参与了计算,也就是只有少数几个样本需要参与核计算(即kernal machine解的系数是稀疏的)。然而,LR算法里,每个样本点都必须参与决策面的计算过程,也就是说,假设我们在LR里也运用核函数的原理,那么每个样本点都必须参与核计算,这带来的计算复杂度是相当高的。所以,在具体应用时,LR很少运用核函数机制。

  • SVM与LR学习算法

LR学习算法有: 改进的迭代尺度算法,梯度下降,拟牛顿法

SVM学习算法: 序列最小优化算法(SMO)

  • SVM的损失函数就自带正则(损失函数中的1/2||w||^2项),这就是为什么SVM就是结构风险最小化算法的原因,而LR必须另外在损失函数上添加正则项,关于正则化可参考我的另一篇博客:https://blog.csdn.net/u010899985/article/details/79471909


这篇关于支持向量机SVM与逻辑斯谛回归LR区别的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/999426

相关文章

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

native和static native区别

本文基于Hello JNI  如有疑惑,请看之前几篇文章。 native 与 static native java中 public native String helloJni();public native static String helloJniStatic();1212 JNI中 JNIEXPORT jstring JNICALL Java_com_test_g

Android fill_parent、match_parent、wrap_content三者的作用及区别

这三个属性都是用来适应视图的水平或者垂直大小,以视图的内容或尺寸为基础的布局,比精确的指定视图的范围更加方便。 1、fill_parent 设置一个视图的布局为fill_parent将强制性的使视图扩展至它父元素的大小 2、match_parent 和fill_parent一样,从字面上的意思match_parent更贴切一些,于是从2.2开始,两个属性都可以使用,但2.3版本以后的建议使

Collection List Set Map的区别和联系

Collection List Set Map的区别和联系 这些都代表了Java中的集合,这里主要从其元素是否有序,是否可重复来进行区别记忆,以便恰当地使用,当然还存在同步方面的差异,见上一篇相关文章。 有序否 允许元素重复否 Collection 否 是 List 是 是 Set AbstractSet 否

javascript中break与continue的区别

在javascript中,break是结束整个循环,break下面的语句不再执行了 for(let i=1;i<=5;i++){if(i===3){break}document.write(i) } 上面的代码中,当i=1时,执行打印输出语句,当i=2时,执行打印输出语句,当i=3时,遇到break了,整个循环就结束了。 执行结果是12 continue语句是停止当前循环,返回从头开始。

maven发布项目到私服-snapshot快照库和release发布库的区别和作用及maven常用命令

maven发布项目到私服-snapshot快照库和release发布库的区别和作用及maven常用命令 在日常的工作中由于各种原因,会出现这样一种情况,某些项目并没有打包至mvnrepository。如果采用原始直接打包放到lib目录的方式进行处理,便对项目的管理带来一些不必要的麻烦。例如版本升级后需要重新打包并,替换原有jar包等等一些额外的工作量和麻烦。为了避免这些不必要的麻烦,通常我们

ActiveMQ—Queue与Topic区别

Queue与Topic区别 转自:http://blog.csdn.net/qq_21033663/article/details/52458305 队列(Queue)和主题(Topic)是JMS支持的两种消息传递模型:         1、点对点(point-to-point,简称PTP)Queue消息传递模型:         通过该消息传递模型,一个应用程序(即消息生产者)可以

Vector3 三维向量

Vector3 三维向量 Struct Representation of 3D vectors and points. 表示3D的向量和点。 This structure is used throughout Unity to pass 3D positions and directions around. It also contains functions for doin

深入探讨:ECMAScript与JavaScript的区别

在前端开发的世界中,JavaScript无疑是最受欢迎的编程语言之一。然而,很多开发者在使用JavaScript时,可能并不清楚ECMAScript与JavaScript之间的关系和区别。本文将深入探讨这两者的不同之处,并通过案例帮助大家更好地理解。 一、什么是ECMAScript? ECMAScript(简称ES)是一种脚本语言的标准,由ECMA国际组织制定。它定义了语言的语法、类型、语句、

Lua 脚本在 Redis 中执行时的原子性以及与redis的事务的区别

在 Redis 中,Lua 脚本具有原子性是因为 Redis 保证在执行脚本时,脚本中的所有操作都会被当作一个不可分割的整体。具体来说,Redis 使用单线程的执行模型来处理命令,因此当 Lua 脚本在 Redis 中执行时,不会有其他命令打断脚本的执行过程。脚本中的所有操作都将连续执行,直到脚本执行完成后,Redis 才会继续处理其他客户端的请求。 Lua 脚本在 Redis 中原子性的原因