机器学习和数据挖掘(9):线性模型

2024-08-24 11:08

本文主要是介绍机器学习和数据挖掘(9):线性模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

线性模型

非线性变换的代价

非线性变换回顾

在之前的文章中我们说过了非线性变换,我们有一个输入 x=(x0,,xd) ,通过一个 Φ 变化,我们将之投影到一个新的平面上去,得到 z=(z0,,zd~) 。例如, z=(1,x1,x2,x1x2,x21,x22)

变化函数为

z=Φ(x)

最终的近似函数在 X 所表示的空间,则变成了

sign(w~TΦ(x))ORw~TΦ(x)

非线性变换对泛化的影响

x=(x0,,xd)Φz=(z0,,zd~)

对于两式而言,我们分别得到了 d+1 d~+1 个参数(同时也表示着两个输入的参数自由度),显然后者会比前者大不少,那么根据VC分析,则可以知道:

dvc=d+1d~vc=d~+1

同时我们也可以得到两个权重向量 w w~ ,显然后者也比前者长不少。

如果根据上述的变化可以知道的是,尽管我们从理论上可以处理维度比较大的数据,但是根据VC分析,在经过非线性变换之后,很可能我们没有能力去让其泛化。

实际上,我们如果能够精确地对 z 里的数据进行组合,则必然会达到VC维分析的上限。但是实际上有些点集是无法进行自由组合的,因为它们是从左侧的同一个点转化而来的。所以准确的VC分析是:

dvc=d+1d~vcd~+1

样例1

图1

图1中基本可以进行线性分类了,除了个别的几个点,当然也有人说可以将之忽略,这样就可以不用使用非线性变换了。这样做的结果就是需要接受 Ein>0 的误差。

如果我们坚持 Ein=0 ,那么我们就需要将之转化到了更加高维的空间。我们需要用4维的空间才能够合理地分类,如下图所示:

图3

非常明显,这样的泛化结果将是非常糟糕的。

这个例子告诉我们,如果我们不想要设计一个非常复杂的假设集,我们就必须接受由此带来的微小训练误差。

样例2

图2

这是一个真正的无法线性分类的例子。

我们将之转化为 z=(1,x1,x2,x1x2,x21,x22) ,使用一个一般二次曲面。

一般来说,如果我们只考虑 x ,则我们只需要考虑前三个元素,则付出三个元素的代价,则更容易解决问题。如果我们考虑全部元素,则需要付出六个元素的代价。基本上我们认为,想要达到同等的性能水平,至少需要使用二倍数量的样本。

那我们使用一个小小的技巧,我们将之转化为

z=(1,x21,x22)

因为我们只需要 x21 表示一个方向, x22 表示一个方向,其他元素在整个过程之中并没有发挥作用。
让我们再使用一个小小的技巧,我们将之简化为

z=(1,x21+x22)

最终我们可以将之简化为
z=(x21+x220.6)

这样我们就得到了一个VC维只有1的变化方式,同时这样也可以得到非常优秀的泛化。

我们明确地知道上面的分析是有一定问题的。对于一个未知的学习函数而言,我们需要将整个参数都进行训练,才能知道,哪一些是需要的,哪一些是不需要的。

如果在选择模型之前,先看到了数据,会对最终的 Eout 起到非常坏的作用。
因为实际上我们已经收到了数据的影响,用于描述泛化的量将会在这个过程中变得非常模糊。这被称为data snooping。

逻辑回归

s=i=0dxi

图4

对于不同的线性模型,相当于处理的时候方式不同

感知器就是通过阈值来进行正负判断,而线性回归则是保持原有的输入,逻辑回归则是介于两者之间的一种方式。

感觉讲逻辑回归的东西非常多,就不写了。

这篇关于机器学习和数据挖掘(9):线性模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1102310

相关文章

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio

详解如何使用Python从零开始构建文本统计模型

《详解如何使用Python从零开始构建文本统计模型》在自然语言处理领域,词汇表构建是文本预处理的关键环节,本文通过Python代码实践,演示如何从原始文本中提取多尺度特征,并通过动态调整机制构建更精确... 目录一、项目背景与核心思想二、核心代码解析1. 数据加载与预处理2. 多尺度字符统计3. 统计结果可

SpringBoot整合Sa-Token实现RBAC权限模型的过程解析

《SpringBoot整合Sa-Token实现RBAC权限模型的过程解析》:本文主要介绍SpringBoot整合Sa-Token实现RBAC权限模型的过程解析,本文给大家介绍的非常详细,对大家的学... 目录前言一、基础概念1.1 RBAC模型核心概念1.2 Sa-Token核心功能1.3 环境准备二、表结

重新对Java的类加载器的学习方式

《重新对Java的类加载器的学习方式》:本文主要介绍重新对Java的类加载器的学习方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、介绍1.1、简介1.2、符号引用和直接引用1、符号引用2、直接引用3、符号转直接的过程2、加载流程3、类加载的分类3.1、显示

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx