#Datawhale X 李宏毅苹果书 AI夏令营#1.2了解线性模型

2024-08-30 01:12

本文主要是介绍#Datawhale X 李宏毅苹果书 AI夏令营#1.2了解线性模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.2线性模型

什么是线性模型?

初始模型y=100+0.97x_{1},

其中y表示观看人数,x1表示前一天的观看人数,这个模型就是在用前一天的观看人数来预测当前的观看人数。

模型改进:

然而真实的数据是有周期性的,每隔7天,一个循环。这样只使用前一天的数据来预测就显得不准确,我们应该考虑7天的数据。

这样我们便有了第二个模型:

 这个模型考虑了前七天的数据,做了一个参数的加权求和,再加上偏置项。

如果我们使用28天的数据来预测呢?

这就有了第3个模型:

 如果我们使用更多的数据,56天的数据呢?这就有了第4个模型:

总结:以上4个模型都是线性模型,且随着我们使用的数据越多,模型预测的越准确,

损失比较:

模型训练损失未见过数据上的损失
初始模型1480580
模型2(7天)380490
模型3(28天)330460
模型4(56天)320460

随着我们使用数据的增加,训练损失和验证损失都在减少,到一定程度后,验证损失不在减小,表明仅靠增加数据,模型已达到上限。

这4个模型都是线性模型,我们就此给出线性模型的定义:

“这些模型都是把输入的特征x乘上一个权重,再加上一个偏置就得到预测的结果,这样的模型称为线性模型(linear model)。”

分段线性曲线

线性模型是最简单的模型之一。这种模型存在局限性。线性模型只能模拟简单的线性关系,无法模拟复杂的非线性关系,然后现实中的问题通常是复杂的。是非线性的,这就需要一个更复杂、更有灵活性的模型。

所以我们需要对线性模型进行改进。一个非线性函数可以用多段线性曲线来逼近。

我们先举一个割圆术的例子,使用正切多边形逼近圆形是一个非常好的类比,可以帮助我们理解如何使用分段线性曲线来逼近非线性关系。理论上来说,只有多边形取得足够多,那么就可以无限接近圆,我们需要建立这种思想。

 回到我们非线性曲线。下面两张图是书本中的原图。

 图1的这条红色曲线,我们可以把它看作是由下面几段蓝色曲线叠加得到的,如果不理解的话,那么换个说法,这们可以把红色曲线看到是由自身的三段折线叠加组合而成。推广开来,对于右图中的黑色曲线,我们同样可以把他看作是由无数多的折线叠加而成的。这个思想可以参考割圆术。

那么使用分段曲线,理论上我们可以叠加得到任何形式的曲线,只要我们每一段折线取得够短。

这样我们就可以使用分段线性曲线叠加来表示一个非线性曲线了。随着线性段数量的增加,分段线性曲线能够更好地逼近非线性关系。类似于多边形逼近圆形的过程,分段线性曲线最终可以逼近任意连续曲线。

这里进一步,我们可以用Sigmoid函数来代替Hard Sigmoid(也就是图中的蓝色折线段),那么我们连续曲线可以是有多段Sigmoid函数叠加得到的。

模型变形

这里我们还可以进一步对模型进行变形,前面我们已经尝试了Hard Sigmoid和Sigmoid函数,我们可以替换成ReLU函数。

ReLU函数:

ReLU(x)=max⁡(0,x),如果 x<0,输出为 0;否则输出为 x。

同样一段非线性曲线可以是由多个ReLU函数叠加得到。

接下来是书中提到的一些概念。

激活函数:在机器学习里面,Sigmoid 或 ReLU 称为激活函数(activation function)。

神经网络:Sigmoid 或 ReLU 称为神经元(neuron),很多的神经元称为神经网络 (neural network)。

隐藏层:每一排称为一层,称为隐藏层(hidden layer),很多的隐藏层就“深”,这套技术称为深度学习。

过拟合:在训练数据和测试数据上的结果是不一致的,训练数据上效果很好,在测试数据(没看过的数据)上,效果变差,这种情况称为过拟合(overfitting)。

机器学习框架

首先划分训练集和测试集。

训练步骤如下:

  • 定义一个含未知数的函数
  • 定义损失函数
  • 解优化问题,得到使损失函数最小的参数

喜欢的小伙伴收藏点赞关注吧。

这篇关于#Datawhale X 李宏毅苹果书 AI夏令营#1.2了解线性模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1119376

相关文章

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

一文带你了解SpringBoot中启动参数的各种用法

《一文带你了解SpringBoot中启动参数的各种用法》在使用SpringBoot开发应用时,我们通常需要根据不同的环境或特定需求调整启动参数,那么,SpringBoot提供了哪些方式来配置这些启动参... 目录一、启动参数的常见传递方式二、通过命令行参数传递启动参数三、使用 application.pro

一文带你深入了解Python中的GeneratorExit异常处理

《一文带你深入了解Python中的GeneratorExit异常处理》GeneratorExit是Python内置的异常,当生成器或协程被强制关闭时,Python解释器会向其发送这个异常,下面我们来看... 目录GeneratorExit:协程世界的死亡通知书什么是GeneratorExit实际中的问题案例

Spring AI ectorStore的使用流程

《SpringAIectorStore的使用流程》SpringAI中的VectorStore是一种用于存储和检索高维向量数据的数据库或存储解决方案,它在AI应用中发挥着至关重要的作用,本文给大家介... 目录一、VectorStore的基本概念二、VectorStore的核心接口三、VectorStore的

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI集成DeepSeek实现流式输出的操作方法

《SpringAI集成DeepSeek实现流式输出的操作方法》本文介绍了如何在SpringBoot中使用Sse(Server-SentEvents)技术实现流式输出,后端使用SpringMVC中的S... 目录一、后端代码二、前端代码三、运行项目小天有话说题外话参考资料前面一篇文章我们实现了《Spring

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

SpringBoot快速接入OpenAI大模型的方法(JDK8)

《SpringBoot快速接入OpenAI大模型的方法(JDK8)》本文介绍了如何使用AI4J快速接入OpenAI大模型,并展示了如何实现流式与非流式的输出,以及对函数调用的使用,AI4J支持JDK8... 目录使用AI4J快速接入OpenAI大模型介绍AI4J-github快速使用创建SpringBoot