多元线性回归模型中的常数项

2024-04-03 11:08

本文主要是介绍多元线性回归模型中的常数项,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

作者:flyerye
链接:https://www.zhihu.com/question/22450977/answer/250476871
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

回答这个问题,我们先从定义出发,然后再结合个实际例子去理解。从定义来看,多元线性回归方程定义如下:

Y=a+b_{1}x_{1}+b_{2}x_{2}+...+b_{n}x_{n}+\varepsilon

这里的 a 为常数项, \varepsilon 为随机误差项,且服从标准正态分布( \sim N(0,1) ),或者我们把它称作白噪声(white noise)。通过图像,我们可以很好理解常数项和随机误差的含义:

<img src="https://pic4.zhimg.com/50/v2-b3543732f4855d372e37c747e332362e_hd.jpg" data-rawwidth="419" data-rawheight="240" class="content_image" width="419"> 图一,一元线性回归示例

上图是多元线性回归回归的一个特例,即一元线性回归。多元就是在一元的基础上,用更多的自变量对因变量进行解释。我们以一元为例,来看常数项和随机误差的含义。从图中可以看出,常数项是拟合的一元回归直线在因变量(Y)轴上的截距;误差是实际的点和回归直线之间的差,而随机则表示的是这个误差不是固定的,有大有小,没有特定的规律,服从标准正态分布。具体来说,常数项表示的是未被自变量解释的且长期存在(非随机)的部分,即信息残留。而随机误差是在自变量解释空间内,预测值和去掉常数项的实际值的误差。下图是从一个多元线性回归模型的视角去看问题:因变量(Y)代表需要解释的全体信息,模型里的Xi构成的空间是自变量解释空间,随机误差存在于自变量解释空间中。在自变量解释空间外,如果还有恒定的信息残留,那么这部分信息构成常数项。

<img src="https://pic1.zhimg.com/50/v2-68beb4a4bd82ac547341ae0d5f123009_hd.jpg" data-rawwidth="283" data-rawheight="285" class="content_image" width="283"> 图二,多元线性回归模型解释因变量示意图

作者:徐惟能
链接:https://www.zhihu.com/question/22450977/answer/21409955
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

一言以蔽之,在计量经济学的线性回归模型中,常数项在很多情况下并无实际的解释意义。

要论含义,常数项的数学含义是,平均来讲,当所有解释变量的值为0的时候,被解释变量的值是几?但是在计量经济学的实证模型中,这通常是无意义的,原因很简单,因为在很多时候,解释变量的定义域并不一定包括0,比如人的身高、体重等等。可是,即便所有的解释变量都可以同时取0,常数项依然是基本无意义的。我们回到线性回归的本质上来讲的话,所有参数的确定都为了一个目的:让残差项的均值为0,而且残差项的平方和最小。所以,想象一下,当其他的参数都确定了以后,常数项的变化在图像上表现出来的就是拟合曲线的上下整体浮动,当曲线浮动到某一位置,使得在该位置上,残差项的均值为0,曲线与y轴所确定的截距即为常数项。因此,可以理解为常数项是对其他各个解释变量所留下的偏误(bias)的线性修正。但是要说常数项具体的值所代表的解释意义,在通常情况下是无意义的。

写到这里,有人可能会问,既然无意义,我们何不去掉常数项?答案是否定的,原因是,如果去除了常数项,就等于强制认定当所有解释变量为0时,被解释变量为0。如果这个断定不符合实际意义,而你执意去除常数项的话,你的线性估计将是有偏的。

随机误差项的理解相对简单,在线性回归模型中,每一个观测值都有一个残差项,也叫随机误差项,它刻画的是模型的估计值和真实观测值之间的偏差。

说实在的,区别不太大,而且有的时候去掉常数项各变量t值会有上升。
平狄克的「econometrics」书中提到过「可以将常数项看作是值恒为1的一个虚拟变量的系数」(上述原话为英文,但是是这个意思)也就是说,它可能包含了一些你忽视掉的虚拟变量。
而且带常数项的模型其实是对随机误差项的优化,我们在做OLS时总是假定随机误差项是标准正态分布的,但这很难满足。假设随机误差项的均值不是0,而是一个常数,那么加入常数项的模型就会使得随机误差项又变成了标准正态分布,它的期望就被含在常数项里了。总而言之,这样的模型更为靠谱。


作者:邹日佳
链接:https://www.zhihu.com/question/19664505/answer/12629408
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

这篇关于多元线性回归模型中的常数项的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/872747

相关文章

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

SpringBoot快速接入OpenAI大模型的方法(JDK8)

《SpringBoot快速接入OpenAI大模型的方法(JDK8)》本文介绍了如何使用AI4J快速接入OpenAI大模型,并展示了如何实现流式与非流式的输出,以及对函数调用的使用,AI4J支持JDK8... 目录使用AI4J快速接入OpenAI大模型介绍AI4J-github快速使用创建SpringBoot

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型,3步搞定一个应

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll

Spring AI Alibaba接入大模型时的依赖问题小结

《SpringAIAlibaba接入大模型时的依赖问题小结》文章介绍了如何在pom.xml文件中配置SpringAIAlibaba依赖,并提供了一个示例pom.xml文件,同时,建议将Maven仓... 目录(一)pom.XML文件:(二)application.yml配置文件(一)pom.xml文件:首

如何在本地部署 DeepSeek Janus Pro 文生图大模型

《如何在本地部署DeepSeekJanusPro文生图大模型》DeepSeekJanusPro模型在本地成功部署,支持图片理解和文生图功能,通过Gradio界面进行交互,展示了其强大的多模态处... 目录什么是 Janus Pro1. 安装 conda2. 创建 python 虚拟环境3. 克隆 janus

本地私有化部署DeepSeek模型的详细教程

《本地私有化部署DeepSeek模型的详细教程》DeepSeek模型是一种强大的语言模型,本地私有化部署可以让用户在自己的环境中安全、高效地使用该模型,避免数据传输到外部带来的安全风险,同时也能根据自... 目录一、引言二、环境准备(一)硬件要求(二)软件要求(三)创建虚拟环境三、安装依赖库四、获取 Dee