统计学习方法(六):逻辑斯蒂回归和最大熵模型

2024-01-13 08:58

本文主要是介绍统计学习方法(六):逻辑斯蒂回归和最大熵模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  • 逻辑斯蒂回归:判别模型,分类

  • 二项逻辑斯蒂回归思路:
    线性回归的预测值为一系列实值,为了使输出值变成分类所需的0和1,需要有一个映射将线性回归的输出变在(0,1)之间。这个函数为sigmoid函数。
    s i g m o i d ( x ) = 1 1 + e − x sigmoid(x)=\frac{1}{1+\mathrm{e}^{-x }} sigmoid(x)=1+ex1
    将线性函数y = wx+b 先合并b到矩阵中:y = w’x’,代入到sigmoid函数中:
    y ( x ) = 1 1 + e − w x y(x)=\frac{1}{1+\mathrm{e}^{-wx }} y(x)=1+ewx1
    但是现在只是将输出限定在(0,1)间,还没有完成0、1二分类,应该出现一个阈值作为0或者1的判断界限。这个阈值就是要学习的东西,反映在参数上就是w和b。
    p 1 = P ( Y = 1 ∣ x ) = exp ⁡ ( w ⋅ x ) 1 + exp ⁡ ( w ⋅ x ) p_{1} = P(Y=1 \mid x)=\frac{\exp (w \cdot x)}{1+\exp (w \cdot x)} p1=P(Y=1x)=1+exp(wx)exp(wx)
    p 0 = P ( Y = 0 ∣ x ) = 1 1 + exp ⁡ ( w ⋅ x ) p_{0} = P(Y=0 \mid x)=\frac{1}{1+\exp (w \cdot x)} p0=P(Y=0x)=1+exp(wx)1
    P ( y ∣ x ) = p 1 y p 0 1 − y P(y \mid x)=p_{1}^{y} p_{0}^{1-y} P(yx)=p1yp01y
    那么目的就是将 P ( y ∣ x ) P(y \mid x) P(yx)最大化,输出使它最大化的w和b
    具体推导:在这里插入图片描述
    其中的 φ \varphi φ表示 exp ⁡ ( w ⋅ x ) 1 + exp ⁡ ( w ⋅ x ) \frac{\exp (w \cdot x)}{1+\exp (w \cdot x)} 1+exp(wx)exp(wx)

  • 二项逻辑斯蒂回归可以推广至多项逻辑斯蒂回归,原理使一样的,只是分类不在只是0和1。

  • 最大熵模型:判别模型

  • 核心:解决约束最优化问题

  • 思想:在给定训练集下,即给定约束(经验知识)下,能够得到符合约束的条件概率模型集合{P(y|X)}。其中,约束通过特征函数关联到条件概率,条件概率通过熵进行选择。

  • 最大熵:在约束条件的情况下,会出现很多个满足约束条件的模型,其中该选哪一个呢?选择熵最大的,也就是最无法确定的是最符合自然规律的。

  • 推导:根据约束和最大熵变为约束最优化问题,也就是一个方程组。
    max ⁡ P ∈ C H ( P ) = − ∑ x , y P ~ ( x ) P ( y ∣ x ) log ⁡ P ( y ∣ x ) s.t.  E P ( f i ) = E p ~ ( f i ) , i = 1 , 2 , ⋯ , n ∑ y P ( y ∣ x ) = 1 \begin{array}{cl}\max _{P \in C} & H(P)=-\sum_{x, y} \tilde{P}(x) P(y \mid x) \log P(y \mid x) \\ \text { s.t. } & E_{P}\left(f_{i}\right)=E_{\tilde{p}}\left(f_{i}\right), \quad i=1,2, \cdots, n \\ & \sum_{y} P(y \mid x)=1\end{array} maxPC s.t. H(P)=x,yP~(x)P(yx)logP(yx)EP(fi)=Ep~(fi),i=1,2,,nyP(yx)=1

    • 这里的约束条件是:训练集样本经验分布的期望 E p ~ ( f i ) E_{\tilde{p}}\left(f_{i}\right) Ep~(fi)=模型的期望 E P ( f i ) E_{P}\left(f_{i}\right) EP(fi)。以及所有情况的条件概率和为1。
      在这里插入图片描述
    • 这里的最大熵为: P ( y ∣ x ) P(y \mid x) P(yx)的条件熵,也就是: max ⁡ p ϵ C H ( P ) = − ∑ x , y P ~ ( x ) P ( y ∣ x ) log ⁡ P ( y ∣ x ) \max _{p_{\epsilon} \mathbf{C}} \quad H(P)=-\sum_{x, y} \tilde{P}(x) P(y \mid x) \log P(y \mid x) pϵCmaxH(P)=x,yP~(x)P(yx)logP(yx)
    • 这里转化为高数问题,运用拉格朗日乘子法计算约束问题

这篇关于统计学习方法(六):逻辑斯蒂回归和最大熵模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/600912

相关文章

macOS无效Launchpad图标轻松删除的4 种实用方法

《macOS无效Launchpad图标轻松删除的4种实用方法》mac中不在appstore上下载的应用经常在删除后它的图标还残留在launchpad中,并且长按图标也不会出现删除符号,下面解决这个问... 在 MACOS 上,Launchpad(也就是「启动台」)是一个便捷的 App 启动工具。但有时候,应

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一:初识日志三、案例二:使用Lombok输出日志四、案例三:配置Logback一

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

mysql出现ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)的解决方法

《mysql出现ERROR2003(HY000):Can‘tconnecttoMySQLserveron‘localhost‘(10061)的解决方法》本文主要介绍了mysql出现... 目录前言:第一步:第二步:第三步:总结:前言:当你想通过命令窗口想打开mysql时候发现提http://www.cpp

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

MySQL INSERT语句实现当记录不存在时插入的几种方法

《MySQLINSERT语句实现当记录不存在时插入的几种方法》MySQL的INSERT语句是用于向数据库表中插入新记录的关键命令,下面:本文主要介绍MySQLINSERT语句实现当记录不存在时... 目录使用 INSERT IGNORE使用 ON DUPLICATE KEY UPDATE使用 REPLACE

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

CentOS 7部署主域名服务器 DNS的方法

《CentOS7部署主域名服务器DNS的方法》文章详细介绍了在CentOS7上部署主域名服务器DNS的步骤,包括安装BIND服务、配置DNS服务、添加域名区域、创建区域文件、配置反向解析、检查配置... 目录1. 安装 BIND 服务和工具2.  配置 BIND 服务3 . 添加你的域名区域配置4.创建区域

mss32.dll文件丢失怎么办? 电脑提示mss32.dll丢失的多种修复方法

《mss32.dll文件丢失怎么办?电脑提示mss32.dll丢失的多种修复方法》最近,很多电脑用户可能遇到了mss32.dll文件丢失的问题,导致一些应用程序无法正常启动,那么,如何修复这个问题呢... 在电脑常年累月的使用过程中,偶尔会遇到一些问题令人头疼。像是某个程序尝试运行时,系统突然弹出一个错误提