深入理解交叉熵损失 CrossEntropyLoss - 最大似然估计

2024-06-10 07:44

本文主要是介绍深入理解交叉熵损失 CrossEntropyLoss - 最大似然估计,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

深入理解交叉熵损失 CrossEntropyLoss - 最大似然估计

flyfish

下面有详细的例子和公式的说明。

最大似然估计的概念

最大似然估计是一种统计方法,用来估计模型参数,使得在这些参数下观测到的数据出现的概率(即似然)最大。

具体步骤

  1. 定义似然函数
  • 给定一个参数化的概率模型 P ( X ∣ θ ) P(X|\theta) P(Xθ),其中 θ \theta θ 是模型的参数, X X X 是观测数据。
  • 似然函数 L ( θ ∣ X ) L(\theta|X) L(θX) 表示在参数 θ \theta θ 下,观测数据 X X X 出现的概率。
  1. 计算似然函数
  • 对于独立同分布的数据集 { x 1 , x 2 , … , x n } \{x_1, x_2, \ldots, x_n\} {x1,x2,,xn},似然函数是各数据点概率的乘积:
    L ( θ ∣ X ) = P ( X ∣ θ ) = ∏ i = 1 n P ( x i ∣ θ ) L(\theta | X) = P(X|\theta) = \prod_{i=1}^{n} P(x_i|\theta) L(θX)=P(Xθ)=i=1nP(xiθ)
  1. 取对数得到对数似然函数
  • 为了简化计算,通常取似然函数的对数,即对数似然函数:
    log ⁡ L ( θ ∣ X ) = ∑ i = 1 n log ⁡ P ( x i ∣ θ ) \log L(\theta | X) = \sum_{i=1}^{n} \log P(x_i|\theta) logL(θX)=i=1nlogP(xiθ)
  1. 最大化对数似然函数
  • 找到使对数似然函数最大的参数 θ \theta θ
    θ ^ = arg ⁡ max ⁡ θ log ⁡ L ( θ ∣ X ) \hat{\theta} = \arg\max_{\theta} \log L(\theta | X) θ^=argmaxθlogL(θX)

似然函数的定义

假设我们有一个概率模型 P ( X ∣ θ ) P(X|\theta) P(Xθ),其中 θ \theta θ 是模型的参数, X X X 是观测数据。似然函数 L ( θ ∣ X ) L(\theta | X) L(θX) 表示在参数 θ \theta θ 下,观测数据 X X X 出现的概率。

对于独立同分布的数据

如果我们有独立同分布的数据集 { x 1 , x 2 , … , x n } \{x_1, x_2, \ldots, x_n\} {x1,x2,,xn},似然函数是各数据点概率的乘积:

L ( θ ∣ X ) = P ( X ∣ θ ) = ∏ i = 1 n P ( x i ∣ θ ) L(\theta | X) = P(X|\theta) = \prod_{i=1}^{n} P(x_i|\theta) L(θX)=P(Xθ)=i=1nP(xiθ)

公式拆解
  • L ( θ ∣ X ) L(\theta | X) L(θX):似然函数,表示参数 θ \theta θ 给定的情况下,观测数据 X X X 出现的概率。
  • θ \theta θ:模型参数,我们希望估计的未知量。
  • X X X:观测数据的集合。
  • { x 1 , x 2 , … , x n } \{x_1, x_2, \ldots, x_n\} {x1,x2,,xn}:独立同分布的观测数据点。
  • P ( X ∣ θ ) P(X|\theta) P(Xθ):观测数据 X X X 在参数 θ \theta θ 下的联合概率。
  • ∏ i = 1 n \prod_{i=1}^{n} i=1n:从 1 到 n n n 的乘积符号,表示对所有数据点的概率进行乘积。
  • P ( x i ∣ θ ) P(x_i|\theta) P(xiθ):单个数据点 x i x_i xi 在参数 θ \theta θ 下的概率。

对数似然函数

为了简化计算,通常我们对似然函数取对数,得到对数似然函数:

log ⁡ L ( θ ∣ X ) = ∑ i = 1 n log ⁡ P ( x i ∣ θ ) \log L(\theta | X) = \sum_{i=1}^{n} \log P(x_i|\theta) logL(θX)=i=1nlogP(xiθ)

公式拆解
  • log ⁡ L ( θ ∣ X ) \log L(\theta | X) logL(θX):对数似然函数。
  • ∑ i = 1 n \sum_{i=1}^{n} i=1n:从 1 到 n n n 的求和符号,表示对所有数据点的对数概率求和。
  • log ⁡ P ( x i ∣ θ ) \log P(x_i|\theta) logP(xiθ):单个数据点 x i x_i xi 在参数 θ \theta θ 下的对数概率。

举例说明:投掷硬币

假设我们投掷硬币10次,结果是6次正面朝上,我们希望估计硬币正面朝上的概率 p p p

定义似然函数

对于二项分布,似然函数为:

L ( p ∣ X ) = ( 10 6 ) p 6 ( 1 − p ) 4 L(p | X) = \binom{10}{6} p^6 (1-p)^4 L(pX)=(610)p6(1p)4

公式拆解
  • L ( p ∣ X ) L(p | X) L(pX):似然函数,表示在正面概率为 p p p 的情况下,观测到6次正面和4次反面的概率。
  • ( 10 6 ) \binom{10}{6} (610):组合数,表示从10次投掷中选择6次正面的组合数。
  • p 6 p^6 p6:正面出现6次的概率。
  • ( 1 − p ) 4 (1-p)^4 (1p)4:反面出现4次的概率。
对数似然函数

对似然函数取对数:

log ⁡ L ( p ∣ X ) = log ⁡ ( ( 10 6 ) ) + 6 log ⁡ ( p ) + 4 log ⁡ ( 1 − p ) \log L(p | X) = \log \left( \binom{10}{6} \right) + 6 \log(p) + 4 \log(1-p) logL(pX)=log((610))+6log(p)+4log(1p)

最大化对数似然函数

通过求导数并设为0,可以找到使对数似然函数最大的参数 p p p

d d p log ⁡ L ( p ∣ X ) = 6 p − 4 1 − p = 0 \frac{d}{dp} \log L(p | X) = \frac{6}{p} - \frac{4}{1-p} = 0 dpdlogL(pX)=p61p4=0

解这个方程得到:

6 p = 4 1 − p \frac{6}{p} = \frac{4}{1-p} p6=1p4
6 ( 1 − p ) = 4 p 6(1-p) = 4p 6(1p)=4p
6 − 6 p = 4 p 6 - 6p = 4p 66p=4p
6 = 10 p 6 = 10p 6=10p
p = 6 10 = 0.6 p = \frac{6}{10} = 0.6 p=106=0.6

代码

import numpy as np
from scipy.optimize import minimize# 定义对数似然函数,加入小偏移量避免除零错误
def log_likelihood(p, data, epsilon=1e-10):n = len(data)k = np.sum(data)p = np.clip(p, epsilon, 1 - epsilon)  # 确保 p 在 (epsilon, 1 - epsilon) 之间return -(k * np.log(p) + (n - k) * np.log(1 - p))# 模拟数据:10次投掷,6次正面朝上
data = [1] * 6 + [0] * 4# 最大化对数似然函数
result = minimize(log_likelihood, x0=[0.5], args=(data), bounds=[(0, 1)])
p_hat = result.x[0]
print(f'Estimated probability of heads: {p_hat}')
Estimated probability of heads: 0.5999999961321424

最大化对数似然函数与最小化负对数似然函数在本质上是一样的。它们都是为了找到模型参数,使得观测数据在模型下的概率最大化。让我们详细解释一下这个关系。

对数似然函数

首先,我们有似然函数 L ( θ ∣ X ) L(\theta | X) L(θX),表示在参数 θ \theta θ 下,观测数据 X X X 出现的概率。为了简化计算,通常我们对似然函数取对数,得到对数似然函数:

log ⁡ L ( θ ∣ X ) \log L(\theta | X) logL(θX)

最大化对数似然函数就是找到参数 θ \theta θ,使得 log ⁡ L ( θ ∣ X ) \log L(\theta | X) logL(θX) 最大化:

θ ^ = arg ⁡ max ⁡ θ log ⁡ L ( θ ∣ X ) \hat{\theta} = \arg\max_{\theta} \log L(\theta | X) θ^=argθmaxlogL(θX)

负对数似然函数

负对数似然函数是对数似然函数取负号:

− log ⁡ L ( θ ∣ X ) -\log L(\theta | X) logL(θX)

最小化负对数似然函数就是找到参数 θ \theta θ,使得 − log ⁡ L ( θ ∣ X ) -\log L(\theta | X) logL(θX) 最小化:

θ ^ = arg ⁡ min ⁡ θ − log ⁡ L ( θ ∣ X ) \hat{\theta} = \arg\min_{\theta} -\log L(\theta | X) θ^=argθminlogL(θX)

等价关系

最大化对数似然函数和最小化负对数似然函数在数学上是等价的。因为一个数的负数和这个数的大小关系相反,所以在求极值时:

arg ⁡ max ⁡ θ log ⁡ L ( θ ∣ X ) = arg ⁡ min ⁡ θ − log ⁡ L ( θ ∣ X ) \arg\max_{\theta} \log L(\theta | X) = \arg\min_{\theta} -\log L(\theta | X) argmaxθlogL(θX)=argminθlogL(θX)

例子:投掷硬币

假设我们有10次投掷硬币的结果,6次正面朝上,我们希望估计正面朝上的概率 p p p

  1. 对数似然函数
    log ⁡ L ( p ∣ X ) = log ⁡ ( ( 10 6 ) ) + 6 log ⁡ ( p ) + 4 log ⁡ ( 1 − p ) \log L(p | X) = \log \left( \binom{10}{6} \right) + 6 \log(p) + 4 \log(1-p) logL(pX)=log((610))+6log(p)+4log(1p)

  2. 最大化对数似然函数

p ^ = arg ⁡ max ⁡ p [ log ⁡ ( ( 10 6 ) ) + 6 log ⁡ ( p ) + 4 log ⁡ ( 1 − p ) ] \hat{p} = \arg\max_{p} \left[ \log \left( \binom{10}{6} \right) + 6 \log(p) + 4 \log(1-p) \right] p^=argpmax[log((610))+6log(p)+4log(1p)]

  1. 负对数似然函数
    − log ⁡ L ( p ∣ X ) = − log ⁡ ( ( 10 6 ) ) − 6 log ⁡ ( p ) − 4 log ⁡ ( 1 − p ) -\log L(p | X) = -\log \left( \binom{10}{6} \right) - 6 \log(p) - 4 \log(1-p) logL(pX)=log((610))6log(p)4log(1p)
  2. 最小化负对数似然函数

p ^ = arg ⁡ min ⁡ p [ − log ⁡ ( ( 10 6 ) ) − 6 log ⁡ ( p ) − 4 log ⁡ ( 1 − p ) ] \hat{p} = \arg\min_{p} \left[ -\log \left( \binom{10}{6} \right) - 6 \log(p) - 4 \log(1-p) \right] p^=argpmin[log((610))6log(p)4log(1p)]

这篇关于深入理解交叉熵损失 CrossEntropyLoss - 最大似然估计的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1047562

相关文章

一文带你深入了解Python中的GeneratorExit异常处理

《一文带你深入了解Python中的GeneratorExit异常处理》GeneratorExit是Python内置的异常,当生成器或协程被强制关闭时,Python解释器会向其发送这个异常,下面我们来看... 目录GeneratorExit:协程世界的死亡通知书什么是GeneratorExit实际中的问题案例

深入解析Spring TransactionTemplate 高级用法(示例代码)

《深入解析SpringTransactionTemplate高级用法(示例代码)》TransactionTemplate是Spring框架中一个强大的工具,它允许开发者以编程方式控制事务,通过... 目录1. TransactionTemplate 的核心概念2. 核心接口和类3. TransactionT

深入理解Apache Airflow 调度器(最新推荐)

《深入理解ApacheAirflow调度器(最新推荐)》ApacheAirflow调度器是数据管道管理系统的关键组件,负责编排dag中任务的执行,通过理解调度器的角色和工作方式,正确配置调度器,并... 目录什么是Airflow 调度器?Airflow 调度器工作机制配置Airflow调度器调优及优化建议最

一文带你理解Python中import机制与importlib的妙用

《一文带你理解Python中import机制与importlib的妙用》在Python编程的世界里,import语句是开发者最常用的工具之一,它就像一把钥匙,打开了通往各种功能和库的大门,下面就跟随小... 目录一、python import机制概述1.1 import语句的基本用法1.2 模块缓存机制1.

深入理解C语言的void*

《深入理解C语言的void*》本文主要介绍了C语言的void*,包括它的任意性、编译器对void*的类型检查以及需要显式类型转换的规则,具有一定的参考价值,感兴趣的可以了解一下... 目录一、void* 的类型任意性二、编译器对 void* 的类型检查三、需要显式类型转换占用的字节四、总结一、void* 的

深入理解Redis大key的危害及解决方案

《深入理解Redis大key的危害及解决方案》本文主要介绍了深入理解Redis大key的危害及解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着... 目录一、背景二、什么是大key三、大key评价标准四、大key 产生的原因与场景五、大key影响与危

深入理解C++ 空类大小

《深入理解C++空类大小》本文主要介绍了C++空类大小,规定空类大小为1字节,主要是为了保证对象的唯一性和可区分性,满足数组元素地址连续的要求,下面就来了解一下... 目录1. 保证对象的唯一性和可区分性2. 满足数组元素地址连续的要求3. 与C++的对象模型和内存管理机制相适配查看类对象内存在C++中,规

如何提高Redis服务器的最大打开文件数限制

《如何提高Redis服务器的最大打开文件数限制》文章讨论了如何提高Redis服务器的最大打开文件数限制,以支持高并发服务,本文给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧... 目录如何提高Redis服务器的最大打开文件数限制问题诊断解决步骤1. 修改系统级别的限制2. 为Redis进程特别设置限制

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。