【机器学习基础】概率分布之变量

2024-04-05 04:38

本文主要是介绍【机器学习基础】概率分布之变量,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本系列为《模式识别与机器学习》的读书笔记。

一,二元变量

1,二项分布

考虑⼀个⼆元随机变量 x ∈ { 0 , 1 } x \in \{0, 1\} x{0,1}。 例如, x x x 可能描述了扔硬币的结果, x = 1 x = 1 x=1 表⽰“正⾯”, x = 0 x = 0 x=0 表⽰反⾯。我们可以假设有⼀个损坏的硬币,这枚硬币正⾯朝上的概率未必等于反⾯朝上的概率。 x = 1 x = 1 x=1 的概率被记作参数 μ \mu μ,因此有:
p ( x = 1 ∣ μ ) = μ (2.1) p(x=1|\mu) = \mu\tag{2.1} p(x=1μ)=μ(2.1)
其中 0 ≤ μ ≤ 1 0\le \mu\le 1 0μ1 x x x 的概率分布因此可以写成:
Bern ( x ∣ μ ) = μ x ( 1 − μ ) 1 − x (2.2) \text {Bern}(x|\mu) = \mu^{x}(1-\mu)^{1-x}\tag{2.2} Bern(xμ)=μx(1μ)1x(2.2)
这被叫做伯努利分布Bernoulli distribution)。容易证明,这个分布是归⼀化的,并且均值和⽅差分别为:
E [ x ] = μ (2.3) \mathbb{E}[x] = \mu\tag{2.3} E[x]=μ(2.3)

var [ x ] = μ ( 1 − μ ) (2.4) \text{var}[x] = \mu(1-\mu)\tag{2.4} var[x]=μ(1μ)(2.4)

如图 2.1: ⼆项分布关于 m m m 的函数的直⽅图,其中 N = 10 N = 10 N=10 μ = 0.25 \mu = 0.25 μ=0.25
二项分布
假设我们有⼀个 x x x 的观测值的数据集 D = { x 1 , … , x N } \mathcal{D} = \{x_1 ,\dots, x_N\} D={x1,,xN}。假设每次观测都是独⽴地从 p ( x ∣ μ ) p(x | \mu) p(xμ) 中抽取的,因此可以构造关于 μ \mu μ 的似然函数:
p ( D ∣ μ ) = ∏ n = 1 N p ( x n ∣ μ ) = ∏ n = 1 N μ x n ( 1 − μ ) 1 − x n (2.5) p(\mathcal{D}|\mu) = \prod_{n=1}^{N}p(x_{n}|\mu) = \prod_{n=1}^{N}\mu^{x_{n}}(1-\mu)^{1-x_{n}}\tag{2.5} p(Dμ)=n=1Np(xnμ)=n=1Nμxn(1μ)1xn(2.5)
其对数似然函数:
ln ⁡ p ( D ∣ μ ) = ∑ n = 1 N ln ⁡ p ( x n ∣ μ ) = ∑ n = 1 N { x n ln ⁡ μ + ( 1 − x n ) ln ⁡ ( 1 − μ ) } (2.6) \ln p(\mathcal{D}|\mu) = \sum_{n=1}^{N}\ln p(x_{n}|\mu) = \sum_{n=1}^{N}\{ x^n \ln \mu + (1-x^n) \ln (1-\mu)\}\tag{2.6} lnp(Dμ)=n=1Nlnp(xnμ)=n=1N{xnlnμ+(1xn)ln(1μ)}(2.6)
在公式(2.6)中,令 ln ⁡ p ( D ∣ μ ) \ln p(\mathcal{D}|\mu) lnp(Dμ) 关于 μ \mu μ 的导数等于零,就得到了最⼤似然的估计值,也被称为样本均值sample mean):
μ M L = 1 N ∑ n = 1 N x n (2.7) \mu_{ML} = \frac{1}{N} \sum_{n=1}^{N} x_{n}\tag{2.7} μML=N1n=1Nxn(2.7)
求解给定数据集规模 N

这篇关于【机器学习基础】概率分布之变量的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/877642

相关文章

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Android Mainline基础简介

《AndroidMainline基础简介》AndroidMainline是通过模块化更新Android核心组件的框架,可能提高安全性,本文给大家介绍AndroidMainline基础简介,感兴趣的朋... 目录关键要点什么是 android Mainline?Android Mainline 的工作原理关键

mysql的基础语句和外键查询及其语句详解(推荐)

《mysql的基础语句和外键查询及其语句详解(推荐)》:本文主要介绍mysql的基础语句和外键查询及其语句详解(推荐),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋... 目录一、mysql 基础语句1. 数据库操作 创建数据库2. 表操作 创建表3. CRUD 操作二、外键

Python基础语法中defaultdict的使用小结

《Python基础语法中defaultdict的使用小结》Python的defaultdict是collections模块中提供的一种特殊的字典类型,它与普通的字典(dict)有着相似的功能,本文主要... 目录示例1示例2python的defaultdict是collections模块中提供的一种特殊的字

Python基础文件操作方法超详细讲解(详解版)

《Python基础文件操作方法超详细讲解(详解版)》文件就是操作系统为用户或应用程序提供的一个读写硬盘的虚拟单位,文件的核心操作就是读和写,:本文主要介绍Python基础文件操作方法超详细讲解的相... 目录一、文件操作1. 文件打开与关闭1.1 打开文件1.2 关闭文件2. 访问模式及说明二、文件读写1.

C#基础之委托详解(Delegate)

《C#基础之委托详解(Delegate)》:本文主要介绍C#基础之委托(Delegate),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 委托定义2. 委托实例化3. 多播委托(Multicast Delegates)4. 委托的用途事件处理回调函数LINQ

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型,3步搞定一个应

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

浅析Rust多线程中如何安全的使用变量

《浅析Rust多线程中如何安全的使用变量》这篇文章主要为大家详细介绍了Rust如何在线程的闭包中安全的使用变量,包括共享变量和修改变量,文中的示例代码讲解详细,有需要的小伙伴可以参考下... 目录1. 向线程传递变量2. 多线程共享变量引用3. 多线程中修改变量4. 总结在Rust语言中,一个既引人入胜又可