统计学习(李航)笔记(编辑中)

2023-11-07 20:40

本文主要是介绍统计学习(李航)笔记(编辑中),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

统计学习笔记

  • 1 工具
    • 1.1 EM算法
    • 1.2 KKT条件
    • 1.3 奇异矩阵SVD
    • 1.4 马尔科夫链MCMC
  • 2 有监督学习
    • 2.1 感知机(二分类)
    • 2.2 KNN近邻(分类)
    • 2.3 朴素贝叶斯
    • 2.4 决策树
    • 2.5 提升Boosting
    • 2.6 逻辑回归
    • 2.7 支持向量机
    • 2.8 HMM蒙特卡洛马尔可夫
  • 3 无监督学习
    • 3.1 聚类
    • 3.2 主成分PCA
    • 3.3 潜在语义分析
    • 3.4 PageRank

1 工具

1.1 EM算法

em算法是通过求期望最大的算法。通过样本来推测参数(迭代直至收敛),k-means是em的一种特殊情况。
输入:观测变量数据Y,隐变量数据Z,联合分布P(Y,Z| θ \theta θ),条件分布P(Z|Y, θ \theta θ)
输出 θ \theta θ 参数

  1. 选择 θ ( 0 ) \theta^{(0)} θ(0) 初值。
  2. E步(求期望Z|Y): Q ( θ , θ ( i ) ) = E Z [ l o g P ( Y , Z ; θ ) ∣ Y ; , θ ( i ) ] = ∑ z P ( Z ∣ Y ; , θ ( i ) ) l o g P ( Y , Z ; θ ) Q(\theta,\theta^{(i)})=E_Z[logP(Y,Z;\theta)|Y;,\theta^{(i)}]=\sum_zP(Z|Y;,\theta^{(i)})logP(Y,Z;\theta) Q(θ,θ(i))=EZ[logP(Y,Z;θ)Y;,θ(i)]=zP(ZY;,θ(i))logP(Y,Z;θ)
  3. M步(求最大期望时的 θ \theta θ): θ ( i + 1 ) = a r g m a x Q ( θ , θ ( i ) ) \theta^{(i+1)}=argmaxQ(\theta,\theta^{(i)}) θ(i+1)=argmaxQ(θ,θ(i))
  4. 重复23直至收敛

EM算法具有单调性和收敛性。

1.2 KKT条件

KKT是最优化求解的一个工具。

  1. min f(x)只需要求导可解。
  2. min f(x), st. h(x)=0, 使用拉格朗日乘子法可解。
  3. min f(x), st. C i ( x ) ⩽ 0 , h j ( x ) = 0 C_i(x)\leqslant 0,h_j(x)=0 Ci(x)0,hj(x)=0,KKT可解。

KKT条件使用广义拉格朗日求解如下:
在这里插入图片描述
此时若要求解上述优化问题,必须满足下述条件(也是我们的求解条件):
在这里插入图片描述
这些求解条件就是KKT条件。(1)是对拉格朗日函数取极值时候带来的一个必要条件,(2)是拉格朗日系数约束(同等式情况),(3)是不等式约束情况,(4)是互补松弛条件,(5)、(6)是原约束条件。

1.3 奇异矩阵SVD

A = U ∑ V T A = U \sum V^T A=UVT

1.4 马尔科夫链MCMC

已知分布(复杂),生成相应的随机样本序列。
输入:目标分布密度函数
输出:符合分布的随机样本x…

2 有监督学习

2.1 感知机(二分类)

f ( x ) = s i g n ( w T x + b ) f(x)=sign(w^Tx+b) f(x)=sign(wTx+b)
损失函数为 − ∑ i ∈ M y i ( w T x + b ) -\sum_{i\in M} y_i(w^Tx+b) iMyi(wTx+b) 分类错误的点到超平面的距离。
优化策略为求损失函数最小时候的w和b,分别求导梯度下降:
在这里插入图片描述
算法:

  • 输入: ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . . . . . {(x_1,y_1),(x_2,y_2).......} (x1,y1),(x2,y2).......,x是n维向量,y为分类变量
  • 输出:w,b
    1.初始选择w,b
    2.加入训练数据
    3.梯度下降
    4.重复23步骤,直至分类正确。

2.2 KNN近邻(分类)

2.3 朴素贝叶斯

2.4 决策树

2.5 提升Boosting

2.6 逻辑回归

2.7 支持向量机

2.8 HMM蒙特卡洛马尔可夫

3 无监督学习

3.1 聚类

  • 度量距离的方法:闵氏距离( ( ∑ ( x i − x j ) p ) 1 / p (\sum(x_i-x_j)^p)^{1/p} (xixjp)1/p)、欧氏距离(p=2)、相关系数、余弦相似度
  • 类别G、距离T: x i , x j ∈ G → d x i x j < T x_i,x_j \in G \rightarrow d_{x_ix_j}<T xi,xjGdxixj<T
  • 层次聚类:聚合(n个类聚)、分裂(1个类分)
    例:1、首先计算距离矩阵。2、合并距离最小的两个类组成新的类。3、重新计算距离矩阵。4、重复23步骤。
  • k-means聚类
    例:1、随机选取k个质心。2、计算距离,归类。3、重新计算质心。4、重复23直至收敛。

3.2 主成分PCA

奇异值分解

3.3 潜在语义分析

给定一个文本,用向量空间内积度量文本之间的’语义相似度‘。
矩阵乘法X=T*Y

  • X单词文本矩阵(m单词*n文本):无法处理一词多义
  • T话题矩阵(m单词*k话题)
  • Y话题文本矩阵(k话题*n文本):文本在话题向量空间的权重

3.4 PageRank

定义:网页经济和的函数表示网页的重要程度。值越高,网页越重要,从质和量两方面衡量。
质:被越重要的网站链接引用。
量:被引用的多。

这篇关于统计学习(李航)笔记(编辑中)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/366179

相关文章

在Linux终端中统计非二进制文件行数的实现方法

《在Linux终端中统计非二进制文件行数的实现方法》在Linux系统中,有时需要统计非二进制文件(如CSV、TXT文件)的行数,而不希望手动打开文件进行查看,例如,在处理大型日志文件、数据文件时,了解... 目录在linux终端中统计非二进制文件的行数技术背景实现步骤1. 使用wc命令2. 使用grep命令

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio

详解如何使用Python从零开始构建文本统计模型

《详解如何使用Python从零开始构建文本统计模型》在自然语言处理领域,词汇表构建是文本预处理的关键环节,本文通过Python代码实践,演示如何从原始文本中提取多尺度特征,并通过动态调整机制构建更精确... 目录一、项目背景与核心思想二、核心代码解析1. 数据加载与预处理2. 多尺度字符统计3. 统计结果可

重新对Java的类加载器的学习方式

《重新对Java的类加载器的学习方式》:本文主要介绍重新对Java的类加载器的学习方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、介绍1.1、简介1.2、符号引用和直接引用1、符号引用2、直接引用3、符号转直接的过程2、加载流程3、类加载的分类3.1、显示

Python+Tkinter实现Windows Hosts文件编辑管理工具

《Python+Tkinter实现WindowsHosts文件编辑管理工具》在日常开发和网络调试或科学上网场景中,Hosts文件修改是每个开发者都绕不开的必修课,本文将完整解析一个基于Python... 目录一、前言:为什么我们需要专业的Hosts管理工具二、工具核心功能全景图2.1 基础功能模块2.2 进

Pandas中统计汇总可视化函数plot()的使用

《Pandas中统计汇总可视化函数plot()的使用》Pandas提供了许多强大的数据处理和分析功能,其中plot()函数就是其可视化功能的一个重要组成部分,本文主要介绍了Pandas中统计汇总可视化... 目录一、plot()函数简介二、plot()函数的基本用法三、plot()函数的参数详解四、使用pl

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Pandas统计每行数据中的空值的方法示例

《Pandas统计每行数据中的空值的方法示例》处理缺失数据(NaN值)是一个非常常见的问题,本文主要介绍了Pandas统计每行数据中的空值的方法示例,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是空值?为什么要统计空值?准备工作创建示例数据统计每行空值数量进一步分析www.chinasem.cn处

Mysql如何将数据按照年月分组的统计

《Mysql如何将数据按照年月分组的统计》:本文主要介绍Mysql如何将数据按照年月分组的统计方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql将数据按照年月分组的统计要的效果方案总结Mysql将数据按照年月分组的统计要的效果方案① 使用 DA