K-means算法、EM算法——斯坦福CS229机器学习个人总结(五)

2023-12-28 12:58

本文主要是介绍K-means算法、EM算法——斯坦福CS229机器学习个人总结(五),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

这一份总结的主题是无监督学习的EM算法。
在前面提到的逻辑回归、SVM、朴素贝叶斯等算法,他们的训练数据都是带有标签的(预分类结果),这样的算法被称为监督学习。当训练数据没有标签,只提供特征时,称为无监督学习。
EM算法(Expectation maxmization algorithm,最大期望算法)就是一种无监督学习算法,而它的名字本身就已经包含了这个算法的特点以及做法——“期望”、“最大化”。
下面会从背后包含着强大EM算法思想的K-means算法开始,抛砖引玉,再介绍EM算法本身。

1、K-means聚类算法(The k-means clustering algorithm)

聚类算法是最常见的无监督算法,对于一组无标签数据,可以用聚类算法去发掘数据中的隐藏结构。聚类算法应用广泛,举例来说,对基因进行聚类,可以发掘不同物种中具有相同功能的基因片段;对顾客行为进行聚类,可以发掘出顾客的喜好情况,制定相应的促销策略;对新闻进行聚类,使得描述同一件事的报道不全部展示;在图片分割中,可以利用图片不同部分的相似性来理解图片信息等。

K-means算法就是一种聚类算法,给定没有标签的输入数据 {x(1),x(2),,x(m)} ,K-means算法的聚类过程如下:

①随机选择K个聚类质心为 μ1,μ2,,μkRn
②重复下面过程直到收敛{

E-step、对于每一个样本 i ,计算其应该属于的类

   c(i):=argminjx(i)μj2

M-step、对于每一个被分类的 j ,重新计算该类的质心位置

   μj:=mi=1I{c(i)=j}x(i)mi=1I{c(i)=j}
}

下图展示对两个质心进行聚类的过程。

这里写图片描述
图一

(a)原始数据
(b)随机初始化的两个质心红叉与蓝叉
(c)E-step,距离红叉更近的标记为红色,距离蓝叉更近的标记为蓝色
(d)M-step,根据红色类与蓝色类计算距离的平均值,更新质心(红叉与蓝叉)的位置
(e)E-step,距离红叉更近的标记为红色,距离蓝色更近的标记为蓝色
(f)M-step,根据红色类与蓝色类计算距离的平均值,更新质心(红叉与蓝叉)的位置
到了这里,如果再继续重复E步与M步,质心的位置也不会再发生变化,这表示算法已经收敛,聚类结束。

对于K-means算法来说,它要优化的目标函数路看成如下形式:

J(c,μ)=i=1mx(i)μc(i)2

J 函数表示每个样本点到其质心距离的平方和,K-means算法的目标是把它调到最小。可以想象,如果是样本点分类变了,证明它离该分类质心更近了(E-step);如果质心位置变了,那么属于这一类的样本到质心的距离整体变小了(M-step)。
由于J函数不是凸函数,所以它的局部最优不一定是全局最优。为了达到更好的效果可以随机初始化多次质心的位置,取最小的 J 中对应的参数输出。
如果聚类结束后,某个质心附近没有任何属于它的样本,可以将这个质心删除,或者是重新初始化。

2、EM算法(Expectation maxmization algorithm,最大期望算法)

2.1、EM算法概述

EM算法是一个实实在在的算法,但是在我的理解中,它跟核函数、牛顿法类似,是一种计算的技巧,是为了解决某种计算问题而存在的——当我们进行最大似然估计的时候,如果该似然函数不能直接求解(求解困难或者无解),我们可以使用EM算法来求取其极值——这只是EM算法众多应用中的一种,但是就课程上能接触到的东西来说,我会按照这个思路做下去。

那么EM算法是如何对不能直接求解的似然函数取极值的?

这里写图片描述
图二(Ng在课上画的图)

l(θ)表示一个对数似然性,我们尝试使它最大化,通常情况下直接对它求导并令其导数为0这样的计算是十分困难的。
EM算法的做法是:
初始化一个 θ(0) ,建立一个对数似然函数比较紧的下界,在猜测参数之后,会满足某个不等式的约束,我们会使这个下界参数最大化,于是得到了该下界的最大化参数 θ(1) ,然后对 θ(1) 创建一个新的下界,再使这个下界最大化得到 θ(2) ,重复这些步骤直到收敛到函数的一个局部最优值。而对数函数是凹函数,它拥有凸函数局部最优即全局最优的性质,所以该局部最优值就是对数似然性 l(θ) 的最大值。

2.2、EM算法的推导

2.2.1、Jensen不等式(Jensen’s inequality)

在正是开始EM算法的推导之前,在这里先介绍一个肯定会用到的定理,即Jensen不等式:
f 为凸函数,X为一随机变量,有

JensenE[f(X)]f(EX)(1)

f(EX) f(E[X]) 的简写。

这里写图片描述
图三

Jensen不等式可以这样推出来:
:θf(x)+(1θ)f(y)f(θx+(1θ)y),θ[0,1](2)

k:i=1kθif(xi)f(i=1kθixi),

这篇关于K-means算法、EM算法——斯坦福CS229机器学习个人总结(五)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/546022

相关文章

SpringBoot实现MD5加盐算法的示例代码

《SpringBoot实现MD5加盐算法的示例代码》加盐算法是一种用于增强密码安全性的技术,本文主要介绍了SpringBoot实现MD5加盐算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习... 目录一、什么是加盐算法二、如何实现加盐算法2.1 加盐算法代码实现2.2 注册页面中进行密码加盐2.

Java时间轮调度算法的代码实现

《Java时间轮调度算法的代码实现》时间轮是一种高效的定时调度算法,主要用于管理延时任务或周期性任务,它通过一个环形数组(时间轮)和指针来实现,将大量定时任务分摊到固定的时间槽中,极大地降低了时间复杂... 目录1、简述2、时间轮的原理3. 时间轮的实现步骤3.1 定义时间槽3.2 定义时间轮3.3 使用时

java常见报错及解决方案总结

《java常见报错及解决方案总结》:本文主要介绍Java编程中常见错误类型及示例,包括语法错误、空指针异常、数组下标越界、类型转换异常、文件未找到异常、除以零异常、非法线程操作异常、方法未定义异常... 目录1. 语法错误 (Syntax Errors)示例 1:解决方案:2. 空指针异常 (NullPoi

Java反转字符串的五种方法总结

《Java反转字符串的五种方法总结》:本文主要介绍五种在Java中反转字符串的方法,包括使用StringBuilder的reverse()方法、字符数组、自定义StringBuilder方法、直接... 目录前言方法一:使用StringBuilder的reverse()方法方法二:使用字符数组方法三:使用自

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

使用DeepSeek搭建个人知识库(在笔记本电脑上)

《使用DeepSeek搭建个人知识库(在笔记本电脑上)》本文介绍了如何在笔记本电脑上使用DeepSeek和开源工具搭建个人知识库,通过安装DeepSeek和RAGFlow,并使用CherryStudi... 目录部署环境软件清单安装DeepSeek安装Cherry Studio安装RAGFlow设置知识库总

如何通过Golang的container/list实现LRU缓存算法

《如何通过Golang的container/list实现LRU缓存算法》文章介绍了Go语言中container/list包实现的双向链表,并探讨了如何使用链表实现LRU缓存,LRU缓存通过维护一个双向... 目录力扣:146. LRU 缓存主要结构 List 和 Element常用方法1. 初始化链表2.

Python依赖库的几种离线安装方法总结

《Python依赖库的几种离线安装方法总结》:本文主要介绍如何在Python中使用pip工具进行依赖库的安装和管理,包括如何导出和导入依赖包列表、如何下载和安装单个或多个库包及其依赖,以及如何指定... 目录前言一、如何copy一个python环境二、如何下载一个包及其依赖并安装三、如何导出requirem

Rust格式化输出方式总结

《Rust格式化输出方式总结》Rust提供了强大的格式化输出功能,通过std::fmt模块和相关的宏来实现,主要的输出宏包括println!和format!,它们支持多种格式化占位符,如{}、{:?}... 目录Rust格式化输出方式基本的格式化输出格式化占位符Format 特性总结Rust格式化输出方式

golang字符串匹配算法解读

《golang字符串匹配算法解读》文章介绍了字符串匹配算法的原理,特别是Knuth-Morris-Pratt(KMP)算法,该算法通过构建模式串的前缀表来减少匹配时的不必要的字符比较,从而提高效率,在... 目录简介KMP实现代码总结简介字符串匹配算法主要用于在一个较长的文本串中查找一个较短的字符串(称为