吴恩达机器学习 第三课 week1 无监督学习算法(上)

2024-06-20 21:44

本文主要是介绍吴恩达机器学习 第三课 week1 无监督学习算法(上),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

01 学习目标

02 无监督学习

03 K-means聚类算法

3.1 K-means聚类算法原理

3.2 k-means算法实现

3.3 利用k-means算法压缩图片

04 总结 


01 学习目标

   (1)了解无监督学习算法

   (2)掌握K-means聚类算法实现步骤

   (3)利用K-means聚类算法压缩图片

02 无监督学习

      概念:根据未被标记的训练样本解决模式识别或结构问题的算法,为无监督学习算法。

      主要算法:

      应用(摘自“文心一言”):

(1)数据挖掘

  • 聚类分析:对大规模的客户数据进行聚类,发现不同特征的客户群体,为精细化营销和个性化推荐提供支持。
  • 异常检测:无监督学习可以识别数据中的异常点,帮助企业发现潜在的风险因素。
  • 关联规则挖掘:发现不同产品之间的关联性,为商品搭配和交叉销售提供依据

(2)自然语言处理

  • 主题模型:从大规模文本数据中提取主题和话题,为舆情分析和信息检索提供支持。
  • 情感分析:可以挖掘文本中的情感倾向和情绪色彩,为舆情监控和口碑管理提供参考。
  • 文本聚类:可以对文本数据进行聚类分析,为信息检索和文本分类提供支持。

(3)社交网络分析社区发现)通过聚类和网络分析揭示社交网络的组织结构和信息传播模式。

(4)推荐系统(用户行为分析):可以分析用户的历史行为数据,发现用户的兴趣和行为模式,从而为用户提供个性化的推荐结果。

(5)自动驾驶(环境和道路感知):无监督学习用于对传感器数据进行聚类和降维,提取出道路、车辆和行人等重要特征,以支持自动驾驶决策和控制。

(6)计算机视觉(图像分割):可以对图像中的像素进行聚类,实现图像的自动分割,为对象识别、图像分析等进一步处理提供支持。(特征学习):无监督学习能够从图像数据中学习更高层次的特征表示,提高图像识别和分类的准确性和鲁棒性。

(7)降维(数据处理):无监督学习算法如主成分分析(PCA)和t-SNE等,用于降低数据的维度,减少数据中的冗余信息,提高数据的可视化、处理和分析效率。

(8)生成模型(数据生成):无监督学习可以生成新的数据,例如,通过从一个概率分布中学习数据的分布特征,生成新的图像、文本或语音数据。

03 K-means聚类算法

      下面,将采用jupyter notebook实现K-means算法,并将其用于图像压缩。

3.1 K-means聚类算法原理

       算法步骤:

       ①,假设n个类的质心

       ②,计算各points(数据点)到质心的距离,并将points分配给最近的质心

c^{(i)}:=j\; that\;minimizes\;||x^{(i)}-\mu _{j}||^2

        c ^{(i)}:=j 表示第i个点距离第j个质心最近, x ^{(i)} 是第i个点的坐标, \mu _j是第j个质心的坐标。上式会返回质心索引号列表。通俗地讲,给每个点贴个标签,标签上是距离其最近的质心编号,即:如果第1~3个点分别距离第2、0、1个质心最近,则返回列表[2 0 1]。

       ③,根据第②步分配结果重新计算质心

\mu_k=\frac{1}{|C_k|}\sum x^{(i)}

        \mu_k为第k个质心的坐标, C_k 为分配到第k个质心的点集合,|C_k|为该集合点的数量。上式会返回质心坐标的列表。通俗地讲,上式计算的结果为质心与所属点集合的平均距离,即:如果有10个点分配给了第1个质心,\mu_1就是这10个点到该质心的平均距离。

       ④,重复第②和③步,直至质心位置不再变化,聚类结束(如下图)

       聚类的结果受初始质心的影响,因此,可以多次随机假设质心进行计算,最终取cost最小的计算结果。

3.2 k-means算法实现

    (1)导入计算模块

import numpy as np
import matplotlib.pyplot as plt
from utils import *%matplotlib inline

     (2)定义距离计算函数

def find_closest_centroids(X, centroids):# 质心索引idx = np.zeros(X.shape[0], dtype=int)for i in range(len(X)):distances = np.sum((X[i] - centroids) ** 2, axis=1)idx[i] = np.argmin(distances)return idx

     (3)定义质心坐标计算函数

def compute_centroids(X, idx, K):m, n = X.shape# 质心坐标centroids = np.zeros((K, n))for k in range(K):points = X[idx == k]centroids[k] = np.mean(points, axis=0) return centroids

     (4)定义k-means执行函数

def run_kMeans(X, initial_centroids, max_iters=10, plot_progress=False):m, n = X.shapeK = initial_centroids.shape[0]centroids = initial_centroidsprevious_centroids = centroids    idx = np.zeros(m)# 开始执行K-Meansfor i in range(max_iters):# 过程输出print("K-Means iteration %d/%d" % (i, max_iters-1))# 分配pointsidx = find_closest_centroids(X, centroids)# 结果可视化if plot_progress:plot_progress_kMeans(X, centroids, previous_centroids, idx, K, i)previous_centroids = centroids  # 计算质心坐标centroids = compute_centroids(X, idx, K)plt.show() return centroids, idx

     (5) 开始聚类

X = load_data() # 加载数据initial_centroids = np.array([[3,3],[6,1],[8,5]]) # 设置初始质心坐标
K = 3          # 质心个数max_iters = 6  # 迭代次数centroids, idx = run_kMeans(X, initial_centroids, max_iters, plot_progress=True)

       运行以上代码,结果如下:

      

3.3 利用k-means算法压缩图片

      从网上下载了1张色彩鲜明的图片,利用3.2节的函数,开始压缩吧!

      (1)定义质心随机生成函数

def kMeans_init_centroids(X, K):# 随机重新排序索引randidx = np.random.permutation(X.shape[0])# 选择前K个样本作为质心centroids = X[randidx[:K]]return centroids

     randidx = np.random.permutation(X.shape[0]):使用NumP的 np.random.permutation 函数来随机重新排序 X 的行索引(即样本的索引)。这样做是为了在选择质心时,样本是随机选取的,而不是简单地按顺序选取。

centroids = X[randidx[:K]]:从随机重新排序的索引 randidx 中选择前 K 个索引,并使用这些索引从 X 中选择相应的样本作为初始质心。) 

       (2)读取图片,并打印图片信息

original_img = plt.imread('./images/pic.jpg')
plt.imshow(original_img)
print("Shape of original_img is:", original_img.shape)

        运行以上代码,结果如下:

           

             Shape of original_img is: (400, 600, 3) 

     (3)图片归一化

# matplotlib处理对象为int或float,故将像素归一化至范围0 - 1
original_img = original_img / 255# K-means处理对象为矩阵,故将图片转为 m x 3 矩阵,m=400*600=240,000
X_img = np.reshape(original_img, (original_img.shape[0] * original_img.shape[1], 3))

     (4)图片压缩

# 执行 K-Means 算法
# 下面设置质心数和迭代数,可多次试算
K = 6                       
max_iters = 10               # 随机生成初始质心 
initial_centroids = kMeans_init_centroids(X_img, K) 
# 开始压缩
centroids, idx = run_kMeans(X_img, initial_centroids, max_iters) # 取图片具有代表性的前K个质心颜色,代替原图
X_recovered = centroids[idx, :] # 将图片转为三维
X_recovered = np.reshape(X_recovered, original_img.shape) 

      (5)图片可视化

fig, ax = plt.subplots(1,2, figsize=(8,8))
plt.axis('off')ax[0].imshow(original_img)
ax[0].set_title('Original')
ax[0].set_axis_off()ax[1].imshow(X_recovered)
ax[1].set_title('Compressed with %d colours'%K)
ax[1].set_axis_off()

      运行以上代码,结果为:

       压缩原理:

       首先确定6个初始质心,利用k-means算法聚类到最能代表该图片的6类颜色,将所有像素点分配给这6个“质心”。最终,将采用这个6类颜色作为该图片的代表色。
       
       小知识:RGB模式有3个颜色通道(red,green,blue),每个通道有2^8=256种颜色,因此,每个像素点需要24位(3*8 bit)。

       原始图像尺寸为400*600,共240,000个像素点。压缩前原图总位数为400*600*24=5,760,000 bit;压缩后采用6种颜色的字典来存储额外的空间,每种颜色需要24位,所占空间为6*24=144 bit,图像的240,000个像素点每个点占位4 bit(颜色质心≤16时均采用4个占位,即2^4=16)。因此,最终使用的位数为16*24 + 400*600*4=960,144 bit,这意味着可以将原始图像压缩约6倍。

04 总结 

     (1)无监督学习算法的一个缺点即费力耗时,相较监督学习,需要多次迭代计算。

     (2)k-means算法受初始质心影响大,除了本文的生成方法,还有K-means++等更有效的初始化方法。

    (3)经过k-means算法压缩的图片,图片各像素点颜色数量由256种减少至k种。

这篇关于吴恩达机器学习 第三课 week1 无监督学习算法(上)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1079341

相关文章

SpringBoot实现MD5加盐算法的示例代码

《SpringBoot实现MD5加盐算法的示例代码》加盐算法是一种用于增强密码安全性的技术,本文主要介绍了SpringBoot实现MD5加盐算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习... 目录一、什么是加盐算法二、如何实现加盐算法2.1 加盐算法代码实现2.2 注册页面中进行密码加盐2.

Java时间轮调度算法的代码实现

《Java时间轮调度算法的代码实现》时间轮是一种高效的定时调度算法,主要用于管理延时任务或周期性任务,它通过一个环形数组(时间轮)和指针来实现,将大量定时任务分摊到固定的时间槽中,极大地降低了时间复杂... 目录1、简述2、时间轮的原理3. 时间轮的实现步骤3.1 定义时间槽3.2 定义时间轮3.3 使用时

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

如何通过Golang的container/list实现LRU缓存算法

《如何通过Golang的container/list实现LRU缓存算法》文章介绍了Go语言中container/list包实现的双向链表,并探讨了如何使用链表实现LRU缓存,LRU缓存通过维护一个双向... 目录力扣:146. LRU 缓存主要结构 List 和 Element常用方法1. 初始化链表2.

golang字符串匹配算法解读

《golang字符串匹配算法解读》文章介绍了字符串匹配算法的原理,特别是Knuth-Morris-Pratt(KMP)算法,该算法通过构建模式串的前缀表来减少匹配时的不必要的字符比较,从而提高效率,在... 目录简介KMP实现代码总结简介字符串匹配算法主要用于在一个较长的文本串中查找一个较短的字符串(称为

通俗易懂的Java常见限流算法具体实现

《通俗易懂的Java常见限流算法具体实现》:本文主要介绍Java常见限流算法具体实现的相关资料,包括漏桶算法、令牌桶算法、Nginx限流和Redis+Lua限流的实现原理和具体步骤,并比较了它们的... 目录一、漏桶算法1.漏桶算法的思想和原理2.具体实现二、令牌桶算法1.令牌桶算法流程:2.具体实现2.1

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

Python中的随机森林算法与实战

《Python中的随机森林算法与实战》本文详细介绍了随机森林算法,包括其原理、实现步骤、分类和回归案例,并讨论了其优点和缺点,通过面向对象编程实现了一个简单的随机森林模型,并应用于鸢尾花分类和波士顿房... 目录1、随机森林算法概述2、随机森林的原理3、实现步骤4、分类案例:使用随机森林预测鸢尾花品种4.1

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用