python机器学习之降维算法PCA对手写数字数据集的降维案例

2024-01-04 07:38

本文主要是介绍python机器学习之降维算法PCA对手写数字数据集的降维案例,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

PCA对手写数字数据集的降维案例

数据集获取地址:->这里下载

导入需要的模块和库

from sklearn.decomposition import PCA
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

导入数据,探索数据

data = pd.read_csv("../数据/digit recognizor.csv")
x = data.iloc[:,1:]
y = data.iloc[:,0]

查看数据维度

data.shape
x.shape

在这里插入图片描述
画累计方差贡献率曲线,找最佳降维后维度的范围

pca_line = PCA().fit(x)#实例化
plt.figure(figsize=[20,5])#创建画布
plt.plot(np.cumsum(pca_line.explained_variance_ratio_))#折线图
plt.xlabel("number of components")#x轴标题
plt.ylabel("cumulative explainec variance")#y轴标题
plt.show()#显示图像

在这里插入图片描述
降维后维度的学习曲线,继续缩小最佳维度的范围

score = []
for i in range(1,101,10):x_dr = PCA(i).fit_transform(x)once = cross_val_score(RFC(n_estimators=10,random_state=0),x_dr,y,cv = 5).mean()score.append(once)plt.figure(figsize=[20,5])
plt.plot(range(1,101,10),score)
plt.show()

在这里插入图片描述
细化学习曲线,找出降维后的最佳维度

score = []
for i in range(10,25):x_dr = PCA(i).fit_transform(x)once = cross_val_score(RFC(n_estimators=10,random_state=0),x_dr,y,cv = 5).mean()score.append(once)plt.figure(figsize=[20,5])
plt.plot(range(10,25),score)
plt.show()

在这里插入图片描述
发现在23时有最大值,所以我们选择使用23作为PCA维度.

导入找出的最佳维度进行降维,查看模型效果

x_dr = PCA(23).fit_transform(x)cross_val_score(RFC(n_estimators = 100,random_state=0),x_dr,y,cv=5).mean()

在这里插入图片描述
型的效果还好,跑出了94.55%的水平,但是还没有我们使用嵌入法特征选择后的96%高.

特征数量已经不足原来的3%,换模型怎么样,换成KNN

from sklearn.neighbors import KNeighborsClassifier as KNN
cross_val_score(KNN(),x_dr,y,cv=5).mean()

在这里插入图片描述
KNN 的K值学习曲线

score = []
for i in range(10):x_dr = PCA(23).fit_transform(x)once = cross_val_score(KNN(i+1),x_dr,y,cv = 5).mean()score.append(once)plt.figure(figsize=[20,5])
plt.plot(range(10),score)
plt.show()

在这里插入图片描述
使用交叉验证求出模型的结果

cross_val_score(KNN(4),x_dr,y,cv = 5).mean()#交叉验证求出模型的效果

在这里插入图片描述

定下超参数后,模型的效果如何,模型运行时间如何

%%timeitcross_val_score(KNN(4),x_dr,y,cv = 5).mean()#交叉验证求出模型的效果

小结:
可以发现,原本785列的特征被我们减到23列以后,用KNN跑出了目前位置这个数据集上最好的结果.
PCA为我们提供了无限的可能,再也不用担心数据量过于庞大而被迫选择复杂的模型了

这篇关于python机器学习之降维算法PCA对手写数字数据集的降维案例的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/568612

相关文章

基于Python开发一个图像水印批量添加工具

《基于Python开发一个图像水印批量添加工具》在当今数字化内容爆炸式增长的时代,图像版权保护已成为创作者和企业的核心需求,本方案将详细介绍一个基于PythonPIL库的工业级图像水印解决方案,有需要... 目录一、系统架构设计1.1 整体处理流程1.2 类结构设计(扩展版本)二、核心算法深入解析2.1 自

从入门到进阶讲解Python自动化Playwright实战指南

《从入门到进阶讲解Python自动化Playwright实战指南》Playwright是针对Python语言的纯自动化工具,它可以通过单个API自动执行Chromium,Firefox和WebKit... 目录Playwright 简介核心优势安装步骤观点与案例结合Playwright 核心功能从零开始学习

Python 字典 (Dictionary)使用详解

《Python字典(Dictionary)使用详解》字典是python中最重要,最常用的数据结构之一,它提供了高效的键值对存储和查找能力,:本文主要介绍Python字典(Dictionary)... 目录字典1.基本特性2.创建字典3.访问元素4.修改字典5.删除元素6.字典遍历7.字典的高级特性默认字典

Python自动化批量重命名与整理文件系统

《Python自动化批量重命名与整理文件系统》这篇文章主要为大家详细介绍了如何使用Python实现一个强大的文件批量重命名与整理工具,帮助开发者自动化这一繁琐过程,有需要的小伙伴可以了解下... 目录简介环境准备项目功能概述代码详细解析1. 导入必要的库2. 配置参数设置3. 创建日志系统4. 安全文件名处

使用Python构建一个高效的日志处理系统

《使用Python构建一个高效的日志处理系统》这篇文章主要为大家详细讲解了如何使用Python开发一个专业的日志分析工具,能够自动化处理、分析和可视化各类日志文件,大幅提升运维效率,需要的可以了解下... 目录环境准备工具功能概述完整代码实现代码深度解析1. 类设计与初始化2. 日志解析核心逻辑3. 文件处

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1:使用 UUID 模块(推荐)方法 2:使用 Secrets 模块(安全敏感场景)方法

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口

MySql基本查询之表的增删查改+聚合函数案例详解

《MySql基本查询之表的增删查改+聚合函数案例详解》本文详解SQL的CURD操作INSERT用于数据插入(单行/多行及冲突处理),SELECT实现数据检索(列选择、条件过滤、排序分页),UPDATE... 目录一、Create1.1 单行数据 + 全列插入1.2 多行数据 + 指定列插入1.3 插入否则更

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数