【Pytorch2.0学习记录】第三章 基于Pytorch的MNIST分类实战

2024-04-02 06:04
文章标签 实战 学习 第三章 分类 记录 pytorch mnist pytorch2.0

本文主要是介绍【Pytorch2.0学习记录】第三章 基于Pytorch的MNIST分类实战，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

3.1.1 数据图像的获取与标签的说明

源码\第三章\one_hot.py

import numpy as np
import torch
x_train = np.load("../dataset/mnist/x_train.npy")
y_train_label = np.load("../dataset/mnist/y_train_label.npy")
print(y_train_label[:5]) #[5 0 4 1 9]
x = torch.tensor(y_train_label[:5],dtype=torch.int64)# 定义一个张量输入tensor([5, 0, 4, 1, 9])
y = torch.nn.functional.one_hot(x, 10)  # 一个参数张量x，10为类别数，y shape=(5,10)
print(x)
print(y)
#y: tensor([[0, 0, 0, 0, 0, 1, 0, 0, 0, 0],
#         [1, 0, 0, 0, 0, 0, 0, 0, 0, 0],
#         [0, 0, 0, 0, 1, 0, 0, 0, 0, 0],
#         [0, 1, 0, 0, 0, 0, 0, 0, 0, 0],
#         [0, 0, 0, 0, 0, 0, 0, 0, 0, 1]])

3.1.4 基于pytorch的手写体识别的实现

源码\第三章\train.py

import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0' #指定GPU编号
import torch
import numpy as np
from tqdm import tqdmbatch_size = 320                        #设定每次训练的批次数
epochs = 1024                           #设定训练次数#device = "cpu"                         #Pytorch的特性，需要指定计算的硬件，如果没有GPU的存在，就使用CPU进行计算
device = "cuda"                         #在这里读者默认使用GPU，如果读者出现运行问题可以将其改成cpu模式#设定的多层感知机网络模型
class NeuralNetwork(torch.nn.Module):def __init__(self):super(NeuralNetwork, self).__init__()self.flatten = torch.nn.Flatten() # 展平操作，将图片数据展平为一维  self.linear_relu_stack = torch.nn.Sequential(torch.nn.Linear(28*28,312),torch.nn.ReLU(),torch.nn.Linear(312, 256),torch.nn.ReLU(),torch.nn.Linear(256, 10))def forward(self, input):x = self.flatten(input)logits = self.linear_relu_stack(x)return logitsmodel = NeuralNetwork()
model = model.to(device)                #将计算模型传入GPU硬件等待计算
torch.save(model, './model.pth')
#model = torch.compile(model)            #Pytorch2.0的特性，加速计算速度
loss_fu = torch.nn.CrossEntropyLoss()# 交叉熵损失函数
optimizer = torch.optim.Adam(model.parameters(), lr=2e-5) #设定Adam优化器，学习率为2e-5#载入数据
x_train = np.load("../dataset/mnist/x_train.npy")
y_train_label = np.load("../dataset/mnist/y_train_label.npy")train_num = len(x_train)//batch_size#开始计算
for epoch in range(epochs):#epochstrain_loss = 0for i in range(train_num):start = i * batch_size #计算开始和终止位置，第一次是[0,batch_size-1)，第二2次[batch_size,2*batch_size)end = (i + 1) * batch_size#将数据转换为张量并移到指定设备  train_batch = torch.tensor(x_train[start:end]).to(device) label_batch = torch.tensor(y_train_label[start:end]).to(device)pred = model(train_batch)#前向传播，得到预测结果loss = loss_fu(pred,label_batch)#计算损失optimizer.zero_grad()#清零梯度loss.backward()#反向传播，计算梯度  optimizer.step()# 更新模型参数  train_loss += loss.item()  # 记录每个批次的损失值# 计算并打印平均损失值train_loss /= train_numaccuracy = (pred.argmax(1) == label_batch).type(torch.float32).sum().item() / batch_sizeprint("epoch：",epoch,"train_loss:", round(train_loss,2),"accuracy:",round(accuracy,2))

结果：把批次改为epochs后（源码给的是20）就能持续训练了，到270次精确度就=1了。
请添加图片描述
请添加图片描述
需要补充的知识点（来自文心老师）：

1、PyTorch中常见的操作和概念：

张量（Tensor）：PyTorch中的基本数据结构，类似于多维数组，可以存储不同类型的数据（如浮点数、整数等）。
自动微分（Autograd）：PyTorch提供了自动微分功能，可以自动计算张量操作的梯度，这对于神经网络的训练非常重要。
神经网络层（Neural Network Layers）：PyTorch提供了许多预定义的神经网络层，如卷积层、全连接层、池化层等，用户可以轻松地组合这些层来构建自己的神经网络。
优化器（Optimizers）：用于更新神经网络参数的算法，如SGD（随机梯度下降）、Adam等。
数据加载器（Data Loaders）：用于从数据集中加载数据，并将其划分为批次（batches）进行训练或测试。

2、self.flatten = torch.nn.Flatten()

torch.nn.Flatten 是 PyTorch 中的一个模块，用于将多维的输入张量展平（flatten）成一维张量，或者展平到指定的维度。这在构建神经网络时特别有用，尤其是当你想要将图像数据（通常是二维或三维的）转换为一维特征向量，以便将其传递给全连接层（linear layers）时。
举例：

import torch  
import torch.nn as nn  # 假设我们有一个四维张量，代表一批图像数据  
batch_size = 4  
channels = 3  
height = 28  
width = 28  # 创建一个随机的四维张量来模拟图像数据  
images = torch.randn(batch_size, channels, height, width)  # 定义一个包含 Flatten 层的简单模型  
class SimpleModel(nn.Module):  def __init__(self):  super(SimpleModel, self).__init__()  #############nn.Flatten()在这里使用###########################self.flatten = nn.Flatten()def forward(self, x):  x = self.flatten(x)  return x  # 初始化模型  
model = SimpleModel()  # 将图像数据传递给模型  
flattened = model(images)  # 输出展平后的张量的形状  
print(flattened.shape)  # 输出应该是 (batch_size, -1)，其中 -1 表示自动计算的大小

在这个例子中，nn.Flatten 会将形状为 (batch_size, channels, height, width) 的张量展平成一个形状为 (batch_size, -1) 的张量，其中 -1 是一个占位符，表示该维度的大小是自动计算的。实际上，-1 的大小会是 channels * height * width，即所有非批次维度的乘积。

对于 MNIST 数据集，图像通常是单通道的（灰度图），大小为 28x28 像素。因此，如果你有一个形状为 (batch_size, 1, 28, 28) 的张量，nn.Flatten 会将其展平为形状为 (batch_size, 784) 的张量（因为 1 * 28 * 28 = 784）。这样，你就可以将这个一维张量传递给全连接层进行进一步的处理了。

3、torch.nn.Sequential（）

torch.nn.Sequential 是 PyTorch 中的一个容器模块，它按照添加到其中的顺序依次包含多个子模块。当你向 Sequential 中添加模块时，它们将按照添加的顺序被依次执行。这种顺序执行使得 Sequential 非常适合于创建简单的、层叠式的神经网络结构。

使用 Sequential 的好处是它提供了一种简洁的方式来创建模型，而无需定义前向传播方法。你只需要将各个层添加到 Sequential 容器中，PyTorch 就会按照添加的顺序来执行这些层。

尽管 Sequential 对于简单的网络结构非常有用，但当你需要更复杂的控制流（如条件语句或循环）或需要定义自己的前向传播逻辑时，你可能需要定义自己的 nn.Module 子类，并在其中实现 forward 方法。

3.2.1 查看模型结构和参数信息

源码\第三章\netron.py

对于自定义网络，直接使用如下函数完成模型的打印：

model = NeuralNetwork()
print(model)

输出：

NeuralNetwork((flatten): Flatten(start_dim=1, end_dim=-1)#平滑成【1，X】大小(linear_relu_stack): Sequential((0): Linear(in_features=784, out_features=312, bias=True)#全连接层，接受784个输入特征，输出312个特征。bias=True表示这一层有偏置项。(1): ReLU()#这是ReLU激活函数，它应用于前一个线性层的输出。ReLU函数会将所有负值变为0，而正值保持不变。(2): Linear(in_features=312, out_features=256, bias=True)(3): ReLU()(4): Linear(in_features=256, out_features=10, bias=True))
)

具体参数和层数的输出，有关net.parameters，参考此链接：

import torch
device = "cuda"                         #在这里读者默认使用GPU，如果读者出现运行问题可以将其改成cpu模式
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")#设定的多层感知机网络模型
class NeuralNetwork(torch.nn.Module):def __init__(self):super(NeuralNetwork, self).__init__()self.flatten = torch.nn.Flatten()self.linear_relu_stack = torch.nn.Sequential(torch.nn.Linear(2,3),torch.nn.ReLU(),torch.nn.Linear(3, 5),torch.nn.ReLU(),torch.nn.Linear(5, 2))def forward(self, input):x = self.flatten(input)logits = self.linear_relu_stack(x)return logitsmodel = NeuralNetwork()
#print(model)
model = model.to(device)                #将计算模型传入GPU硬件等待计算
# #torch.save(model, './model.pth')params=list(model.parameters())
k=0
for num,para in enumerate(params):l=1print("第",num,"层的结构："+str(list(para.size())))for j in para.size():l*=jprint("该层参数和："+str(l))print(para)print('______________________________')k=k+l
print("总参数数量和："+str(k))

输出：
其中，我们加上输出层一共设置了3层全连接层，对应以下第0、2、4层；第1、3层是偏置层。
请添加图片描述
还有一点，层的结构是[out,in],比如第一个 torch.nn.Linear(2,3)对应的层结构为[3, 2]。

第 0 层的结构：[3, 2]
该层参数和：6
Parameter containing:
tensor([[ 0.5712,  0.2243],[ 0.6914, -0.6446],[ 0.0275,  0.4616]], device='cuda:0', requires_grad=True)
______________________________
第 1 层的结构：[3]
该层参数和：3
Parameter containing:
tensor([0.1890, 0.0555, 0.6089], device='cuda:0', requires_grad=True)
______________________________
第 2 层的结构：[5, 3]
该层参数和：15
Parameter containing:
tensor([[ 0.4450,  0.3689,  0.5252],[ 0.4570,  0.1599, -0.4878],[ 0.2633,  0.4276, -0.5587],[-0.1436,  0.0929,  0.3933],[ 0.5510,  0.0286, -0.5658]], device='cuda:0', requires_grad=True)
______________________________
第 3 层的结构：[5]
该层参数和：5
Parameter containing:
tensor([ 0.2082, -0.0087,  0.3519, -0.3106,  0.0778], device='cuda:0',requires_grad=True)
______________________________
第 4 层的结构：[2, 5]
该层参数和：10
Parameter containing:
tensor([[ 0.0707, -0.0262, -0.2613,  0.1295, -0.1679],[-0.3952, -0.3387, -0.0963, -0.1872,  0.0991]], device='cuda:0',requires_grad=True)
______________________________
第 5 层的结构：[2]
该层参数和：2
Parameter containing:
tensor([-0.3942, -0.3752], device='cuda:0', requires_grad=True)
______________________________
总参数数量和：41

3.2.2 基于netron库的PyTorch2.0模型可视化

这篇关于【Pytorch2.0学习记录】第三章 基于Pytorch的MNIST分类实战的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/869170。

相关文章

网页解析 lxml 库--实战

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 XPath表达式提供了良好的支 持，因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块，该模块专门用来解析 HTML/XML 文档，下面来介绍一下 lxml 库
阅读更多...
HarmonyOS学习(七)——UI（五）常用布局总结

HarmonyOS学习(七)——UI（五）常用布局总结

自适应布局 1.1、线性布局（LinearLayout） 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列，Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距，达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式，且在各类尺寸屏幕上表现一致，其中交叉轴为垂直时，取值为Vert
阅读更多...
Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya（不是本人，claude AI）在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容： 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用
阅读更多...
基于人工智能的图像分类系统

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务，目标是自动识别图像中的对象类别。通过卷积神经网络（CNN）等深度学习技术，我们可以构建高效的图像分类系统，广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统，包括环境
阅读更多...
【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【课程链接】 AntV G6：深入图形与图形分组、自定义节点、节点动画（下）_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中，应该怎样去计算和绘制图形，如何给一个图形制作不间断的动画，以及在鼠标事件之后产生动画。（有点难，需要好好理解） <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06
阅读更多...
学习hash总结

学习hash总结

2014/1/29/   最近刚开始学hash，名字很陌生，但是hash的思想却很熟悉，以前早就做过此类的题，但是不知道这就是hash思想而已，说白了hash就是一个映射，往往灵活利用数组的下标来实现算法，hash的作用：1、判重；2、统计次数；
阅读更多...
认识、理解、分类——acm之搜索

认识、理解、分类——acm之搜索

普通搜索方法有两种：1、广度优先搜索；2、深度优先搜索； 更多搜索方法： 3、双向广度优先搜索； 4、启发式搜索（包括A*算法等）； 搜索通常会用到的知识点：状态压缩（位压缩，利用hash思想压缩）。
阅读更多...
性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

哈喽，你好啊，我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记，这是第6篇； 接下来实现实时显示当前选中红球数量，蓝球数量； 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时，在对应的位置显示实时已选择的红球、蓝球的数量； 02 标签名称 分别设置Label标签名称为：lblRedCount、lblBlueCount
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2