java使用minist手写数据集,用滴滴云Notebook快速上手PyTorch-MINIST手写体

本文主要是介绍java使用minist手写数据集,用滴滴云Notebook快速上手PyTorch-MINIST手写体,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在本教程中,您将学习如何快速使用PyTorch训练一个神经网络学习如何识别手写数字。

本文使用滴滴云Notebook作为开发环境,滴滴云Notebook服务集成了CUDA、CuDNN、Python、TensorFlow、Pytorch、MxNet、Keras等深度学习框架,无需用户自己安装。

Part.1

1,购买Notebook服务

注册滴滴云并实名认证后可购买Notebook服务

注册步骤:

2,进入控制台Notebook页面单击创建Notebook实例按钮

3,选择基础配置:

选择 付费方式:当前仅支持按时长。

选择 可用区:选择靠近您客户的地域,包括广州1、2区。

选择 配置规格:根据需要的CPU、GPU、显卡和内存,选择相关配置。

选择 镜像:提供了Jupyter Notebook镜像和Jupyter Lab镜像,这里选择>jupyter-lab-v1。

设置 系统盘:根据需求选择系统盘的大小,设置范围为80GB - 500GB。

f000edcd08a020b4a6ef258363a9af61.png

4,名称和标签

输入 Notebook名称。

输入 标签键以及键值,单击添加按钮,可添加多个标签。

98f02cfc5acb5b279aabf338babc3bc3.png

5,访问Notebook

进入我的Notebook页面,在操作列单击打开Notebook。

进入Notebook详情页面,单击打开Notebook。

f5ab5db7e988973b2cc87835febef857.png

Part.2

构建MNIST手写体数字识别程序

import matplotlib.pyplot as plt

import numpy as np

import torch

import torch.nn as nn

import torch.nn.functional as F

import torch.optim as optim

import torchvision

from torchvision import datasets, transforms

下载经典的MNIST数据集

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 训练集Dataloader

train_loader = torch.utils.data.DataLoader(

datasets.MNIST(root='.', train=True, download=True,

transform=transforms.Compose([

transforms.ToTensor(),

transforms.Normalize((0.1307,), (0.3081,))

])), batch_size=64, shuffle=True, num_workers=4)

# 测试集Dataloader

test_loader = torch.utils.data.DataLoader(

datasets.MNIST(root='.', train=False, transform=transforms.Compose([

transforms.ToTensor(),

transforms.Normalize((0.1307,), (0.3081,))

])), batch_size=64, shuffle=True, num_workers=4)

这里我们使用一个4层CNN(卷积神经网络),网络结构:Conv-Conv-FC-FC

class Net(nn.Module):

def __init__(self):

super(Net, self).__init__()

self.conv1 = nn.Conv2d(1, 10, kernel_size=5)

self.conv2 = nn.Conv2d(10, 20, kernel_size=5)

self.fc1 = nn.Linear(320, 50)

self.fc2 = nn.Linear(50, 10)

def forward(self, x):

# Perform the usual forward pass

x = F.relu(F.max_pool2d(self.conv1(x), 2))

x = F.relu(F.max_pool2d(self.conv2(x), 2))

x = x.view(-1, 320)

x = F.relu(self.fc1(x))

x = self.fc2(x)

return F.log_softmax(x, dim=1)

model = Net().to(device)

现在我们使用SGD(随机梯度下降)算法来训练模型,以有监督的方式学习分类任务

optimizer = optim.SGD(model.parameters(), lr=0.01)

def train(epoch):

model.train()

for batch_idx, (data, target) in enumerate(train_loader):

data, target = data.to(device), target.to(device)

optimizer.zero_grad()

output = model(data)

loss = F.nll_loss(output, target)

loss.backward()

optimizer.step()

if batch_idx % 1 == 0:

print('\rTrain Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format(

epoch, batch_idx * len(data), len(train_loader.dataset),

100. * batch_idx / len(train_loader), loss.item()), end='')

def test():

with torch.no_grad():

model.eval()

test_loss = 0

correct = 0

for data, target in test_loader:

data, target = data.to(device), target.to(device)

output = model(data)

test_loss += F.nll_loss(output, target).item()

pred = output.max(1, keepdim=True)[1]

correct += pred.eq(target.view_as(pred)).sum().item()

test_loss /= len(test_loader.dataset)

print('\nTest set: Average loss: {:.4f}, Accuracy: {}/{} ({:.0f}%)\n'

.format(test_loss, correct, len(test_loader.dataset),

100. * correct / len(test_loader.dataset)))

开始训练,每训练一个epoch测试一次模型,在20个epoch内,模型准确率可以达到98.7%

epochs = 20

for epoch in range(1, epochs + 1):

train(epoch)

test()

Train Epoch: 1 [29984/60000 (100%)]  Loss: 0.130790

Test set: Average loss: 0.0033, Accuracy: 9370/10000 (94%)

Train Epoch: 2 [29984/60000 (100%)]  Loss: 0.212607

Test set: Average loss: 0.0020, Accuracy: 9594/10000 (96%)

Train Epoch: 3 [29984/60000 (100%)]  Loss: 0.054339

Test set: Average loss: 0.0016, Accuracy: 9673/10000 (97%)

Train Epoch: 4 [29984/60000 (100%)]  Loss: 0.085429

Test set: Average loss: 0.0012, Accuracy: 9766/10000 (98%)

Train Epoch: 5 [29984/60000 (100%)]  Loss: 0.084620

Test set: Average loss: 0.0010, Accuracy: 9800/10000 (98%)

Train Epoch: 6 [29984/60000 (100%)]  Loss: 0.053965

Test set: Average loss: 0.0009, Accuracy: 9826/10000 (98%)

Train Epoch: 7 [29984/60000 (100%)]  Loss: 0.098088

Test set: Average loss: 0.0008, Accuracy: 9826/10000 (98%)

Train Epoch: 8 [29184/60000 (49%)]  Loss: 0.008589

滴滴云小程序上线啦!微信搜索“滴滴云助手”快来体验吧!

b171697b107b60e57b2224dfec6f94fd.png

这篇关于java使用minist手写数据集,用滴滴云Notebook快速上手PyTorch-MINIST手写体的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/334696

相关文章

Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式

《Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式》本文详细介绍如何使用Java通过JDBC连接MySQL数据库,包括下载驱动、配置Eclipse环境、检测数据库连接等关键步骤,... 目录一、下载驱动包二、放jar包三、检测数据库连接JavaJava 如何使用 JDBC 连接 mys

SpringBoot线程池配置使用示例详解

《SpringBoot线程池配置使用示例详解》SpringBoot集成@Async注解,支持线程池参数配置(核心数、队列容量、拒绝策略等)及生命周期管理,结合监控与任务装饰器,提升异步处理效率与系统... 目录一、核心特性二、添加依赖三、参数详解四、配置线程池五、应用实践代码说明拒绝策略(Rejected

C++ Log4cpp跨平台日志库的使用小结

《C++Log4cpp跨平台日志库的使用小结》Log4cpp是c++类库,本文详细介绍了C++日志库log4cpp的使用方法,及设置日志输出格式和优先级,具有一定的参考价值,感兴趣的可以了解一下... 目录一、介绍1. log4cpp的日志方式2.设置日志输出的格式3. 设置日志的输出优先级二、Window

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Ubuntu如何分配​​未使用的空间

《Ubuntu如何分配​​未使用的空间》Ubuntu磁盘空间不足,实际未分配空间8.2G因LVM卷组名称格式差异(双破折号误写)导致无法扩展,确认正确卷组名后,使用lvextend和resize2fs... 目录1:原因2:操作3:报错5:解决问题:确认卷组名称​6:再次操作7:验证扩展是否成功8:问题已解

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构

一文详解SpringBoot中控制器的动态注册与卸载

《一文详解SpringBoot中控制器的动态注册与卸载》在项目开发中,通过动态注册和卸载控制器功能,可以根据业务场景和项目需要实现功能的动态增加、删除,提高系统的灵活性和可扩展性,下面我们就来看看Sp... 目录项目结构1. 创建 Spring Boot 启动类2. 创建一个测试控制器3. 创建动态控制器注

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Java操作Word文档的全面指南

《Java操作Word文档的全面指南》在Java开发中,操作Word文档是常见的业务需求,广泛应用于合同生成、报表输出、通知发布、法律文书生成、病历模板填写等场景,本文将全面介绍Java操作Word文... 目录简介段落页头与页脚页码表格图片批注文本框目录图表简介Word编程最重要的类是org.apach