Pytorch入门——基础知识及实现两层网络

2024-01-24 19:48
文章标签 实现 入门 网络 pytorch 基础知识 两层

本文主要是介绍Pytorch入门——基础知识及实现两层网络，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Pytorch基础知识

内容来源：
B站视频——最好的PyTorch的入门与实战教程（16小时实战）

import torch
import numpy as nptorch.empty(5,3)  # 创建未初始化的矩阵x1 = torch.rand(5,3)  # 随机初始化矩阵x2 = torch.zeros(5,3)  # 全部为0矩阵x3 = torch.zeros(5,3, dtype=torch.long)  # 数据类型变为long
# x3 = torch.zeros(5,3).long() 效果一样x4 = torch.tensor([5.5, 3])  # 从数据直接构建tensorx5 = x4.new_ones(5,3)  # 根据已有tensor构建一个tensor，这些方法会重用原来tensor的特征。例如数据类型x6 = x4.new_ones(5,3, dtype=torch.double)torch.rand_like(x5, dtype=torch.float)# 得到tensor的形状
x5.shape
x5.size# 运算
y1 = torch.rand(5,3)
print(y1)
# add
x1 + y1
torch.add(x1, y1)result = torch.empty(5,3)
torch.add(x1, y1, out=result)
print(result)  # 把输出作为一个变量# In-place operation
y1.add_(x1)  # 把操作保存在y1里面
print(y1)
# 任何in-place运算都会以_结尾。  x.copy_(y)   x.t_()会改变x# 各种Numpy的indexing都可以在Pytorch tensor上使用
print(y1[:, 1:])  # 把所有行留下，把第一列之后的留下，相当于第零列舍去
print(y1[1:, 1:])  # 舍弃第零行，第零列# 如果希望resize一个tensor，可以使用torch.view
x7 = torch.randn(4,4)
y2 = x7.view(16)  # 变成16维
y3 = x7.view(2,8)  # 2x8 matrix
y3 = x7.view(2,-1)  # 会自动算出对应的为数，16/2 = 8， 但不能写两个-1
# 要能被16整除，因此出现（-1， 5）会报错# 若只有一个元素的tensor，使用.item()可以把里面的value变成python数值
x8 = torch.randn(1)
print(x8.data)  # 仍返回一个tensor
print(x8.grad)  # 返回一个grad
print(x8.item())  # 返回一个数字
print(y3.transpose(1, 0))  # 将y3进行转置# 在Numpy和Tensor之间转换
# Torch Tensor 和 Numpy Array 共享内存，改变其中一项另一项也改变
a = torch.ones(5)
b = a.numpy()
b[1] = 2
print(a)# 把Numpy ndarry转成Torch Tensor
c = np.ones(5)
d = torch.from_numpy(c)
np.add(c, 1, out = c)
print(c)
print(d)# CUDA Tensors
if torch.cuda.is_available():device = torch.device("cuda")          # a CUDA device objecty = torch.ones_like(x7, device=device)  # directly create a tensor on GPUx7 = x7.to(device)                       # or just use strings ``.to("cuda")``z = x7 + yprint(z)print(z.to("cpu", torch.double))       # ``.to`` can also change dtype together!# numpy是在CPU上操作的
# y.to("cpu").data.numpy()
# y.cpu().data.numpy()

使用Numpy实现两层模型

'''
用numpy实现两层神经网络，一个隐藏层，没有bias，用来从x预测y，使用L2 loss
h = W_1X + b_1
a = max(0,h)
y_hat = w_2a + b_2numpy ndarray 是一个普通的n维array
'''
import numpy as npN, D_in, H, D_out = 64, 1000, 100, 10  # 输入64个变量，输入是1000维，输出10维，中间层H为100维# 随机创建一些训练数据
x = np.random.randn(N, D_in)
y = np.random.randn(N, D_out)w1 = np.random.randn(D_in, H)
w2 = np.random.randn(H, D_out)learning_rate = 1e-6
for t in range(500):  # forward passh = x.dot(w1)    # N*H  点积h_relu = np.maximum(h, 0)  # N*Hy_pred = h_relu.dot(w2)  # N*D_out# compute lossloss = np.square(y_pred - y).sum()print(t, loss)# backward pass, compute the gradientgrad_y_pred = 2.0*(y_pred - y)grad_w2 = h_relu.T.dot(grad_y_pred)grad_h_relu = grad_y_pred.dot(w2.T)grad_h = grad_h_relu.copy()grad_h[h<0] = 0grad_w1 = x.T.dot(grad_h)# update weights of w1 and w2w1 -= learning_rate*grad_w1w2 -= learning_rate*grad_w2

使用pytorch实现两层模型

手动实现反向传播及更新

import torchN, D_in, H, D_out = 64, 1000, 100, 10  # 输入64个变量，输入是1000维，输出10维，中间层H为100维# 随机创建一些训练数据
x = torch.randn(N, D_in)
y = torch.randn(N, D_out)w1 = torch.randn(D_in, H)
w2 = torch.randn(H, D_out)learning_rate = 1e-6
for t in range(500):  # forward passh = x.mm(w1)    # N*H  matrix multipulication点积h_relu = h.clamp(min=0)  # N*H  类似于夹子，把值夹在min和max之间y_pred = h_relu.mm(w2)  # N*D_out# compute lossloss = (y_pred - y).pow(2).sum().item()  # 要转成数字print(t, loss)# backward pass, compute the gradientgrad_y_pred = 2.0*(y_pred - y)grad_w2 = h_relu.t().mm(grad_y_pred)grad_h_relu = grad_y_pred.mm(w2.T)grad_h = grad_h_relu.clone()grad_h[h<0] = 0grad_w1 = x.t().mm(grad_h)# update weights of w1 and w2w1 -= learning_rate*grad_w1w2 -= learning_rate*grad_w2

自动实现反向传播

import torchN, D_in, H, D_out = 64, 1000, 100, 10  # 输入64个变量，输入是1000维，输出10维，中间层H为100维# 随机创建一些训练数据
x = torch.randn(N, D_in)
y = torch.randn(N, D_out)w1 = torch.randn(D_in, H, requires_grad=True)
w2 = torch.randn(H, D_out, requires_grad=True)learning_rate = 1e-6
for t in range(500):  # forward pass# h = x.mm(w1)    # N*H  matrix multipulication点积# h_relu = h.clamp(min=0)  # N*H  类似于夹子，把值夹在min和max之间y_pred = x.mm(w1).clamp(min=0).mm(w2)  # N*D_out# compute lossloss = (y_pred - y).pow(2).sum()  #computation graphprint(t, loss.item())# backward pass, compute the gradientloss.backward()# update weights of w1 and w2# 为了不让计算图占内存，不会记住w1和w2的值with torch.no_grad():w1 -= learning_rate*w1.gradw2 -= learning_rate*w2.gradw1.grad.zero_()  # 避免多次计算累加导致错误w2.grad.zero_()

使用pytorch的nn库实现两层网络

'''
用nn库来构建网络 neural network
用autograd来构建计算图和计算gradients
'''
import torch
import torch.nn as nnN, D_in, H, D_out = 64, 1000, 100, 10  # 输入64个变量，输入是1000维，输出10维，中间层H为100维# 随机创建一些训练数据
x = torch.randn(N, D_in)
y = torch.randn(N, D_out)model = torch.nn.Sequential(torch.nn.Linear(D_in, H),  # w_1*x + b_1torch.nn.ReLU(),torch.nn.Linear(H, D_out)
)# 把初始化变成normal distribution会让模型效果好很多
torch.nn.init.normal_(model[0].weight)
torch.nn.init.normal_(model[2].weight)# model = model.cuda()loss_fn = nn.MSELoss(reduction='sum')learning_rate = 1e-6
for t in range(500):  # forward passy_pred = model(x)  # model.forward()# compute lossloss = loss_fn(y_pred, y)  # computation graphprint(t, loss.item())model.zero_grad()  # 将梯度清零避免叠加# backward pass, compute the gradientloss.backward()# update weights of w1 and w2with torch.no_grad():for param in model.parameters():param -= learning_rate*param.grad

使用optim进行自动优化

'''
用nn库来构建网络 neural network
用autograd来构建计算图和计算gradients
'''
import torch
import torch.nn as nnN, D_in, H, D_out = 64, 1000, 100, 10  # 输入64个变量，输入是1000维，输出10维，中间层H为100维# 随机创建一些训练数据
x = torch.randn(N, D_in)
y = torch.randn(N, D_out)model = torch.nn.Sequential(torch.nn.Linear(D_in, H),  # w_1*x + b_1torch.nn.ReLU(),torch.nn.Linear(H, D_out)
)# model = model.cuda()loss_fn = nn.MSELoss(reduction='sum')
learning_rate = 1e-4
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)
# Adam 的学习率一般在1e-3到1e-4
# 若用SGD，则需要把初始值做一下nomalization，不知道为什么，但是loss会变得很小，玄学for t in range(500):  # forward passy_pred = model(x)  # model.forward()# compute lossloss = loss_fn(y_pred, y)  # computation graphprint(t, loss.item())optimizer.zero_grad()  # 将梯度清零避免叠加# backward pass, compute the gradientloss.backward()# update model parametersoptimizer.step()  # optimizer会更新

使用自定义神经网络

'''
用nn库来构建网络 neural network
用autograd来构建计算图和计算gradients
'''
import torch
import torch.nn as nnN, D_in, H, D_out = 64, 1000, 100, 10  # 输入64个变量，输入是1000维，输出10维，中间层H为100维# 随机创建一些训练数据
x = torch.randn(N, D_in)
y = torch.randn(N, D_out)# 把所有的module写在__init__里面，把每一个有导数的层放在init里面，在init里面定义模型的框架
class TwoLayerNet(torch.nn.Module):def __init__(self, D_in, H, D_out):super(TwoLayerNet, self).__init__()self.linear1 = torch.nn.Linear(D_in, H, bias=False)self.linear2 = torch.nn.Linear(H, D_out, bias=False)def forward(self, x):  # 前向传播的过程y_pred = self.linear2(self.linear1(x).clamp(min=0))return y_predmodel = TwoLayerNet(D_in, H, D_out)loss_fn = nn.MSELoss(reduction='sum')
learning_rate = 1e-4
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)
# Adam 的学习率一般在1e-3到1e-4
# 若用SGD，则需要把初始值做一下nomalization，不知道为什么，但是loss会变得很小，玄学for t in range(500):  # forward passy_pred = model(x)  # model.forward()# compute lossloss = loss_fn(y_pred, y)  # computation graphprint(t, loss.item())optimizer.zero_grad()  # 将梯度清零避免叠加# backward pass, compute the gradientloss.backward()# update model parametersoptimizer.step()  # optimizer会更新

这篇关于Pytorch入门——基础知识及实现两层网络的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/640814。

相关文章

Springboot处理跨域的实现方式(附Demo)

Springboot处理跨域的实现方式(附Demo)

《Springboot处理跨域的实现方式(附Demo)》：本文主要介绍Springboot处理跨域的实现方式(附Demo),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录Springboot处理跨域的方式1. 基本知识2. @CrossOrigin3. 全局跨域设置4.
阅读更多...
Spring Boot 3.4.3 基于 Spring WebFlux 实现 SSE 功能(代码示例)

Spring Boot 3.4.3 基于 Spring WebFlux 实现 SSE 功能(代码示例)

《SpringBoot3.4.3基于SpringWebFlux实现SSE功能(代码示例)》SpringBoot3.4.3结合SpringWebFlux实现SSE功能,为实时数据推送提供... 目录1. SSE 简介1.1 什么是 SSE？1.2 SSE 的优点1.3 适用场景2. Spring WebFlu
阅读更多...
基于SpringBoot实现文件秒传功能

基于SpringBoot实现文件秒传功能

《基于SpringBoot实现文件秒传功能》在开发Web应用时,文件上传是一个常见需求,然而,当用户需要上传大文件或相同文件多次时,会造成带宽浪费和服务器存储冗余,此时可以使用文件秒传技术通过识别重复... 目录前言文件秒传原理代码实现1. 创建项目基础结构2. 创建上传存储代码3. 创建Result类4.
阅读更多...
SpringBoot日志配置SLF4J和Logback的方法实现

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一：初识日志三、案例二：使用Lombok输出日志四、案例三：配置Logback一
阅读更多...
Python如何使用__slots__实现节省内存和性能优化

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景：内存吃得满满的类__slots__：你的内存管理小助手举个大概的例子：看看效果如何？1.
阅读更多...
Python+PyQt5实现多屏幕协同播放功能

Python+PyQt5实现多屏幕协同播放功能

《Python+PyQt5实现多屏幕协同播放功能》在现代会议展示、数字广告、展览展示等场景中,多屏幕协同播放已成为刚需,下面我们就来看看如何利用Python和PyQt5开发一套功能强大的跨屏播控系统吧... 目录一、项目概述：突破传统播放限制二、核心技术解析2.1 多屏管理机制2.2 播放引擎设计2.3 专
阅读更多...
Python实现无痛修改第三方库源码的方法详解

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很
阅读更多...
idea中创建新类时自动添加注释的实现

idea中创建新类时自动添加注释的实现

《idea中创建新类时自动添加注释的实现》在每次使用idea创建一个新类时,过了一段时间发现看不懂这个类是用来干嘛的,为了解决这个问题,我们可以设置在创建一个新类时自动添加注释,帮助我们理解这个类的用... 目录前言：详细操作：步骤一：点击上方的 文件（File），点击&nbmyHIgsp;设置（Setti
阅读更多...
SpringBoot实现MD5加盐算法的示例代码

SpringBoot实现MD5加盐算法的示例代码

《SpringBoot实现MD5加盐算法的示例代码》加盐算法是一种用于增强密码安全性的技术,本文主要介绍了SpringBoot实现MD5加盐算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习... 目录一、什么是加盐算法二、如何实现加盐算法2.1 加盐算法代码实现2.2 注册页面中进行密码加盐2.
阅读更多...
MySQL大表数据的分区与分库分表的实现

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区？1.2 分区的类型1.3 分区的优点1.4 分
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2