小白的Pytorch读取Cifar10数据集-------学习笔记

本文主要是介绍小白的Pytorch读取Cifar10数据集-------学习笔记，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

                                  机器学习

• Cifar10数据集
  Cifar10是一个由彩色图像组成的分类的数据集，其中包含了飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车10个类别，如下图所示，且每个类中包含了1000张图片。整个数据集中包含了60 000张32×32的彩色图片。该数据集被分成50 000和10 000两部分
  50 000是training set，用来做训练；
  10 000是test set，用来做验证。
  下面让我们来使用Pytorch来读取Cifar10数据集，代码如下：

import torch
from torch.utils.data import DataLoader
import torchvision.datasets as dsets
import matplotlib.pyplot as plt
batch_size = 100
#Cifar10 dataset                    #选择数据的根目录   #选择训练集    #从网上下载图片
train_dataset = dsets.CIFAR10(root = '/ml/pycifar', train= True, download= True)#选择数据的根目录   #选择训练集    #从网上下载图片
test_dataset = dsets.CIFAR10(root = '/ml/pycifar', train= False, download= True)
#加载数据
#将数据打乱
train_loader = torch.utils.data.DataLoader(dataset = train_dataset,batch_size = batch_size,shuffle= True)
test_loader = torch.utils.data.DataLoader(dataset = test_dataset,batch_size = batch_size,shuffle= True)
classes = ('plane', 'car', 'bird', 'cat','deer', 'dog', 'frog', 'horse', 'ship', 'truck')
digit = train_loader.dataset.data[0]
plt.imshow(digit,cmap=plt.cm.binary)
plt.show()
print(classes[train_loader.dataset.targets[0]])

**小注意：
digit = train_loader.dataset.train_data[0]
print(classes[train_loader.dataset.train_labels[0]])报错
应该是因为torch版本的问题，不同torch对应的后缀不同，将train_data变成data，把train_labels变成targets就可以了

对于代码的理解：

1. from torch.utils.data.DataLoader import DataLoaded
   PyTorch中数据读取的一个重要接口是torch.utils.data.DataLoader，该接口定义在dataloader.py脚本中，只要是用PyTorch来训练模型基本都会用到该接口，该接口主要用来将自定义的数据读取接口的输出或者PyTorch已有的数据读取接口的输入按照batch size封装成Tensor，后续只需要再包装成Variable即可作为模型的输入，因此该接口有点承上启下的作用，比较重要。这篇博客介绍该接口的源码，主要包含DataLoader和DataLoaderIter两个类。
   对上面的全面解释请详见这位博主 https://blog.csdn.net/u014380165/article/details/79058479?ops_request_misc=%25257B%252522request%25255Fid%252522%25253A%252522161123796816780299050394%252522%25252C%252522scm%252522%25253A%25252220140713.130102334.pc%25255Fall.%252522%25257D&request_id=161123796816780299050394&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_v2~hot_rank-1-79058479.first_rank_v2_pc_rank_v29&utm_term=%E8%A7%A3%E8%AF%BBtorch.utils.data.DataLoader

2. batch_size = 100
   batch_size 是批大小， 通常是用在数据库的批量操作里面， 为了提高性能， 比如： batch_size = 1000，就是每次数据库交互， 处理1000条数据。Batch Size的大小影响模型的优化程度和速度。同时其直接影响到GPU内存的使用情况，假如你GPU内存不大，该数值最好设置小一点。
   对上面的全面解释请详见这位博主
   https://blog.csdn.net/qq_42380515/article/details/87885996

                                              参考文献：深度学习与图像识别：原理与实践
   

这篇关于小白的Pytorch读取Cifar10数据集-------学习笔记的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---