python使用DataLoader对数据集进行批处理

本文主要是介绍python使用DataLoader对数据集进行批处理，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

使用DataLoader对数据集进行批处理，转自

https://www.cnblogs.com/JeasonIsCoding/p/10168753.html

第一步：创建torch能够识别的数据集类型

首先建立两个向量X和Y，一个作为输入的数据，一个作为正确的结果：

import torch
import torch.utils.data as DataBATCH_SIZE = 3 		# 批训练的数据个数x = torch.linspace(1,9,9)  # x data (torch tensor)
y = torch.linspace(9,1,9)  # y data (torch tensor)

随后把X和Y组成一个完整的数据集，并转化为pytorch能识别的数据集类型：

# 先转换成 torch 能够识别的 Dataset
torch_dataset = Data.TensorDataset( x, y )

现在来看一下这些数据的数据类型：

In [1]:  type(torch_dataset)
out[1]:  torch.utils.data.dataset.TensorDatasetIn [2]:  type(x)
out[2]:  torch.Tensor

可以看出X和Y通过Data.TensorDataset() 这个函数拼装成了一个数据集，数据集的类型是TensorDataset

第二步：把上一步的数据集放入Data.DataLoader中，生成一个迭代器，从而方便进行批处理

# 把 dataset 放入 Dataloader
loader = Data.DataLoader(dataset = torch_dataset,# torch TensorDataset formatbatch_size = BATCH_SIZE,#mini batch sizeshuffle = True, # 是否打乱数据num_workers = 2, # 多线程来读数据
)

DataLoader中也有很多其他参数：

dataset：		Dataset类型，从其中加载数据 
batch_size：	int，可选。每个batch加载多少样本 
shuffle：		bool，可选。为True时表示每个epoch都对数据进行洗牌 
sampler：		Sampler，可选。从数据集中采样样本的方法。 
num_workers：	int，可选。加载数据时使用多少子进程。默认值为0，表示在主进程中加载数据。 
collate_fn：	callable，可选。 
pin_memory：	bool，可选 
drop_last：		bool，可选。True表示如果最后剩下不完全的batch,丢弃。False表示不丢弃。

第三步：用上面定义好的迭代器进行训练

这里利用print来模拟训练过程：

for epoch in range(5): 		# 训练所有数据5次i = 0for batch_x,batch_y in loader:i = i+1print('Epoch:{}|num:{}|batch_x:{}|batch_y:{}'.format(epoch,i,batch_x,batch_y))

为了便于观察分批的结果，这里设置：

shuffle = False, # 是否打乱数据

即：

# 把 dataset 放入 Dataloader
loader = Data.DataLoader(dataset = torch_dataset,# torch TensorDataset formatbatch_size = BATCH_SIZE,#mini batch sizeshuffle = False, # 是否打乱数据num_workers = 2, # 多线程来读数据
)

输出结果是：

Epoch:0|num:1|batch_x:tensor([1., 2., 3.])|batch_y:tensor([9., 8., 7.])
Epoch:0|num:2|batch_x:tensor([4., 5., 6.])|batch_y:tensor([6., 5., 4.])
Epoch:0|num:3|batch_x:tensor([7., 8., 9.])|batch_y:tensor([3., 2., 1.])
Epoch:1|num:1|batch_x:tensor([1., 2., 3.])|batch_y:tensor([9., 8., 7.])
Epoch:1|num:2|batch_x:tensor([4., 5., 6.])|batch_y:tensor([6., 5., 4.])
Epoch:1|num:3|batch_x:tensor([7., 8., 9.])|batch_y:tensor([3., 2., 1.])
Epoch:2|num:1|batch_x:tensor([1., 2., 3.])|batch_y:tensor([9., 8., 7.])
Epoch:2|num:2|batch_x:tensor([4., 5., 6.])|batch_y:tensor([6., 5., 4.])
Epoch:2|num:3|batch_x:tensor([7., 8., 9.])|batch_y:tensor([3., 2., 1.])
Epoch:3|num:1|batch_x:tensor([1., 2., 3.])|batch_y:tensor([9., 8., 7.])
Epoch:3|num:2|batch_x:tensor([4., 5., 6.])|batch_y:tensor([6., 5., 4.])
Epoch:3|num:3|batch_x:tensor([7., 8., 9.])|batch_y:tensor([3., 2., 1.])
Epoch:4|num:1|batch_x:tensor([1., 2., 3.])|batch_y:tensor([9., 8., 7.])
Epoch:4|num:2|batch_x:tensor([4., 5., 6.])|batch_y:tensor([6., 5., 4.])
Epoch:4|num:3|batch_x:tensor([7., 8., 9.])|batch_y:tensor([3., 2., 1.])

可以看到，所有数据一共训练了5次。数据中一共9组，设置的mini-batch是3，即每一次训练网络的时候送入3组数据。

此外，还可以利用python中的enumerate()，是对所有可以迭代的数据类型（含有很多东西的list等等）进行取操作的函数，用法如下：

for epoch in range(5): 		# 训练所有数据5次i = 0for step,(batch_x,batch_y) in enumerate(loader):# 假设这里在进行训练i = i+1# 打印一些数据print('Epoch:{}|num:{}|batch_x:{}|batch_y:{}'.format(epoch,i,batch_x,batch_y))