pytorch collate_fn的基础与应用教程
作者:音程 发布时间:2021-06-03 02:55:57
作用
collate_fn:即用于collate的function,用于整理数据的函数。
说到整理数据,你当然要会用数据,即会用数据制作工具torch.utils.data.Dataset
,虽然我们今天谈的是torch.utils.data.DataLoader
,但是,其实:
这两个你如何定义;
从装载器dataloader中取数据后做什么处理;
模型的forward()中如何处理。
这三部分都是有机统一而不可分割的,一个地方改了,其他地方就要改。
emmm…,小小总结,collate_fn笼统的说就是用于整理数据,通常我们不需要使用,其应用的情形是:各个数据长度不一样的情况,比如第一张图片大小是28*28,第二张是50*50,这样的话就如果不自己写collate_fn,而使用默认的,就会报错。
原则
其实说起来,我们也没有什么原则,但是如今大多数做深度学习都是使用GPU,所以这个时候我们需要记住一个总则:只有tensor数据类型才能运行在GPU上,list和numpy都不可以。
从而,我们什么时候将我们的数据转化为tensor是一个问题,我的答案是前一节中的三个部分都可以来转化,只是我们大多数的人都习惯在部分一转化。
基础
dataset
我们必须先看看torch.utils.data.Dataset如何使用,以一个例子为例:
import torch.utils.data as Data
class mydataset(Data.Dataset):
def __init__(self,train_inputs,train_targets):#必须有
super(mydataset,self).__init__()
self.inputs=train_inputs
self.targets=train_targets
def __getitem__(self, index):#必须重写
return self.inputs[index],self.targets[index]
def __len__(self):#必须重写
return len(self.targets)
#构造训练数据
datax=torch.randn(4,3)#构造4个输入
datay=torch.empty(4).random_(2)#构造4个标签
#制作dataset
dataset=mydataset(datax,datay)
下面,可以对dataset进行一系列操作,这些操作返回的结果和你之前那个class的三个函数定义都息息相关。我想说,那三个函数非常自由,你想怎么定义就怎么定义,上述只是一种常见的而已,你可以定制一个特色的。
len(dataset)#调用了你上面定义的def __len__()那个函数
#4
dataset[0]#调用了你上面定义的def __getitem__()那个函数
#(tensor([-1.1426, -1.3239, 1.8372]), tensor(0.))
所以我再三强调的是上面的输出结果和你的定义有关,比如你完全可以把def __getitem__()改成:
def __getitem__(self, index):
return self.inputs[index]#不输出标签
那么,
dataset[0]#此时当然变化。
#tensor([-1.1426, -1.3239, 1.8372])
可以看到,是非常随便的,你随便定制就好。
dataloader
torch.utils.data.DataLoader
dataloader=Data.DataLoader(dataset,batch_size=2)
4个数据,batch_size=2,所以一共有2个batch。
collate_fn如果你不指定,会调用pytorch内部的,也就是说这个函数是一定会调用的,而且调用这个函数时pytorch会往这个函数里面传入一个参数batch。
def my_collate(batch):
return xxx
这个batch是什么?这个东西和你定义的dataset, batch_size息息相关。batch是一个列表[x,...,xx],长度就是batch_size,里面每一个元素是dataset的某一个元素,即dataset[i](我在上一节展示过dataset[0])。
在我们的例子中,由于我们没有对dataloader设置需要打乱数据,即shuffle=True,那么第1个batch就是前两个数据,如下:
print(datax)
print(datay)
batch=[dataset[0],dataset[1]]#所以才说和你dataset中get_item的定义有关。
print(batch)
对,你没有看错,上述代码展示的batch就会传入到pytorch默认的collate_fn中,然后经过默认的处理,输出如下:
it=iter(dataloader)
nex=next(it)#我们展示第一个batch经过collate_fn之后的输出结果
print(nex)
其实,上面就是我们常用的,经典的输出结果,即输入和标签是分开的,第一项是输入tensor,第二项是标签tensor,输入的维度变成了(batch_size,input_size)。
但是我们乍一看,将第一个batch变成上述输出结果很容易呀,我们也会!我们下面就来自己写一个collate_fn实现这个功能。
# a simple custom collate function, just to show the idea
# `batch` is a list of tuple where first element is input tensor and the second element is corresponding label
def my_collate(batch):
inputs=[data[0].tolist() for data in batch]
target = torch.tensor([data[1] for data in batch])
return [data, target]
dataloader=Data.DataLoader(dataset,batch_size=2,collate_fn=my_collate)
print(datax)
print(datay)
it=iter(dataloader)
nex=next(it)
print(nex)
这不就和默认的collate_fn的输出结果一样了嘛!无非就是默认的还把输入变成了tensor,标签变成了tensor,我上面是列表,我改就是了嘛!如下:
def my_collate(batch):
inputs=[data[0].tolist() for data in batch]
inputs=torch.tensor(inputs)
target =[data[1].tolist() for data in batch]
target=torch.tensor(target)
return [inputs, target]
dataloader=Data.DataLoader(dataset,batch_size=2,collate_fn=my_collate)
it=iter(dataloader)
nex=next(it)
print(nex)
这下好了吧!
对了,作为彩蛋,告诉大家一个秘密:默认的collate_fn函数中有一些语句是转tensor以及tensor合并的操作,所以你的dataset如果没有设计成经典模式的话,使用默认的就容易报错,而我们自己会写collate_fn,当然就不存在这个问题啦。同时,给大家的一个经验就是,一般dataset是不会报错的,而是根据dataset制作dataloader的时候容易报错,因为默认collate_fn把dataset的类型限制得比较死。
应用情形
假设我们还是4个输入,但是维度不固定的。
a=[[1,2],[3,4,5],[1],[3,4,9]]
b=[1,0,0,1]
dataset=mydataset(a,b)
dataloader=Data.DataLoader(dataset,batch_size=2)
it=iter(dataloader)
nex=next(it)
nex
使用默认的collate_fn,直接报错,要求相同维度。
这个时候,我们可以使用自己的collate_fn,避免报错。
不过话说回来,我个人感受是:
在这里避免报错好像也没有什么用,因为大多数的神经网络都是定长输入的,而且很多的操作也要求相同维度才能相加或相乘,所以:这里不报错,后面还是报错。如果后面解决这个问题的方法是:在不足维度上进行补0操作,那么我们为什么不在建立dataset之前先补好呢?所以,collate_fn这个东西的应用场景还是有限的。
来源:https://blog.csdn.net/qq_43391414/article/details/120462055
猜你喜欢
- 目录1.事件循环2.协程和异步编程2.1 基本使用2.2 await2.3 Task对象1.事件循环可以理解成为一个死循环,去检查任务列表中
- 1、元旦之前受赵晨之邀作为讨论嘉宾参加了ACM组织的“人与信息社会巡讲”。2、去之前赵晨发给了我大致的讨论提纲。咣当了好几下~说实话,我是硬
- 本文实例讲述了python实现可将字符转换成大写的tcp服务器。分享给大家供大家参考。具体分析如下:下面的python代码执行后通过tcp监
- 一、前言恭喜你,学明白类,你已经学会所有基本知识了。这章算是一个娱乐篇,十分简单,了解一下pyautogui模块,这算是比较好学还趣味性十足
- 前言本文主要介绍通过Python提取csv文件中数据,并对数据进行处理。编译器:Anaconda3 语言:Python3一、使用pandas
- 进程和线程是计算机软件领域里很重要的概念,进程和线程有区别,也有着密切的联系,先来辨析一下这两个概念:1.定义进程是具有一定独立功能的程序关
- 方法如下: response.cookies(cookiesname)[(key)|.attribute]=value 解释如下:cooki
- SQL2005的存储过程: set ANSI_NULLS ON set QUOTED_IDENTIFIER ON go ALTER PROC
- 本文实例讲述了python使用socket进行简单网络连接的方法。分享给大家供大家参考。具体如下:import socketprint &q
- 近日,有朋友一直打听flash连结服务器相关的知识,搞得我忧心重重,重点是自己也忘记了,大部分Flash的相关开发都是两年前的事,而且fla
- 在Thread和Process中,应当优选Process,因为Process更稳定,而且,Process可以分布到多台机器上,而Thread
- 代码实现:<!DOCTYPE html><html lang="en"><head>
- 介绍PaddleOCR 是一个基于百度飞桨的OCR工具库,包含总模型仅8.6M的超轻量级中文OCR,单模型支持中英文数字组合识别、
- 之前写过一篇文章《EmEditor代码片段插件介绍》,现在项目越来越多,越来越大,不再用EmEditor,而用IntelliJ IDEA。这
- 用ASP编写网站应用程序时间长了,难免会遇到各式各样的问题,其中关于如何上传文件到服务器恐怕是遇见最多的问题了,尤其是上传图片,比如你想要在
- 大家好,今天分享一个实用的办公脚本:将多个PDF合并为一个PDF,例如我手上现在有如下3个PDF分册,需要整合成一个完整的PDF如果换成你操
- 步骤一:index页面处理<!DOCTYPE html><html lang="en"><
- 目录一、线程基础以及守护进程二、线程锁(互斥锁)三、线程锁(递归锁)四、死锁五、队列六、相关面试题七、判断数据是否安全八、进程池 &
- ISNULL 使用指定的替换值替换 NULL。 &nb
- 一.ajax介绍1、ajax的含义Ajax全称“Async Javascript And XML”即:异步的javascript和XML。它