python torch.utils.data.DataLoader使用方法
作者：今夜无风 发布时间：2023-02-20 16:00:16
标签：torch.utils.data.DataLoader
PyTorch中数据读取的一个重要接口是torch.utils.data.DataLoader，该接口定义在dataloader.py脚本中，只要是用PyTorch来训练模型基本都会用到该接口，该接口主要用来将自定义的数据读取接口的输出或者PyTorch已有的数据读取接口的输入按照batch size封装成Tensor，后续只需要再包装成Variable即可作为模型的输入，因此该接口有点承上启下的作用，比较重要。
数据加载器，结合了数据集和取样器，并且可以提供多个线程处理数据集。
在训练模型时使用到此函数，用来把训练数据分成多个小组，此函数每次抛出一组数据。直至把所有的数据都抛出。就是做一个数据的初始化。
生成迭代数据非常方便，请看如下示例：
"""
批训练，把数据变成一小批一小批数据进行训练。
DataLoader就是用来包装所使用的数据，每次抛出一批数据
"""
import torch
import torch.utils.data as Data
BATCH_SIZE = 5
x = torch.linspace(1, 10, 10)
y = torch.linspace(10, 1, 10)
# 把数据放在数据库中
torch_dataset = Data.TensorDataset(x, y)
loader = Data.DataLoader(
# 从数据库中每次抽出batch size个样本
dataset=torch_dataset,
batch_size=BATCH_SIZE,
shuffle=True,
num_workers=2,
)
def show_batch():
for epoch in range(3):
for step, (batch_x, batch_y) in enumerate(loader):
# training
print("steop:{}, batch_x:{}, batch_y:{}".format(step, batch_x, batch_y))
if __name__ == '__main__':
show_batch()
结果：
我们来看一下变量类型：
来源：https://www.cnblogs.com/demo-deng/p/10623334.html
0
投稿猜你喜欢
sys模块在使用python开发脚本的时候，作为一个运维工具，或者是其他工具需要在接受用户参数运行时，这里就可以用到命令行传参的方式，可以给- 可以的，看看下面的代码和说明：<％sessionID = session.SessionIDtimeout&nbs
- meta是用来在HTML文档中模拟HTTP协议的响应头报文。meta 标签用于网页的<head>与</head&
- 如下所示：import numpy as np a=np.random.randint(0,10,size=[3,3,3])print(a)
- 背景形态学处理方法是基于对二进制图像进行处理的，卷积核决定图像处理后的效果；形态学的处理哦本质上相当于对图像做前处理，提取出有用的特征，以便
- eval(String) 函数可计算某个字符串，并执行其中的的 JavaScript 代码。返回值通过计算 string 得到的值（如果有的
- 一、数据预处理实验数据来自genki4k提取含有完整人脸的图片def init_file(): num = 0&n
- 一、数据库的备份1、选择要备份的数据库“accountInfo”，点击鼠标右键 → 任务 → 备份2、在打开的“备份数据库 —account
- 本文实例讲述了PHP判断密码强度的方法。分享给大家供大家参考，具体如下：一、php页面$score = 0;if(!empty($_GET[
- 介绍本文将介绍基于OpenCV实现视频的循环播放。有以下三个步骤：首先设置一个frame的设置参数frame_counter，值为0在读帧时
- set global log_bin_trust_function_creators = 1; DROP FUNCTION IF EXIST
- 注：本文只讨论技术不涉及商业，如有侵权请告知，未经本人同意转载后果自负！本文是通过浏览器端ajax，node端request-json进行爬
- 上一篇内容，已经学会了使用简单的语句对网页进行抓取。接下来，详细看下urlopen的两个重要参数url和data，学习如何发送数据data一
- JSON是一种轻量级的数据交换格式，各种语言都有良好的支持。字典是Python的一种数据结构。可以看成关联数组。有些时候我们需要设计到字典转
- 新闻系统，相册系统可以用用哦，简单实用，有兴趣的可以自己扩充！^_^相册截图：<?xml version="1.0"
- 一、查看event是否开启show variables like '％sche％'; set global ev
- 事务处理在各种管理系统中都有着广泛的应用，比如人员管理系统，很多同步数据库操作大都需要用到事务处理。比如说，在人员管理系统中，你删除一个人员
- 介绍舍友从网上下载的word题库文档很乱，手动改了大半天才改了一点，想起python是大名鼎鼎的自动化脚本，于是乎开始了python对wor
- for循环是一个循环控制结构，可以有效地编写需要执行的特定次数的循环。语法for循环在Go编程语言中的语法是：for [condition
- 最近一段时间一直比较忙，已经有好几个月没有打理博客了。现将一个最近在项目中制作的一个菜单实例整理出来，共享一下。在后台或OA系统中最常用到的
