pytorch 如何使用float64训练
作者：gltangwq 发布时间：2023-08-12 00:19:45
标签：pytorch,float64,训练
pytorch默认使用单精度float32训练模型，
原因在于：
使用float16训练模型，模型效果会有损失，而使用double(float64)会有2倍的内存压力，且不会带来太多的精度提升。
本人，最近遇到需要使用double数据类型训练模型的情况，具体实现需要把模型的权重参数数据类型和输入数据类型全部设置为torch.float64即可。
可使用torch的一个函数，轻松地把模型参数转化为float64
torch.set_default_dtype(torch.float64)
输入类型可使用
tensor.type(torch.float64)
补充：float32和float64的本质区别
首先我们需要知道何为bits和bytes?
bits:名为位数bytes:为字节简单的数就是MB和G的关系！
那么8bits=1bytes，下面是各个单位的相互转化！
那么float32和float64有什么区别呢?
数位的区别一个在内存中占分别32和64个bits，也就是4bytes或8bytes数位越高浮点数的精度越高它会影响深度学习计算效率?
float64占用的内存是float32的两倍，是float16的4倍；
比如对于CIFAR10数据集，如果采用float64来表示，需要60000*32*32*3*8/1024**3=1.4G，光把数据集调入内存就需要1.4G；
如果采用float32，只需要0.7G，如果采用float16，只需要0.35G左右；
占用内存的多少，会对系统运行效率有严重影响；（因此数据集文件都是采用uint8来存在数据，保持文件最小）
来源：https://blog.csdn.net/gltangwq/article/details/106519174
0
投稿猜你喜欢
- 实例引入我们知道 Python 是一种动态语言，在声明一个变量时我们不需要显式地声明它的类型，例如下面的例子：a = 2print('
本文实例讲述了Python数学形态学。分享给大家供大家参考，具体如下：一 原始随机图像1、代码import numpy as npimpor- 写出能用的代码很简单，写出好用的代码很难。好用的代码，也都会遵循一此原则，这就是设计原则，它们分别是：单一职责原则 (SRP)开闭原则 (O
- 在微信开发中，写过的一个简单的音乐播放组件，记录下。music音乐播放组件。属性属性名类型默认值说明musicString 传入的
- Prometheus 为开发这提供了客户端工具，用于为自己的中间件开发Exporter，对接Prometheus 。目前支持的客户端GoJa
- 前面我们已经介绍了速度动画、透明度动画、多物体运动和任意值变化，并且我们在Javascript动画效果（二）中介绍到我们封装了一个简单的插件
- 人们很容易忽视图像img标签的alt属性。然而，它的重要性也无法体现出来，它是有利于网页的accessibility and&nb
- 在工作中，有时会遇见需要将数字转换为条码的问题，每次都需要打开条码转换的网站，一次次的转换后截图，一两个还行，但是当需要转换的数量较多时，就
- 简介这篇博客涉及的脚本用来将bag文件批量转化为mp4文件dockerfileFROM osrf/ros:kinetic-desktop-f
- 在mysql中timestamp数据类型是一个比较特殊的数据类型，他可以自动在你不使用程序更新情况下只要你更新了记录timestamp会自动
- 下载安装NodeJS后，在自己选择的路径下会有如下的文件：默认情况下NodeJS安装会同时安装npm（模块管理器：用于管理用户require
- 1 前言很多程序都要求用户输入某种信息，程序一般将信息存储在列表和字典等数据结构中。用户关闭程序时，就需要将信息进行保存，一种简单的方式是使
- python数组添加整行或整列代码如下，见注释：import numpy as npm_list=[[1,2,3],[3,4,5]]m_ar
- Access 连接字符串 strConnect = “Provider=Microsoft.Jet.OLEDB.4.0;
- 本文实例讲述了javascript格式化json显示方法。分享给大家供大家参考。具体分析如下：将json对象或者json字符串格式化方便在网
- table.rows集合中是cell对象 cell.innerHTML = "<td>123</td>&q
- 一、条件分支语句：if基本格式：if (<表达式1>){ <语句组1>}else
- 最近稍稍有点空闲时间，于是重新温习了一下之前学习过的python基础。废话不多说，记录一下自己的所得。首先，安装什么的不在本人的温习范围，另
- 通过学习装饰器可以让我们更好更灵活的使用函数，通过学会使用装饰器还可以让我们的代码更加优雅。在我们的实际工作中，很多场景都会用到装饰器，比如
- 前言Java 中最通用的日志模块莫过于 Log4j 了，在 python 中，也自带了 logging 模块，该模块的用法其实和 Log4j
