Pytorch训练过程出现nan的解决方式
作者：咆哮的阿杰 发布时间：2021-04-21 08:12:08
标签：Pytorch,训练,nan
今天使用shuffleNetV2+，使用自己的数据集，遇到了loss是nan的情况，而且top1精确率出现断崖式上升，这显示是不正常的。
在网上查了下解决方案。我的问题是出在学习率上了。
我自己做的样本数据集比较小，就三类，每类大概三百多张，初始学习率是0.5。后来设置为0.1就解决了。
按照解决方案上写的。出现nan的情况还有以下几种：
学习率太大，但是样本数据集又很小。（我的情况）
自定义的loss除以了一个很小的数字，小到接近0。
数据不干净，数据本身就有nan，可以用numpy.isnan检查。
target，即label是大于等于0的。从1到类别数目-1变化。
来源：https://blog.csdn.net/qq_34914551/article/details/99992341
0
投稿猜你喜欢
- ORCLE数据库备份策略 1.通过使用exp和imp命令实现数据库导出和导入。 有三种模式： a. 用户模式： 导出(导入)用户所有对象以及
- 如IP为192.168.1.111现要截取第二个.之前的值，得到结果192.168，很多网站都只显示前面2个值 &nb
- 1. 目的每天上班，工作需要，电脑上需要每天开机启动一些软件，下班时候，需要关掉一些软件。一个一个打开和关闭貌似是很繁琐的，于是乎，这个脚本
PyQt5 事件处理机制PyQt为事件处理提供了两种机制：高级的信号与槽机制，以及低级的事件处理机制。信号与槽可以说是对事件处理机制的高级封- 维护是什么，维护就是修改，不断的修改，但是要保证你的html和css有清晰的版本界定，有扩展性，不要因为做的太死而重新去做这个页面。一个赚钱
- 本文实例讲述了jsp中select的onchange事件用法。分享给大家供大家参考，具体如下：<script language = &
- 交互设计是近几年流行的一个词语。现在市场上有许多资料来介绍什么是交互设计，如何做交互设计等。从场景，任务，用户，操作等分析。但由于受实际情况
- 前言之前在进行深度学习训练的时候，偶然发现使用PIL读取图片训练的效果要比使用python-opencv读取出来训练的效果稍好一些，也就是训
- 本文实例为大家分享了python实现udp传输图片的具体代码，供大家参考，具体内容如下首先要了解UDP的工作模式对于服务器，首先绑定IP和端
- 本文实例讲述了JS 事件机制。分享给大家供大家参考，具体如下：<html> <head>
- requests的SSL证书验证1、对于HTTPS默认情况下，启用SSL验证，如果无法验证SSL证书会导致：requests.excepti
- 1、其中再语义分割比较常用的上采样：其实现方法为：def upconv2x2(in_channels, out_channels, mode
- 前言微服务中的日志采集方案ELK(EFK)已经是基本事实标准了，但是单体服务中却没有像ELK这样的成熟采集方案，这与单体性质有关，单体毕竟涉
- 有时候在使用 Python 的时候，想要对一个数字或者字符串进行补零操作，即把「1」变为一个八位数的「00000001」，这个时候可以使用一
- 1，IE使用attachEvent/detachEvent方法来添加和删除事件 * ；w3c使用addEventListener/remov
- Gradio 是做什么的？先决条件：Gradio 需要 Python 3.7 或更高版本，仅此而已！gradio.app/quickstar
- Go语言里的集合一般会用map[T]bool这种形式来表示，T代表元素类型。集合用map类型来表示虽然非常灵活，但我们可以以一种更好的形式来
- Explain工具介绍使用Explain关键字可以模拟优化器执行SQL语句，分析你的查询语句或是结构的性能瓶颈。在select语句之前增加e
- 对于个人用户来说，除了病毒和木马，网页中的隐形代码也开始严重地威胁着我们的安全，但大多数人却缺乏自我保护意识，对隐形代码的危害认识不够，甚至
- Hadoop 命令行最常用指令篇：1.ls (list directory)Usage:hadoop fs -ls [R]Option: -
