Pytorch训练过程出现nan的解决方式
作者：咆哮的阿杰 发布时间：2021-04-21 08:12:08
标签：Pytorch,训练,nan
今天使用shuffleNetV2+，使用自己的数据集，遇到了loss是nan的情况，而且top1精确率出现断崖式上升，这显示是不正常的。
在网上查了下解决方案。我的问题是出在学习率上了。
我自己做的样本数据集比较小，就三类，每类大概三百多张，初始学习率是0.5。后来设置为0.1就解决了。
按照解决方案上写的。出现nan的情况还有以下几种：
学习率太大，但是样本数据集又很小。（我的情况）
自定义的loss除以了一个很小的数字，小到接近0。
数据不干净，数据本身就有nan，可以用numpy.isnan检查。
target，即label是大于等于0的。从1到类别数目-1变化。
来源：https://blog.csdn.net/qq_34914551/article/details/99992341
0
投稿猜你喜欢
今天学习php，当然是要先安装好运行环境了，phpstyudy是一个运行php的集成环境， 一键安装对新手很友好，与时作为一个新手，便跟着教- 数据可视化的时候，常常需要将多个子图放在同一个画板上进行比较，python 的matplotlib包下的subplot可以帮助完成子功能。p
- BrowserPlus 到底是什么，又能做什么？BrowserPlus 是 Yahoo! 最近刚发布一个 Web 扩展的平台：终端用户需安装
- 此文刊登在《程序员》2009年5月期：SQL全名是结构化查询语言（Structured Query Language）,一直是后台开发者用来
- 为了显示一个渐变而专门制作一个图片的做法是不灵活的，而且很快会成为一种不好的做法。但是遗憾的是，截至写这篇文章，可能还必须这样做，但是希望不
- Oracle的分析函数功能非常强大，工作这些年来经常用到。这次将平时经常使用到的分析函数整理出来，以备日后查看。我们拿案例来学习，这样理解起
- 本文实例讲述了php生成curl命令行的方法。分享给大家供大家参考，具体如下：示例：curl "http://localhost/
- vbscript脚本中，fso对象CreateTextFile方法调用时可能会报“无效的过程调用或参数”错误，在使用ASP生成静态页面时，如
- 1．漏洞介绍在XHTML 1.0标准下，使用特殊构造的CSS样式，在Internet Explorer 7.0
- 如果你的PHP网站换了空间，必定要对Mysql数据库进行转移，一般的转移的方法，是备份再还原，有点繁琐，而且由于数据库版本的不一样会导致数据
- 最近发现一个叫 Bootstrap 的好东西，Bootstrap 是现在最流行的响应式 CSS 框架，它以移动设备优先，能够快速适应不同设备
- （1）OracleServiceSID 数据库服务，这个服务会自动地启动和停止数据库。如果安装了一个数据库，它的缺省启动类型为自动。服务进程
- 首先要说的是python中的除法运算，在python 2.5版本中存在两种除法运算，即所谓的true除法和floor除法。当使用x/y形式进
- 在JAVASCRIPT中LEFT函数的等价函数：function left(mainStr,lngLen) {if&nb
- 当我们使用传统的 mysql_connect 、mysql_query方法来连接查询数据库时，如果过滤不严，就有SQL注入风险，导致网站被攻
- 在python中有很多字符串连接方式，今天就在这里具体总结一下：①.最原始的字符串连接方式：str1 + str2②.python 新字符串
- 目录利用python反转图片/视频安装库反转效果实现代码项目地址利用python反转图片/视频准备：一张图片/一段视频python库：Pil
- 2003年以来，网页的平均尺寸已经增长3倍。从2003到2008，网页的平均尺寸从93.7K增至312K，增幅233％。同时，在这5年之内，
- requests是常用的请求库，不管是写爬虫脚本，还是测试接口返回数据等。都是很简单常用的工具。这里就记录一下如何用requests发送js
- 1、注册时验证数据库用户名是否存在。 2、输入密码时提示密码强度和验证2次密码输入是否一样。 3、注册时验证数据库联系邮箱是否存在。 4、注
