解决Pytorch训练过程中loss不下降的问题
作者：猫猬兽 发布时间：2023-03-01 09:30:22
标签：Pytorch,loss,不下降
在使用Pytorch进行神经网络训练时，有时会遇到训练学习率不下降的问题。出现这种问题的可能原因有很多，包括学习率过小，数据没有进行Normalization等。不过除了这些常规的原因，还有一种难以发现的原因：在计算loss时数据维数不匹配。
下面是我的代码：
loss_function = torch.nn.MSE_loss()
optimizer.zero_grad()
output = model(x_train)
loss = loss_function(output, y_train)
loss.backward()
optimizer.step()
要特别注意计算loss时网络输出值output和真实值y_train的维数必须完全匹配，否则训练误差不下降，无法训练。这种错误在训练一维数据时很容易忽略，要十分注意。
来源：https://blog.csdn.net/yyb19951015/article/details/88779171
0
投稿猜你喜欢
- user-define-session-inc.php文件代码：<?php function mysession_open($save
- 这篇文章主要介绍了微信小程序 云开发模糊查询实现详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友
- 最近对H1的讨论很多（在文章内容页中），大致有以下两种情况：H1应该用于文章的标题上H1应该用于站点的标题上相信大多数人都偏向第一种方式：用
- 概 述 现在有不少介绍利用ASP实现动态分页的文章，方法大同小异，就是每次利用ADO返回原始数据满足条件记录集中的指定
本文实例讲述了Python wxPython库消息对话框MessageDialog用法。分享给大家供大家参考，具体如下：消息对话框即我们平时- list1 和list2 两个list ， 想要得到list1是不是包含 list2 （是不是其子集 )a = [1,2] b = [1,2
- 该 GIF 图来自于官网，文末有给出链接。描述依托于百度网盘巨大的的云存储空间，绝大数人会习惯性的将一些资料什么的存储到上面，但是有的私密链
- 首先我们载入一张灰度图片，一般灰度图片像素为0-255.可以发现该图片的最大像素为254，最小像素为2。一般处理图片时会转化为double类
- 目录1、连接MongoDB2、指定（切换）数据库3、指定（切换）集合4、插入数据5、查询数据6、统计查询7、结果排序8、偏移9、更新数据10
- 以Python 3.x版本为主一、缩进式编码解释型：没有编译环节，直接运行执行代码显示效果缩进式编码风格：代码块不使用大括号{}包含类、函数
- 注释用于说明代码实现的功能、采用的算法、代码的编写者以及创建和修改的时间等信息。注释是代码的一部分，注释起到了对代码补充说明的作用。Pyth
- 概述在python中，以单下划线开头的（_a）的代表不能直接访问的类属性，需通过类提供的接口进行访问，不能用“from
- ASP+Access数据库的18条安全法则：1.首先，我们需要过滤所有客户端提交的内容,其中包括?id=N一类,另外还有提交的html代码中
- 我就废话不多说了，直接上代码吧！import torchimport timex = torch.Tensor([[1, 2, 3], [5
- 随着当今世界的发展，计算机视觉技术的应用越来越广泛。伴随着硬件设备的不断升级，构造复杂的计算机视觉应用变得越来越容易了。OpenCV像是一个
- 函数的默认参数请勿定义可变类型经常会看到这样一句代码警告：Default argument value is mutable意思是告诉我们函
- 本文主要介绍了python opencv通过4坐标剪裁图片，分享给大家，具体如下：效果展示, 裁剪出的单词图像(如下)这里程序我是用在pad
- 前言：散点图，又称散点分布图，是使用多个坐标点的分布反映数据点分布规律、数据关联关系的图表，Matplotlib 中可以通过以下方式绘制散点
- 1.将 JSON 转换为 CSVimport jsonif __name__ == '__main__': &
- 显示有限的接口到外部当发布python第三方package时，并不希望代码中所有的函数或者class可以被外部import，在__init_
