PyTorch训练LSTM时loss.backward()报错的解决方案
作者:Ricky_Yan 发布时间:2022-01-10 00:04:09
训练用PyTorch编写的LSTM或RNN时,在loss.backward()上报错:
RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time.
千万别改成loss.backward(retain_graph=True),会导致显卡内存随着训练一直增加直到OOM:
RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 10.73 GiB total capacity; 9.79 GiB already allocated; 13.62 MiB free; 162.76 MiB cached)
正确做法:
LSRM / RNN模块初始化时定义好hidden,每次forward都要加上self.hidden = self.init_hidden():
Class LSTMClassifier(nn.Module):
def __init__(self, embedding_dim, hidden_dim):
# 此次省略其它代码
self.rnn_cell = nn.LSTM(embedding_dim, hidden_dim)
self.hidden = self.init_hidden()
# 此次省略其它代码
def init_hidden(self):
# 开始时刻, 没有隐状态
# 关于维度设置的详情,请参考 Pytorch 文档
# 各个维度的含义是 (Seguence, minibatch_size, hidden_dim)
return (torch.zeros(1, 1, self.hidden_dim),
torch.zeros(1, 1, self.hidden_dim))
def forward(self, x):
# 此次省略其它代码
self.hidden = self.init_hidden() # 就是加上这句!!!!
out, self.hidden = self.rnn_cell(x, self.hidden)
# 此次省略其它代码
return out
或者其它模块每次调用这个模块时,其它模块的forward()都对这个LSTM模块init_hidden()一下。
如定义一个模型LSTM_Model():
Class LSTM_Model(nn.Module):
def __init__(self, embedding_dim, hidden_dim):
# 此次省略其它代码
self.rnn = LSTMClassifier(embedding_dim, hidden_dim)
# 此次省略其它代码
def forward(self, x):
# 此次省略其它代码
self.rnn.hidden = self.rnn.init_hidden() # 就是加上这句!!!!
out = self.rnn(x)
# 此次省略其它代码
return out
这是因为:
根据 官方tutorial,在 loss 反向传播的时候,pytorch 试图把 hidden state 也反向传播,但是在新的一轮 batch 的时候 hidden state 已经被内存释放了,所以需要每个 batch 重新 init (clean out hidden state), 或者 detach,从而切断反向传播。
补充:pytorch:在执行loss.backward()时out of memory报错
在自己编写SurfNet网络的过程中,出现了这个问题,查阅资料后,将得到的解决方法汇总如下
可试用的方法:
1、reduce batch size, all the way down to 1
2、remove everything to CPU leaving only the network on the GPU
3、remove validation code, and only executing the training code
4、reduce the size of the network (I reduced it significantly: details below)
5、I tried scaling the magnitude of the loss that is backpropagating as well to a much smaller value
在训练时,在每一个step后面加上:
torch.cuda.empty_cache()
在每一个验证时的step之后加上代码:
with torch.no_grad()
不要在循环训练中累积历史记录
total_loss = 0
for i in range(10000):
optimizer.zero_grad()
output = model(input)
loss = criterion(output)
loss.backward()
optimizer.step()
total_loss += loss
total_loss在循环中进行了累计,因为loss是一个具有autograd历史的可微变量。你可以通过编写total_loss += float(loss)来解决这个问题。
本人遇到这个问题的原因是,自己构建的模型输入到全连接层中的特征图拉伸为1维向量时太大导致的,加入pool层或者其他方法将最后的卷积层输出的特征图尺寸减小即可。
来源:https://blog.csdn.net/qq_31375855/article/details/107568057
猜你喜欢
- 本文实例讲述了Python实现批量转换文件编码的方法。分享给大家供大家参考。具体如下:这里将某个目录下的所有文件从一种编码转换为另一种编码,
- 基本函数如下:/// <summary> /// 需要分页时使用,根据参数和ConditionExpress获取DataTabl
- 本文实例讲述了JavaScript+canvas实现七色板效果。分享给大家供大家参考,具体如下:效果图如下:html:<canvas
- Flask Script扩展提供向Flask插入外部脚本的功能,包括运行一个开发用的服务器,一个定制的Python shell,设置数据库的
- 本文实例为大家分享了Python实现图片格式转换的具体代码,供大家参考,具体内容如下碰上这样一个情景:我从网络上下载了一张表情包图片,存放在
- 我就废话不多说了,还是直接看代码吧def c(a,b): c=a**2+b**2 return ("the right trian
- 使用Windows的wmic命令,获取可执行文件的运行状况、文件路径、PID,如果可执行文件挂掉,就重启并邮件告警
- 在本章中,我们将重点介绍RSA密码加密的不同实现及其所涉及的功能.您可以引用或包含此python文件以实现RSA密码算法实现.加密算法模块&
- 内容摘要:在像网站首页这样的资源比较集中的页面中,那些栏目最经常被用户点击?居左居右对广告的点击率的影响是什么?“一切用数字说话”:以上问题
- isnull()Null 值指出变量不包含有效数据。Null 与 Empty 不同,后者指出变量未经初始化。Null 与零长度字符串 (&q
- 本文实例讲述了PHP中substr_count()函数获取子字符串出现次数的方法。分享给大家供大家参考,具体如下:PHP中的substr_c
- 1. python-firepython-fire 是一个三方库,可以将任何 Python 对象变成一个命令行接口。使用前先 pip ins
- 这个分页使用的是0游标,也就是Rs.Open Sql,Conn,0,1。但是感觉也快不了多少,10万条数据的分页时间300多豪秒之间。代码如
- 关于python读取xml文章很多,但大多文章都是贴一个xml文件,然后再贴个处理文件的代码。这样并不利于初学者的学习,希望这篇文章可以更通
- F查询在上面所有的例子中,我们构造的过滤器都只是将字段值与某个我们自己设定的常量做比较。如果我们要对两个字段的值做比较,那该怎么做呢?Dja
- 摘要With the continuous development of time series prediction, Transform
- 1、目标场景用过Mac OS的朋友应该都遇到过,日常的文件操作会在同级目录下产生一些特定的临时文件。平常将文件夹打包成压缩包或拷贝文件夹到移
- 分析我们将添加、插入、删除定义为:添加 : 在字符串的后面或者前面添加字符或者字符串插入 : 在字符串之间插入特定字符在Python中,字符
- 开发环境:win10-64 python2.7.16 chrome77from selenium import we
- 目录寻找 url下载视频执行代码下载:最后的话回答来源微信 8.0 版本更新后,可以设置个人状态,状态里面可以添加火录制视频,很快状态视频就