pytorch通过训练结果的复现设置随机种子
作者：tianren9 发布时间：2021-04-19 07:58:53
标签：pytorch,结果,复现,随机种子
通过设置全局随机种子使得每次的训练结果相同可以复现
def seed_torch(seed=2018):
random.seed(seed)
os.environ['PYTHONHASHSEED'] = str(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.backends.cudnn.deterministic = True
这里我主要讲一下模型在复现结果遇到的一些问题。
首先在固定随机种子之后，每次模型训练出来的结果一定是一样的，如果不相同，那么说明训练过程中一定还有一部分随机性操作没有被固定。
将模型参数保存下来，然后加载模型参数进行测试，如果发现结果和训练过程中得到的结果有差异。
这个时候就需要按照以下步骤进行分析：
1、先改变batchsize，看看实验复现的结果是否会发生变化。如果发生变化就说明batchsize会影响模型推理过程中的参数。
2、检查一下forward中有哪些参数跟batchsize有关，或者是不是代码写错了。比如batchsize就会影响LSTM的模型参数的初始化。
3、最后检查测试集划分batch的时候是否都一样。
test_loader = DataLoader(test_dataset, batch_size=batchsize, shuffle=True, num_workers=4, pin_memory=True)
比如这样一行代码，测试集每次都被打乱了，虽然固定了随机种子，但是这样只能保证第k轮的随机种子是一样的，而第1轮和第10轮的随机种子是不一样的。
这样的话，比如模型在第13个epoch收敛，得到的结果在是第13轮的测试集进行测试的，而模型在加载的时候是在第一轮的测试进行测试的，结果自然有差异。
来源：https://blog.csdn.net/u010589524/article/details/89371919
0
投稿猜你喜欢
- 看代码，再做解释<?php $array=array('a','b','c','
- 说下防止PHPDDOS发包的方法 if (eregi("ddos-udp",$read)) { fputs($verbi
可以使用以下3种方法创建数据库。一.使用SQL Server Management Studio创建数据库二..使用CREATE DATAB- 使用背景逛社区发现许多人在解决删除文件夹中非图片文件，删除文件夹中图片等问题的时候，都写了很多代码取实现这一功能，我当时就纳闷了，能几行代码
- 引言本篇文章译自英文文档 Introduction to TOPI。作者是 Ehsan M. Kermani。更多 TVM 中文文档可访问
- 工作中每天需要收集部门内的FR文件，发送给外部部门的同事帮忙上传，这么发了有大半年，昨天亮光一闪，为什么不做成自动化呢，于是用python实
- layer弹出窗口在弹出时指定了area，弹出后，如果当前页面（iframe）大小比弹出的窗口小，那么就会出现无法操作弹出窗口的尴尬情况。如
- 关于distributedsampler函数的使用1.如何使用这个分布式采样器在使用distributedsampler函数时，观察loss
- 井字棋简介井字棋又称三子棋，英文名为Tic Tac Toe。具体玩法为在一个3x3的棋盘上，一个玩家用X做棋子，另一个玩家用O做棋子，谁先在
- Import os; -- Python自带print(os.getcwd()) -- 获得当前工作目录os.chdir('/Use
- 一、简介Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包
- 有了Selenium，还可以轻松操作Cookies，比如获取、添加、删除Cookies。具体代码如下:from selenium impor
- 看例子： 数 据表 collect ( id, title ,info ,vtype) 就这4个字段，其中 title 用定长，info 用
- 发现pyautocad模块：可以用python控制autocad的包。今天把文档中的重点内容摘录出来，以后绘图、计算大工程量、或者识别施工图
- 运算符的优先级和关联性运算符的优先级和关联性： 运算符的优先级和关联性决定了运算符的优先级。运算符优先级这用于具有多个具有不同优先级的运算符
- 效果图：代码如下：<!DOCTYPE html><html lang="en"><head
- 我们先从一个常见的Python编程错误开始说起，我已经见过非常多的程序员犯过这种错误了：def do_not_raise(user_defi
- 面对不断成长的用户，跟随用户的脚步齐步向前，做引起共鸣的改变，去除低龄化的设计，用成熟稳重的心态面对用户。QQBanner自2006 年推出
- 事情的起因是，一个应用升级后，某一个操作导致一个表的几个列全部被更新为同一值（忍不住又要唠叨测试的重要性）。这样的错误居然出现在应用代码中，
- 读《论语》，子张十九，子夏曰：博学而笃志，切问而近思，仁在其中矣。 博学：架构需要广度，要尽量多学习各方面的知识。笃志：除了广度，架构师还需
