pytorch通过训练结果的复现设置随机种子
作者：tianren9 发布时间：2021-04-19 07:58:53
标签：pytorch,结果,复现,随机种子
通过设置全局随机种子使得每次的训练结果相同可以复现
def seed_torch(seed=2018):
random.seed(seed)
os.environ['PYTHONHASHSEED'] = str(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.backends.cudnn.deterministic = True
这里我主要讲一下模型在复现结果遇到的一些问题。
首先在固定随机种子之后，每次模型训练出来的结果一定是一样的，如果不相同，那么说明训练过程中一定还有一部分随机性操作没有被固定。
将模型参数保存下来，然后加载模型参数进行测试，如果发现结果和训练过程中得到的结果有差异。
这个时候就需要按照以下步骤进行分析：
1、先改变batchsize，看看实验复现的结果是否会发生变化。如果发生变化就说明batchsize会影响模型推理过程中的参数。
2、检查一下forward中有哪些参数跟batchsize有关，或者是不是代码写错了。比如batchsize就会影响LSTM的模型参数的初始化。
3、最后检查测试集划分batch的时候是否都一样。
test_loader = DataLoader(test_dataset, batch_size=batchsize, shuffle=True, num_workers=4, pin_memory=True)
比如这样一行代码，测试集每次都被打乱了，虽然固定了随机种子，但是这样只能保证第k轮的随机种子是一样的，而第1轮和第10轮的随机种子是不一样的。
这样的话，比如模型在第13个epoch收敛，得到的结果在是第13轮的测试集进行测试的，而模型在加载的时候是在第一轮的测试进行测试的，结果自然有差异。
来源：https://blog.csdn.net/u010589524/article/details/89371919
0
投稿猜你喜欢
- 一般来说，我们判断 iframe 是否加载完成其实与 判断 JavaScript 文件是否加载完成 采用的方法很类似：var&nb
- 创建用户定义函数，它是返回值的已保存的 Transact-SQL 例程。用户定义函数不能用于执行一组修改全局数据库状态的操作。与系统函数一样
- 本文实例讲述了Python使用迭代器捕获Generator返回值的方法。分享给大家供大家参考，具体如下：用for循环调用generator时
- 如果你在 ForeignKey或 ManyToManyField字段上使用 related_name属性，你必须总是为该字段指定一个唯一的反
- 我们通常所说的DML、DDL、DCL语句都是sql*plus语句，它们执行完后，都可以保存在一个被称为sql buffer的内存区域中，并且
- mysql数据库里，对一个已创建的表进行DDL操作，比如说添加一个字段。在做测试时，发现ddl操作的时间特别的长。
- 本文实例讲述了python实现从字典中删除元素的方法。分享给大家供大家参考。具体分析如下：python的字典可以通过del方法进行元素删除，
- （一）行号显示和排序 1.SQL Server的行号 A.SQL 2000使用identity(int,1,1)和临时表，可以显示行号 SE
- 1 , javascript字符集：javascript采用的是Unicode字符集编码。为什么要采用这个编码呢？原因很简单，16位的Uni
- 在ASP中，你可通过VBScript和其他方式调用自程序。实例：调用使用VBScript的子程序如何从ASP调用以VBScript编写的子程
一、步骤要从 JPEG 图像中获取经纬度信息，可以使用 Python 的 PIL（Python Imaging Library）库。以下是一- 1、灵活运用样式 熟悉网页设计的网友就知道，调用Style的方法很多，我们可以单击鼠标右键选择Custon Style来调用Style标准，
- ISSET();——适合于检测是否存在这个参数。 定义和作用范围：用于测试一个变量是否具有值（包括0，FALSE，或者一个空字串，但不能是N
- 至于对好广告的评判，不同的人有不同的标准，一些人认为那些打动人、有新意、有共鸣的广告是好广告，另一些人的观点则是：观众喜欢与否，不是广告好与
- 简单的Python代码：用户登录注册利用业余时间，写了一个用户进行登录注册的代码，非常简单。主要实现的功能是：1、可以进行用户登录，在用户进
- 今天运行程序时，在Oracle中输入SQL语句：select * from USERS as u ，程序报错输入select * from
- 本文实例讲述了Python实现购物评论文本情感分析操作。分享给大家供大家参考，具体如下：昨晚上发现了snownlp这个库，很开心。先说说我开
- PHP 异常处理异常用于在指定的错误发生时改变脚本的正常流程。异常是什么异常处理用于在指定的错误（异常）情况发生时改变脚本的正常流程。这种情
- 聚合函数 count,max,min,avg,sum... select count (*) from T_Employee select
- numpy 中 的random模块有多个函数用于生成不同类型的随机数，常见的有 uniform、rand、random、randint、ra
