关于pytorch多GPU训练实例与性能对比分析
作者：奏英宇 发布时间：2022-05-23 18:18:12
标签：pytorch,GPU,训练
以下实验是我在百度公司实习的时候做的，记录下来留个小经验。
多GPU训练
cifar10_97.23 使用 run.sh 文件开始训练
cifar10_97.50 使用 run.4GPU.sh 开始训练
在集群中改变GPU调用个数修改 run.sh 文件
nohup srun --job-name=cf23 $pt --gres=gpu:2 -n1 bash cluster_run.sh $cmd 2>&1 1>>log.cf50_2GPU &
修改 –gres=gpu:2 即可
Python 文件代码修改
parser.add_argument('--batch_size', type=int, default=96*2, help='batch size')
修改对应 batch size 大小，保证每块GPU获得等量的训练数据，因为batch_size的改变会影响训练精度
最容易实现的单GPU训练改为多GPU训练代码
单GPU：logits, logits_aux = model(input)
多GPU：
if torch.cuda.device_count()>1:#判断是否能够有大于一的GPU资源可以调用
logits, logits_aux =nn.parallel.data_parallel(model,input)
else:
logits, logits_aux = model(input)
缺点：不是性能最好的实现方式
优点：代码嵌入适应性强，不容易报错
性能分析
该图为1到8GPU训练cifar10——97.23网络的实验对比
可以看到单核训练600轮需要53小时、双核训练600轮需要26小时、四核16、六核14、八核13。
在可运行7小时的GPU上的对比实验：单核跑完83轮、双核跑完163轮、四核跑完266轮
结论：性价比较高的是使用4～6核GPU进行训练，但是多GPU训练对于单GPU训练有所差异，训练的准确率提升会有所波动，目前发现的是负面的影响。
来源：https://blog.csdn.net/u013398034/article/details/83989808
0
投稿猜你喜欢
- Python 风格规范(Google)本项目并非 Google 官方项目, 而是由国内程序员凭热情创建和维护。如果你关注的是 Google
- 可以，具体方法如下：：<％ set fs=createobject("scripting.
以网页表格为例：https://www.kuaidaili.com/free/该网站数据存在table标签，直接用requests，需要结合- 前言：模拟学生成绩信息写入es数据库，包括姓名、性别、科目、成绩。示例代码1：【一次性写入10000*1000条数据】 【本人亲
- Python的创始人为荷兰人吉多·范罗苏姆 （Guido van Rossum）。 * 圣诞节期间，在阿姆斯特丹，Guido为了打发圣诞
- 在机器学习的时候，当开始就遇到问题，pycharm启动jupyter notebook之后，浏览器前两行代码执行的好好的，后面就不执行了，上
- 本文介绍了python 支持向量机非线性回归SVR模型，废话不多说，具体如下：import numpy as npimport matplo
- 1.介绍在 Golang 语言项目开发中，经常会遇到数据排序问题。Golang 语言标准库 sort 包，为我们提供了数据排序的功能，我们可
- 创建一个SpringBoot项目其他不赘叙了，引入MyBaties、MySql依赖创建mysql表CREATE TABLE sp_users
- 本文实例讲述了python 实现的发送邮件模板。分享给大家供大家参考，具体如下：##发送普通txt文件（与发送html邮件不同的是邮件内容设
- 事务概念一个事务可以理解为一组操作，这一组操作要么全部执行，要么全部不执行。特性Read UncommitRead CommitRepeta
- 支付宝支付和微信支付是当今互联网产品常用的功能，我使用Django Rest Framework实现了网页上支付宝支付和微信支付的一个通用服
- $array=explode(separator,$string); $string=implode(glue,$array);使用和理解这
- 1.初始化（使用session前都要使用，一个页面用一个就可以了）session_start();2.保存$_SESSION[$sessio
- 本文实例讲述了PHP实现网页内容html标签补全和过滤的方法。分享给大家供大家参考，具体如下：如果你的网页内容的html标签显示不全,有些表
- 本文实例为大家分享了Python/C++实现字符串逆序的具体代码，供大家参考，具体内容如下题目描述：将字符串逆序输出Python实现一：借助
- 来自某个nb招聘的题目：请给Array本地对象增加一个原型方法，它的用途是删除数组条目中重复的条目(可能有多个)，返回值是一个包含被删除的重
- 列表(元组)基本操作符回顾len()函数在列表与元组上的使用示例如下：names = ['Neo', 'Lily&#
- python中的email模块可以方便的解析邮件，先上代码#-*- encoding: gb2312 -*-import osimport
- OAuth2 的概念OAuth是一个关于授权的开放网络标准，OAuth2是其2.0版本。它规定了四种操作流程（授权模式）来确保安全应用场景有
