pytorch多GPU并行运算的实现
作者：FelixCoder 发布时间：2022-01-09 22:01:06
标签：pytorch,GPU,并行
Pytorch多GPU运行
设置可用GPU环境变量。例如，使用0号和1号GPU'
os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'
设置模型参数放置到多个GPU上。在pytorch1.0之后的版本中，多GPU运行变得十分方便，先将模型的参数设置并行
if torch.cuda.device_count() > 1:
print("Let's use", torch.cuda.device_count(), "GPUs!")
model = nn.DataParallel(model)
将模型参数设置使用GPU运行
if torch.cuda.is_available():
model.cuda()
踩坑记录
在训练中，需要使用验证集/测试集对目前的准确率进行测试，验证集/测试集的加载也会占用部分显存，所以在训练开始时，不要将所有显存都几乎占满，稍微留一些显存给训练过程中的测试环节
pytorch并行后，假设batchsize设置为64，表示每张并行使用的GPU都使用batchsize=64来计算（单张卡使用时，使用batchsize=64比较合适时，多张卡并行时，batchsize仍为64比较合适，而不是64*并行卡数）。
参考
https://www.zhihu.com/question/67726969
来源：https://www.jianshu.com/p/6f526c6dd033
0
投稿猜你喜欢
4 月 27 日，GitHub 趋势榜第 3 位是一个用 Python 编码实现的算法库，Star 数早已达到 26000+链接：https- 由于ajax在跨域的访问上有问题,目前最好的方法是做代理.写了个代理程序和心得为了做ajax的代理,研究了下服务器端的xmlhttp并和客户
- 窗外下着小雨，作为单身程序员的我逛着逛着发现一篇好东西，来自知乎 你都用 Python 来做什么？的第一个高亮答案。到上面去看了看，地址都是
- flash param参数和属性下列标记属性和参数描述了由“发布”命令创建的 HTML 代码。在编写自己的用于显示 Flash 内容的 HT
- asp编程中我们经常要处理字符串，比如一个新闻列表，在我们编写asp程序的时候就要考虑到新闻标题的长度不确定性，因为有的文章标题可能很长，可
- 问题描述MySQL 启动成功，使用 ps -ef |grep mysql 可以看到进程，如下图：也可以在服务器登陆，如下图：但是使用 net
- create proc addcolumn@tablename varchar(30), --表名@colname varchar(30),
- 前言在安装完python及pip，setuptools等工具后，即可以创建virualenv虚拟环境了，这个类似于虚拟机的工具，可以让同一台
- 集合特点：集合对象是一组无序排列的可哈希的值：集合成员可以做字典的键，与列表和元组不同，集合无法通过数字进行索引。此外，集合中的元素不能重复
- 本文实例讲述了python操作redis的方法。分享给大家供大家参考。具体如下：#!/usr/bin/python#coding=utf-8
- Python字符串处理字符串输入：my_string = raw_input("please input a word:"
- 一、通道是什么？其实无论是原子函数还是共享锁都是通过共享内存的方式进行的同步、效率一般不高，而Go语言中则使用了通道，它是一种通过传递信息的
- 要替换某一个字段中的部分内容，可以用update 语句： UPDATE 表名 SET 字段名= REPLACE( 替换前的字段值, '
- 本文实例讲述了python函数形参用法。分享给大家供大家参考。具体如下：函数形参：函数取得的参数是你提供给函数的值，这样函数就可以利用这些值
- 本文实例讲述了python实现class对象转换成json字典的方法。分享给大家供大家参考，具体如下：# -*- encoding: UTF
- 导读：这篇论坛文章主要介绍了使用SQL Server升级顾问的具体步骤，详细内容请参考下文。微软提供了SQL Server 2008升级顾问
- 你是否苦恼于网上无法下载的“小说在线阅读”内容？或是某些文章的内容让你很有收藏的冲动，却找不到一个下载的链接？是不是有种自己写个程序把全部搞
- @using@using 指令用于向生成的视图添加 C# using 指令：@using System.IO@{
- 应用场景：在实际使用中经常会遇到需要在Form表单中使用table表格进行表单提交，同时又需要对table的字段进行校验，效果如图所示：这个
- ///计算两个整数的百分比值 function GetPercent(num, total) { num = parseFloat(num)
