pytorch 使用单个GPU与多个GPU进行训练与测试的方法
作者：gaishi_hero 发布时间：2022-04-04 10:39:07
标签：pytorch,单个,GPU,多个,训练
如下所示：
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")#第一行代码
model.to(device)#第二行代码
首先是上面两行代码放在读取数据之前。
mytensor = my_tensor.to(device)#第三行代码
然后是第三行代码。这句代码的意思是将所有最开始读取数据时的tersor变量copy一份到device所指定的GPU上去，之后的运算都在GPU上进行。需要注意的是这句话并不像前面的两行代码一样只需要写一遍，第三行代码需要写的次数就等于需要保存到GPU上的tensor变量个数；一般情况下这些tensor变量都是最开始读取数据时的tensor变量，后面所衍生的变量自然也都在GPU之上。
以上是使用单个GPU的情况。当你拥有多个GPU时，要想使用多个GPU进行训练和测试，需要在第一二行代码之间插上下面这样一个判断语句，其余的写法也都是一样的。
if torch.cuda.device_count() > 1:
model = nn.DataParallel(model)
使用多个GPU的原理就是通过上面这句代码将model在每个GPU上分别保存一份，然后对model的输入tensor进行自动的分割，每个GPU计算tensor的一部分，这样就能实现计算量的平均分配。在每个model计算完成之后，DataParallel将这些结果进行收集和融合，之后再将结果返回。
来源：https://blog.csdn.net/gaishi_hero/article/details/81139045
0
投稿猜你喜欢
1.概述随着人工智能技术的不断发展，越来越多的AI产品被应用到各个领域，其中最具代表性的莫过于人工智能语言模型。语言模型是一种可以通过学习大- 在用jupyter notebook写python代码的过程中会产生很多变量，而关闭后或者restart jupyter kernel后所有
- 本文实例讲述了Python实现的企业粉丝抽奖功能。分享给大家供大家参考，具体如下：一 代码def scode9(schoice): &nbs
- 前言一直是想知道一条SQL语句是怎么被执行的，它执行的顺序是怎样的，然后查看总结各方资料，就有了下面这一篇文章了。这篇笔记主要记录mysql
- 如下所示：import ( "golang.org/x/net/html")在使用此包时，会导入失败，因为这
- 把一些地域性比较明显的数据显示在一张地图上，远比给别人一个 Excel 文件好得多。Matplotlib 中也有画地图的函数，但是是静态图，
- 1.python中列表list的拷贝，会有什么需要注意的呢？ python变量名相当于标签名。list2=list1 ,直接赋值，实质上指向
- 前言本文主要给大家介绍了关于Python中序列的修改、散列与切片的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧。
- 简单asp加载access数据库，并生成XML，然后再将XML数据加载进LIST组件范例学习。演示：http://www.taoshaw.c
- 前言嗨喽！大家好呀，这里是魔王~雪球,聪明的投资者都在这里 - 4300万投资者都在用的投资社区,沪深港美全球市场实时行情,股票基金债券免费
- 在对于时间准确度的把握上，为了使操作的更加细化，很多人习惯把时间精确到秒。但在实际程序操作中，虽然秒数方便我们的查阅，但是计算机并不能直接的
- 本文实例为大家分享了Pyqt实现无边框窗口拖动及大小改变的具体代码，供大家参考，具体内容如下做个记录，绘制边框阴影可以忽略这里不是主要根据网
- 主要我是要解决一下几个问题： 1. apply和call的区别在哪里 2. apply的其他巧妙
- 引言安装或者更新完pytorch后，运行不了，显示错误：(base) xu@xusu:~$ pythonPython 3.7.1 (defa
- 我们使用alter table add column语句向现有表中添加新列。简介alter table table_nameadd [col
- int 数字python 有3种数字类型int： 整数类型float: 浮点类型complex: 复数类型int类型#Int或整数是完整的数
- 问题：如何把具有相同字段的记录删除，只留下一条。 例如：表test里有id，name字段，如果有name相同的记录只留下一条，
- processlist命令的输出结果显示了有哪些线程在运行，可以帮助识别出有问题的查询语句，两种方式使用这个命令。1.
- 本文实例讲述了PHP设计模式：装饰器模式Decorator。分享给大家供大家参考，具体如下：1. 概述
- 本文实例讲述了Python爬虫PyQuery库基本用法。分享给大家供大家参考，具体如下：PyQuery库也是一个非常强大又灵活的网页解析库，
