Tensorflow实现多GPU并行方式
作者:winycg 发布时间:2021-03-26 19:43:31
标签:Tensorflow,GPU,并行
Tebsorflow开源实现多GPU训练cifar10数据集:cifar10_multi_gpu_train.py
Tensorflow开源实现cifar10神经网络:cifar10.py
Tensorflow中的并行分为模型并行和数据并行。模型并行需要根据不同模型设计不同的并行方式,其主要原理是将模型中不同计算节点放在不同硬件资源上运算。比较通用且能简便地实现大规模并行的方式是数据并行,同时使用多个硬件资源来计算不同batch的数据梯度,然后汇总梯度进行全局更新。
数据并行几乎适用于所有深度学习模型,总是可以利用多块GPU同时训练多个batch数据,运行在每块GPU上的模型都基于同一个神经网络,网络结构一样,并且共享模型参数。
import os
import re
import time
import numpy as np
import tensorflow as tf
import cifar10_input
import cifar10
batch_size = 128
max_steps = 1000
num_gpus = 1 # gpu数量
# 在scope下生成神经网络并返回scope下的loss
def tower_loss(scope):
# 数据集的路径可以在cifar10.py中的tf.app.flags.DEFINE_string中定义
images, labels = cifar10.distorted_inputs()
logits = cifar10.inference(images) # 生成神经网络
_ = cifar10.loss(logits, labels) # 不直接返回loss而是放到collection
losses = tf.get_collection('losses', scope) # 获取当前GPU上的loss(通过scope限定范围)
total_loss = tf.add_n(losses, name='total_loss')
return total_loss
'''
外层是不同GPU计算的梯度,内层是某个GPU对应的不同var的值
tower_grads =
[[(grad0_gpu0, var0_gpu0), (grad1_gpu0, var1_gpu0),...],
[(grad0_gpu1, var0_gpu1), (grad1_gpu1, var1_gpu1),...]]
zip(*tower_grads)= 相当于转置了
[[(grad0_gpu0, var0_gpu0), (grad0_gpu1, var0, gpu1),...],
[(grad1_gpu0, var1_gpu0), (grad1_gpu1, var1_gpu1),...]]
'''
def average_gradients(tower_grads):
average_grads = []
for grad_and_vars in zip(*tower_grads):
grads = [tf.expand_dims(g, 0) for g, _ in grad_and_vars]
grads = tf.concat(grads, 0)
grad = tf.reduce_mean(grads, 0)
grad_and_var = (grad, grad_and_vars[0][1])
# [(grad0, var0),(grad1, var1),...]
average_grads.append(grad_and_var)
return average_grads
def train():
# 默认的计算设备为CPU
with tf.Graph().as_default(), tf.device('/cpu:0'):
# []表示没有维度,为一个数
# trainable=False,不会加入GraphKeys.TRAINABLE_VARIABLES参与训练
global_step = tf.get_variable('global_step', [],
initializer=tf.constant_initializer(0),
trainable=False)
num_batches_per_epoch = cifar10.NUM_EXAMPLES_PER_EPOCH_FOR_TRAIN / batch_size
decay_steps = int(num_batches_per_epoch * cifar10.NUM_EPOCHS_PER_DECAY)
# https://tensorflow.google.cn/api_docs/python/tf/train/exponential_decay
# decayed_learning_rate = learning_rate * decay_rate ^ (global_step / decay_steps)
# staircase is True, then global_step / decay_steps is an integer division
lr = tf.train.exponential_decay(cifar10.INITIAL_LEARNING_RATE,
global_step,
decay_steps,
cifar10.LEARNING_RATE_DECAY_FACTOR,
staircase=True)
opt = tf.train.GradientDescentOptimizer(lr)
tower_grads = []
for i in range(num_gpus):
with tf.device('/gpu:%d' % i):
with tf.name_scope('%s_%d' % (cifar10.TOWER_NAME, i)) as scope:
loss = tower_loss(scope)
# 让神经网络的变量可以重用,所有GPU使用完全相同的参数
# 让下一个tower重用参数
tf.get_variable_scope().reuse_variables()
grads = opt.compute_gradients(loss)
tower_grads.append(grads)
grads = average_gradients(tower_grads)
apply_gradient_op = opt.apply_gradients(grads, global_step=global_step)
init = tf.global_variables_initializer()
# True会自动选择一个存在并且支持的设备来运行
sess = tf.Session(config=tf.ConfigProto(allow_soft_placement=True))
sess.run(init)
tf.train.start_queue_runners(sess=sess)
for step in range(max_steps):
start_time = time.time()
_, loss_value = sess.run([apply_gradient_op, loss])
duration = time.time() - start_time
if step % 10 == 0:
num_examples_per_step = batch_size * num_gpus
examples_per_sec = num_examples_per_step / duration
sec_per_batch = duration / num_gpus
print('step %d, loss=%.2f(%.1f examples/sec;%.3f sec/batch)'
% (step, loss_value, examples_per_sec, sec_per_batch))
if __name__ == '__main__':
train()
来源:https://blog.csdn.net/winycg/article/details/79759294
0
投稿
猜你喜欢
- 实战场景初学 Python 爬虫,十之八九大家采集的目标是网页,因此快速定位到网页内容,就成为我们面临的第一道障碍,本篇博客就为你详细说明最
- 前言我在使用mac安装virtualwrapper的时候遇到了问题,搞了好长时间,才弄好,在这里总结一下分享出来,供遇到相同的问题的朋友使用
- 假如页面上有很多条记录,很多情况下,对这些信息按照字母表降序排序会比传统的升序排序显示效率更高。采用你熟悉的ORDER BY 子句,你可以很
- python2.7安装目录下没有Scripts文件夹。这种问题可能是你装的python安装包年代久远了,到官网下载最新的python2.7安
- 我们使用 python setup.py install 来安装python包,但是如何卸载呢?只能手动删除安装的文件可以使用如下命令pyt
- <script language="javascript">function chang
- 我们进行CSS网页布局的时候,都知道它需要符合XHTML1.0规范。如果我们在进行CSS网页布局的时候,还在使用被W3C废弃的元素,那就失去
- 1.php安装。2.下载redis并编译(最好是在 /usr/local目录下运行该命令)# wget http://download.re
- 最近网上流行着一些采集程序,更多人拿着这些东西在网上叫卖,很多不太懂的人看着那些程序眼羡,其实如果你懂一些ASP,了解自动采集程序的原理后,
- 目录1.字典字典的相关操作获取字典的长度2.集合1.字典字典是python中的一种数据结构。它的内容由**键-值(key-value)**的
- 这系列文章将介绍一下Oracle的基础知识,将会使用docker下运行的oracle11g的精简版进行说明。这篇文章介绍一下oracle的版
- itchat是python开源第三方库,用于搭建微信机器人,几十行代码就能帮你实现自动的处理所有信息。比如,添加好友,搭建自动回复机器人,还
- 应该只是一个简单的层的定位及鼠标事件吧<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.
- ISSET();——适合于检测是否存在这个参数。 定义和作用范围:用于测试一个变量是否具有值(包括0,FALSE,或者一个空字串,但不能是N
- 如果是在Oracle10g之前,删除一个表空间中的数据文件后,其文件在数据库数据字典中会仍然存在,除非你删除表空间,否则文件信息不会清除。但
- Python编程中raise可以实现报出错误的功能,而报错的条件可以由程序员自己去定制。在面向对象编程中,可以先预留一个方法接口不实现,在其
- 一 导言设计一个好的用户系统往往不是那么容易,Django提供的用户系统可以快速实现基本的功能,并可以在此基础上继续扩展以满足我们的需求。先
- rss的优点 1.您可以有选择地浏览您感兴趣的以及与您的工作相关的新闻。 2.您可以把需要的信息从不需要的信息(兜售信息,垃圾邮件等)中分离
- 当where子句对某一列使用函数时,除非利用这个简单的技术强制索引,否则Oracle优化器不能在查询中使用索引。通常情况下,如果在WHERE
- 1.H5 download属性function downFile(content, filename) { // 创建隐藏的可下