TensorFlow和keras中GPU使用的设置操作
作者:Briwisdom 发布时间:2023-08-07 20:32:53
1. 训练运行时候指定GPU
运行时候加一行代码:
CUDA_VISIBLE_DEVICES=1 python train.py
2. 运行过程中按需或者定量分配GPU
tensorflow直接在开启Session时候加几行代码就行,而Keras指定GPU,并限制按需用量和TensorFlow不太一样,因为keras训练是封装好的,不好对Session操作。如下是两种对应的操作。
keras中的操作:
import os
import tensorflow as tf
from keras.backend.tensorflow_backend import set_session
# 指定第一块GPU可用
os.environ["CUDA_VISIBLE_DEVICES"] = "0" #指定GPU的第二种方法
config = tf.ConfigProto()
config.gpu_options.allocator_type = 'BFC' #A "Best-fit with coalescing" algorithm, simplified from a version of dlmalloc.
config.gpu_options.per_process_gpu_memory_fraction = 0.3 #定量
config.gpu_options.allow_growth = True #按需
set_session(tf.Session(config=config))
TensorFlow中的操作:
#指定GPU
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"
#设置GPU定量分配
config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.9 # 占用GPU90%的显存
session = tf.Session(config=config)
#设置GPU按需分配
config = tf.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config)
补充:Keras以及Tensorflow强制使用CPU,GPU
Keras如果是使用Theano后端的话,应该是自动不使用GPU只是用CPU的,启动GPU使用Theano内部命令即可。
对于Tensorflow后端的Keras以及Tensorflow会自动使用可见的GPU,而我需要其必须只运行在CPU上。网上查到三种方法,最后一种方法对我有用,但也对三种都做如下记录:
使用tensorflow的 with tf.device('/cpu:0'):函数。简单操作就是把所有命令都放在前面所述的域里面。
使用tensorflow声明Session时的参数: 关于tensorflow中Session中的部分参数设置,以及Keras如何设置其调用的Tensorflow的Session,可以参见Keras设定GPU使用内存大小(Tensorflow backend)。
对于Tensorflow,声明Session的时候加入device_count={'gpu':0}即可,代码如下:
import tensorflow as tf
sess = tf.Session(config=tf.ConfigProto(device_count={'gpu':0}))
对于Keras,则调用后端函数,设置其使用如上定义的Session即可,代码如下:
import tensorflow as tf
import keras.backend.tensorflow_backend as KTF
KTF.set_session(tf.Session(config=tf.ConfigProto(device_count={'gpu':0})))
对于多线程以及GPU内存设置等可以参见Keras设定GPU使用内存大小(Tensorflow backend)。
3、第三种是使用CUDA_VISIBLE_DEVICES命令行参数,代码如下:
CUDA_VISIBLE_DEVICES="0" python3 train.py
来源:https://briwisdom.blog.csdn.net/article/details/85261633
猜你喜欢
- Python中对信号处理的模块主要是使用signal模块,但signal主要是针对Unix系统,所以在Windows平台上Python不能很
- 我们前期开发了一个只有公司客服人员才能使用的系统——有限的几个客服人员。就是这有限的几个客服人员前几天突然就提出这样的问题:我们每隔很短一段
- 自己写了一个简单的python脚本,用来推送zabbix告警到钉钉机器人,推送格式为markdown,有需要的可以自己修改markdown的
- 首先,未来Python完全取代Java的可能性并不大,但是Python的发展确实能够挤占一部分Java的应用空间。Python语言在最近几年
- 目录什么是异常?异常处理try-except 格式一-try...except...格式二-try...except {error
- 在使用ORACLE的过程过,我们会经常遇到一些ORACLE产生的错误,对于初学者而言,这些错误可能有点模糊,而且可能一时不知怎么去处理产生的
- 交互设计是近几年流行的一个词语。现在市场上有许多资料来介绍什么是交互设计,如何做交互设计等。从场景,任务,用户,操作等分析。但由于受实际情况
- golang 原生 http 库已经可以很方便地实现一个 http server 了,但对于复杂的 web 服务来说,路由解析,请求参数解析
- 一、MySQL修改密码方法总结首先要说明一点的是:一般情况下,修改MySQL密码是需要有mysql里的root权限的,这样一般用户是无法更改
- 一. 输出函数print在python中,print()是可以直接使用的输出函数,将数据输出到控制台上。1. print函数的使用1.1 可
- 需求在4*4的图片中,比较外围黑色像素点和内圈黑色像素点个数的大小将图片分类如上图图片外围黑色像素点5个大于内圈黑色像素点1个分为0类反之1
- str_split不支持中文,利用mb_xx函数实现个/** * Convert a string to an array * @param
- 本文实例讲述了PHP基于rabbitmq操作类的生产者和消费者功能。分享给大家供大家参考,具体如下:注意事项:1、accept.php消费者
- 阅读上一节:无序列表信息有时候是无序归纳的,有的却有着明确的顺序,在上一篇也提到了。那么简单的来想一下身边有哪些事物是有先后顺序的:操作步骤
- 目前全球疫情仍然比较严重,为了能清晰地看到疫情爆发以来至现在全球疫情的变化趋势,我绘制了一张疫情变化地图。 废话不多说,先上图下面就来重点介
- 在现代的 web 框架里面,基本都有实现了依赖注入的功能,可以让我们很方便地对应用的依赖进行管理,同时免去在各个地方 new 对象的麻烦。比
- 在数据库中,字符型的数据是最多的,可以占到整个数据库的80%以上。为此正确处理字符型的数据,对于提高数据库的性能有很大的作用。在字符型数据中
- 本文实例讲述了Python使用reportlab将目录下所有的文本文件打印成pdf的方法。分享给大家供大家参考。具体实现方法如下:# -*-
- 1、设置无头浏览器模式from selenium import webdriverfrom selenium.webdriver.chrom
- 下面的request.servervariables例子都是服务器探针采用的asp代码本机ip:<%=request.serverva