Python深度学习之Keras模型转换成ONNX模型流程详解
作者:FeathersMouch 发布时间:2023-01-02 00:32:44
从Keras转换成PB模型
请注意,如果直接使用Keras2ONNX
进行模型转换大概率会出现报错,这里笔者曾经进行过不同的尝试,最后都失败了。
所以笔者的推荐的情况是:首先将Keras模型转换为TensorFlow PB模型。
那么通过tf.keras.models.load_model()
这个函数将模型进行加载,前提是你有一个基于h5
格式或者hdf5
格式的模型文件,最后再通过改变模型的保存格式save_format
参数改为tf
。即可实现从Keras转换为TensorFow的格式文件了。
import tensorflow as tf
model_path = './models/model.h5' # 模型文件
model = tf.keras.models.load_model(model_path)
model.save('tfmodel', save_format='tf')
转换后的模型文件结构是这样的:
.
├── assets
├── keras_metadata.pb
├── saved_model.pb
└── variables
├── variables.data-00000-of-00001
└── variables.index2 directories, 4 files
从PB模型转换成ONNX模型
从PB模型转换为ONNX模型是很简单的,通过调用tf2onnx
这个模块下的convert
来进行处理。
你需要做的,只需要将--save-model
来指定你已经转换好的TensorFlow
模型,使用--output
来指定你的ONNX模型输出的路径(需要指定一个独立的文件,如./xx/xx.onnx)
python -m tf2onnx.convert --saved-model ./tfmodel/ --output ./models/model.onnx --opset 11 --verbose
这样我们就得到一个ONNX模型:
.
├── model.h5
├── model.onnx
└── model_fp16.onnx
改变现有的ONNX模型精度
考虑到在不同的计算设备上,半精度和双精度锁带来的性能提升是显而易见的。
这里我使用了一个VGG16的模型来测试了fp16和fp32的性能。
----------------------
VGG Full Precision:
Data Size: 124
VGGFullPrecision Timing: 7.462206602096558 Seconds
Connections: 1824812148
----------------------
VGG Half Precision:
Data Size: 124
VGGHalfPrecision Timing(In TensorRT): 2.563319444656372 Seconds
Connections: 1824812148
----------------------
可以看到,在我这张RTX2060上,启用fp16相较于fp32的性能提升接近3倍。
那么我们该如何将现有的ONNX模型从fp32模型转换成fp16模型呢?
首先我们需要准备一个叫onnxmltools
的库。可以通过pip来进行安装。
pip install onnxmltools
确认安装好onnxmltools后,我们通过如下的一段脚本进行精度的转换:
import onnxmltools
# 加载float16_converter转换器
from onnxmltools.utils.float16_converter import convert_float_to_float16
# 使用onnxmltools.load_model()函数来加载现有的onnx模型
# 但是请确保这个模型是一个fp32的原始模型
onnx_model = onnxmltools.load_model('../module/models/model.onnx')
# 使用convert_float_to_float16()函数将fp32模型转换成半精度fp16
onnx_model_fp16 = convert_float_to_float16(onnx_model)
# 使用onnx.utils.save_model()函数来保存,
onnxmltools.utils.save_model(onnx_model_fp16, '../module/models/model_fp16.onnx')
部署ONNX 模型
在部署ONNX模型阶段,我们将使用onnxruntime
这个模块。
针对你所将使用的计算设备,如果你是CPU用户,那么你需要使用如下的指令来安装onnxruntime
pip install onnxruntime
反之,如果你的计算设备是是GPU,那么你需要使用如下的指令来安装onnxruntime
pip install onnxruntime-gpu
确认好onnxruntime安装完成后,你只需要使用如下的指令来加载你的ONNX模型即可
import onnxruntime as ort
# 指定onnx模型所在的位置
model_path = './module/models/model.onnx'
# 创建providers参数列表
providers = [
# 指定模型可用的CUDA计算设备参数
('CUDAExecutionProvider', {
# 因为这里笔者只有一张GPU,因此GPU ID序列就为0
'device_id': 0,
# 这里网络额外策略使用官方默认值
'arena_extend_strategy': 'kNextPowerOfTwo',
# 官方这里默认建议的GPU内存迭代上限是2GB,如果你的GPU显存足够大
# 可以将这里的2修改为其它数值
'gpu_mem_limit': 2 * 1024 * 1024 * 1024,
# cudnn转换算法的调用参数设置为完整搜索
'cudnn_conv_algo_search': 'EXHAUSTIVE',
# 确认从默认流进行CUDA流赋值
'do_copy_in_default_stream': True,
}),
'CPUExecutionProvider',
]
# 使用onnxruntime.InferenceSession()函数创建Session
# 第一参数为模型所在的路径,第二参数为模型的providers参数列表
session = ort.InferenceSession(model_path, providers=providers)
# 通过get_input()函数和get_output()函数获取网络的输入和输出名称
input_name = session.get_inputs()[0].name
output_name = session.get_outputs()[0].name
# 使用session.run()函数执行ONNX任务
# 值得注意的是,这里演示使用的ONNX模型是FP32精度的模型
# 如果你使用的fp16模型但传入的数据是fp32类型的会抛出数据异常的错误
# 另外ONNX的异常抛出是十分人性化的,它会指明你在推理是发生异常的具体位置以及应对策略
result = session.run(
[output_name], {input_name: image.astype(np.float32)})[0]
result = result.argmax()
来源:https://blog.csdn.net/Deaohst/article/details/126864267


猜你喜欢
- 有的时候,操作大文件,或者取数,要很久,我们给脚本首尾添加一段代码就知道,这段代码整体的大致运行时间了。import timestart =
- 从而使得有些字符(尤其是宽字符)无法正确地显示,即不再是utf-8格式了。解决办法:打开输出文件时即指定编码格式,就不会出现输出文件打开以后
- vue中为何方法要写在methods里面1.methods是什么?首先先来段代码,我们在template中设定一个按钮,在点击按钮的时候打印
- 1. 首先 进入cmd, 输入python,看python是否安装成功说明python安装,没有问题2. 修改注册表第一步window +
- 前言又见面了,小伙伴儿们,发现最近大家喜欢看一些简单的小案例?!咳咳,下面进入正题。每个人的电脑里都会有不想让别人知道的隐私,或者是上班时间
- javaScript 代码如下:$(document).ready(function(){ $(".message_list .m
- 今天用FrontPage2003,无意中发现一个bug,稍加研究,基本发现这个bug的规律了首先是我的系统版本和Frontpage版本:我的
- 如何让animate在显示图片的过程保持窗口的标题不变animate -title "My Image Sequence"
- 我就废话不多说了,大家还是直接看代码吧~'''Created on 2018-4-16'''
- 1、可以在mode参数中添加'b'字符。所有适合文件对象的相同方法。然而,每种方法都希望并返回一个bytes对象。>&
- 本文实例为大家分享了python实现简单计算器功能的具体代码,供大家参考,具体内容如下效果如图:主要思路:用列表保存按下的键,按下等于,转换
- 问题描述初步使用PyTorch进行平方根计算,通过range()创建一个张量,然后对其求平方根。a = torch.tensor(list(
- Jupyter Notebook本身是默认使用一种Anaconda中root目录下的Python环境的,如果想使用其它的虚拟环境,还需要通过
- 最近,在做一个项目时遇到的了一个问题,主线程无法捕获子线程中抛出的异常。先看一个线程类的定义'''''
- 我就废话不多说了,直接上代码吧!from time import sleepfrom threading importThreadimpor
- Laravel 的上一个 LTS(长期支持)版本是 Laravel 5.1,发布于 2015 年 6 月,按照对 LTS 版本的约定,两年的
- 最近接触到Tencent的广告越来越多,户外广告牌和电视上都是,可以明显感觉到Tencent的扩张野心,以及对QQ品牌定位的重塑。摆脱低龄化
- 本文实例讲述了Python实现绘制双柱状图并显示数值功能。分享给大家供大家参考,具体如下:# -*- coding:utf-8 -*-#!
- Q0.创建用户【前提】 你必须有CREATE USER系统权限。当你使用CREATE USER语句创建一
- 语法分析器描述了一个句子的语法结构,用来帮助其他的应用进行推理。自然语言引入了很多意外的歧义,以我们对世界的了解可以迅速地发现这些歧义。举一