使用LibTorch进行C++调用pytorch模型方式
作者:sq_damowang 发布时间:2021-09-17 18:56:13
前天由于某些原因需要利用C++调用PyTorch,于是接触到了LibTorch,配了两天最终有了一定的效果,于是记录一下。
环境
PyTorch1.6.0
cuda10.2
opencv4.4.0
VS2017
具体过程
下载LibTorch
去PyTorch官网下载LibTorch包,选择对应的版本,这里我选择Stable(1.6.0),Windows,LibTorch,C++/JAVA,10.2,然后我选择release版本下载,如下图
下载完后先不用管它,之后再用
用pytorch生成模型文件
我先创建了一个python文件,加载resnet50预训练模型,用来生成模型文件,代码如下
import torch
import torchvision.models as models
from PIL import Image
import numpy as np
from torchvision import transforms
model_resnet = models.resnet50(pretrained=True).cuda()
# model_resnet.load_state_dict(torch.load("resnet_Epoch_4_Top1_99.75845336914062.pkl"))
model_resnet.eval()
# 自己选择任意一张图片,并将它的路径写在open方法里,用来读取图像,我这里路径就是‘111.jpg'了
image = Image.open("111.jpg").convert('RGB')
tf = transforms.Compose([
transforms.Resize((224, 224)),
transforms.ToTensor(),
# transforms.Normalize(mean=[0.5]*3, std=[0.5]*3)
])
img = tf(image)
img = img.unsqueeze(dim=0)
print(img.shape)
input = torch.rand(1, 3, 224, 224).cuda()
traced_script_module_resnet = torch.jit.trace(model_resnet, input)
output = traced_script_module_resnet(img.cuda())
print(output.shape)
pred = torch.argmax(output, dim=1)
print(pred)
traced_script_module_resnet.save("model_resnet_jit_cuda.pt")
最后可以生成一个model_resnet_jit_cuda.pt文件,产生的输出如下所示
第一行是我们读取图像的shape,我们读取图片之后经过各种resize,增加维度,把图片数据的shape修改成模型接受的格式,可以看到预测的结果是921,之后我们将用到生成的model_resnet_jit_cuda.pt文件。
VS创建工程并进行环境配置
我在这个python文件路径下创建了这个vs工程Project1
创建完成之后我们打开Project1文件夹,里面内容如下
现在创建VS工程先告一段落,开始进行工程环境配置。把之前下载的LibTorch,解压到当前目录,解压后会出现一个libtorch的文件夹,文件夹目录里的内容为
这里将我框选的文件夹路径配置到工程属性当中,打开刚才新建的VS工程,选择项目为relaese的×64版本
然后点击项目->Project1属性,弹出属性页
在属性页同样注意是release的×64平台,点击VC++目录,在包含目录下加载我之前框出来的include文件夹路径,在库目录下加载框出来的lib文件夹路径,同时,我们也要用到opencv,所以也需要在包含目录下加载opencv的include文件夹与opencv2文件夹,在库目录下加载opencv\build\x64\vc14\lib,如下图
然后在属性页的链接器->输入,添加附加依赖项,首先先把opencv的依赖项添加了
opencv_world440.lib,(如果一直用的Debug模式,就添加opencv_world440d.lib),然后将libtorch/lib里所有后缀为.lib的文件全添加进来,打开这个文件夹
全都写进去,再点击确定,如下图所示
然后点击链接器->命令行,加上/INCLUDE:?warp_size@cuda@at@@YAHXZ 这一句,加上这一句是因为我们要用cuda版本的,如果是cpu版本可以不加。
最后点击C/C++ ->常规的SDL检查,设置为否
点击C/C++ ->语言的符合模式,设置为否
到此我们的配置就全部结束了!最后!复制libtorch/lib文件夹下所有文件,粘贴到工程文件夹Project1/×64/release文件夹里(点击此处的Project1文件夹可以发现里面也有一个×64/release,之前我也纠结是放在哪,然后我都试了一下,发现这个里面是可以不放的)
运行VS2017工程文件
然后我运行VS工程下一个空的main文件,没有报错,配置大致是没问题的,最后添加完整代码,如下
#include <torch/script.h> // One-stop header.
#include <opencv2/opencv.hpp>
#include <iostream>
#include <memory>
//https://pytorch.org/tutorials/advanced/cpp_export.html
std::string image_path = "../../111.jpg";
int main(int argc, const char* argv[]) {
// Deserialize the ScriptModule from a file using torch::jit::load().
//std::shared_ptr<torch::jit::script::Module> module = torch::jit::load("../../model_resnet_jit.pt");
using torch::jit::script::Module;
Module module = torch::jit::load("../../model_resnet_jit_cuda.pt");
module.to(at::kCUDA);
//assert(module != nullptr);
//std::cout << "ok\n";
//输入图像
auto image = cv::imread(image_path, cv::ImreadModes::IMREAD_COLOR);
cv::cvtColor(image, image, cv::COLOR_BGR2RGB);
cv::Mat image_transfomed;
cv::resize(image, image_transfomed, cv::Size(224, 224));
// 转换为Tensor
torch::Tensor tensor_image = torch::from_blob(image_transfomed.data,
{ image_transfomed.rows, image_transfomed.cols,3 }, torch::kByte);
tensor_image = tensor_image.permute({ 2,0,1 });
tensor_image = tensor_image.toType(torch::kFloat);
tensor_image = tensor_image.div(255);
tensor_image = tensor_image.unsqueeze(0);
tensor_image = tensor_image.to(at::kCUDA);
// 网络前向计算
at::Tensor output = module.forward({ tensor_image }).toTensor();
//std::cout << "output:" << output << std::endl;
auto prediction = output.argmax(1);
std::cout << "prediction:" << prediction << std::endl;
int maxk = 3;
auto top3 = std::get<1>(output.topk(maxk, 1, true, true));
std::cout << "top3: " << top3 << '\n';
std::vector<int> res;
for (auto i = 0; i < maxk; i++) {
res.push_back(top3[0][i].item().toInt());
}
for (auto i : res) {
std::cout << i << " ";
}
std::cout << "\n";
system("pause");
}
得到最终输出为921,可以看到和之前的python文件下输出一致,这里还输出了它的top前三,分别是921,787,490。
注意到,我的这两个输出相同的前提条件是:
1、确定加载的是由对应python文件生成的模型!
2、输入的图片是同一张!并且在python下和C++下进行了同样的转换,这里我在python下,将它进行了RGB模型的转换,resize(224, 224),并且将它的每一个元素值除以255.0,转换到0~1之间(ToTensor()方法),最后维度转换为1, 3, 224, 224,在C++中同样需要将BGR模型转化为RGB模型,进行图像缩放至224,224,并且将像素值除以255,将类型转化为float类型,最后维度同样转换为1,3,224,224,再进行网络前向计算。
来源:https://blog.csdn.net/sq_damowang/article/details/109013176
猜你喜欢
- 解析url用的类库:python2版本: from urlparse import urlparseimport urllibpython3
- 前言golang实现定时任务很简单,只须要简单几步代码即可以完成,最近在做了几个定时任务,想研究一下它内部是怎么实现的,所以将源码过了一遍,
- 模块a.py 想用 b.py中公有数据 cntb的python文件#!/usr/bin/env python# coding:utf8fro
- 数据透视表(Pivot Table)是 Excel 中一个非常实用的分析功能,可以用于实现复杂的数据分类汇总和对比分析,是数据分析师和运营人
- 最近因项目需要用ACCESS做数据库开发WEB项目看论坛上还许多人问及ACCESS被注入的安全问题许多人解决的方法仍然是用Replace替换
- 最近迷上了高效处理数据的pandas,其实这个是用来做数据分析的,如果你是做大数据分析和测试的,那么这个是非常的有用的!!但是其实我们平时在
- 1. 背景 Scrapy 是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis是为了更方便地实现Scrapy分布式爬取,而提供了
- 写在之前命名空间,又名 namesapce,是在很多的编程语言中都会出现的术语,估计很多人都知道这个词,但是让你真的来说这是个什么,估计就歇
- 本文实例讲述了thinkphp的URL路由规则与配置方法。分享给大家供大家参考。具体分析如下:一、URL规则1、默认是区分大小写的2、如果我
- ASP从发布至今已经7年了,使用ASP技术已经相当成熟,自从微软推出了ASP.NET之后就逐渐停止了对ASP版本的更新。但是由于有很多人仍然
- 1.SocketServer模块编写的TCP服务器端代码Socketserver原理图服务端:import SocketServer &nb
- 1.1.1 摘要 Join是关系型数据库系统的重要操作之一,SQL Server中包含的常用Join:内联接、外联接和交叉联接等。如果我们想
- 复制代码 代码如下: public partial class CMS_DBDataContext { partial void OnCre
- 第一种import win32clipboardimport time#速度快 容易出错class niubi(): def l
- 这篇文章主要介绍了python线程信号量semaphore使用解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价
- 由于Oracle自身比较复杂,在Linux环境下安装要涉及很多方面的因素。本文分两个方面介绍在Linux RedHat 6.0环境下Orac
- 通过视图来访问数据,其优点是非常明显的。如可以起到数据保密、保证数据的逻辑独立性、简化查询操作等等。但是,话说回来,SQL Server数据
- for循环只是一个多一点的代码,同时循环添加到它。而所涉及的一个循环的共同任务是: 设置一些计数器变量的初始值。 请检查条件语句是正确的。
- 先看几个数据。。一大堆文字滴,不管人家是不是故意的,字数还是这样:news.163.cn:14px,39个中文字符 news.sina.co
- window对象表示浏览器中打开的窗口,提供关于窗口状态的信息。可以用window对象访问窗口中绘制的文档、窗口中发生的事件和影响窗口的浏览