python使用Pyinstaller如何打包整个项目
作者:Mabel-mql 发布时间:2021-10-27 04:10:58
使用Pyinstaller打包整个项目
今天真的被Pyinstaller给坑到了!!!
本文利用spec文件进行对整个项目进行打包,直接输入命令打包也可以,但会出现比较多的问题。
1 .安装Pyinstaller
pip install pyinstaller
2. 打开命令窗口
由于我这里是在Anaconda环境下创建的虚拟环境,因此要切换到对应的环境下,避免打包无关的包,同时切换到对于目录下。
关于目录,我这里是包含主文件、文件(各数据集的存放)以及同等级的py文件:
3. 生成 spec文件
执行以下命令:
pyi-makespec -w xxx.py(xxx.py文件为要执行的主文件,这里我是Insect_predict.py
4. 打开生成的spec文件
(这里是Insect_predict.spec),如下(一些需要自己添加:
#当出现出现"RecursionError: maximum recursion depth exceeded问题时,可能打包时出现了大量的递归超出了python预设的递归深度,需要添加如下三行。
import sys
import os.path as osp
sys.setrecursionlimit(5000)
#----------------------------------------------------------------
block_cipher = None
SETUP_DIR ='D:\\ssd-pytorch-mql\\'
#所有项目中的py文件路径以列表形式写入Analysis如下
#pathex定义了打包的主目录,默认生成,只写文件名
#当出现打包后执行程序时出现类似No Module named xxx,可以将模块填入到hiddenimports中
#excludes不要什么文件
#data将非py文件的路径与存放的文件夹名写在元组里
a = Analysis(
['Insect_predict.py',
'ssd.py','summary.py','voc_annotation.py','get_map.py',
'D:\\ssd-pytorch-mql\\nets\\mobilenetv2.py',
'D:\\ssd-pytorch-mql\\nets\\ssd.py',
'D:\\ssd-pytorch-mql\\nets\\ssd_training.py',
'D:\\ssd-pytorch-mql\\nets\\vgg.py',
'D:\\ssd-pytorch-mql\\utils\\anchors.py',
'D:\\ssd-pytorch-mql\\utils\\callbacks.py',
'D:\\ssd-pytorch-mql\\utils\\dataloader.py',
'D:\\ssd-pytorch-mql\\utils\\utils.py',
'D:\\ssd-pytorch-mql\\utils\\utils_bbox.py',
'D:\\ssd-pytorch-mql\\utils\\utils_fit.py',
'D:\\ssd-pytorch-mql\\utils\\utils_map.py'],
pathex=['D:\ssd-pytorch-mql'],
binaries=[],
datas=[(SETUP_DIR+'model_data','model_data'),(SETUP_DIR+'VOCdevkit','VOCdevkit'),(SETUP_DIR+'img','img')],
hiddenimports=[],
hookspath=[],
hooksconfig={},
runtime_hooks=[],
excludes=['zmq','pandas','tensorflow'],
win_no_prefer_redirects=False,
win_private_assemblies=False,
cipher=block_cipher,
noarchive=False,
)
pyz = PYZ(a.pure, a.zipped_data, cipher=block_cipher)
exe = EXE(
pyz,
a.scripts,
[],
exclude_binaries=True,
name='Insect_predict',
debug=False,
bootloader_ignore_signals=False,
strip=False,
upx=True,
console=False,
disable_windowed_traceback=False,
argv_emulation=False,
target_arch=None,
codesign_identity=None,
entitlements_file=None,
)
coll = COLLECT(
exe,
a.binaries,
a.zipfiles,
a.datas,
strip=False,
upx=True,
upx_exclude=[],
name='Insect_predict',
)
以上内容是在生产spec文件后添加上去的,可根据自己文件内报错进行修改。
5. 执行spec文件,在命令行输入
pyinstaller -D xxx.spec或pyinstaller xxx.spec(我的后者才可以运行)
6.生成中出现的问题
若生成中遇到如图所示,即可在spec文件里面添加 excludes=[zmq]或出现lib not found…含有必要包的,可以将后面的路径添加到系统环境变量当中,我的这样是可以的,暂时还没有遇到模块的问题,如果有遇到可
以考虑是否版本问题:
当执行完成会生产两个文件夹dist和build,exe可执行文件就在dist文件里面。
一步一步解决,总是可以的!!!
使用pyinstaller打包pytorch踩的那些坑
花费了亿点时间,终于在自己的电脑上搞定了pyinstaller的安装并且让它成功打包了一些小程序之后,尝试着用它打包pytorch这样的复杂程序,结果遇到的问题远比想象中要多,于是记个笔记,也避免后来人踩坑。
问题1:单个文件打包还是文件夹打包?
用pyinstaller打包pytorch的感觉就是大,这文件真的大……已经尽力用from import代替import之类的方式减少了导入的库内容,但还是打包出了一个巨大无比的应用程序。
没有使用upx压缩的情况下,打包为文件夹需要3G,而打包为单个exe文件则是需要1.3G,怎么看好像都是打包成一个exe比较划算的样子……?
大错特错!
首先是启动速度,打包为文件夹的情况下,启动基本是秒启动,但是打包为一整个exe文件,启动就需要将近30s才能print出第一行提示语句……
其次,借着这次机会也正好了解了一下exe的运行机制,打包为整个exe文件之后,它每次运行都会把相当于整个文件夹的内容释放到一个c盘的临时文件夹中,而且它不会马上删除!
你问我为什么发现了这件事?因为试运行了几次之后,我的C盘直接裂裂裂裂裂开了……
可怜弱小又无助的系统盘QvQ
经过测试发现,打包为整个文件夹的话,程序就会在当前路径直接运行,而不会创造一个巨大无比的临时文件在一次次运行中炸掉C盘,因此最后决定采用打包为一个文件夹的形式。
问题2:一起打包的数据文件找不到?
毕竟……是pytorch嘛,最终打包的肯定是只有测试模式的代码,而不会把训练模式的大段代码都塞进exe里面,所以,希望把一个.pth的模型数据文件一起打包进去,这样加载的网络模型只要直接从模型里面读数据就可以了。
很快,新的问题出现了,当把模型的路径设置为当前路径的时候,会出现一种非常诡异的情况:在本地计算机上运行正常,但是把整个打包好的文件夹放在别的电脑上运行的时候,它直接报错说,找不到该文件!
你总不会是把绝对路径给打包到exe里面去了吧???
好在查阅了一堆网络资料后,发现这可能是运行路径的问题,但是网上给出的写法五花八门,大部分试了之后发现根本没卵用, 另一个问题是,打包之后的文件夹过于杂乱,因此甚至想找到启动程序的exe文件都需要滚轮往下滑好几页,寻思之后,干脆在整个文件夹外面写一个.bat文件作为启动脚本:
start 文件夹/启动文件.exe
此时的目录结构如图所示:
|-测试工作区
|-打包的整个项目文件夹
|-打包后的数据文件
|-打包后的启动程序.exe
|-用于启动exe的脚本.bat
但是这又引出了新的问题:这个运行的路径到底是临时程序文件路径,还是exe启动程序路径,还是bat脚本路径???
我没看懂,但我大受震撼.jpg
猜测半天不如进行实测,于是把网上五花八门的写法都拉进来写了个测试代码打包到exe里面看看结果:
import os
print("当前程序路径",os.getcwd(), os.path.exists(os.getcwd()+'\\'+G_model_path))
print("当前脚本路径", sys.path[0], os.path.exists(sys.path[0]+'\\'+G_model_path))
print("当前默认所在路径", os.path.abspath('.'), os.path.exists(os.path.abspath('.')+'\\'+G_model_path))
print('临时执行路径',os.path.split(os.path.realpath(__file__))[0], os.path.exists(os.path.split(os.path.realpath(__file__))[0]+'\\'+G_model_path))
每一行都会显示这种写法得到的路径信息,与能否在这条路径上找到打包到文件夹里面的数据文件。
首先尝试直接双击exe启动,得到结果:
当前程序路径 测试工作区\打包的整个项目文件夹 True
当前脚本路径 测试工作区\打包的整个项目文件夹\base_library.zip False
当前默认所在路径 测试工作区\打包的整个项目文件夹 True
临时执行路径 测试工作区\打包的整个项目文件夹 True
然后试着用.bat启动exe,得到结果:
当前程序路径 测试工作区 False
当前脚本路径 测试工作区\打包的整个项目文件夹\base_library.zip False
当前默认所在路径 测试工作区 False
临时执行路径 测试工作区\打包的整个项目文件夹 True
实践出真知,全部测试之后的结果表明,sys.path[0]
就是渣渣! 在直接双击运行exe的时候,有三种措施都能起效,但是通过bat运行exe的时候,只有最后一种写法
os.path.split(os.path.realpath(__file__))[0]
才能找到正确的数据文件所在路径。
问题3:GPU训练的模型要放到CPU环境跑?
这个问题相对来说比较简单,只需要修改加载模型参数的代码。
从G_model.load_state_dict(load(G_model_path))
改为G_model.load_state_dict(load(G_model_path, map_location=device('cpu')))
问题4:直接打包还是用spec文件配置?
推荐先生成spec文件,完成配置后重新打包
然后在test.spec中修改参数:
4.1 添加PYTHONPATH
如果你需要import项目根目录中的文件夹作为库,需要将文件夹路径添加到该参数
必须用绝对路径!相对路径不生效!
pathex=['path']
4.2 添加数据文件
程序调用的相对路径中的数据文件
datas=[(oldpath1, newpath1), (oldpath2, newpath2)]
4.3 手动添加没有被识别到的调用库
hiddenimports=['libs']
问题全部解决之后,程序运行正常√
来源:https://blog.csdn.net/Rebacca122222/article/details/124440089


猜你喜欢
- 前言本文主要给大家介绍的是关于PHP/ThinkPHP实现批量打包下载文件的相关内容,分享出来供大家参考学习,话不多说了,来一起看看详细的介
- 本文实例讲述了python实现的爬取电影下载链接功能。分享给大家供大家参考,具体如下:#!/usr/bin/python#coding=UT
- 一、python压缩模块简介python直接通过内置压缩模块可以直接进行压缩文件的创建;内置模块 zipfile/rarfile 完成压缩文
- 本文实例讲述了PHP调用全国天气预报数据接口查询天气。分享给大家供大家参考,具体如下:基于PHP的聚合数据全国天气预报API服务请求的代码样
- 1. 前言python除了丰富的第三方库外,本身也提供了一些内在的方法和底层的一些属性,大家比较常用的如dict、list、set、min、
- 本文实例总结了php随机取mysql记录方法。分享给大家供大家参考。具体分析如下:在php中要随机取mysql记录我们可以直接使用mysql
- 我们开发数据库应用时,常常需要用到模糊查询。如果同一个条件需要匹配很多字段怎么办呢?通常,程序员会每个字段都在SQL中“field like
- 但是如果是让你接手一个二等残废的网站,并让你在上面改版,而且不能推翻式改版,只能逐步替换旧的程序,那么你会非常痛苦,例如我遇到的问题: 问题
- 一、简介我们来看看对 Vuex 比较专业的介绍:Vuex 是一个专为 Vue 开发的应用程序的状态管理模式,它采用集中式存储管理应用的所有组
- 1、说明xlwt模块是非追加写入.xls模块,所以要一次性写入for循环和列表,这样就没有追加和非追加的说法。并且将Excel表合并,将每一
- 阿里云 视频直播 配置 及 PHP-SDK 接入教程个人感觉,阿里的文档比微信的要坑很多…微信最多是有些比较重要的东西放到比较不起眼、比较难
- python 3.10上安装pyqt5前言首先,看一下自己电脑上的python的版本,网上有太多乱七八糟的教程,啥也不说就硬教,跟着做的话就
- 随着电子邮件的广泛使用,垃圾邮件也日益增多,对用户造成了很大的困扰。因此,开发一个能够自动分类和过滤垃圾邮件的程序就显得非常重要。本篇文章将
- 一、简介 XML(eXtensible Markup Languag
- 网页上的图片如果设置了alt属性,当鼠标移经时就会有tooltip出现,但是只能显示一行文本,有时需要多行文本,乃至图片来显示图片、链接或者
- 字符串在内存中是不可变的,放在只读内存段,因此你可以使用str[0]来访问,但是不能使用str[0]='a'来修改。修改字符
- 目录一个不那么方便的解决方案:实战演练网站在线转换Postman今天介绍个神奇的网站!堪称爬虫偷懒的神器!我们在写爬虫,构建网络请求的时候,
- Numpy模块被广泛用于科学和数值计算,自然有它的强大之处,之前对于特征处理中需要进行数据列表或者矩阵拼接的时候都是自己写的函数来完成的,今
- (需要安装psutil 用来获取服务器资源,以及pymongo驱动)#pip install psutil#pip install pymo
- 一、说明 numpy.ufunc是什么函数?答