Python Multiprocessing多进程 使用tqdm显示进度条的实现
作者：SiyuanChen 发布时间：2021-04-03 19:15:08
标签：python,multiprocessing,多进程,tqdm,进度条
1.背景
在python运行一些，计算复杂度比较高的函数时，服务器端单核CPU的情况比较耗时，因此需要多CPU使用多进程加快速度
2.函数要求
笔者使用的是：pathos.multiprocessing 库，进度条显示用tqdm库，安装方法：
pip install pathos
安装完成后
from pathos.multiprocessing import ProcessingPool as Pool
from tqdm import tqdm
这边使用pathos的原因是因为，multiprocessing 库中的Pool 函数只支持单参数输入，例如 f(x) = x**2，而不能处理 f (x,y) = x+y 这类的函数
更不用说一些需要参数的函数 例如：F(x , alpha=0.5, gamma = 0.1) 这样。
3.代码
定义一个 函数 F [ X ] ,其中，输入X是可以在第一个维度上迭代的array, 大小：[ num_X, len ] , 在第一维度 num_X 上进行迭代。
def F(X,lamda=10,weight=0.05):
res={}
res.update(F_1(X,lamda=lamda,weight=weight))
res.update(F_2(X,lamda=lamda,weight=weight))
return res
x 是 F 的输出，是一个dict (字典格式)
这里的两个函数超参数 lamda 和 weight 虽然每次调用的时候值是一样的，但是还是需要放一个数组每次用于迭代。
zip_lamda = [lamda for i in range(len(X)) ]
zip_weight = [weight for i in range(len(X)) ]
with tqdm(total=len(cold_sequences)) as t:
for i, x in enumerate(pool.imap(F,X,zip_lamda,zip_weight)):
X[i,:] = [x[key] for key in x.keys()]
Y[i,] = 0
t.update()
pool.close()
pool.join()
4.结果
mutiprocess 加速前
mutiprocess 加速后
来源：https://www.cnblogs.com/siyuan1998/p/11246792.html
0
投稿猜你喜欢
1.setting--version control--subversion，按照图中红色字体填入对应信息2.配置中途遇到没找到svn.ex- 最最简单的操作import numpy as npimport matplotlib.pyplot as pltfig = plt.figu
- 深度学习网络通常具有很深的层次结构，而且层与层之间通常会有并联、串联等连接方式。当使用PyTorch建立一个深度学习网络并输出文本向读者展示
- 本文实例为大家分享了js实现简单放大镜效果的具体代码，供大家参考，具体内容如下效果效果，鼠标在原图片移动，黄色小盒子跟随鼠标移动，黄色小盒子
- 有时候在使用 Python 的时候，想要对一个数字或者字符串进行补零操作，即把「1」变为一个八位数的「00000001」，这个时候可以使用一
- 我就废话不多说了，大家还是直接看代码吧~#coding:utf-8import numpy as np## 改变数组的形状#将b 变成3*4
- 元组的特点：是一种不可变序列，一旦创建就不能修改1、拆包将元组的元素取出赋值给不同变量>>> a = ('hell
- 如果 select 元素下的所有 option 元素均没有指定 selected 属性，会默认选中第一个。可以通过 select.selec
- 前序1、蓝图在一个Flask 应用项目中，如果业务视图过多，可否将以某种方式划分出的业务单元单独维护，将每个单元用到的视图、静态文件、模板文
- 在面向对象的理论中，有两个核心的概念：类和实例。类可以看成是一个模板，实例就是根据这个模板创建出来的对象。但在 Python 里面，类和实例
- 一、Pycharm 是什么？PyCharm是一种PythonIDE，其带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具。二
- Python中有哪几种方法安装第三方模块，安装Python第三方模块的方法有很多，这里介绍三种方法安装第三方模块。【方法一】: 通过setu
- 以前写JS程序的时候，经常碰到了定位的问题。但每次都看到一半，找到需要的属性就了事了。今天下了狠心，要花点时间，彻底地弄明白他。以下内容看着
- 一、程序运行1.效果展示 - 轮廓描绘看轮廓描绘效果：2.效果展示 - 颜色填充衣服和裤子颜色填充效果：二、实现过程1.绘图数据下载获取地址
- 在对列表的元素进行找寻时，会频繁的说到遍历的理念。对于复杂的遍历要求，如多个列表中查找就显然不适合用for循环。本篇所要带来的是zip()
- 功能： 1、 允许/限制对表的修改 2、 自动生成派生列，比如自增字段 3、 强制数据一致性 4、 提供审计和日志记录 5、 防止无效的事务
- 一、re.compile 函数作用：compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match()
- 本文实例为大家分享了python编写决策树源代码，供大家参考，具体内容如下因为最近实习的需要，所以用python里的sklearn包重新写了
- 本文实例为大家分享了js实现九宫格布局效果的具体代码，供大家参考，具体内容如下效果代码如下：<!DOCTYPE html><
- 想大家都做过遮罩层这种常见的功能，css或jquery实现，实现方式多样化，这里http://我介绍我在项目中实现的方式，全屏遮罩，部分区域
