基于python的多进程共享变量正确打开方式
作者:Nicoder 发布时间:2022-02-12 10:30:53
多进程共享变量和获得结果
由于工程需求,要使用多线程来跑一个程序。但是因为听说python的多线程是假的,于是使用多进程,反正任务需要共享的参数少。
查阅资料,发现实现多进程主要使用Multiprocessing,有两种方式,一种是Process,另一种是Pool。
p = Process(target=fun,args=(args))
再通过p.start()来启动一个子进程,通过p.join()方法来使得子进程运行结束后再执行父进程。
但是这样很烦,还要写个for 循环来开n个线程和join。
于是推荐用Pool。它可以开一个固定大小的进程池,然后每个线程执行apply_async()函数调用要执行的函数,最后再close和join。
代码如下:
pathm=Manager().Queue(len(pathlist))
for d in pathlist:
pathm.put(d)
p=Pool(cp.threads)
results=[]
for i in range(cp.threads):
temp=p.apply_async(ProcessWorker,args=(i,pathm,cp))
results.append(temp)
print 'Waiting for all subprocesses done...'
p.close()
p.join()
print 'All subprocesses finish Processing.'
results=[r.get() for r in results]
上面的代码演示了如何使用pool多进程,如何在Pool里的进程之间共享变量pathm,以及如何获得进程函数执行的结果。需要注意的是,ProcessWorker必须是个 * 的函数,否则报错该函数无法被pickle从而不能分配到各个进程。
cPickle.PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed
有界函数和python的多进程机制
从上面引申到了一个概念,就是有界函数 * 函数的概念。
查阅资料之后我总结如下:
有界函数是包在一个类中,并且只有当类被实例化之后才能使用的函数,它的界就是这个实例。我们常常把这些函数称为类方法。例如以self为参数的类方法。
* 函数可以是没有被包在类中的函数,也可以是类中的静态方法,它们跟类是独立的。如类中的静态方法,它即使在某个类中被定义,但是不能访问类中的参数和其他方法。
python多进程的机制应该是把每个进程要调用的方法和传入的参数(如上面例子中的ProcessWorker)编译然后打包,然后复制到每个进程中执行。如果输入的是一个有界函数,那么它的参数应该是它所属的类(包括参数和方法),但是这是无法获得的,而且类属性和方法可能会有坑,导致难以打包。所以python限定了多进程要调用的函数不能是类方法。
我们要把多进程调用的函数放到类外面,或者变成静态函数。但是静态函数的话不能被所属的类的方法调用(self.ProcessWorker的形式),需要在外部调用,如mc=MyClass(),mc.ProcessWorker来调用,或者MyClass().ProcessWorker来调用。
来源:https://blog.csdn.net/hejunqing14/article/details/75646994
猜你喜欢
- 前言for循环是Go语言唯一的循环结构,最近在做一个基于RabbitMQ的应用,由于官方的qos没有golang的版本,所以出了一点问题。问
- 保护你的ASP页面的两种办法 有时候你只想让人们从你的站点来访问你的某些页面, 而不允许他们从其它站点的非法链接中到达这些页面。在你想保护的
- python提取特定时间段内的数据尝试一下:data['Date'] = pd.to_datetime(data['
- 函数javascript函数相信大家都写过不少了,所以我们这里只是简单介绍一下.创建函数:function f(x) {........}v
- 下面这个例子描述的是在Godaddy-Linux托管帐户上使用JSP连接到某个MySQL数据库。 <%@ page
- 前 言:作为当前先进的深度学习目标检测算法YOLOv5,已经集合了大量的trick,但是在处理一些复杂背景问题的时候,还是容易出现错漏检的问
- 一 开发环境集成开发工具:jupyter notebook 6.2.5集成开发环境:python 3.10.6第三方库:nump
- 说明1、字典运算中的键必须是不可变类型,如整数(int)、浮点数(float)、字符串(str)、元组(tuple)等。2、列表(list)
- 基于MySQL分布式锁实现原理及代码工欲善其事必先利其器,在基于MySQL实现分布式锁之前,我们要先了解一点MySQL锁自身的相关内容MyS
- 目录一、简单文本类型数据二、复杂型表格提取三、图片型表格提取大家好,从PDF中提取信息是办公场景中经常需要用到的操作,也是经常又读者在后台问
- 【源码GitHub地址】:点击进入1. 问题描述之前写了一篇关于《pytorch Dataset, DataLoader产生自定义的训练数据
- 一、python批量解压提示:如果是重要数据解压前请先备份,解压后会覆盖原压缩文件!!解压前:解压后:文件名为英文:文件名中包含中文:代码如
- 引言今天给大家推荐的是web应用安全防护方面的一个包:csrf。该包为Go web应用中常见的跨站请求伪造(CSRF)攻击提供预防功能。cs
- SQLServer数据导出到excel有很多种方法,比如dts、ssis、还可以用sql语句调用openrowset。我们这里开拓思路,用C
- 一、引出问题假如有这两张表,它们中的课程可能价格不一样、周期不一样、等等...不一样...,现在有一张价格策略表,怎么就用一张表报保存它们之
- 在 HTML 页面中嵌入 JavaScript 脚本需要使用 <script> 标签,用户可以在 <script>
- TensorFlow是Google公司2015年11月开源的第二代深度学习框架,是第一代框架DistBelief的改进版本. TensorF
- 需求细化:1.身份证必须能够通过身份证校验程序。2.通过查询,发现身份证号码是有国家标准的,标准号为 GB 11643-1999 可以从百度
- 上一次写的《Bootstrap编写一个兼容主流浏览器的受众巨幕式风格页面》(点击打开链接)部分老一辈的需求可能对这种后现代的风格并不满意,没
- 技巧问题 Mysql的远程连接出现"Lost connection to MySQL server during query&qu