Python多进程multiprocessing、进程池用法实例分析
作者:随风行云 发布时间:2022-05-20 00:01:29
本文实例讲述了Python多进程multiprocessing、进程池用法。分享给大家供大家参考,具体如下:
内容相关:
multiprocessing:
进程的创建与运行
进程常用相关函数
进程池:
为什么要有进程池
进程池的创建与运行:串行、并行
回调函数
多进程multiprocessing:
python中的多进程需要使用multiprocessing模块
多进程的创建与运行:
1.进程的创建:进程对象=multiprocessing.Process(target=函数名,args=(参数,))【补充,由于args是一个元组,单个参数时要加“,”】
2.进程的运行: 进程对象.start()
进程的join跟线程的join一样,意义是 “阻塞当前进程,直到调用join方法的那个进程执行完,再继续执行当前进程”
注:在windows中代码中必须使用这个,在Linux 中不需要加这个
import multiprocessing,time,os
def thread_run():
print(threading.current_thread())
def run(name):
time.sleep(1)
print("hello",name,"run in ",os.getpid(),"ppid:",os.getppid())
if __name__=='__main__':#必须加
obj=[]
for i in range(10):
p=multiprocessing.Process(target=run,args=('bob',))
obj.append(p)
p.start()
start_time=time.time()
for i in obj:
i.join()
print("run in main")
print("spend time :",time.time()-start_time)
与多线程同样的:也可以通过继承multiprocessing的Process来创建进程
继承multiprocessing的Process类的类要主要做两件事:
1.如果初始化自己的变量,则先要调用父类的__init__()【如果不调用,则要自己填写相关的参数,麻烦!】然后做自己的初始化;如果不需要初始化自己的变量,那么不需要重写__init__,直接使用父类的__init__即可【已经继承了】
2.重写run函数
import multiprocessing
class myProcess(multiprocessing.Process):
def run(self):
print("run in myProcess")
if __name__=="__main__":
p=myProcess()
p.start()
p.join()
进程常用相关函数:
os.getpid():获取当前进程号。
os.getppid():获取当前进程的父进程号。
进程对象.is_alive():判断进程是否存活
进程对象.terminate():结束进程【不建议的方法,现实少用】
进程池:
为什么需要进程池
如果要启动大量的子进程,可以用进程池的方式批量创建子进程,而进程池可以限制运行的进程的数量【有太多人想要游泳,而池子的容量决定了游泳的人的数量
Pool类可以提供指定数量的进程供用户调用,当有新的请求提交到Pool中时,如果池还没有满,就会创建一个新的进程来执行请求。如果进程池满了,请求就会告知先等待,直到池中有进程结束,才会创建新的进程来执行这些请求
进程池的创建与使用:
串行:进程池对象.apply(func=函数名,args=(参数,))
使用进程池需要导入:from multiprocessing import Pool
创建进程池:进程池对象=Pool(容量)
给进程池添加进程:
from multiprocessing import Poolimport time,osdef func1(i): time.sleep(1) print("run in process:",os.getpid())if __name__=="__main__": pool=Pool(5) start_time = time.time() for i in range(10): pool.apply(func=func1,args=(i,))#串行,这里是加一个运行完再加一个 pool.close()#先close再等待 pool.join() print("main run done,spend_time:",time.time()-start_time)
并行:进程池对象.apply_async(func=函数名,args=(参数,),callback=回调函数)
from multiprocessing import Poolimport time,osdef func1(i): time.sleep(1) print("run in process:",os.getpid())if __name__=="__main__": pool=Pool(5) start_time = time.time() for i in range(10): pool.apply_async(func=func1,args=(i,))#并行 pool.close()#先close再等待 pool.join() print("main run done,spend_time:",time.time()-start_time)#2.6,证明是并行
回调函数的使用:在并行中,支持callback=回调函数,当一个进程执行完毕后会调用该回调函数,并且参数为func中的返回值
注意:回调函数是在父进程中执行的!【当儿子执行完后,会在父亲里调用函数】
from multiprocessing import Poolimport time,osdef func1(i): time.sleep(1) print("run in process:",os.getpid()) return "filename"def log(arg):##参数为进程创建中func的函数的返回值 print("log done :",arg)if __name__=="__main__": pool=Pool(5) start_time = time.time() for i in range(10): pool.apply_async(func=func1,args=(i,),callback=log,)#log的参数是func1的返回值 pool.close()#先close再等待 pool.join() print("main run done,spend_time:",time.time()-start_time)
注:对
Pool
对象调用join()
方法会等待所有子进程执行完毕,调用join()
之前必须先调用close()
,调用close()
之后就不能继续添加新的Process
了。【意思就是比如游泳池只卖1个小时的票,约定5点关门,那么4点多之后就不能再卖票了,就一直等着游泳池里面的人出来再关门,进程池的close是一个关门的意思,并不是结束的意思,它只是关上了进来的门,而里面的进程还可以运行】【进程池的join是等池子里的所有进程执行完毕,如果后面再进来进程的话就没完没了了,所以需要先关闭进入,再等待进程结束】
希望本文所述对大家Python程序设计有所帮助。
来源:https://www.cnblogs.com/progor/p/8439000.html
猜你喜欢
- Python的functools模块中有一种函数叫“偏函数”,自从接触它以来,发现确实是一个很有用且简单的函数,相信你看完这篇文章,你也有相
- documentFragment 是一個無父對象的document對象.他支持以下DOM2方法:appendChild, cloneNode
- 用read_csv读数据遇到分隔符问题的两种解决方式import pandas as pd1.更改read_csv函数中的传参&ld
- 1.open使用open打开文件后一定要记得调用文件对象的close()方法。比如可以用try/finally语句来确保最后能关闭文件。fi
- 一张表(ColumnTable)的结构如下图所示当前需要实现的功能:通过Number的值为67来获取当前的节点ID、父节点ID递归实现SQL
- 先来看个例子:#-*- coding:utf8 -*-s = u'中文截取's.decode('utf8')
- CSS 中的 position 属性可以很容易的将指定的元素定位到理想的位置。但在使用这一属性时需要注意,尤其是在表格元素中。为了说明此问题
- 前言XPath,全称XML Path Language,即XML路径语言,它是一门在XML文档中查找信息的语言,它最初是用来搜寻XML文档的
- 利用Python正则表达式匹配字符串中的http链接。主要难点是用正则表示出http 链接的模式。import repattern = re
- 本文讲解了一个使用XML技术上传文件的例子,使用该方法没有传统方法中的种种限制。 这个例子讲述了如何使用MSXML3.0和ADO Strea
- 字符串转十六进制StrToHex Function<% Response.Write StrToHex("Nice
- pygame.transform 模块允许您对加载、创建后的图像进行一系列操作,比如调整图像大小、旋转图片等操作,常用方法如下所示:下面看一
- 网站发布到IIS后,发现网站使用的Bootstrap框架所引用的woff字体无法正常显示。于是跟踪http请求,发现woff字体请求出现GE
- 实现如下需求:在PyQt界面上有一个控件,实现其可任意拖动,且鼠标释放时自动对齐到网格。1.控件任意拖动并对齐到网格如下按钮(尺寸100&a
- 300来行python代码实现简易版学生成绩管理系统,供大家参考,具体内容如下使用链表来实现class Node(object): def
- 灵感来源之前在B站看到一个有意思的视频:【B站】【亦】终极云游戏!五千人同开一辆车,复现经典群体智慧实验大家可以看看,很有意思。up主通过代
- 背景:由于需要对ocr识别系统的表格识别结果做验证,通过返回的json文件结果对比比较麻烦,故需要将json文件里面的识别结果还原为表格做验
- psutil是什么psutil是一个能够获取系统信息(包括进程、CPU、内存、磁盘、网络等)的Python模块。主要用来做系统监控,性能分析
- 前言之前写pandas和matplotlib的时候说到了想要出一期Pyechart系列数据可视化的文章。比起matplotlib,pyeac
- 本文实例讲述了Django框架设置cookies与获取cookies操作。分享给大家供大家参考,具体如下:在Django里面,使用Cooki