python并发编程 Process对象的其他属性方法join方法详解
作者:minger_lcm 发布时间:2022-03-07 04:29:54
一 Process对象的join方法
在主进程运行过程中如果想并发地执行其他的任务,我们可以开启子进程,此时主进程的任务与子进程的任务分两种情况
情况一:
在主进程的任务与子进程的任务彼此独立的情况下,主进程的任务先执行完毕后,主进程还需要等待子进程执行完毕,然后统一回收资源。 这种是没有join方法
情况二:
如果主进程的任务在执行到某一个阶段时,需要等待子进程执行完毕后才能继续执行,
就需要有一种机制能够让主进程检测子进程是否运行完毕,在子进程执行完毕后才继续执行,否则一直在原地阻塞,这就是join方法的作用
让主进程等着,所有子进程执行完毕后,主进程才继续执行
from multiprocessing import Process
import time
import os
def task():
print("%s is running,parent id is <%s>" % (os.getpid(), os.getppid()))
time.sleep(3)
print("%s is done,parent id is <%s>" % (os.getpid(), os.getppid()))
if __name__ == "__main__":
t = Process(target=task, )
t.start()
t.join()
# 主进程 等子进程执行完了
print("主", os.getpid(), os.getppid())
'''
is running,parent id is <25956>
is done,parent id is <25956>
主 25956 2992
'''
子进程运行完,最后打印主进程,主进程结束了 所有僵尸进程都会回收
开启多个字进程 向操作系统发送信号,但操作系统要处理的任务太多了,先开启 哪个子进程是随机的,有时候可能先开启主进程先,
操作系统什么时候开,开多长时间,我们是不知道的
from multiprocessing import Process
import time
import os
def task(name):
print('%s is running' %name)
time.sleep(2)
print('%s is end' %name)
if __name__ == '__main__':
p1 = Process(target=task, args=('子进程1',))
p2 = Process(target=task, args=('子进程2',))
p3 = Process(target=task, args=('子进程3',))
p4 = Process(target=task, args=('子进程4',))
p1.start()
p2.start()
p3.start()
p4.start()
print('主',os.getpid(),os.getppid())
'''
子进程1 is running
子进程2 is running
主 9268 5236
子进程3 is running
子进程4 is running
子进程1 is end
子进程2 is end
子进程3 is end
子进程4 is end
'''
也有可能这样,先开启主进程,
主 9556 5236
子进程1 is running
子进程3 is running
子进程2 is running
子进程4 is running
子进程1 is end
子进程3 is end
子进程2 is end
子进程4 is end
p.start() 只是给操作系统发送信号
join 会变串行?
既然join是等待进程结束, 那么我像下面这样写, 进程不就又变成串行的了吗?
当然不是了, 必须明确:p.join()是让谁等?
很明显p.join()是让主线程等待p 子进程的结束,卡住的是主进程而绝非 子进程p,
from multiprocessing import Process
import time
import os
def task(name):
print('%s is running' %(name))
time.sleep(2)
print('%s is end' %(name))
if __name__ == '__main__':
p1 = Process(target=task, args=('子进程1',))
p2 = Process(target=task, args=('子进程2',))
p3 = Process(target=task, args=('子进程3',))
p4 = Process(target=task, args=('子进程4',))
p1.start()
p2.start()
p3.start()
p4.start()
p1.join()
p2.join()
p3.join()
p4.join()
print('主',os.getpid(),os.getppid())
详细解析如下:
进程只要start就会在开始运行了,所以p1-p4.start()时,系统中已经有四个并发的进程了
而我们p1.join()是在等p1结束,没错p1只要不结束主线程就会一直卡在原地,这也是问题的关键
join是让主线程等,而p1-p4仍然是并发执行的,p1.join的时候,其余p2,p3,p4仍然在运行,等#p1.join结束,可能p2,p3,p4早已经结束了,这样p2.join,p3.join.p4.join直接通过检测,无需等待
所以4个join花费的总时间仍然是耗费时间最长的那个进程运行的时间
所以不会是串行执行,是并发执行
4个join花费的总时间仍然是耗费时间最长的那个进程运行的时间
所以就是5秒,就是子进程1 那个等待的时间
from multiprocessing import Process
import time
import os
def task(name,n):
print('%s is running' %(name))
time.sleep(n)
print('%s is end' %(name))
if __name__ == '__main__':
start = time.time()
p1 = Process(target=task, args=('子进程1',5))
p2 = Process(target=task, args=('子进程2',2))
p3 = Process(target=task, args=('子进程3',2))
p4 = Process(target=task, args=('子进程4',2))
p1.start()
p2.start()
p3.start()
p4.start()
p1.join()
p2.join()
p3.join()
p4.join()
print('主',time.time() - start)
'''
子进程1 is running
子进程2 is running
子进程3 is running
子进程4 is running
子进程2 is end
子进程3 is end
子进程4 is end
子进程1 is end
主 5.413309812545776
'''
这种方式就是串行
等子进程1执行时候,子进程2就没有发送信号,要等子进程1 执行完,再子进程2发送信号 ,开启子进程2再执行,按照这样的顺序
from multiprocessing import Process
import time
import os
def task(name,n):
print('%s is running' %(name))
time.sleep(n)
print('%s is end' %(name))
if __name__ == '__main__':
start = time.time()
p1 = Process(target=task, args=('子进程1',5))
p2 = Process(target=task, args=('子进程2',2))
p3 = Process(target=task, args=('子进程3',2))
p4 = Process(target=task, args=('子进程4',2))
p1.start()
p1.join()
p2.start()
p2.join()
p3.start()
p3.join()
p4.start()
p4.join()
print('主',time.time() - start)
'''
子进程1 is running
子进程1 is end
子进程2 is running
子进程2 is end
子进程3 is running
子进程3 is end
子进程4 is running
子进程4 is end
主 12.212698698043823
'''
上述启动进程与 join进程 可以简写为以下
from multiprocessing import Process
import time
import os
def task(name,n):
print('%s is running' %(name))
time.sleep(n)
print('%s is end' %(name))
if __name__ == '__main__':
start = time.time()
p1 = Process(target=task, args=('子进程1',5))
p2 = Process(target=task, args=('子进程2',2))
p3 = Process(target=task, args=('子进程3',2))
p4 = Process(target=task, args=('子进程4',2))
process_list = [p1,p2,p3,p4]
for p in process_list:
p.start()
for p in process_list:
p.join()
print('主',time.time() - start)
join 保证所有子进程执行完 主进程才能工作,不然一直阻塞
来源:https://www.cnblogs.com/mingerlcm/p/8987034.html


猜你喜欢
- 概述:前段时间在跟其他公司DBA交流时谈到了mysql跟PG之间在多表关联查询上的一些区别,相比之下mysql只有一种表连接类型:嵌套循环连
- 今天我去隽辰的博客去看他的文章,在读完他的文章之后,我很自然的就去读网友们给他留的评论,在读的时候我发现他的评论是顺序的,也就是最早的评论在
- 在Javascript里,setTimeout和setInterval接收第一个参数是一个字符串或者一个函数,当在一个对象里面用setTim
- 在我们想要捕获的URL部分上加上小括号,Django 会将捕获的文本作为位置参数传递给视图函数。 在更高级的用法中,还可以使用 命名 正则表
- 下面代码即是VBScript代码在服务器端编译后的显示内容,如果我们把这段代码保存成静态文件(HTML)或JS文件,那么上一篇提出的问题就迎
- 当服务器必须提供与两个或更多个网络或网络子网的连接时,典型的方案是使用多宿主计算机。此计算机通常位于外围网络(也称为 DMZ、外围安全区域或
- 应用OpenCV和Python进行SIFT算法的实现如下图为进行测试的gakki101和gakki102,分别验证基于BFmatcher、F
- 好久没写技术相关的文章,这次写篇有意思的,关于一个有意思的游戏——QQ找茬,关于一种有意思的语言——Python,关于一个有意思的库——Qt
- 采用双重循环。把图片进行“.”分割后名字问前面部分,那其余数据库中的 图片路径记录进行对比 采用vb的InStr函数 如果存在的话返回值&g
- 本文研究的主要是python实现Adapter模式的相关内容,具体实现代码如下。Adapter模式有两种实现方式一种是类方式。#理解 #就是
- 昨晚着手给个人博客增加网易微博的调用,在Opera下却出现了一个意想不到的问题。内容的展示,一开始是做成横向不间断滚动(现在已经改成纵向定时
- python pandas分组聚合1、环境python3.9win10 64bitpandas==1.2.1groupby方法是pandas
- 本文主要研究的是Python机器学习logistic回归的相关内容,同时介绍了一些机器学习中的概念,具体如下。Logistic回归的主要目的
- python 中的and从左到右计算表达式,若所有值均为真,则返回最后一个值,若存在假,返回第一个假值。or也是从左到有计算表达式,返回第一
- 一、注释当前行注释:# 被注释内容多行注释:""" 被注释内容 """二、用户输
- 以前用js很少用到js的正则表达式,即使用到了,也是诸如邮件名称之类的判断,网上代码很多,很少有研究,拿来即用。最近开发遇到一些需要使用正则
- 今天来给大家讲讲python中最基本的 if 条件语句,这几乎是所有编程语言中都存在的语句,只是语法结构稍有不同。程序之
- 今天在 经纬 同学blog看到的。有这么一段代码:<ul id="demo"><li>
- 1. python中创建新的csv文件(1). 使用csv.writer()创建:代码如下:import csvheaders = [
- 本文实例为大家分享了python提取英语pdf内容并翻译的具体代码,供大家参考,具体内容如下前期准备工作:翻译接口: 调用的是百度翻译的ap