python中multiprosessing模块的Pool类中的apply函数和apply_async函数的区别
作者:??HZ在掘金???? 发布时间:2023-03-21 20:23:37
1、二者的区别
apply():
非异步(子进程不是同时执行的),堵塞主进程。
它的非异步体现在:一个一个按顺序执行子进程, 子进程不是同时执行的。
它的堵塞体现在:等到全部子进程都执行完毕后,继续执行apply()后面主进程的代码。
apply_async():
异步的,不堵塞主进程。
它的异步体现在:子进程之间是同时执行的。子进程被分配到不同的cpu上被执行。
它的非堵塞体现在:他不会等待子进程完全执行完毕, 主进程会继续执行, 他会根据系统调度来进行进程之间的切换。如果想堵塞主要进程,需要用.join()函数来堵塞主进程。
2、apply()
import time
import multiprocessing
def doIt(num):
print("Process num is : %s" % num)
time.sleep(1)
print('process %s end' % num)
if __name__ == '__main__':
print('mainProcess start')
#记录一下开始执行的时间
start_time = time.time()
# 创建一个进程池,允许最多可以有3个子进程可以同时执行。
pool = multiprocessing.Pool(3)
print('Child start')
for i in range(3):
pool.apply(doIt,[i])
print('mainProcess done time:%s s' % (time.time() - start_time))
结果如下所示:
从结果中我们可以看到,主进程开始执行之后, 创建的三个子进程也随即开始执行, 后面的主进程被阻塞。而且三个子进程是一个接一个按顺序地执行, 等到子进程全部执行完毕之后, 后面的主进程才会继续执行, 打印出最后一句。所以,apply()函数果然是可以堵塞主进程,而且是非异步的。
3、apply_async()
顾名思义,async就是异步的意思。接下来是使用apply_async(), 只需要把上面的代码使用 apply()的地方改成apply_async() 即可, 代码不再贴上
我们来看看运行结果, 可以看出来, 截图的第一句是上一个程序(也就是apply()函数)的执行消耗时间,
最后一句是使用apply_async()所消耗的时间, 在这里, 主进程没有被阻塞, 验证了apply_async()是非阻塞主进程的, 子进程没有执行, 验证了他是根据系统调度完成的,
为什么会这样呢?
原因是, 进程的切换时操作系统控制的, 我们首先运行的是主进程, 而CPU运行得又很快, 快到还没等系统调度到子线程, 主进程就已经运行完毕了, 并且退出程序. 所以子进程就没有运行了.
那么我们在使用apply_async()函数是不是就不能执行子进程呢?肯定可以啊!!!小老弟,想啥呢??还记得join()的作用吗?他可以阻塞主进程, 等待所有子进程结束之后再运行,join()就是告诉主进程老子要运行子进程了,你先等等。
import time
import multiprocessing
def doIt(num):
print("Process num is : %s" % num)
time.sleep(1)
print('process %s end' % num)
if __name__ == '__main__':
print('mainProcess start')
#记录一下开始执行的时间
start_time = time.time()
# 创建一个进程池,最大允许3个子进程同时执行。
pool = multiprocessing.Pool(3)
print('Child start')
for i in range(3):
pool.apply_async(doIt,[i])
pool.close()
pool.join()
print('mainProcess done time:%s s' % (time.time() - start_time))
结果如下所示:
我们看看加入这两句的运行结果, 我们可以看到即使是使用了非阻塞主进程的apply_async() 也能让子进程运行完毕之后再执行主进程了。
CPU在执行第一个子进程的时候, 还没等第一个子进程结束, 系统调度到了按顺序调度到了第二个子进程, 以此类推, 一直调度运行子进程, 一个接一个地结束子进程的运行, 最后运行主进程, 而且我们可以看到使用apply_async()的执行效力会更高,看一下他们各自执行结果最后一句的执行消耗时间就知道了, 这也是官方推荐我们使用apply_async()的主要原因吧
来源:https://juejin.cn/post/7084059182315339790


猜你喜欢
- 废话不多说了,直接步入正题,一个完整的神经网络一般由三层构成:输入层,隐藏层(可以有多层)和输出层。本文所构建的神经网络隐藏层只有一层。一个
- 一、安装一个基于Python的强大的信号库,它既支持简单的对象到对象通信,也支持针对多个对象进行组播支持注册全局命名信号,支持自定义命名信号
- 前言React核心的单向数据流、一切皆数据的state、不会改变的props,以及状态提升等等经常使用便不多总结,需要的看官方文档。JSXJ
- 下面是IN条件运算符的SQL语句:SELECT column1, SUM(column2) FROM&nbs
- <script> function isIPv6(str) { return str.mat
- 在Windows系统中,mysql登录的时候出现了这样的错误:ERROR 1045: Access denied for user:
- 你知道SQL Server这么庞大的企业级数据库服务器产品是如何build出来的吗?这有些相关的数据:每个build 的大小在300GB左右
- 1.简介: SQL Server 2005中的窗口函数帮助你迅速查看不同级别的聚合,通过它可以非常方便地累计总数、移动平均值、以及执行其它计
- python类型提示(type hint)在刷leetcode或者一些官方源码的时候,经常看到如下字样:class Solution:&nb
- PHPMailer是一个封装好的PHP邮件发送类,支持发送HTML内容的电子邮件,以及可以添加附件发送,并不像PHP本身mail()函数需要
- 看到这个需求的时候就在暗爽,又可以搞定一个知识点了。哈哈,一天的奋斗之后,果然有所收获,而且经过怿飞的指点,在跨域问题解决上还有所突破(不通
- 俺觉得自 己试着写写sql,调试调试还是有帮助的,读人家sql例子好像读懂了,自己写就未 必思路正确,调试得通,写得简洁。 这篇文字在网上被
- 前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理基本开发环境 Python
- 本文实例讲述了js实现鼠标悬浮给图片加边框的方法。分享给大家供大家参考。具体实现方法如下:html代码:<div class=&quo
- Base64编码的深入认识与理解 之前在很多业务中都有见过或者用到过Base64编码,但一直一知半解,没有对它有一个深入的认识和
- 数组的定义:方法1.var mycars=new Array()mycars[0]="Saab"mycars[1]=&q
- SqlServer将数据库中的表复制到另一个数据库一、如果两个数据库在同一台服务器上1、复制表结构和数据(A->B):SELECT *
- 目录1、几个概念2、举个例子3、解决问题4、换个方法通常,当我们需要对对象的敏感属性或者不希望外部直接访问的属性进行私有化,但是某些时候我们
- 今天有个哥们问我要是JavaScript函数重名了会有什么后果?开始我没有细想,就说可能会出错吧,可是等我实验完了发现页面没有任何脚本错误提
- 本文实例为大家分享了python rsync服务器之间文件夹同步的具体代码,供大家参考,具体内容如下About rsync配置两