python中multiprosessing模块的Pool类中的apply函数和apply_async函数的区别
作者:??HZ在掘金???? 发布时间:2023-03-21 20:23:37
1、二者的区别
apply():
非异步(子进程不是同时执行的),堵塞主进程。
它的非异步体现在:一个一个按顺序执行子进程, 子进程不是同时执行的。
它的堵塞体现在:等到全部子进程都执行完毕后,继续执行apply()后面主进程的代码。
apply_async():
异步的,不堵塞主进程。
它的异步体现在:子进程之间是同时执行的。子进程被分配到不同的cpu上被执行。
它的非堵塞体现在:他不会等待子进程完全执行完毕, 主进程会继续执行, 他会根据系统调度来进行进程之间的切换。如果想堵塞主要进程,需要用.join()函数来堵塞主进程。
2、apply()
import time
import multiprocessing
def doIt(num):
print("Process num is : %s" % num)
time.sleep(1)
print('process %s end' % num)
if __name__ == '__main__':
print('mainProcess start')
#记录一下开始执行的时间
start_time = time.time()
# 创建一个进程池,允许最多可以有3个子进程可以同时执行。
pool = multiprocessing.Pool(3)
print('Child start')
for i in range(3):
pool.apply(doIt,[i])
print('mainProcess done time:%s s' % (time.time() - start_time))
结果如下所示:
从结果中我们可以看到,主进程开始执行之后, 创建的三个子进程也随即开始执行, 后面的主进程被阻塞。而且三个子进程是一个接一个按顺序地执行, 等到子进程全部执行完毕之后, 后面的主进程才会继续执行, 打印出最后一句。所以,apply()函数果然是可以堵塞主进程,而且是非异步的。
3、apply_async()
顾名思义,async就是异步的意思。接下来是使用apply_async(), 只需要把上面的代码使用 apply()的地方改成apply_async() 即可, 代码不再贴上
我们来看看运行结果, 可以看出来, 截图的第一句是上一个程序(也就是apply()函数)的执行消耗时间,
最后一句是使用apply_async()所消耗的时间, 在这里, 主进程没有被阻塞, 验证了apply_async()是非阻塞主进程的, 子进程没有执行, 验证了他是根据系统调度完成的,
为什么会这样呢?
原因是, 进程的切换时操作系统控制的, 我们首先运行的是主进程, 而CPU运行得又很快, 快到还没等系统调度到子线程, 主进程就已经运行完毕了, 并且退出程序. 所以子进程就没有运行了.
那么我们在使用apply_async()函数是不是就不能执行子进程呢?肯定可以啊!!!小老弟,想啥呢??还记得join()的作用吗?他可以阻塞主进程, 等待所有子进程结束之后再运行,join()就是告诉主进程老子要运行子进程了,你先等等。
import time
import multiprocessing
def doIt(num):
print("Process num is : %s" % num)
time.sleep(1)
print('process %s end' % num)
if __name__ == '__main__':
print('mainProcess start')
#记录一下开始执行的时间
start_time = time.time()
# 创建一个进程池,最大允许3个子进程同时执行。
pool = multiprocessing.Pool(3)
print('Child start')
for i in range(3):
pool.apply_async(doIt,[i])
pool.close()
pool.join()
print('mainProcess done time:%s s' % (time.time() - start_time))
结果如下所示:
我们看看加入这两句的运行结果, 我们可以看到即使是使用了非阻塞主进程的apply_async() 也能让子进程运行完毕之后再执行主进程了。
CPU在执行第一个子进程的时候, 还没等第一个子进程结束, 系统调度到了按顺序调度到了第二个子进程, 以此类推, 一直调度运行子进程, 一个接一个地结束子进程的运行, 最后运行主进程, 而且我们可以看到使用apply_async()的执行效力会更高,看一下他们各自执行结果最后一句的执行消耗时间就知道了, 这也是官方推荐我们使用apply_async()的主要原因吧
来源:https://juejin.cn/post/7084059182315339790
猜你喜欢
- 学Python中,自我感觉学的还不错的亚子~想做点什么来练练手,然后我疯狂的找各种小游戏的教程源码什么的,于是我就疯狂的找呀找呀,就找到了一
- 用法:DataFrame.drop(labels=None,axis=0, index=None, columns=None, inplac
- variables_to_restore函数,是TensorFlow为滑动平均值提供。之前,也介绍过通过使用滑动平均值可以让神经网络模型更加
- 随机显示图片代码:<div class="sidebarcen"><script language=&
- <!--#include file="admin_Checkuser.asp"--> <%
- 注:使用的是Python2.7。一、实例方法实例方法就是类的实例能够使用的方法。如下:class Foo:  
- YAML语法规则:http://www.ibm.com/developerworks/cn/xml/x-cn-yamlintro/下载PyY
- 开源的MySQL并不能取代非共享的私有数据库在企业中的应用,于是这些开源数据库的支持者们想把解决Web应用程序开发工具的可扩展性问题看作是获
- Python需要使用标识符给变量命名,其实标识符就是用于给程序中变量、类、方法命名的符号(简单来说,标识符就是合法的名称标识符需要以字母或下
- number(<p>,<s>)精度p取值范围1~38有效位s取值范围-84~127最高整数位数=p-ss正数,小数点
- 我们可能会出现这种情况,某个表原来设计不周全,导致表里面的数据数据重复,那么,如何对重复的数据进行删除呢?重复的数据可能有这样两种情况,第一
- 阅读上一篇:定义网页的语言编码 用web标准设计网站,过渡的方法主要是采用XHTML+CSS,css样式表是必不可少的。这就要求所有网页设计
- 在ASP中,FSO的意思是File System Object,即文件系统对象。
- 一般的网站会有很多页面,面包屑导航可以大大改善用户寻找他们的路径的方法。就可用性而言,面包屑可以减少一个网站的用户返回上一级页面的操作次数,
- 是不是有这么一个场景,对外提供一堆数据或者是要返回给用户一个结果。但是不想把内部的一些数据和逻辑暴露给对方。。。简单点来说,就是想以服务的方
- 当在设计中我们讨论到,对于一个功能或元素是否应该添加的时候,秉承“如无所需、勿增实体”的原则,我们通常会放弃只有小众/小部分人群才会使用的功
- 一个网站空间,但是却可以实现多个域名的访问的一段ASP代码:<%if Request.ServerVariables("SE
- 我们都知道在9i之前,要想获得建表和索引的语句是一件很麻烦的事。我们通常的做法都是通过export with rows=no来得到,但它的输
- 我们都知道ACCESS是ASP的亲密伙伴。因为两种最简单的东西碰在一起总能迸发出火花。然而,当我们过滤不严格的时候经常出现日文字符,这个时候
- 我们在设计网站的时候,有的时候需要根据页面元素的属性来制作不同的样式,比如,对于不同的链接类型,显示不同的链接图标。CSS的选择器是个很有用