python使用多进程的实例详解
作者:雪山飞猪 发布时间:2021-09-03 19:19:44
python多线程适合IO密集型场景,而在CPU密集型场景,并不能充分利用多核CPU,而协程本质基于线程,同样不能充分发挥多核的优势。
针对计算密集型场景需要使用多进程,python的multiprocessing与threading模块非常相似,支持用进程池的方式批量创建子进程。
•创建单个Process进程(使用func)
只需要实例化Process类,传递函数给target参数,这点和threading模块非常的类似,args为函数的参数
import os
from multiprocessing import Process
# 子进程要执行的代码
def task(name):
print('run child process %s (%s)...' % (name, os.getpid()))
if __name__ == '__main__':
print('parent process %s.' % os.getpid())
p = Process(target=task, args=('test',))
p.start()
p.join()
print('process end.')
•创建单个Process进程(使用class)
继承Process类,重写run方法创建进程,这点和threading模块基本一样
import multiprocessing
import os
from multiprocessing import current_process
class Worker(multiprocessing.Process):
def run(self):
name = current_process().name # 获取当前进程的名称
print('run child process <%s> (%s)' % (name, os.getpid()))
print('In %s' % self.name)
return
if __name__ == '__main__':
print('parent process %s.' % os.getpid())
p = Worker()
p.start()
p.join()
print('process end.')
* 停止进程
terminate()结束子进程,但是会导致子进程的资源无法释放掉,是不推荐的做法,因为结束的时候不清楚子线程的运行状况,有很大可能性导致子线程在不恰当的时刻被结束。
import multiprocessing
import time
def worker():
print('starting worker')
time.sleep(0.1)
print('finished worker')
if __name__ == '__main__':
p = multiprocessing.Process(target=worker)
print('执行前:', p.is_alive())
p.start()
print('执行中:', p.is_alive())
p.terminate() # 发送停止号
print('停止:', p.is_alive())
p.join()
print('等待完成:', p.is_alive())
•直接创建多个Process进程
import multiprocessing
def worker(num):
print(f'Worker:%s %s', num)
return
if __name__ == '__main__':
jobs = []
for i in range(5):
p = multiprocessing.Process(target=worker, args=(i,))
jobs.append(p)
p.start()
•使用进程池创建多个进程
在利用Python进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间。当 * 作对象数目不大时,可以直接利用multiprocessing中的Process动态成生多个进程,十几个还好,但如果是上百个,上千个目标,手动的去限制进程数量却又太过繁琐,此时可以发挥进程池的功效。
Pool可以提供指定数量的进程供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到规定最大值,那么该请求就会等待,直到池中有进程结束,才会创建新的进程来它。
import os
import random
import time
from multiprocessing import Pool
from time import ctime
def task(name):
print('start task %s (%s)...' % (name, os.getpid()))
start = time.time()
time.sleep(random.random() * 3)
print('end task %s runs %0.2f seconds.' % (name, (time.time() - start)))
if __name__ == '__main__':
print('parent process %s.' % os.getpid())
p = Pool() # 初始化进程池
for i in range(5):
p.apply_async(task, args=(i,)) # 追加任务 apply_async 是异步非阻塞的,就是不用等待当前进程执行完毕,随时根据系统调度来进行进程切换。
p.close()
p.join() # 等待所有结果执行完毕,会等待所有子进程执行完毕,调用join()之前必须先调用close()
print(f'all done at: {ctime()}')
如果关心每个进程的执行结果,可以使用返回结果的get方法获取,代码如下
import os
import random
import time
from multiprocessing import Pool, current_process
from time import ctime
def task(name):
print('start task %s (%s)...' % (name, os.getpid()))
start = time.time()
time.sleep(random.random() * 3)
print('end task %s runs %0.2f seconds.' % (name, (time.time() - start)))
return current_process().name + 'done'
if __name__ == '__main__':
print('parent process %s.' % os.getpid())
result = []
p = Pool() # 初始化进程池
for i in range(5):
result.append(p.apply_async(task, args=(i,))) # 追加任务 apply_async 是异步非阻塞的,就是不用等待当前进程执行完毕,随时根据系统调度来进行进程切换。
p.close()
p.join() # 等待所有结果执行完毕
for res in result:
print(res.get()) # get()函数得出每个返回结果的值
print(f'all done at: {ctime()}')
总结
以上所述是小编给大家介绍的python使用多进程的实现代码网站的支持!
来源:https://www.cnblogs.com/chenqionghe/p/9674596.html
猜你喜欢
- opencv读取和写入路径有汉字的处理读取图片 img_gt = cv2.imdecode(np.fromfile(path, d
- 有的时候,操作大文件,或者取数,要很久,我们给脚本首尾添加一段代码就知道,这段代码整体的大致运行时间了。import timestart =
- 概述从今天开始, 小白我将带领大家一起来补充一下 数据库的知识.条件查询我们可以使用关键词Where来指定条件, 用于插入, 修改删除或者查
- 1. 单行导入与多行导入在 Go 语言中,一个包可包含多个 .go 文件(这些文件必须得在同一级文件夹中),只要这些 .go 文件的头部都使
- 前言在工作中使用的是oracle数据库,平时想在家测试一些sql是否可以跑的过,可惜自己电脑并没有安装oracle数据库,甚至完全不想安装到
- 本文主要介绍的是python3中对str(字符串)的使用操作总结,文中介绍的非常详细,需要的朋友们下面来一起看看吧。__add__函数 (在
- 打包下载Pain.php <?php class Pain { public $var=array(); public $tpl=ar
- 在这篇入门教程中,我们假定你已经有了PHP语言程序、MySQL数据库、计算机网络通讯及XML语言基础。如果你还没有,那么请先学习相关知识。我
- 简单的一个例子,是以前用Dephi写的,前不久刚实现了一个在Python中使用Delphi控件来编写界面程序,于是趁热写一个类似的的查询方案
- 其实所有的死锁最深层的原因就是一个:资源竞争。表现一:一个用户A 访问表A(锁住了表A),然后又访问表B
- asp之家注:长文章分页算是asp编程中一个比较经典单位问题,怎么分页,什么时候分页.方法挺多,有的是人为的加入分页标志,有的是程序自动加分
- 字体的处理在网页设计中无论怎么强调也不为过,毕竟网页使用来传递信息的,而最经典最直接的信息传递方式就是
- 总经一下前段时间用于的jQuery方法:find及children。需要的朋友可以参考下。首先看看英文解释吧: children方法:fin
- 一,jieba的介绍jieba 是目前表现较为不错的 Python 中文分词组件,它主要有以下特性:支持四种分词模式:精确模式全模式搜索引擎
- json和dictpython中的dict类型要转换为json格式的数据需要用到json库:import json <json>
- 有个文本文件,需要替换里面的一个词,用python来完成,我是这样写的:def modify_text(): with open('
- 本周的豆知识分享就来深入研究一下window.event对象。请先看看下边的代码片断。 <button id=”btn”&g
- 代码如下:function FSOlastline(filename) dim fso,f,temparray
- 从2003年到现在,从ACCESS到SQL SERVER的使用。在ACCESS中没有存储过程的概念。在使用过程中,发现ACCESS与SQL
- xhtml+css页面制作过程中问题的解决方案,说是解决方案应该有点过了,充其量只不过是给刚刚开始学标准页面制作的朋友们的一些小建议,如果讲