Python多进程机制实例详解
作者:tianmo2010 发布时间:2021-04-10 00:16:44
标签:Python,多进程
本文实例讲述了Python多进程机制。分享给大家供大家参考。具体如下:
在以前只是接触过PYTHON的多线程机制,今天搜了一下多进程,相关文章好像不是特别多。看了几篇,小试了一把。程序如下,主要内容就是通过PRODUCER读一个本地文件,一行一行的放到队列中去。然后会有相应的WORKER从队列中取出这些行。
import multiprocessing
import os
import sys
import Queue
import time
def writeQ(q,obj):
q.put(obj,True,None)
print "put size: ",q.qsize()
def readQ(q):
ret = q.get(True,1)
print "get size: ",q.qsize()
return ret
def producer(q):
time.sleep(5) #让进行休息几秒 方便ps命令看到相关内容
pid = os.getpid()
handle_file = '/home/dwapp/joe.wangh/test/multiprocess/datafile'
with open(handle_file,'r') as f: #with...as... 这个用法今天也是第一次看到的
for line in f:
print "producer <" ,pid , "> is doing: ",line
writeQ(q,line.strip())
q.close()
def worker(q):
time.sleep(5) #让进行休息几秒 方便ps命令看到相关内容
pid = os.getpid()
empty_count = 0
while True:
try:
task = readQ(q)
print "worker <" , pid , "> is doing: " ,task
'''
如果这里不休眠的话 一般情况下所有行都会被同一个子进程读取到 为了使实验效果更加清楚 在这里让每个进程读取完
一行内容时候休眠5s 这样就可以让其他的进程到队列中进行读取
'''
time.sleep(5)
except Queue.Empty:
empty_count += 1
if empty_count == 3:
print "queue is empty, quit"
q.close()
sys.exit(0)
def main():
concurrence = 3
q = multiprocessing.Queue(10)
funcs = [producer , worker]
for i in range(concurrence-1):
funcs.append(worker)
for item in funcs:
print str(item)
nfuncs = range( len(funcs) )
processes = []
for i in nfuncs:
p = multiprocessing.Process(target=funcs[i] , args=(q,))
processes.append(p)
print "concurrence worker is : ",concurrence," working start"
for i in nfuncs:
processes[i].start()
for i in nfuncs:
processes[i].join()
print "all DONE"
if __name__ == '__main__':
main()
实验结果如下:
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>python 1.py
<function producer at 0xb7b9141c>
<function worker at 0xb7b91454>
<function worker at 0xb7b91454>
<function worker at 0xb7b91454>
concurrence worker is : 3 working start
producer < 28320 > is doing: line 1
put size: 1
producer < 28320 > is doing: line 2
put size: 2
producer < 28320 > is doing: line 3
put size: 3
producer < 28320 > is doing: line 4
put size: 3
producer < 28320 > is doing: line 5
get size: 3
put size: 4
worker < 28321 > is doing: line 1
get size: 3
worker < 28322 > is doing: line 2
get size: 2
worker < 28323 > is doing: line 3
get size: 1
worker < 28321 > is doing: line 4
get size: 0
worker < 28322 > is doing: line 5
queue is empty, quit
queue is empty, quit
queue is empty, quit
all DONE
程序运行期间在另外一个窗口进行ps命令 可以观测到一些进程的信息
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python
dwapp 13735 11830 0 Nov20 pts/12 00:00:05 python
dwapp 28319 27481 8 14:04 pts/0 00:00:00 python 1.py
dwapp 28320 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28321 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28322 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28323 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28325 27849 0 14:04 pts/13 00:00:00 grep python
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python
dwapp 13735 11830 0 Nov20 pts/12 00:00:05 python #此时28320进程 也就是PRODUCER进程已经结束
dwapp 28319 27481 1 14:04 pts/0 00:00:00 python 1.py
dwapp 28321 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28322 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28323 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28328 27849 0 14:04 pts/13 00:00:00 grep python
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python
dwapp 13735 11830 0 Nov20 pts/12 00:00:05 python
dwapp 28319 27481 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28321 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28322 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28323 28319 0 14:04 pts/0 00:00:00 [python] <defunct> #这里应该是代表28323进程(WORKER)已经运行结束了
dwapp 28331 27849 0 14:04 pts/13 00:00:00 grep python
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python
dwapp 13735 11830 0 Nov20 pts/12 00:00:05 python
dwapp 28337 27849 0 14:05 pts/13 00:00:00 grep python
希望本文所述对大家的Python程序设计有所帮助。
0
投稿
猜你喜欢
- 很实用的过滤重复数据的asp代码,函数如下:<%'**************************************
- 【原理介绍】通过NETCONF,网管能够用可视化的界面统一管理网络中的设备,并且安全性高、可靠性强、扩展性强。如下图所示,网管与网络中的所有
- 由于Access数据库是一种文件型数据库,所以无法跨服务器进行访问。下面我们来介绍一下如何利用SQL Server 的链接服务器,把地理上分
- 最近在OpenCV-Python接口中使用cv2.findContours()函数来查找检测物体的轮廓。根据网上的 教程,Python&nb
- 最终效果前言这是最近在学qt这个东西,然后又学会了调用api,然后就想了用pyqt5做一个GUI界面,后期也可以打包分享给其他人使用,所以就
- 我们知道,一般的关系数据库(如SQL Server、Oracle、Access等)中的查询操作是支持集合操作的,例如可以用“Update A
- Linux Journal 发表了一篇优化 Oracle 数据库的文章,感觉十分的有用。简要介绍其摘要和大家共同分享 Linux 在企业级数
- Django中每一个模型model都对应于数据库中的一张表,每个模型中的字段都对应于数据库表的列。方便的是,django可以自动生成这些cr
- Python 3.x 起始版本是Python 3.0,目前的最新版本是 3.3.3Python之父Guido van Rossum谈到了Py
- 问题作为一个负责几个服务器的数据库管理员,我接到许多电话是关于磁盘空间的。我所做的第一件事是找到可以缩小的数据文件来释放一些磁盘上的空间。我
- CURLOPT_RETURNTRANSFER 选项:curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);如
- 网页中使用flash可以增强页面的动态交互效果,特别是用flash来制作广告,效果更好。经常使用flash的人,可能就碰到了flash会遮住
- 上一一节我们讲了while循环,while循环主要用于重复程序的运行,for循环更加倾向于遍历一个项目,即将特定内容(比如一个列表、一个字符
- 有时候我们没办法得到pdf或者word文档,这个时候会使用手机或者相机进行拍照,往往会出现背景,打印出来就是灰色的或者有黑色的背景,这个时候
- 阅读上一篇:你是真正的用户体验设计者吗? Ⅵ很可怕,是吧!图中翻译:(从内到外)第一层:用户体验第二层:内容管理界面设计顾客关系管理交互设计
- 一、php中pcntl_fork函数概述pcntl_fork()函数是php中用于创建子进程的一个函数,返回创建的子进程的pid。该函数创建
- 数据库中提取长长的文章,总是有碍网页的排版布局。所以,想固定地提取一部分字符,然后后面有……替代。相关推荐:当标题不能显示完整的时候 1、原
- 在有些使用 javascript 来渲染数据的时候,为了能动态获取不同的数据,并且保持 javascript&
- 1.静态方法(staticmethod)静态方法:@staticmethod也是一个类方法,是可以直接类调用的。个人认为的使用场景是:只要要
- python一行输入n个数据有时会碰到一行输入多个数据,这是可以先用str类型存一组数据,然后再迭代的将每个数据追加到新的列表中。方法一先输