Python通过队列实现进程间通信详情
作者:ζ小菜鸡 发布时间:2023-07-24 17:49:44
一、前言
在多进程中,每个进程之间是什么关系呢?其实每个进程都有自己的地址空间、内存、数据栈以及其他记录其运行状态的辅助数据。下面通过一个例子,验证一下进程之间能否直接共享信息。
定义一个全局变量g_num,分别创建2个子进程对g_num执行不同的操作,并输出操作后的结果。
代码如下:
# _*_ coding:utf-8 _*_
from multiprocessing import Process
def plus():
print("-------子进程1开始----------")
global g_num
g_num += 50
print("g_num is %d" % g_num)
print("-------子进程1结束----------")
def minus():
print("-------子进程2开始----------")
global g_num
g_num -= 50
print("g_num is %d" % g_num)
print("-------子进程2结束----------")
g_num = 100 # 定义一个全局变量
if __name__ == "__main__":
print("-------主进程开始----------")
print("g_num is %d" % g_num)
p1 = Process(target=plus) # 实例化进程p1
p2 = Process(target=minus) # 实例化进程p2
p1.start() # 开启p1进程
p2.start() # 开启p2进程
p1.join() # 等待p1进程结束
p2.join() # 等待p2进程结束
print("-------主进程结束----------")
运行结果如图所示:
上述代码中,分别创建了2个子进程,一个子进程中令g_num加上50,另一个子进程令g_num减去50。但是从运行结果可以看出来,g_num在父进程和2个子进程中的初始值都是100。也就是全局变量g_num在一个进程中的结果,没有传到下一个进程中,即进程之间没有共享信息。
进程间示意图如图所示:
要如何才能实现进程间的通信呢?Python的multiprocessing模块包装了底层的机制,提供了Queue(队列)、Pipes(管道)等多种方式来交换数据。本文将讲解通过队列(Queue)来实现进程间的通信。
二、队列简介
队列(Queue)就是模型仿现实中的排队。例如学生在食堂排队买饭。新来的学生排队到队伍最后,最前面的学生买完饭走开,后面的学生跟上。
可以看出队列有两个特点:
新来的学生都排在队尾。
最前的学生完成后离队,后面一个跟上。
根据以上特点,可以归纳出队列的结构如图所示:
三、多进程队列的使用
进程之间有时需要通信,操作系统提供了很多机制来实现进程间的通信。可以使用multiprocessing模块的Queue实现多进程之间的数据传递。Queue本身是一个消息队列程序,下面介绍一下Queue的使用。
初始化Queue()对象时(例如:q=Queue(num)),若括号中没有指定最大可接收的消息数量,或数量为负值,那么就代表可接收的消息数量没有上限(直到内存的尽头)。
Queue的常用方法如下:
Queue.qsize():返回当前队列包含的消息数量。Queue.empty():如果队列为空,返回True;返之返回False。Queue.full():如果队列满了,返回True;反之返回False。Queue.get(block[,timeout]):获取队列中的一条信息,然后将其从队列中移除,block默认值为True。
如果block使用默认值,且没有设置timeout(单位秒),消息队列为空,此时程序将被阻塞(停在读取状态),直到从消息队列读到消息为止。如果设置了timeout,则会等待timeout秒,若还没有读取任何消息,则抛出“Queue.Empty”异常。
如果block值为False,消息队列为空,则会立刻抛出“Queue.Empty”异常。
Queue.get_nowait():相当于Queue.get(False)。Queue.put(item,[block[,timeout]]):将item消息写入队列,block默认值为True。
如果block使用默认值,且没有设置timeout(单位秒),消息队列如果已经没有空间可以写入,此时程序将被阻塞(停在写入状态),直到从消息队列腾出空间为止,如果设置了timeout,则会等待timeout秒,若还没有空间,则抛出“Queue.Full”异常。
如果block值为False,消息队列没有空间可写入,则会立刻抛出“Queue.Full”异常
Queue.put_nowait(item):相当Queue.put(item,False)。
下面,通过一个例子学习一下如何使用processing.Queue。
代码如下:
# _*_ coding:utf-8 _*_
from multiprocessing import Queue
if __name__ == "__main__":
q = Queue(3)
q.put("消息1")
q.put("消息2")
print(q.full()) # 返回False
q.put("消息3")
print(q.full()) # 返回True
# 因为消息队列已满,下面的try都会抛出异常
# 第一个try会等待2秒再抛出异常,第二个try会立刻抛出异常
try:
q.put("消息4", True, 2)
except:
print("消息队列已满,现有消息数量:%s" % q.qsize())
try:
q.put_nowait("消息4")
except:
print("消息队列已满,现有消息数量:%s" % q.qsize())
# 读取消息时,先判断消息队列是否为空,再读取
if not q.empty():
print("-----从队列中获取消息-------")
for i in range(q.qsize()):
print(q.get_nowait())
# 先判读消息队列是否已满,再写入:
if not q.full():
q.put_nowait("消息4")
运行结果如图所示:
四、使用队列在进程间通信
我们知道使用multiprocessing.Process可以创建多进程,使用multiprocessing.Queue可以实现队列的操作。接下来,通过一个示例结合Process和Queue实现进程间的通信。
创建2个子进程,一个子进程负责向队列中写入数据,另外一个子进程负责从队列中读取数据。为了保证能够正确从队列中读取数据,设置读取数据的进程等待时间为2秒。如果2秒后乃然无法读取数据,则抛出异常。
代码如下:
# _*_ coding:utf-8 _*_
from multiprocessing import Process, Queue
import time
# 向队列中写入数据
def write_task(q):
if not q.full():
for i in range(5):
message = "消息" + str(i)
q.put(message)
print("写入:%s" % message)
# 从队列中读取数据
def read_task(q):
time.sleep(1) # 休眠1秒
while not q.empty():
print("读取:%s" % q.get(True, 2)) # 等待2秒中,如果没有读取到任何信息,则抛出异常
if __name__ == "__main__":
print("--------父进程开始---------")
q = Queue() # 父进程创建Queue,并传给各个子进程
pw = Process(target=write_task, args=(q,)) # 实例化写入队列的子进程,并传递给队列
pr = Process(target=read_task, args=(q,)) # 实例化读取队列的子进程,并传递给队列
pw.start() # 启动子进程pw,写入
pr.start() # 启动子进程pr,读取
pw.join() # 等待pw结束
pr.join() # 等待pr结束
print("-------父进程结束-----------")
运行结果如下:
来源:https://blog.csdn.net/weixin_45191386/article/details/125288373
猜你喜欢
- Translate From:stevesouders原文:高性能网站设计:不要使用@import在高性能网站设计的第五章,我简要的提到@i
- 图像(包括动图)是传递信息的一种高效方式,往往能增强表象、记忆与思维等方面的反应强度。所谓一图胜千言,说的就是这个道理。今天为大家整理了十张
- 图片的间隙Q:我有一张大图片,把它切割后在Dreamweaver中进行拼接,可是总是有间隙,不知为什么?A:不知你是否把表格的边距、间距和边
- 程序设计是困难的,其核心是管理的复杂性。计算机程序是人类做出的最复杂的东西。质量是不可靠的且隐蔽的。好的体系架构是必需给程序足够的结构使其健
- ASP实现语音分时问候,其实asp实现这个功能很容易,时间判断一下,在某个时间段就调用某个的背景语音。下面是源代码:
- 很多人可能发现,无论是在sql 2000, 还是在 sql 2005 中,都没有提供字符串的聚合函数, 所以, 当我们在处理下列要求时,会比
- 在python3爬虫中如何我们想要导入/导出Redis数据,就要安装使用RedisDump。RedisDump是一个用于Redis数据导入/
- 现在我主要教大家如何去实战,做一个简易的知乎日报API 首先你要熟悉django的基本用法,会写模型,会写视图函数,会配置url。1.配置字
- 代码如下: <!-- #include file="../conn.asp" --> <!-- #in
- 本文实例讲述了PHP实现断点续传乱序合并文件的方法。分享给大家供大家参考,具体如下:分割成多个文件发送,由于网络原因并不上先发就能发接收到。
- 为了测试某个服务的稳定性,通常需要在服务长时间运行的情况下,监控其资源消耗情况,比如cpu和内存使用这里借助python的psutil这个包
- 发现问题比解决问题重要,使用php集成开发环境Appserv网页会提示各种语法错误,但自己配置开发环境无法提示错误,特别当不是语法错误,比如
- 一、前言本文就从数据爬取、数据清洗、数据可视化,这三个方面入手,但你简单完成一个小型的数据分析项目,让你对知识能够有一个综合的运用。整个思路
- PyCharm 应该是大多数 python 开发者的首选 IDE,每天我们都在上面敲着熟悉的代码,写出一个又一个奇妙的功能。它是帮助用户在使
- 如下所示:var table_name = table.render({});page_size = table_name.config.l
- 我想从文件读数据的话,要比直接从数据库快一些吧(个人观点),昨天测试了读出6000条新闻,读数据库用了23579毫秒,读文件只用了123毫秒
- 代码如下:USE [tempdb] GO /****** Object: UserDefinedFunction [dbo].[fun_ge
- 本文实例讲述了PHP实现通过二维数组键值获取一维键名操作。分享给大家供大家参考,具体如下:有如下既定数组:$inviteType = [ &
- 本文实例讲述了php查询mysql数据库并将结果保存到数组的方法。分享给大家供大家参考。具体分析如下:这里主要用到了mysql_fetch_
- 在部署一套内网测试环境时,频繁宕机,开机后不断的吃内存,重启apache之后内存占用会不停的上涨,直到swap用完,直到死机,由于是内网环境