Python多进程原理与用法分析
作者:喷跑的豆子 发布时间:2023-11-30 15:26:11
标签:Python,多进程
本文实例讲述了Python多进程原理与用法。分享给大家供大家参考,具体如下:
进程是程序在计算机上的一次执行活动。当你运行一个程序,你就启动了一个进程。显然,程序是死的(静态的),进程是活的(动态的)。进程可以分为系统进程和用户进程。凡是用于完成操作系统的各种功能的进程就是系统进程,它们就是处于运行状态下的操作系统本身;所有由你启动的进程都是用户进程。进程是操作系统进行资源分配的单位。
开启一个进程
import multiprocessing,time,os
def runtask():
time.sleep(2)
print("开启一个进程:%s"%os.getpid())
if __name__ == "__main__":
p = multiprocessing.Process(target=runtask,)
p.start()
进程队列
import multiprocessing
def runtask():
q.put([42,"python"])
if __name__ == "__main__":
q = multiprocessing.Queue()
p = multiprocessing.Process(target=runtask,)
p.start()
print(q.get()) # 打印结果:[42,"python"]
pipe管道
返回两个连接对象。代表管道的两端,默认双向通信。
import multiprocessing
def runtask():
conn.send("abc")
conn.close()
if __name__ == "__main__":
conn,pconn = multiprocessing.Pipe()
p = multiprocessing.Process()
p.start()
print(pconn.recv()) # 打印结果:"abc"
Value、Array
共享内存有两个结构,一个是Value,一个是Array,这两个结构内部都实现了锁机制,因此进程是安全的。
import multiprocess
def runtask():
d.value = 50
for index in range(len(a)):
a[index]+=10
if __name__ == "__main__":
# 下面的字符"d"、"i"似乎是固定的,换成其他将会报错。求大神解释
d = Value("d",20)
a = Array("i",range(10))
p = multiprocessing.Process(target=runtask,)
p.start()
p.join() # 等待进程执行完毕
print(d.value,a[:]) # 打印结果: 50.0 [10, 11, 12, 13, 14, 15, 16, 17, 18, 19]
Manager
Python实现多进程之间通信除了Queue(队列)、Pipe(管道)和Value-Array之外,还提供了更高层次的封装。Manager支持的类型非常多,如:list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Queue, Value 和 Array 用法如下:
import multiprocessing
def runtask():
d["name"] = "laowang"
l.reverse()
if __name__ == "__main__":
with multiprocessing.Manager() as manager:
d = manager.dict()
l = manager.list(range(10))
p = multiprocessing.Process(target=runtask,)
p.start()
p.join() # 等待进程执行完毕
print(d,l) # 打印结果:{'name': 'laowang'} [9, 8, 7, 6, 5, 4, 3, 2, 1, 0]
进程池Pool
Pool 是进程池,进程池能够管理一定的进程,当有空闲进程时,则利用空闲进程完成任务,直到所有任务完成为止
import multiprocessing
def runtask():
pass
def callBackTask(arg): # 回调函数必须要有一个形参,否则将报错
print("执行回调函数",arg)
if __name__ == "__main__":
pool = multiprocessing.Pool(5) # 设置进程池最大同时执行进程数
for index in range(20):
pool.apply_async(func=runtask,callback=callBackTask) # 并行的,有回调方法
# pool.apply(func=runtask,) # 串行的,无回调函数
pool.close() # 关闭进程池
pool.join() # #调用join之前,先调用close函数,否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
执行结果:apply方法效果为一个进行接一个进程的执行,而apply_async是同时有5个进程在执行。
希望本文所述对大家Python程序设计有所帮助。
来源:https://blog.csdn.net/y472360651/article/details/73522180
0
投稿
猜你喜欢
- 一、urllib库是什么?urllib库用于操作网页 URL,并对网页的内容进行抓取处理urllib包 包含以下几个模块:urllib.re
- 【错误原因】:mysql_query执行超时.【解决办法】:修改php.ini中的 max_execution_time的值,默认为300,
- 本文实例讲述了Python使用Matplotlib实现雨点图动画效果的方法。分享给大家供大家参考,具体如下:关键点win10安装ffmpeg
- php对数字进行万。亿的转化/** * 格式化数字 */public function float_number($number){ &nb
- 本文实例讲述了Python中文分词实现方法。分享给大家供大家参考,具体如下:在Python这pymmseg-cpp 还是十分方便的!环境 u
- 前言通常我们在一个站站点进行采集的时候,如果是小站的话 我们使用scrapy本身就可以满足。但是如果在面对一些比较大型的站点的时候,单个sc
- 平时我们在使用MySQL数据库的时候经常会因为操作失误造成数据丢失,MySQL数据库备份可以帮助我们避免由于各种原因造成的数据丢失或着数据库
- 本文实例讲述了Python编程实现控制cmd命令行显示颜色的方法。分享给大家供大家参考,具体如下:基于win7 + python3.4运行效
- 这篇文章主要介绍了django 简单实现登录验证给你,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友
- 本文实例为大家分享了python使用插值法画出平滑曲线的具体代码,供大家参考,具体内容如下实现所需的库numpy、scipy、matplot
- 通过Python操作注册表有两种方式,第一种是通过Python的内置模块 _winreg;另一种方式就是Win32 Extension Fo
- 我们在Python中经常使用会用到matplotlib画图,有些曲线和点的形状、颜色信息长时间不用就忘了,整理一下便于查找。安装matplo
- 我在Web服务器端安装了Web Server IIS4.0、Oracle Net8 for Client,并创建好了和Oracle8数据库的
- 前言又见面了,小伙伴儿们,发现最近大家喜欢看一些简单的小案例?!咳咳,下面进入正题。每个人的电脑里都会有不想让别人知道的隐私,或者是上班时间
- 本文实例讲述了Python常见字符串操作函数。分享给大家供大家参考,具体如下:str.split(' ')1.按某一个字符分
- API照例,我们搬一下官网的 API:C++void cv::filter2D(InputArray src,
- python中pass的作用?pass代表一个空的语句块Python中pass的作用:示例1,定义一个类,类中没有任何内容保存,运行之后,该
- 使用一个简单的 XSL 样式表就可以将 XML 数据转换成 HTML。随着 XML 规范的不断演进,在新的版本中满足每个人的需要似乎已经成为
- 做过主页的朋友,几乎没有一个人没用到它,它使我们排版更加轻松。有人说DW的表格没有Fp的好用,我认为不
- 1983年1月19日,苹果公司发布乔布斯领导研制的新一代电脑Lisa,当时Lisa电脑的设计人员就认为,必须将立即执行的命令和需要用户附加输