一文搞懂Python中的进程,线程和协程
作者:Mr.Winter` 发布时间:2023-06-13 17:26:41
1.什么是并发编程
并发编程是实现多任务协同处理,改善系统性能的方式。Python中实现并发编程主要依靠
进程(Process):进程是计算机中的程序关于某数据集合的一次运行实例,是操作系统进行资源分配的最小单位
线程(Thread):线程被包含在进程之中,是操作系统进行程序调度执行的最小单位
协程(Coroutine):协程是用户态执行的轻量级编程模型,由单一线程内部发出控制信号进行调度
直接上一张图看看三者概念间的关系。
这张图说明了什么?首先,一条线程是进程中一个单一的顺序控制流,一个进程可以并发多个线程执行不同任务。协程由单一线程内部发出控制信号进行调度,而非受到操作系统管理,因此协程没有切换开销和同步锁机制,具有极高的执行效率。
进程、线程、协程间的特性决定了它们的应用场景不同:
协程常用于IO密集型工作,例如网络资源请求等;而进程、线程常用于计算密集型工作,例如科学计算、人工神经网络等。
接下来对每种并发编程方法进行详细阐述。
2.进程与多进程
Python多进程依赖于标准库mutiprocessing,进程类Process的常用方法如下
序号 | 方法 | 含义 |
---|---|---|
1 | start() | 创建一个Process子进程实例并执行该实例的run()方法 |
2 | run() | 子进程需要执行的目标任务 |
3 | join() | 主进程阻塞等待子进程直到子进程结束才继续执行,可以设置等待超时时间timeout |
4 | terminate() | 终止子进程 |
5 | is_alive() | 判断子进程是否终止 |
6 | daemon | 设置子进程是否随主进程退出而退出 |
创建多进程任务的实例如下
import os, time
import multiprocessing
class myProcess(multiprocessing.Process):
def __init__(self, *args, **kwargs) -> None:
super().__init__()
self.name = kwargs['name']
def run(self):
print("process name:", self.name)
for i in range(10):
print(multiprocessing.current_process(), "process pid:",
os.getpid(), "正在执行...")
time.sleep(0.2)
if __name__ == "__main__":
task = myProcess(name="testProcess")
task.start()
task.join()# 该语句会阻塞主进程直至子进程结束
print("----------------")
注意:Windows系统在子进程结束后会立即自动清除子进程实例;而Linux系统子进程实例仅当主进程结束后才被回收,在子进程结束但主进程仍在运行的时间内处于僵尸进程状态,会造成性能损失甚至死锁。对子进程实例的手动回收可以通过
p.terminate()
p.join()
完成,此外,start()函数也有清除僵尸进程的功能。在使用多进程处理任务时并非进程越多越好,因为进程切换会造成性能开销。
3.线程与多线程
Python多线程依赖于标准库threading,线程类Thread的常用方法如下表:
序号 | 方法 | 含义 |
---|---|---|
1 | start() | 创建一个Thread子线程实例并执行该实例的run()方法 |
2 | run() | 子线程需要执行的目标任务 |
3 | join() | 主进程阻塞等待子线程直到子线程结束才继续执行,可以设置等待超时时间timeout |
4 | is_alive() | 判断子线程是否终止 |
5 | daemon | 设置子线程是否随主进程退出而退出 |
关于线程与进程的关系,还有一个很生动的例子
把一条公路看作一道进程,那么公路上的各个车道就是进程中的各个线程。这些线程(车道)共享了进程(道路)的公共资源;这些线程(车道)之间可以并发执行(各个车道相对独立),也可以互相同步(交通信号灯)。
rsrc = 10
lock = threading.Lock()
def task1(name):
global rsrc, lock
for i in range(5):
with lock:
rsrc += 1
print("task1:", rsrc)
return name + "has been done!"
def task2(name):
global rsrc, lock
for i in range(5):
lock.acquire()
rsrc -= 1
print("task2:", rsrc)
lock.release()
return name + "has been done!"
结果如下
在多线程并发过程中,若没有控制好线程间的执行逻辑,将可能产生死锁现象,可以使用with关键词在线程访问临界区结束后自动释放锁,也可使用release()方法手动释放句柄。
4.协程与多协程
协程适用于I/O密集型而非计算密集型场景。在协程发起I/O请求后返回结果前往往有大量闲置时间——该时间可能用于网络数据传输、获取协议头、服务器查询数据库等,而I/O请求本身并不耗时,因此协程可以发送一个请求后让渡给系统干别的事,这就是协程提高性能的原因。
协程编程的框架如下:
创建协程对象并将其封装成任务实例;
创建事件循环实例并监听任务队列;
获取协程结果(可在事件循环结束后获取,或提前添加回调函数)。
一个嵌套协程的示例如下:
import asyncio, time
# 内层协程
async def do_some_work(x):
print('Waiting: ', x)
await asyncio.sleep(x)
return 'Done after {}s'.format(x)
def OnCallBack(res):
print(res.result())
# 外层协程main
async def main():
# 创建三个协程对象并封装成任务
task1 = asyncio.ensure_future(do_some_work(1))
task2 = asyncio.ensure_future(do_some_work(8))
task3 = asyncio.ensure_future(do_some_work(4))
# 添加回调
task1.add_done_callback(OnCallBack)
task2.add_done_callback(OnCallBack)
task3.add_done_callback(OnCallBack)
# 内层任务列表
tasks = [task1, task2, task3]
# 将列表转为可等待对象
dones, pendings = await asyncio.wait(tasks)
# 外层协程func
async def func():
for i in range(5):
print("func:", i)
# 外层任务列表
tasks = [asyncio.ensure_future(func()), asyncio.ensure_future(main())]
# 创建事件循环
loop = asyncio.get_event_loop()
start = time.time()
# 监听异步任务
loop.run_until_complete(asyncio.wait(tasks))
end = time.time()
print("总耗时:", end - start)
5.总结
看了这么多概念可能有点晕了,下面这张表总结了本文的内容。总得来说,进程、线程、协程各有各的应用场景,不能说多进程、多线程、多协程就一定好,而是要根据具体的使用情况来确定。
来源:https://blog.csdn.net/FRIGIDWINTER/article/details/124369567
猜你喜欢
- 以前的Sony Ericsson牌DVD影碟机坏掉了,上周到沃尔玛买了个philips的回来,于是又淘了一些DVD回来看。在使用遥控的时候忽
- 以下以 IE 代替 Internet Explorer,以 MF 代替 Mozzila FF1. document.form.item 问题
- 写在前面的话:此篇还是asp相关的,相信玩ASP的都有这个感觉,当数据有5万多条时-------just like音乐网,要调用最新的10条
- 一、判断类型的函数is_bool() //判断是否为布尔型is_float() //判断是否为浮点型
- 有两张表a表id val 1 a 2 b 3 c 4 d 5 e b表 a_id val 1 null 2 null 3 null 4 nu
- 引子任务调度(Task Scheduling)是很多软件系统中的重要组成部分,字面上的意思是按照一定要求分配运行一些通常时间较长的脚本或程序
- 1、shutdown normal 正常方式关闭数据库。 2、shutdown imme
- python学生成绩管理系统创建,供大家参考,具体内容如下要求编写学生类,班级类,并在电脑运行生成表单,输入一个数字,得到对应的结果。输出样
- 在网上查了部分资料但是发现粘上去的代码都存在问题,无奈只好自己修改了一下,代码如下: 如下代码能正常运行,都是网上查找资料最后拼凑总结出来的
- 目录1.函数的介绍2.函数的定义和调用3.函数的参数4.参数的分类4.1.位置参数4.2.关键字参数4.3.缺省参数4.4.不定长参数1.不
- CSS3 + HTML5是未来的Web,它们都还没有正式到来,虽然不少浏览器已经开始对它们提供部分支持。本文介绍了5个CSS3技巧,可以帮你
- 对于outerHTML这个DOM属性,在IE/Opera/google Chorme等浏览器中都是可以使用的,但唯独Firefox是不支持的
- FrontPage 2003在功能上增强了不少,下面我们一起来看看新版本中比较突出的9个新功能。1.自定义浏览器分辨率预览检查 在
- 1、背景由于办公需要“每天定时推送某消息用来提醒群里面所有人”,于是决定用企业微信自带的机器人来实现此功能。具体方法我来一一讲述。2、企业微
- 先给大家介绍下Python读取文件夹按数字排序的代码,内容如下所示:python中 os.listdir()方法用于返回指定的文件夹包含的文
- 语法格式如下:assert expression等价于:if not expression: raise AssertionErrorass
- 深底色风格的页面设计很受欢迎,它可以创造出别致优雅、极富创造力的效果。深底色设计适用于许多网站类型,但并非所有。这种风格应该在恰当的条件下使
- CSS布局作为一个热门技术,发展的确有些缓慢。CSS最早被提议在1994年,最早被浏览器支持在1996年,CSS一直被力捧为传统的以HTML
- 字体的处理在网页设计中无论怎么强调也不为过,毕竟网页使用来传递信息的,而最经典最直接的信息传递方式就是文字,所以,了解一点字体的基本知识对于
- 不知道大家有没发现DWMX中有一个和FW差不多的制作弹出菜单功能?这个功能允许用文字和图片做为主菜单,如果用文字的话要先做虚拟链接。下面简单