Python中协程用法代码详解
作者:ITxiaoke 发布时间:2021-01-26 06:33:24
本文研究的主要是python中协程的相关问题,具体介绍如下。
Num01–>协程的定义
协程,又称微线程,纤程。英文名Coroutine。
首先我们得知道协程是啥?协程其实可以认为是比线程更小的执行单元。 为啥说他是一个执行单元,因为他自带CPU上下文。这样只要在合适的时机, 我们可以把一个协程 切换到另一个协程。 只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。
Num02–>协程和线程的差异
那么这个过程看起来和线程差不多。其实不然, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。 操作系统为了程序运行的高效性每个线程都有自己缓存Cache等等数据,操作系统还会帮你做这些数据的恢复操作。 所以线程的切换非常耗性能。但是协程的切换只是单纯的操作CPU的上下文,所以一秒钟切换个上百万次系统都抗的住。
Num03–>协程带来的问题
协程有一个问题,就是系统并不感知,所以操作系统不会帮你做切换。 那么谁来帮你做切换?让需要执行的协程更多的获得CPU时间才是问题的关键。
举个例子如下:
目前的协程框架一般都是设计成 1:N 模式。所谓 1:N 就是一个线程作为一个容器里面放置多个协程。 那么谁来适时的切换这些协程?答案是有协程自己主动让出CPU,也就是每个协程池里面有一个调度器, 这个调度器是被动调度的。意思就是他不会主动调度。而且当一个协程发现自己执行不下去了(比如异步等待网络的数据回来,但是当前还没有数据到), 这个时候就可以由这个协程通知调度器,这个时候执行到调度器的代码,调度器根据事先设计好的调度算法找到当前最需要CPU的协程。 切换这个协程的CPU上下文把CPU的运行权交个这个协程,直到这个协程出现执行不下去需要等等的情况,或者它调用主动让出CPU的API之类,触发下一次调度。
Num04–>协程的好处
在IO密集型的程序中由于IO操作远远慢于CPU的操作,所以往往需要CPU去等IO操作。 同步IO下系统需要切换线程,让操作系统可以在IO过程中执行其他的东西。 这样虽然代码是符合人类的思维习惯但是由于大量的线程切换带来了大量的性能的浪费,尤其是IO密集型的程序。
所以人们发明了异步IO。就是当数据到达的时候触发我的回调。来减少线程切换带来性能损失。 但是这样的坏处也是很大的,主要的坏处就是操作被 “分片” 了,代码写的不是 “一气呵成” 这种。 而是每次来段数据就要判断 数据够不够处理哇,够处理就处理吧,不够处理就在等等吧。这样代码的可读性很低,其实也不符合人类的习惯。
但是协程可以很好解决这个问题。比如 把一个IO操作 写成一个协程。当触发IO操作的时候就自动让出CPU给其他协程。要知道协程的切换很轻的。 协程通过这种对异步IO的封装 既保留了性能也保证了代码的容易编写和可读性。在高IO密集型的程序下很好。但是高CPU密集型的程序下没啥好处。
Num05–>yield实现一个简单协程案例
import time
def A():
while True:
print("----我是A函数---")
yield
time.sleep(0.5)
def B(c):
while True:
print("----我是B函数---")
next(c)
time.sleep(0.5)
if __name__ == '__main__':
a = A()
B(a)
# 结果如下:
# ----我是B函数---
# ----我是A函数---
# ----我是B函数---
# ----我是A函数---
# ----我是B函数---
# ----我是A函数---
# ----我是B函数---
# ----我是A函数---
# ----我是B函数---
# ----我是A函数---
# ......
Num06–>greenlet版本实现协程案例
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author : xiaoke
from greenlet import greenlet
import time
def test1():
while True:
print("---我是A函数--")
gr2.switch()
time.sleep(0.5)
def test2():
while True:
print("---我是B函数--")
gr1.switch()
time.sleep(0.5)
def main():
# 切换到gr1中运行
gr1.switch()
if __name__ == '__main__':
gr1 = greenlet(test1)
gr2 = greenlet(test2)
main()
# 结果如下:
# ---我是A函数--
# ---我是B函数--
# ---我是A函数--
# ---我是B函数--
# ---我是A函数--
# ---我是B函数--
# ---我是A函数--
# ---我是B函数--
# ......
Num07–>gevent实现协程案例
原理:其原理是当一个greenlet遇到IO(指的是input output 输入输出,比如网络、文件操作等)操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。
由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author : xiaoke
import gevent
def task1(n):
for i in range(n):
print('----task1-----')
gevent.sleep(1)
# time.sleep(1) # time.sleep没有让gevent感知到等待
def task2(n):
for i in range(n):
print('----task2-----')
gevent.sleep(1)
# time.sleep(1)
def main():
g1 = gevent.spawn(task1, 5)
g2 = gevent.spawn(task2, 5)
g1.join()
g2.join()
if __name__ == "__main__":
main()
# 结果如下:
# ----task1-----
# ----task2-----
# ----task1-----
# ----task2-----
# ----task1-----
# ----task2-----
# ----task1-----
# ----task2-----
# ----task1-----
# ----task2-----
gevent并发下载器
实际代码里,我们不会用gevent.sleep()去切换协程,而是在执行到IO操作时,gevent自动切换,代码如下
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author : xiaoke
import urllib.request # py3
import gevent
from gevent import monkey
# 猴子补丁,将标准库的涉及IO操作方法替换成gevent
monkey.patch_all()
# 协程的任务函数
def my_download(url):
print('GET %s' % url)
response = urllib.request.urlopen(url)
data = response.read()
print('下载 %d bytes from %s' % (len(data), url))
def main():
g1 = gevent.spawn(my_download, 'http://www.google.cn')
g2 = gevent.spawn(my_download, 'http://www.qq.com')
g3 = gevent.spawn(my_download, 'http://www.baidu.com')
gevent.joinall([g1, g2, g3]) # 等待指定的协程结束
if __name__ == "__main__":
main()
# 结果如下:
# GET http://www.google.cn
# GET http://www.qq.com
# GET http://www.baidu.com
# 下载 102221 bytes from http://www.baidu.com
# 下载 52297 bytes from http://www.qq.com
# 下载 3213 bytes from http://www.google.cn
#从上能够看到是先获取baidu的相关信息,然后依次是qq
#google,但是收到数据的先后顺序不一定与发送顺序相同,
#这也就体现出了异步,即不确定什么时候会收到数据,顺序不一定.
Num08–>gevent版–TCP服务器
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author : xiaoke
import socket
import gevent
from gevent import monkey
#猴子补丁,将标准库的涉及IO操作方法替换成gevent
monkey.patch_all()
# 需要为客户端提供服务
def do_service(connect_socket):
while True:
# tcp recv() 只会返回接收到的数据
recv_data = connect_socket.recv(1024)
# if recv_data == b'':
if len(recv_data) == 0:
# 发送方关闭tcp的连接,recv()不会阻塞,而是直接返回''
# print('client %s close' % str(client_addr))
# s.getpeername() s.getsockname()
print('client %s close' % str(connect_socket.getpeername()))
break
print('recv: %s' % recv_data.decode('gbk'))
def main():
listen_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 设置允许复用地址,当建立连接之后服务器先关闭,设置地址复用
listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
my_addr = ('192.168.105.125', 8080)
listen_socket.bind(my_addr)
listen_socket.listen(5) # 设置套接字成监听,5表示一个己连接队列长度
print('listening...')
while True:
# 接受连接请求,创建连接套接字,用于客户端连通信
connect_socket, client_addr = listen_socket.accept() # accept默认会引起阻塞
# 新创建连接用的socket, 客户端的地址
# print(connect_socket)
print(client_addr)
# 每当来新的客户端连接,创建协程,由协程和客户端通信
coroutine_do_service = gevent.spawn(do_service, connect_socket)
if __name__ == "__main__":
main()
来源:http://blog.csdn.net/u014745194/article/details/71657575


猜你喜欢
- 对于一般的图像提取轮廓,介绍了一个很好的方法,但是对于有噪声的图像,并不能很好地捕获到目标物体。比如对于我的鼠标,提取的轮廓效果并不好,因为
- 故事还得从下面的图说起:what? 两条sql执行结果的id列居然不一致。。。。。。一、LIMIT 处理过程为了故事的顺利发展,我们得先创建
- 多线程爬虫:即程序中的某些程序段并行执行,合理地设置多线程,可以让爬虫效率更高糗事百科段子普通爬虫和多线程爬虫分析该网址链接得出:https
- 调用:var pageChange = function (index) { &n
- 固定路由的面包屑导航我们在配置router的时候,可以将面包屑数据配置在meta中,例如路由配置:{ path: '/p
- os/exec包可用于调用外部命令,可以使用管道连接输入输出,并支持阻塞与非阻塞方式执行命令。os/exec包中关键的类型为Cmd,以下介绍
- 关于这个话题,我也看到网上有其他方法来解决。 不过从性能和代码量上来看,我有更好的办法。 在这里和大家 分享。 原理其实很简单, 知识1、长
- 举个例子来说,要查找出2007-10-12至2007-10-31之间在网站上注册的会员,选择好日期后,点击“查询”按钮,发现2007-10-
- 问题最近在做项目的时候, dialog组件回调close里面 一般我都会加个resetFields 重置初始值和校验其他地方都没问题, 在t
- 本文实例讲述了Python操作json的方法。分享给大家供大家参考,具体如下:python中对json操作方法有两种,解码loads()和编
- 一、场景说明在面试接口自动化时,经常会问,其他接口调用的前提条件是当前用户必须是登录状态,如何处理接口依赖?在此之前我们介绍过session
- 需求:从服务器拷贝照片到本地,然后再从本地照片筛选照片。问题:从服务器拷贝到照片本地,太慢,速度只有20~30K,不能忍。然后想到,利用py
- 删除列表中元素的方法有三种:1. del命令使用del命令能够删除列表中指定位置上的元素,也可以删除整个列表。2. pop( )方法使用列表
- 这次主要记录在windows下嵌入 python 解释器的过程,程序没有多少,主要是头文件与库文件的提取。程序平台:windows10 64
- tensorflow里面提供了实现图像进行裁剪和填充的函数,就是tf.image.resize_image_with_crop_or_pad
- 什么是nodejs?Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境,nodejs允许javascri
- 在linux服务器部署thinkphp5的时候PHP报了Warning: require(): open_basedir restricti
- Git 代码管理工具,类似 SVN 客户端。安装步骤:1、官网下载Git:https://gitforwindows.org/2、双击运行,
- 1、函数介绍REGEXP_LIKE 函数在功能上与 LIKE 函数非常相似。 然而,虽然 LIKE 允许简单的字符串匹配搜索,但 REGEX
- 如果使用默认的数据库 SQLite3,则无需配置settings.py使用其他数据库,则需要配置settings.py,这里以Mysql为例