Python实现异步IO的示例
作者:-零 发布时间:2021-01-11 13:25:38
前言
用阻塞 API 写同步代码最简单,但一个线程同一时间只能处理一个请求,有限的线程数导致无法实现万级别的并发连接,过多的线程切换也抢走了 CPU 的时间,从而降低了每秒能够处理的请求数量。为了达到高并发,你可能会选择一个异步框架,用非阻塞 API 把业务逻辑打乱到多个回调函数,通过多路复用与事件循环的方式实现高并发。
磁盘 IO 为例,描述了多线程中使用阻塞方法读磁盘,2 个线程间的切换方式。那么,怎么才能实现高并发呢?
把上图中本来由内核实现的请求切换工作,交由用户态的代码来完成就可以了,异步化编程通过应用层代码实现了请求切换,降低了切换成本和内存占用空间。异步化依赖于 IO 多路复用机制,比如 Linux 的 epoll 或者 Windows 上的 iocp,同时,必须把阻塞方法更改为非阻塞方法,才能避免内核切换带来的巨大消耗。Nginx、Redis 等高性能服务都依赖异步化实现了百万量级的并发。
下图描述了异步 IO 的非阻塞读和异步框架结合后,是如何切换请求的。
然而,写异步化代码很容易出错。因为所有阻塞函数,都需要通过非阻塞的系统调用拆分成两个函数。虽然这两个函数共同完成一个功能,但调用方式却不同。第一个函数由你显式调用,第二个函数则由多路复用机制调用。
这种方式违反了软件工程的内聚性原则,函数间同步数据也更复杂。特别是条件分支众多、涉及大量系统调用时,异步化的改造工作会非常困难。
Python如何实现异步调用
from flask import Flask
import time
app = Flask(__name__)
@app.route('/bar')
def bar():
time.sleep(1)
return '<h1>bar!</h1>'
@app.route('/foo')
def foo():
time.sleep(1)
return '<h1>foo!</h1>'
if __name__ == '__main__':
app.run(host='127.0.0.1',port=5555,debug=True)
采用同步的方式调用
import requests
import time
starttime = time.time()
print(requests.get('http://127.0.0.1:5555/bar').content)
print(requests.get('http://127.0.0.1:5555/foo').content)
print("消耗时间: ",time.time() -starttime)
b'<h1>bar!</h1>'
b'<h1>foo!</h1>'
消耗时间: 2.015509605407715
采样异步的方式调用:
重点:
1.将阻塞io改为非阻塞io;
2.多路复用io监听内核事件,事件触发通过回调函数;
3.用户态代码采取事件循环的方式获取事件,执行事件的回调函数;
import selectors
import socket
import time
# from asynrequest import ParserHttp
class asynhttp:
def __init__(self):
self.selecter = selectors.DefaultSelector()
def get(self,url,optiondict = None):
global reqcount
reqcount += 1
s = socket.socket()
s.setblocking(False)
try:
s.connect(('127.0.0.1',5555))
except BlockingIOError:
pass
requset = 'GET %s HTTP/1.0\r\n\r\n' % url
callback = lambda : self.send(s,requset)
self.selecter.register(s.fileno(),selectors.EVENT_WRITE,callback)
def send(self,s,requset):
self.selecter.unregister(s.fileno())
s.send(requset.encode())
chunks = []
callback = lambda: self.recv(s,chunks)
self.selecter.register(s.fileno(),selectors.EVENT_READ,callback)
def recv(self,s,chunks):
self.selecter.unregister(s.fileno())
chunk = s.recv(1024)
if chunk:
chunks.append(chunk)
callback = lambda: self.recv(s,chunks)
self.selecter.register(s.fileno(), selectors.EVENT_READ, callback)
else:
global reqcount
reqcount -= 1
request_first,request_headers,request_content,_ = ParserHttp.parser(b''.join(chunks))
print("解析数据:",request_first,request_headers,request_content)
print((b''.join(chunks)).decode())
return (b''.join(chunks)).decode()
starttime = time.time()
reqcount = 0
asynhttper = asynhttp()
asynhttper.get('/bar')
asynhttper.get('/foo')
while reqcount:
events = asynhttper.selecter.select()
for event,mask in events:
func = event.data
func()
print("消耗时间:" ,time.time() - starttime)
HTTP/1.0 200 OK
Content-Type: text/html; charset=utf-8
Content-Length: 13
Server: Werkzeug/1.0.1 Python/3.7.7
Date: Thu, 15 Oct 2020 03:28:16 GMT<h1>bar!</h1>
HTTP/1.0 200 OK
Content-Type: text/html; charset=utf-8
Content-Length: 13
Server: Werkzeug/1.0.1 Python/3.7.7
Date: Thu, 15 Oct 2020 03:28:16 GMT<h1>foo!</h1>
消耗时间: 1.0127637386322021
来源:https://www.cnblogs.com/-wenli/p/13819576.html
猜你喜欢
- 本文实例讲述了PHP获取当前相对于域名目录的方法。分享给大家供大家参考。具体如下:http://127.0.0.1/dev/classd/i
- 集合(Set)集合是无序和无索引的集合。在 Python 中,集合用花括号编写。实例创建集合:thisset = {"apple&
- 如何向 pandas.DataFrame 添加新的列或行通过指定新的列名/行名来添加,或者用pandas.DataFrame的assign(
- 代码import numpy as npimport matplotlib.pyplot as pltfrom sklearn.datase
- 在Internet上我们每天都会遇到数不清的表单,也看到其中大部分并没有限制用户多次提交同一个表单。缺乏这种限制有时候会产生某些预料不到的结
- python实现的五子棋,能够自动判断输赢,没有是实现电脑对战功能源码下载:pygame五子棋# 1、引入pygame 和 pygame.l
- PHP PDO连接连接是通过创建 PDO 基类的实例而建立的。不管使用哪种驱动程序,都是用 PDO 类名。连接到 MySQL<?php
- 如下所示:coupon = models.ForeignKey("Coupon", on_delete=models.C
- map()是一个 Python 内建函数,它允许你不需要使用循环就可以编写简洁的代码。一、Python map() 函数这个map()函数采
- 闭包(closure)不是什么可怕的东西。如果用对了地方,它们其实可以很强大。闭包就是由其他函数动态生成并返回的函数,通俗地讲,在一个函数的
- Python是当今日趋流行的一种脚本语言,它比Java更简单,比php更强大,并且还适用于做桌面应用的开发,在ubuntu中,更加是必须的一
- 用关键字 in 和not in 来 如下:qwe =[1,2,3,4,5] if 2 in qwe: print ‘good!' e
- 项目需要,需要自动生成PDF测试报告。经过对比之后,选择使用了reportlab模块。 项目背景:开发一个测试平台,供测试维护测试用例,执行
- 本文实例讲述了python 队列基本定义与使用方法。分享给大家供大家参考,具体如下:队列的特征是:先进先出应用场景:消息通信、多进程间的协同
- 前言 网传的七天学Python的路线如下,我觉得可以在学过此表中前几天的内容后,就可以回头来学习一下列表推导式:它综合了列表、fo
- PDO::beginTransactionPDO::beginTransaction 启动一个事务(PHP 5 >= 5.1.0, P
- 前言有时候python自带异常不够用,如同java,python也可以自定义异常,并且可以手动抛出。注意,自定义异常只能由自己抛出。pyth
- 在大型的ASP项目中,很多的页面都涉及到分页、翻页功能。如果每个页面都写一个翻页的程序的话,这样的工作即降低了工作效率,也不利于工程的模块化
- RabbitMQ 6种工作模式对RabbitMQ 6种工作模式(简单模式、工作模式、订阅模式、路由模式、主题模式、RPC模式)进行场景和参数
- 撰写时间:2017.5.23一维数组1.numpy初始化一维数组a = np.array([1,2,3]);print a.shape输出的