Python多路复用selector模块的基本使用
作者:返回主页__i视觉 发布时间:2021-12-17 08:43:25
1. IO多路复用
O多路复用技术是使用一个可以同时监视多个IO阻塞的中间人去监视这些不同的IO对象,这些被监视的任何一个或多个IO对象有消息返回,都将会触发这个中间人将这些有消息IO对象返回,以供获取他们的消息。
使用IO多路复用的优点在于,进程在单线程的情况下同样可以同时处理多个IO阻塞。与传统的多线程/多进程模型比,I/O多路复用系统开销小,系统不需要创建新的进程或者线程,也不需要维护这些进程和线程的运行,降底了系统的维护工作量,节省了系统资源,
Python提供了selector模块来实现IO多路复用。同时,不同的操作系统上,这中间人的可选则的类型是不同的,目前常见的有,epoll, kqueue, devpoll, poll,select等;kqueue(BSD,mac支持),devpoll(solaris支持)和epoll的实现基本相同,epoll在Linux2.5+内核中实现,Windows系统只实现了select。
1.1. epoll,poll, select的比较
select和poll使用轮询的方式去检测监视的所有IO是否有数据返回,需要不断的遍历每一个IO对象,这是一种费时的操作,效率较低。poll优于select的一点是select限制了最大监视IO数为1024,这对于需要大量网络IO连接的服务器来显然是不够的;而poll对于这个个数没有限制。但是这同样面临问题,在使用轮询的方式监视这些IO时,IO数越大,意味着每一次轮询消耗的时间越多。效率也就越低,这是轮询无法解决的问题。
epoll就是为了解决这样的问题诞生的,首先他没有最大的监视的IO数的限制,并且没有使用轮询的方式去检测这些IO,而是采用了事件通知机制和回调来获取这些有消息返回的IO对象,只有“活跃”的IO才会主动的去调用callback函数。这个IO将会直接被处理而不需要轮询。
2. selector模块的基本使用
import selectors
import socket
# 创建一个socketIO对象,监听后将可以接受请求消息了
sock = socket.socket()
sock.bind(("127.0.0.1", 80))
sock.listen()
slt = selectors.DefaultSelector() # 使用系统默认selector,Windows为select,linux为epoll
# 将这个socketIO对象加入到,select中监视
slt.register(fileobj=sock, events=selectors.EVENT_READ, data=None)
# 循环处理消息
while True:
# select方法:轮询这个selector,当有至少一个IO对象有消息返回时候,将会返回这个有消息的IO对象
ready_events = slt.select(timeout=None)
print(ready_events) # 准备好的IO对象们
break
ready_events
为一个列表(代表注册到这个select中的所有的有数据可接收IO对象),列表中的每一个元组为:
SelectorKey对象:
fileobj:注册的socket对象
fd:文件描述符
data:注册时我们传入的参数,可以是任意值,绑定到一个属性上,方便之后使用。
mask值
EVENT_READ : 表示可读的; 它的值其实是1;
EVENT_WRITE: 表示可写的; 它的值其实是2;
或者二者的组合
例如:
[(SelectorKey(fileobj=<socket.socket fd=456, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 80)>, fd=456, events=1, data=None),
1)]
处理这个请求,只需要使用该socket对应方法即可,该socket用于接收请求的连接,使用accept方法就可以处理这个请求。
当接受请求之后,又将会产生新的客户端,我们将其放入selector中一并监视,当有消息来时,如果是连接请求,handle_request()函数处理,如果是客户端的消息,handle_client_msg()函数处理。
对于select中有两类socket,所以我们需要判断被激活后返回的socket是哪一种,再调用不同的函数做不同的请求。如果这个select中的socket种类有很多,将无法如此判断。解决办法就是将处理函数绑定到对应的selectkey对象中,可以使用data参数。
def handle_request(sock:socket.socket, mask): # 处理新连接
conn, addr = sock.accept()
conn.setblocking(False) # 设定非阻塞
slt.register(conn, selector.EVENT_READ, data=handle_client_msg)
def handle_client_msg(sock:socket.socket, mask) # 处理消息
data = sock.recv()
print(data.decode())
sock = socket.socket()
sock.bind(("127.0.0.1", 80))
sock.listen()
slt = selectors.DefaultSelector()
slt.register(fileobj=sock, events=selectors.EVENT_READ, data=handle_request)
while True:
ready_events = slt.select(timeout=None)
for event, mask in ready_events:
event.data(event.fileobj, mask)
# 不同的socket有不同data函数,使用自己绑定的data函数调用,再将自己的socket作为参数。就可以处理不同类型的socket。
上面使用data很好的解决了上面问题,但是需要注意,绑定到data属性上函数(或者说可调用对象)最终会使用event.data(event.fileobj)的方式调用,这些函数接受的参数应该相同。
来源:https://www.cnblogs.com/brt2/p/15531777.html
猜你喜欢
- 数字序号① ①② ②③ &
- 编解码器在字符与字节之间的转换过程称为编解码,Python自带了超过100种编解码器,比如:ascii(英文体系)gb2312(中文体系)u
- 额……首先呢说说这个标题吧,实在不知道叫什么好,因为这个demo呢其实一个艾文王今天中午给丢给我一个图。他说这个是一个面试题,给我看看。这样
- 1.解读tensorflow权重文件,透过 tf.train.NewCheckpointReader函数。2.reader.get_vari
- 定时关机,功能:windows下,用户按照一定格式输入关机时间,系统到指定时间自动关闭 思路:从用户输入获取指定时间 分别以时分秒减去当前时
- 每个 batch 前清空梯度,否则会将不同 batch 的梯度累加在一块,导致模型参数错误。然后我们将输入和目标张量都移动到所需的设备上,并
- 1 unittest框架unittest 是python 的单元测试框架,它主要有以下作用:提供用例组织与执行:当你的测试用例只有几条时,可
- 最近发生了很多事情,工作不开心,爱情无果而终,身边的小伙伴陆陆续续离职。虽然都不是会一下子击垮自己的事情,但是积攒起来,还是会有突然感到疲惫
- 今天同事 明城 在项目中碰到一个 BUG,代码具体如下:<!DOCTYPE html PUBLIC "-//W3C//DTD
- 我希望大家看到该标题就能让想象到它的功能: 1、WITH TEMPL
- 这是asp利用dictionary创建二维数组的例子,这样做的优点是:1、数组下标可以是字符串2、长度不是固定的<'% ’==
- 质数(Prime number),又称素数,指在大于1的自然数中,除了1和该数自身外,无法被其他自然数整除的数(也可定义为只有1与该数本身两
- 编写思路:把本地文件在客户端通过base64编码以后发送目的地.测试过程中,上传文件过大,导致超时不成功,后来经过改善.把编码分
- 图片显示pytorch 载入的数据集是元组tuple 形式,里面包括了数据及标签(train_data,label),其中的train_da
- 今天同学向我提了一个问题,我觉得蛮有意思,现记录下来大家探讨下。问题是:在一个表里面,有一个允许为空的字段,空是可以重复的,但是不为空的值需
- 1、Tkinter是什么Tkinter 是使用 python 进行窗口视窗设计的模块。Tkinter模块(“Tk 接口&
- 之前就见过很多网站在侧边栏上使用<dl />标签对来完成侧边栏栏目的布局,最近在研究DEDECMS的默认模板时,也发现该模板在大
- 登录百度,首先当然是先抓百度的登录包 ,由于是网页登录,最方便的自然是httpwatch了,我使用的测试账号是itiandatest1,密码
- 使用MySQL,安全问题不能不注意。以下是MySQL提示的23个注意事项:1.如果客户端和服务器端的连接需要跨越并通过不可信任的网络,那么就
- 本文实例讲述了Django中实现点击图片链接强制直接下载的方法。分享给大家供大家参考。具体分析如下:当用户点击图片连接时,默认为在浏览器中直