python Event事件、进程池与线程池、协程解析
作者:SetCreed 发布时间:2023-09-06 00:39:19
Event事件
用来控制线程的执行
出现e.wait(),就会把这个线程设置为False,就不能执行这个任务;
只要有一个线程出现e.set(),就会告诉Event对象,把有e.wait的用户全部改为True,剩余的任务就会立马去执行。由一些线程去控制另一些线程,中间通过Event。
from threading import Event
from threading import Thread
import time
# 调用Event实例化出对象
e = Event()
#
# # 若该方法出现在任务中,则为False,阻塞
# e.wait() # False
# # 若该方法出现在任务中,则将其他线程的False改为True,进入就绪态和运行态
# e.set() # True
def light():
print('红灯亮...')
time.sleep(5)
# 应该发出信号,告诉其他线程准备执行
e.set() # 将car中的False变为True
print('绿灯亮...')
def car(name):
print('正在等红灯...')
# 让所有汽车任务进入阻塞态
e.wait() # False
print(f'{name}正在加速飘逸...')
# 让一个light线程控制多个car线程
t = Thread(target=light)
t.start()
for i in range(10):
t = Thread(target=car, args=(f'汽车{i}号', ))
t.start()
进程池与线程池
进程池与线程池是用来控制当前程序允许创建(进程/线程)的数量
作用:保证在硬件允许的范围内创建(进程/线程)的数量
线程池使用一:
from concurrent.futures import ThreadPoolExecutor
import time
pool = ThreadPoolExecutor(5) # 5代表只能开启5个进程, 不加默认使用cpu的进程数
# ThreadPoolExecutor(5) # 5代表只能开启5个线程
# pool.submit() #异步提交任务, 括号里传函数地址
def task():
print('线程任务开始了...')
time.sleep(1)
print('线程任务结束了...')
for line in range(5):
pool.submit(task)
使用二:
from concurrent.futures import ThreadPoolExecutor
import time
pool = ThreadPoolExecutor(5) # 5代表只能开启5个进程, 不加默认使用cpu的进程数
# ThreadPoolExecutor(5) # 5代表只能开启5个线程
# pool.submit() #异步提交任务, 括号里传函数地址
def task():
print('线程任务开始了...')
time.sleep(1)
print('线程任务结束了...')
return 123
# 回调函数
def call_back(res):
print(type(res))
res2 = res.result() # 注意:赋值操作不要与接收的res同名
print(res2)
for line in range(5):
pool.submit(task).add_done_callback(call_back)
pool.shutdown() 会让所有线程池的任务结束后,才往下执行代码
多线程爬取梨视频
利用requests模块,封装底层socket套接字
主页中获取所有视频id号,拼接视频详情页url
在视频详情页中获取真实视频url srcUrl=
往真实视频url地址发送请求获取 视频 二进制数据
最后把视频二进制数据保存到本地
协程
进程: 资源单位
线程: 执行单位
协程: 在单线程下实现并发
注意: 协程不是操作系统资源,目的是让单线程实现并发
协程目的
操作系统:使用多道技术,切换 + 保存状态,一个是遇到IO, 另一个是CPU执行时间过长
协程:通过手动模拟操作系统 “多道计数”, 实现 切换 + 保存状态
手动实现,遇到IO切换,欺骗操作系统误以为没有IO操作
单线程时,遇到IO,就切换 + 保存状态
单线程时,对于计算密集型,来回切换 + 保存状态反而效率更低
优点:在IO密集型的情况下,会提高效率
缺点:若在计算密集型的情况下,来回切换,反而效率更低
import time
def func1():
for i in range(10000000):
i+1
def func2():
for i in range(10000000):
i+1
start = time.time()
func1()
func2()
stop = time.time()
print(stop - start) # 1.0312113761901855
# 基于yield实现并发 在计算密集型的情况下效率更低
def func1():
while True:
10000000+1
yield
def func2():
g = func1()
for i in range(10000000):
i+1
next(g) # 每次执行next相当于切换到func1下面
start = time.time()
func2()
stop = time.time()
print(stop - start) # 1.3294126987457275
gevent
gevent是一个第三方模块,可以帮你监听IO操作,并切换
使用gevent的目的:在单线程下实现,遇到IO就会 保存状态 + 切换
import time
from gevent import monkey
monkey.patch_all() # 可以监听该程序下所有的IO操作
from gevent import spawn, joinall # 用于做切换 + 保存状态
def func1():
print('1')
time.sleep(1) # IO操作
def func2():
print('2')
time.sleep(3)
def func3():
print('3')
time.sleep(5)
start = time.time()
s1 = spawn(func1)
s2 = spawn(func2)
s3 = spawn(func3)
s1.join() # 发送信号,相当于等待自己(在单线程的情况下)
s2.join()
s3.join()
# joinall((s1, s2, s3)) # 一个个执行很麻烦,可以用joinall把这些全部装进去
end = time.time()
print(end - start) # 5.006161451339722
TCP服务端socket套接字实现协程
服务端:
from gevent import monkey
from gevent import spawn
import socket
monkey.patch_all()
server = socket.socket()
server.bind(('127.0.0.1', 9999))
server.listen(5)
def task(conn):
while True:
try:
data = conn.recv(1024)
if len(data) == 0:
break
print(data.decode('utf-8'))
send_data = data.upper()
conn.send(send_data)
except Exception:
break
conn.close()
def server2():
while True:
conn, addr = server.accept()
print(addr)
spawn(task, conn)
if __name__ == '__main__':
s = spawn(server2)
s.join()
客户端:
import socket
from threading import Thread, current_thread
def client():
client = socket.socket()
client.connect(('127.0.0.1', 9999))
number = 0
while True:
send_data = f'{current_thread().name} {number}'
client.send(send_data.encode('utf-8'))
data = client.recv(1024)
print(data.decode('utf-8'))
number += 1
for i in range(400):
t = Thread(target=client)
t.start()
来源:https://www.cnblogs.com/setcreed/p/11735441.html
猜你喜欢
- 1、善用拖放技术 我们在使用Dreamweaver编辑网页的时候,经常需要插入一些图象什么的,假设要插入的图象很多,按照常规方法来操作就显得
- 先上个效果图,就是用左右尖括号可改变中间日期的值。(点击中间显示区域有时间选择器弹框,用的插件就不说了,主要说自己原创的部分) &
- 用phpMyAdmin时在导入和导出MySQL5数据时,有一个SQL compatibility mode选项,其可选值为NONE、ANSI
- Dreamweaver出现乱码,大致为两种情况:一是没有标明主页制作所用的文字,这种情况下很简单就可以
- 打包下载Pain.php <?php class Pain { public $var=array(); public $tpl=ar
- 引言最常见的闭包 (Closure) 范式大家都很熟悉了:(function() {// ...})(); 很
- 函数重载的替代方法-伪重载,下面看一个具体的实例代码。<? php//函数重载的替代方法-伪重载////确实,在PHP中没有函数重载这
- Asp中Server.ScriptTimeOut属性需要注意的一点Server.ScriptTimeout 这个属性给定Asp脚
- 一个随机排列元素的方法, 其实之前是在摄影页面写的一个小效果.查看演示: 点此查看DEMO实现方法利用Math.random()产生随机数,
- 图片外框特征参数:①dashed:虚线 ②dotted:点虚线 ③solid:实线 ④double:双线 ⑤groove:沟槽状 ⑥ridg
- 这篇论坛文章(赛迪网技术社区)主要介绍了MySQL数据库主从复制的相关概念及设置方法,详细内容请大家参考下文:MySQL支持单向、异步复制,
- Array.prototype._ = function(){var _p = 0;var _v = 0;(function(){ 
- 由于 window.onload 事件需要在页面所有内容(包括图片等)加载完后,才执行,但往往我们更希望在 DOM 一加载完就执行脚本。其实
- 对于 link 元素 和 style 元素 我相信大家都比较了解,但对于他们的出现位置可能有误解。在 淘宝 的所有频道中出现这样一个问题:频
- function.js<!--function getObject(objectId) { &nbs
- 一、多线程同步由于CPython的python解释器在单线程模式下执行,所以导致python的多线程在很多的时候并不能很好地发挥多核cpu的
- 当前,utf8_unicode_ci校对规则仅部分支持Unicode校对规则算法。一些字符还是不能支持。并且,不能完全支持组合的记号。这主要
- 如何在网页打开时显示“正在加载”之类的信息?代码及说明见下: <% Response.Buffer =
- django-pipeline 是一个 Django 下非常方便的静态资源管理 app,尤其是 1.2 版本之后,利用 djan
- 有过Web经验的人喜欢使用:<meta http-equiv="refresh" content="1;