Python用yield from实现异步协程爬虫的实践
作者:Python无霸哥 发布时间:2023-10-23 13:30:46
标签:Python,yield,from,异步协程爬虫
一、什么是yield
如果还没有怎么用过的话,直接把yield看做成一种特殊的return(PS:本质 generator(生成器))
return是返回一个值然后就终断函数了,而yield返回的是一个生成器(PS:不知道的直接看作特殊列表,看下面的代码案例)
# -*- coding: utf-8 -*-
# @Time : 2022/11/10 16:17
# @Author : 红后
# @Email : not_enabled@163.com
# @blog : https://www.cnblogs.com/Red-Sun
# @File : 实例1.py
# @Software: PyCharm
def main():
'''
遍历0到4,这五个数,并分别打印
'''
for num in range(5):
yield num
if __name__ == '__main__':
for num in main():
print(num)
print('-'*50)
for num in [0, 1, 2, 3, 4]:
print(num)
将它看作列表用for循环遍历,就能取出其中的值。
二、yield于列表的区别
它与原来列表的区别就在于,自带的列表是固定的,而把yield看作列表的话是动态的。
具体案例描述请看代码及备注(PS:个人自己描述的,有不对的地方望各位指点)
# -*- coding: utf-8 -*-
# @Time : 2023/01/11 15:24
# @Author : 红后
# @Email : not_enabled@163.com
# @blog : https://www.cnblogs.com/Red-Sun
# @File : 实例2.py
# @Software: PyCharm
def main():
'''
将yield看作一个动态列表,从yield左往右为传出数据,从又往左为传入数据。
PS:有yield存在的那一行,需要从左往右传出数据跑一遍,数据出去以后又要从右往左带接收的数据跑一遍,一共一行跑两边(仅作者个人记忆方法)
'''
Python学习群:748989764
num1 = yield
num2 = yield
print(num1, num2)
yield num1 + num2
if __name__ == '__main__':
a = main()
# 第一个next对应第一个yield的右边为空即None,所以动态列表中加入一个参数为None,返回值为列表的-1位是None
print(next(a)) # [None]
# 第二个通过send方法传入一个数1,即在上一次停止的地方从右往左传入参数,所以给num1赋值为1.然后继续找下一个yield,其右边的值依旧为None,加入动态列表,此时返回值-1位依旧是None
print(a.send(1)) # [None, None]
# 第三通过send方法传入一个数2,即在上一次停止的地方从右往左传入参数,所以给num2赋值为2.然后继续找下一个yield,其右边的值为num1 + num2,此时num1为1,num2为2,计算得返回值-1位为3
print(a.send(2)) # [None, None, num1 + num2]
三、yield from 实现协程
yield from 后面需要加可迭代对象
当它后面加上生成器(上述所说的yield这种)便可以实现生成的嵌套
老板(主程序):调用委派生成器
包工头(委派生成器):包含yield from表达式的生成器
打工仔(子生成器):生成器函数
其中委派生成器的作用:在主程序与子生成器之间建立一个双向通道。
所谓双向通道是指,主程序可以将参数通过send传递给子生成器,子生成器的yield的值也可以直接返回给主函数。(PS:委派生成器只有创建通道的作用,没有拦截数据这种功能)
也许有人会想直接用主程序调用子生成器不就行了,而对这的解释是,使用yield from作为中间过渡是为了让它帮我们进行异常处理(PS:类似写程序为了正常运行加上try一个道理)
# -*- coding: utf-8 -*-
# @Time : 2022/11/10 15:13
# @Author : 红后
# @Email : not_enabled@163.com
# @blog : https://www.cnblogs.com/Red-Sun
# @File : coroutines.py
# @Software: PyCharm
import requests
def coroutines_spider():
'''
子生成器(PS: 打工仔,真正干活的)
'''
response = None # 首次激活返回None,后期网页响应覆盖
while True:
url = yield response
response = requests.get(url)
def appoint():
'''
委派生成器,委托子生成器完成具体任务 (PS: 类似包工头负责劳务派遣)
'''
while True:
yield from coroutines_spider() # 建立子生成器和主函数的双通道
def main(url_list: list):
'''
主函数(PS: 相当于老板,张贴招人启示)
'''
ul = appoint() # 创建委派生成器
next(ul) # 激活它
for url in url_list:
response = ul.send(url) # 将url作为参数传递进入子生成器中,返回子生成器yield出来的response
print(response.url, response.status_code) # 打印出response中的链接和状态码
if __name__ == '__main__':
url_list = ['https://www.baidu.com/', 'https://www.4399.com/', 'https://cn.bing.com/', ]
main(url_list=url_list)
来源:https://blog.csdn.net/weixin_45841831/article/details/128645395
0
投稿
猜你喜欢
- 1. 使用 in 和 not inin 和 not in 在 Python 中是很常用的关键字,我们将它们归类为 成员运算符。使用这两个成员
- 如果你计划将数据库从SQL Server 2000 升级到 SQL Server 2005。你在升级之前一定会测试每样东西,并且证明应用程序
- super 的工作原理如下:def super(cls, inst): mro = inst.__class__.mro() &
- 流程,通俗来讲,就是许多人,在做一系列的事情时,怎样相互协调,安排好这一系列事情的先后顺序,有什么事先的约定,需要达到怎样的预期目标。在UE
- 去掉html中的table代码 Function OutTable(str) dim a,re&nb
- 如何用FILESYSTEMOBJECT组件来做一个站内搜索?看看下面我们提供的例子,主要由searchpage.htm和searchresu
- 创建df:>>> df = pd.DataFrame(np.arange(16).reshape(4, 4), colum
- 前言今天为大家分享Echarts在Python 的Django框架中的使用项目仓库为https://gitcode.net/sabian2/
- 在网上查找大量资料,经过自己的不懈努力,终于测试成功了。原来要在服务器上安装mysql odbc 3.51 ,还有数据库用户名及密码,用下面
- 需求细化:1.身份证必须能够通过身份证校验程序。2.通过查询,发现身份证号码是有国家标准的,标准号为 GB 11643-1999 可以从百度
- 1、安装pecl及创建快捷键(若安装php时已带可忽略这步安装步骤)# cd /usr/local/php/bin/ //可查看
- IE历来被web标准的拥护者所诟病,而当FireFox横空出世以后,更多的网页制作者开始关注web标准设计。看着FireFox的市场占有率不
- 本文更多将会介绍三思在日常中经常会用到的,或者虽然很少用到,但是感觉挺有意思的一些函数。分二类介绍,分别是: 著名函数篇-经常用到的函数 非
- 前提条件:1.安装好Wampserver64(版本不限)2.Wampserver64软件启动后 变为绿色如:3.在数据库里面创建好名为&am
- <%@ Language=VBScript %><%Option Explicit %><%Dim strUR
- 本文分享了php结合ajax实现无刷新上传图片的实例代码,分享给大家,希望大家可以和小编一起学习学习,共同进步。1.引入文件<!--图
- 有如下 Pandas DataFrame:import pandas as pdinp = [{'c1':10, '
- os包想要使用os包一样要先导入:import osos包下可以直接调用的函数下面介绍一下os包中可以直接调用的函数:例子:例子:例子:注意
- 本文实例为大家分享了PyQt5实现简易计算器的具体代码,供大家参考,具体内容如下效果图: 界面代码calc_interface.py# -*
- 介绍两个关键的CSS <style media="print">