python 使用cycle构造无限循环迭代器
作者:小公瑾 发布时间:2022-08-19 13:09:10
一、引入方式
from itertools import cycle
二、使用方法
我们先来看看它的源码
cycle它接收一个可迭代对象,可以将一个可迭代对象转换为一个可以无限迭代的迭代器
源码里我们可以看到它实现了__iter__和__next__的魔术方法,说明它既是可迭代对象也是一个迭代器,我们可以使用for循环和next()方法去操作它
我们先来看看以普通的方式去遍历一个列表
li = ['python', 'java', 'c', 'ruby', 'php', 'javascript']
for i in li:
print(i)
打印结果:
可以看到,遍历直到最后一个元素取完后就不再遍历了
接下来我们使用cycle来创建一个无限迭代的迭代器
from itertools import cycle
li = ['python', 'java', 'c', 'ruby', 'php', 'javascript']
cycle_iter = cycle(li)
for i in cycle_iter:
print(i)
打印结果:
......
我们可以发现当遍历到最后一个元素结束后又会回到第一个元素,就这样无限循环下去形成了死循环,跟while死循环很相似
接下来我们使用next()进行迭代,看看会发生什么
from itertools import cycle
li = ['python', 'java', 'c', 'ruby', 'php', 'javascript']
cycle_iter = cycle(li)
print(next(cycle_iter))
print(next(cycle_iter))
print(next(cycle_iter))
print(next(cycle_iter))
print(next(cycle_iter))
print(next(cycle_iter))
print(next(cycle_iter))
print(next(cycle_iter))
打印结果:
我们发现当最后一个元素迭代完后,又继续迭代第一个元素,这跟普通的迭代器不一样,普通的迭代器最后一个元素迭代完后继续迭代,会抛出迭代停止的异常
三、应用场景
准备一批数据需要循环使用,并且需要一定的顺序,并不希望随机选取一个使用,这时cycle就起到了很好的作用,以我工作中为例,需要针对某知名网站爬取数据时,网站对你的请求频率做了限制,而你又需要更高效的获取这些数据,就可以使用cookie池,在循环发起请求时,就可以用next()方法按顺序去迭代获取cookie池中的数据用来发送请求,迭代完最后一个cookie后,又会回到第一个cookie,这样一来,当账号比较多时,每个账号使用到的频率时间就不会太大,也就达到了预期效果,部分代码截图示例:
温馨提示:爬虫一定要遵守网络相关法律,切不要存侥幸心理去触碰法律的底线,遵守被爬取对象的安全要求,不要暴力爬取,不要爬取涉及到安全和隐私的相关信息!
来源:https://www.cnblogs.com/xiaogongjin/p/13294179.html


猜你喜欢
- Python错误SyntaxError: unexpected EOF while parsing含义是解释器到底了都没找到它要找到的东西出
- 生成txt文件:mesg = "hello world"with open("test.txt",
- 1.matplotlib简介matplotlib 库是 Python 中绘制二维和三维图表的数据可视化工具特点: &
- SQL SERVER 2000用sql语句如何获得当前系统时间就是用GETDATE();Sql中的getDate()Sql Server 中
- 总结了一下使用Python对xml文件的解析,用到的模块儿如下:分别从xml字符串和xml文件转换为xml对象,然后解析xml内容,查询指定
- WAP站点,这似乎是一个有点落伍的东西。在诞生之初,它很简陋,只能通过一个叫WML的标记语言来搭建没有任何美感的文字+链接页面。而今,绝大部
- 关于 Settings Sync扩展:Settings Sync可以同步你当前的VSCode配置环境,当你需要在其它的电脑工作时,您不用重头
- 浏览器缓存浏览器缓存是浏览器在本地磁盘对用户最近请求过的文档进行存储,当访问者再次访问同一页面时,浏览器就可以直接从本地磁盘加载文档。所以根
- 官方地址:gin-gonic.com/docs/安装与简单测试下载并安装Gin包,并导入引用$ go get -u github.com/g
- 如何让Activiti-Explorer使用sql server数据库从官网下载的Activiti-explorer的war文件内部默认是使
- 说明:本文内容都是从Google上搜索来的,本想上http://www.alexa.com/查官方数据,访问非常慢暂且没查。使用本接口将返回
- 如下所示:def save(data, path): f = xlwt.Workbook() # 创建工作簿 she
- 首先得明确包和模块。包:在一个目录下存在__init__.py,那么该目录就是一个包。模块:一个.py文件就是一个模块。我们可以通过from
- <html xmlns="http://www.w3.org/1999/xhtml"> <head&g
- 如下所示:<span style="font-family: Arial, Helvetica, sans-serif;&q
- 配置文件如下,下面对配置文件进行一一解释"""Django settings for film1_manage
- 表的普通字段 一对多字段 多对多字段 插入数据#插入数据def add(request):G_title=request.POST.get(
- 本文主要介绍在 windows 10 系统中安装 Anaconda3 的详细过程。下载Anaconda 官网下载地址目前最新版本是 pyth
- 鉴于最近复习线性代数计算量较大,且1800答案常常忽略一些逆阵、行列式的计算答案,故用Python写出矩阵的简单计算程序,便于检查出错的步骤
- Dataframe使用loc取某几行几列的数据:print(df.loc[0:4,['item_price_level',&