python爬虫URL重试机制的实现方法(python2.7以及python3.5)
作者:ZJL-阿友 发布时间:2023-08-06 07:51:43
标签:python,爬虫,重试,机制
应用场景:
状态不是200的URL重试多次
代码比较简单还有部分注释
python2.7实现:
# -*-coding:utf-8-*-
"""
ayou
"""
import requests
def url_retry(url,num_retries=3):
print("access!")
try:
request = requests.get(url,timeout=60)
#raise_for_status(),如果不是200会抛出HTTPError错误
request.raise_for_status()
html = request.content
except requests.HTTPError as e:
html=None
if num_retries>0:
#如果不是200就重试,每次递减重试次数
return url_retry(url,num_retries-1)
#如果url不存在会抛出ConnectionError错误,这个情况不做重试
except requests.exceptions.ConnectionError as e:
return
return html
url_retry("http://httpbin.org/status/404")
python3.5实现:
# -*-coding:utf-8-*-
"""
ayou
"""
import asyncio
import aiohttp
async def print_page(url,num_retries=3):
async with aiohttp.ClientSession() as session:
try:
async with session.get(url,timeout=60) as response:
print("access!")
#raise_for_status(),如果不是200会抛出HttpProcessingError错误
response.raise_for_status()
body = await response.text()
except aiohttp.errors.HttpProcessingError as e:
body = None
if num_retries > 0:
#如果不是200就重试,每次递减重试次数
return await print_page(url, num_retries - 1)
#不存在URL会抛出ClientResponseError错误
except aiohttp.errors.ClientResponseError as e:
return e
session.close()
print(body)
return body
def main():
#这是一个不存在URL
# url = 'http://httpbin.org/status/404111'
#这是一个404的URL
url = 'http://httpbin.org/status/404'
loop = asyncio.get_event_loop()
loop.run_until_complete(print_page(url))
loop.close()
if __name__ == '__main__':
main()
爬虫URL重试机制封装成修饰器(python2.7以及python3.5以上)
python2.7版本:
# -*-coding:utf-8-*-
"""
ayou
"""
import requests
#定义一个重试修饰器,默认重试一次
def retry(num_retries=1):
#用来接收函数
def wrapper(func):
#用来接收函数的参数
def wrapper(*args,**kwargs):
#为了方便看抛出什么错误定义一个错误变量
last_exception =None
#循环执行包装的函数
for _ in range(num_retries):
try:
#如果没有错误就返回包装的函数,这样跳出循环
return func(*args, **kwargs)
except Exception as e:
#捕捉到错误不要return,不然就不会循环了
last_exception = e
#如果要看抛出错误就可以抛出
# raise last_exception
return wrapper
return wrapper
if __name__=="__main__":
@retry(5)
def url_retry(url):
request = requests.get(url, timeout=60)
print("access!")
request.raise_for_status()
html = request.content
print(html)
return html
url_retry("http://httpbin.org/status/404")
# url_retry("http://httpbin.org/status/404111")
# url_retry("http://www.baidu.com")
python3.5以上版本:
# -*-coding:utf-8-*-
"""
ayou
"""
import aiohttp,asyncio
#定义一个重试修饰器,默认重试一次
def retry(num_retries=1):
#用来接收函数
def wrapper(func):
#用来接收函数的参数
def wrapper(*args,**kwargs):
#为了方便看抛出什么错误定义一个错误变量
last_exception =None
#循环执行包装的函数
for _ in range(num_retries):
try:
#如果没有错误就返回包装的函数,这样跳出循环
return func(*args, **kwargs)
except Exception as e:
#捕捉到错误不要return,不然就不会循环了
last_exception = e
#如果要看抛出错误就可以抛出
# raise last_exception
return wrapper
return wrapper
async def print_page(url):
async with aiohttp.ClientSession() as session:
async with session.get(url,timeout=60) as response:
print("access!")
#raise_for_status(),如果不是200会抛出HttpProcessingError错误
response.raise_for_status()
body = await response.text()
session.close()
print(body)
return body
@retry(5)
def loop_get():
# url = "http://www.baidu.com"
# url = 'http://httpbin.org/status/404111'
url = 'http://httpbin.org/status/404'
loop = asyncio.get_event_loop()
loop.run_until_complete(print_page(url))
loop.close()
if __name__ == '__main__':
loop_get()
来源:https://blog.csdn.net/u013055678/article/details/54290481


猜你喜欢
- 原文地址:30 Days of Mootools 1.2 Tutorials - Day 8 - Input Filtering Part
- create proc sp_PublicTurnPageWebSite( @TBName nvarchar(
- 故障表现一方面 :在阿里云控制台云数据库PolarDB对应的集群管理页面上,在诊断与优化模块里面的一键诊断会话管理中,发现某条update
- 安装了个5.5版本的mysql,字符集出现了问题,之前的mysql服务器都是通过在my.cnf配置文件中进行配置便可,可是今儿怎么着都不行一
- 先来看看基本的定义:channel是Go语言中的一个核心类型,可以把它看成管道。并发核心单元通过它就可以发送或者接收数据进行通讯,这在一定程
- 本文实例分析了JS获取年月日时分秒的方法。分享给大家供大家参考,具体如下:var d = new Date();var time = d.g
- 如何向客户端推送“出错信息”?下面是推送代码:服务器端:on error resume nextconn=se
- 这篇文章主要介绍了python标识符命名规范原理解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友
- 很多人会把Primary Key和聚集索引搞混起来,或者认为这是同一个东西。这个概念是非常错误的。 主键是一个约束(constraint),
- 疑问在调用socket的时候,我们会使用到listen()函数,里面有个参数叫backlog, 例如:socket.listen(5). 那
- 我们都知道当我们建立数据表(innodb或myisam)时,会生成相应的文件(如:MYD,MYI,frm) 在这里,我们探讨下使用frm文件
- 前言看文档不认真,开发也没有多注意,总是hack。忽悠忽悠就过去,但怎么说,歪门邪道还是不太好,现在就亡羊补牢,总结总结。数组索引使用下标更
- js获取日期函数//获取当前时间日期function CurentTime(){ var now = new Date(); &
- 具体流程:① 导入相应的包,下载训练集和测试集对应需要的图像数据。②进行图像数据的变换,使图像数据转化成pytorch可识别并计算的张量数据
- 作为胶水语言,Python可以很方便的执行系统命令,Python3中常用的执行操作系统命令有os.system()、os.popen()、s
- 这次让我们一个用 Python 做一个小工具:将动态 GIF 图片倒序播放!GIF(Graphics Interchange Format)
- 在开发难免遇到一些前端需要验证输入的数据是否合法的问题,收集分享在这里同学们使用,欢迎补充。1.标签上直接替换方法:JS 控制不能输入特殊字
- 背景pytorch作为深度学习的计算框架正得到越来越多的应用.我们除了在模型训练阶段应用外,最近也把pytorch应用在了部署上.在部署时,
- 实现效果:方法一:1 print "+"+"-"*8+"+"+"-&q
- TensorFlow保存模型代码import tensorflow as tffrom tensorflow.python.framewor