python爬虫快速响应服务器的做法
作者：小妮浅浅 发布时间：2022-09-24 21:05:31
标签：python,爬虫,快速响应
不论是打开网页或者爬取一些资料的时候，我们想要的是计算机能在最短的时间内运行出结果，不然等待的时间过长会影响下一步工作的计划。这时候我们可以给计算机一个指令，限制最久能等待的时间，在我们能接受的时间内运行出结果。那么这个指令方法是什么呢？接下来我们一起看看吧。
requests之所以称为“HTTP for human”，因为其封装层次很高，其中一处体现就在：requests会自动处理服务器响应的重定向。我在做搜狗微信公众号抓取的时候，搜狗搜索列表页面的公众号文章地址，其实不是微信的地址而需要请求到搜狗到服务器做重定向，而requests的默认处理则是将整个过程全部搞定，对此可以这样：
In [1]: r = requests.get('http://xlzd.me', allow_redirects=False)
allow_redirects参数为False则表示不会主动重定向。
另外，有时候对方网站的响应时间太长了，我们希望在指定时间内完事，或者直接停止这个请求，这时候的做法是：
In [1]: r = requests.get('http://xlzd.me', timeout＝3)
timeout表示这次请求最长我最长只等待多少秒
拓展：
为requests套上一层代理的做法也非常简单：
import requests
proxies = {
"http": "http://192.168.31.1:3128",
"https": "http://10.10.1.10:1080",
}
requests.get("http://xlzd.me", proxies=proxies)
来源：https://www.py.cn/jishu/jichu/21180.html
0
投稿猜你喜欢
- AJAX即“Asynchronous Javascript And XML”（异步JavaScript和XML），是指一种创建交互式网页应用
其实大家都知道sql语句的错误信息都可以在sys.messages表里面找到如：如果在执行语句在try...catch中 我们可以通过以下方- 1.直方图直方图: (1) 图像中不同像素等级出现的次数 (2) 图像中具有不同等级的像素关于总像素数目的比值。我们使用cv2.calcHi
- 这篇文章主要介绍了Python globals()和locals()对比详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的
- 本代码实现的是，在旋转10度的基础上，再进行增加对比度的操作。1 代码:代码注释中的代码都是可以运行的. 但是不怎么靠谱,因为文
- 先给出一个四人团对Decorator mode的定义：动态地给一个对象添加一些额外的职责。再来说说这个模式的好处：认证，权限检查，记日志，检
- 1、 数据库闭包表简介像MySQL这样的关系型数据库，比较适合存储一些类似表格的扁平化数据，但是遇到像树形结构这样有深度的数据，就很难驾驭了
- 作为一个信号库，使用时候是支持一对一以及一对多的订阅模式，可以实现发送数据等，一般情况下，只要能够使用到Blinker的，一般都是应用在技术
- 堆是一种特殊的树形结构， 堆中的数据存储满足一定的堆序。堆排序是一种选择排序， 其算法复杂度， 时间复杂度相对于其他的排序算法都有很大的优势
- 1.自动转到命名记 <script laguage="javascript"> window.locatio
- 本文以YOLOv5-6.1版本为例一、Add1.在common.py后加入如下代码# 结合BiFPN 设置可学习参数 学习不同分支的权重#
- 一、功能分析简单分析一下网站的功能，大致如下：需要用户在地址栏中提交参数，根据参数中的id查询对应的用户信息。如果id存在，则显示查询成功，
- <title>动态序列比对</title> <script> function pairaln(seq1
- 一、动机（Motivate）在软件构建过程中，某些对象使用的算法可能多种多样，经常改变，如果将这些算法都编码到对象中，将会使对象变得异常复杂
- 本文实例讲述了python比较两个列表是否相等的方法。分享给大家供大家参考。具体如下：这里演示了 == 和 is两种方法的区别：L1 = [
- Macromedia Dreamweaver MX 2004提供了更多功能强劲的可视化设计工具、应用开
- 大家都知道Vue.js是中国人创造出来的，简单易用，所以必须要支持一下Vue采用的MVVM设计模式也就是说model和view绑定 mode
- 什么是 JScript？JScript 是由微软开发的活动脚本语言，基于 ECMAScript 规范实现。Internet Explorer
- 🌟 写在前面专栏介绍：凉哥作为 Vue 的忠实 粉丝输出过大量的 Vue 文章，应粉丝要求开始更新 Vue3 的相关技术文章，Vue 框架目
- 由于我个人电脑装的Excel是2016版本的，所以这地方我使用了XSSF 方式导入 。1 先手要制定一个Excel 模板 把模板放入java
