python爬虫设置每个代理ip的简单方法
作者：饮醉不止马匹 发布时间：2022-11-01 19:18:52
标签：python爬虫,设置代理
python爬虫设置每个代理ip的方法：
1.添加一段代码，设置代理，每隔一段时间换一个代理。
urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。假如一个网站它会检测某一段时间某个 IP 的访问次数，如果访问次数过多，它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理，网站君都不知道是谁在捣鬼了，这酸爽！ 下面一段代码说明了代理的设置用法。
import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
opener = urllib2.build_opener(proxy_handler)
else:
opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)
2.Timeout 设置，可以解决一些网站出现响应过慢而造成的影响问题。
之前已经说过urlopen 方法了，第三个参数就是 timeout 的设置，可以设置等待多久超时，为了解决一些网站实在响应过慢而造成的影响。 例如下面的代码，如果第二个参数 data 为空那么要特别指定是 timeout 是多少，写明形参，如果 data 已经传入，则不必声明。
import urllib2
response = urllib2.urlopen('http://www.baidu.com', timeout=10)
import urllib2
response = urllib2.urlopen('http://www.baidu.com',data, 10)
来源：https://www.py.cn/jishu/spider/32881.html
0
投稿猜你喜欢
比如user_num表：例1：查询出现过2次的user往往初学者会错误地认为在where 语句里直接使用count()算法，很显然这个想法是- 说起来惭愧，总是犯一些小错误，纠结半天，这不应为一个分号的玩意折腾了好半天！ 错误时在执行SQL语句的时候发出的，信息如下： Java代码
- 基于pygame的飞机大作战小游戏，适合新手，不能直接运行，只能在命令行进入当前游戏目录，输入python game.py才能够运行，尚不知
- 阅读前：Pro Javascript Techniques翻译连载说明和目录JavaScript的演化是渐进而稳固的。历经过去十年的进程，J
- sys;//系统管理员，拥有最高权限 system;//本地管理员，次高权限 scott;//普通用户，密码默认为tiger,默认未解锁 s
- 保存时代码如下：figure_corp = figure.crop( (32*rate/2, 32*rate/2, 32-32*rate/2
- 前言在日常的业务数据分析 ，可视化是非常重要的步骤。这里总结了matplotlib常用绘图技巧，希望可以帮助大家更加更加高效的、美观的显示图
- 前言：PyPDF2是一个纯Python的开源库，能够分割或合并PDF文件，也可以裁剪或转换PDF文件中的页面。我们还可以使用PyPDF2查看
- K最近邻属于一种分类算法，他的解释最容易，近朱者赤，近墨者黑，我们想看一个人是什么样的，看他的朋友是什么样的就可以了。当然其他还牵着到，看哪
- 前言本文主要给大家介绍了关于python中reduce()函数使用的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍：
- 1、确定服务器上的防火墙没有阻止 3306 端口 MySQL 默认的端口是 3306 ，需要确定防火墙没有阻止 3306 端口，否则远程是无
- 译者按：我们时常能看到不同JavaScript库/框架之间的各种比较，但这次 YUI3 架构师和 jQuery 之父的直接对话却非常难得，也
- 1. defer的简单介绍与使用场景defer是Go里面的一个关键字，用在方法或函数前面，作为方法或函数的延迟调用。它主要用于以下两个场景：
- 公司后端服务使用 java 重构后，很多接口采用了阿里的 dubbo 协议。而 python 是无法直接调用 dubbo 接口的，但可以通过
- 前言众所周知在Python中有专门用于logger打印的套件叫logging，但是该套件logger仅接收一个字符串类型的logger打印信
- javascript基础教程算术运算符运算符运算符说明示例示例说明+加法x+y如果x为整数2,y为整数5, x+y等于7如果x为字符串&qu
- 本文实例讲述了PHP实现多文件上传的方法。分享给大家供大家参考。具体实现方法如下：<?phpdefine('ROOT'
- 实验结论如果需要在循环结束后获得结果，推荐列表解析；如果不需要结果，直接使用for循环, 列表解析可以备选;除了追求代码优雅和特定规定情境，
- 先打开安装程序。 选择对应的系统版本，我是64位，所以选了X64。
- 当用户访问一个网站的时候，第一屏的信息展示是非常重要的，很大程度上影响了用户是否决定停留，然而光靠文字大面积的堆积，很难直观而迅速的告诉用户
