Python爬虫动态ip代理防止被封的方法
作者：撒撒撒windy 发布时间：2022-01-24 00:15:30
标签：Python,动态ip,被封
在爬取的过程中难免发生ip被封和403错误等等，这都是网站检测出你是爬虫而进行反爬措施，在这里为大家总结一下怎么用IP代理防止被封
首先，设置等待时间：
常见的设置等待时间有两种，一种是显性等待时间（强制停几秒），一种是隐性等待时间（看具体情况，比如根据元素加载完成需要时间而等待）图1是显性等待时间设置，图2是隐性
第二步，修改请求头：
识别你是机器人还是人类浏览器浏览的重要依据就是User-Agent，比如人类用浏览器浏览就会使这个样子的User-Agent：'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
第三步，采用代理ip/建代理ip池
直接看代码。利用动态ip代理，可以强有力地保障爬虫不会被封，能够正常运行。图1为使用代理ip的情况，图2是建ip代理池的代码，有没有必要需要看自己的需求，大型项目是必须用大量ip的。
做好以上3个步骤，大致爬虫的运行就不成问题了。
做好以上3个步骤，大致爬虫的运行就不成问题了。
0
投稿猜你喜欢
- Python2中编码相关的问题很是让人蛋疼，特别是中文字符。比如本文所述的中文网页GBK编码的诡异问题。现象例如：盲录職氓聭聵，其实网页里面
- random 模块中的常用函数random()返回一个位于区间 [0,1] 内的实数；uniform(a, b)返回一个位于区间 [a,b]
python加密打包程序加密方式：将py文件转为pyd格式安装easycython模块 pip install easycython使用ea- 1. 概念图像融合: 两幅图片叠加在一起，形成前景背景的效果。2. 流程（1）读入要融合的两幅图片。（2）把两幅图片调整到统一大小，方便下一
- 前言微服务中的日志采集方案ELK(EFK)已经是基本事实标准了，但是单体服务中却没有像ELK这样的成熟采集方案，这与单体性质有关，单体毕竟涉
- 如何要恢复Master数据库呢?方法1:重装SQL，但是数据就Over掉了方法2:重建Master Rebuildm.exe 用到SQL的安
- 简单演示import matplotlib.pyplot as pltimport numpy as np# 从[-1,1]中等距去50个数
- 假设有一个表，结构如下：mysql> CREATE TABLE `a` ( `id
- 在vue-cli3中，公共文件夹由static变成了public先把要访问的json放到public文件夹下使用axios的get方法获取，
- 本文实例介绍了基于python的Tkinter实现简易计算器的详细代码，分享给大家供大家参考，具体内容如下第一种：使用python 的 Tk
- 当现有video播放器不能满足需求时，需要自己对video进行封装。video事件loadstart: 在视频开始加载时触发，给curren
- Laravel 中间件提供了一种方便的机制来过滤进入应用的 HTTP 请求。例如，Laravel 内置了一个中间件来验证用户的身份认证。如果
- 随着当今世界的发展，计算机视觉技术的应用越来越广泛。伴随着硬件设备的不断升级，构造复杂的计算机视觉应用变得越来越容易了。OpenCV像是一个
- 正则表达式，就是用某种模式去匹配一类字符串的一个公式，正则表达式由一些普通字符和一些元字符（metacharacters）组成。普通字符包括
- python是支持多线程的，并且是native的线程。主要是通过thread和threading这两个模块来实现的。thread是比较底层的
- 前言本文提供Python上传minio以及阿里oss文件工具，给自己留个记录。环境依赖安装minio以及oss2依赖pip install
- pyecharts 是一个用于生成 Echarts 图表的类库。 Echarts 是百度开源的一个数据可视化 JS 库。主要用于数据可视化。
- （&，|）和（and，or）是两组比较相似的运算符，用在“与”/ “或”上，在用法上有些许区别。 （&，|）和（and，or
- 1 random.choicepython random模块的choice方法随机选择某个元素foo = ['a',
- 众所周知，想要在python程序中执行SQL语句需要使用第三方模块：pymysql。下面，我将为大家简述一下pymysql第三方库的安装到使
