Python爬虫防封ip的一些技巧
作者：小雨 发布时间：2022-07-02 20:03:44
在编写爬虫爬取数据的时候，因为很多网站都有反爬虫措施，所以很容易被封IP，就不能继续爬了。在爬取大数据量的数据时更是瑟瑟发抖，时刻担心着下一秒IP可能就被封了。
本文就如何解决这个问题总结出一些应对措施，这些措施可以单独使用，也可以同时使用，效果更好。
伪造User-Agent
在请求头中把User-Agent设置成浏览器中的User-Agent，来伪造浏览器访问。比如：
headers ={'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'} resp = requests.get(url,headers = headers)
还可以先收集多种浏览器的User-Agent，每次发起请求时随机从中选一个使用，可以进一步提高安全性：
把上面随机选择一个User-Agent的代码封装成一个函数：
在每次重复爬取之间设置一个随机时间间隔
比如：
time.sleep(random.randint(0,3)) # 暂停0~3秒的整数秒，时间区间：[0,3]
或：
time.sleep(random.random()) # 暂停0~1秒，时间区间：[0,1)
伪造cookies
若从浏览器中可以正常访问一个页面，则可以将浏览器中的cookies复制过来使用，比如：
注：用浏览器cookies发起请求后，如果请求频率过于频繁仍会被封IP，这时可以在浏览器上进行相应的手工验证（比如点击验证图片等），然后就可以继续正常使用该cookies发起请求。
使用代理
可以换着用多个 * 来进行访问，防止同一个IP发起过多请求而被封IP，比如：
附：GitHub上的一个"反反爬虫"项目
道高一尺魔高一丈，你有反爬虫措施，那我也有各种"反反爬虫"的措施，GitHub上就有一位大神专门整理了一个这样的项目：Anti-Anti-Spider，链接地址为：github.com/luyishisi/An可以研究一下。
来源：https://cloud.tencent.com/developer/article/1581239
0
投稿猜你喜欢
一、题目1.主题：逻辑回归2.描述：假设你是某大学招生主管，你想根据两次考试的结果决定每个申请者的录取机会。现有以往申请者的历史数据，可以此- 定义： 何为触发器？在SQL Server里面也就是对某一个表的一定的操作，触发某种条件，从而执行的一段程序。触发器是一个特殊的存储过程。
- 给定一个字符串，要求在这个字符串中找到符合回文性质的最长子串。所谓回文性是指诸如 “aba”,"ababa","
- 简单介绍HTTP是超文本传输协议，其定义了客户端与服务器端之间文本传输的规范。HTTP默认使用80端口，这个端口指的是服务端的端口，而客户端
- 一、相关知识点讲解1.1 需要使用的相关库import numpy as npimport pand
- Pygame是一个多用于游戏开发的模块。本文实例主要是在演示框里实现一个移动的矩形实例代码，完整代码如下：#moving rectangle
- 为什么会讲 MRO？在讲多继承的时候，有讲到， 当继承的多个父类拥有同名属性、方法，子类对象调用该属性、方法时会调用哪个父类的属性、方法呢？
- 如题，首先读取视频路径，其次根据视频名称创建对应的文件夹，再逐帧将视频帧读入。import cv2import argparseimport
- <!-- #include file="conn.asp" -->
- jsonp方式一：指定返回方法# 后端def view(request): callback = request.GET.get
- 本文实例讲述了Python实现的对一个数进行因式分解操作。分享给大家供大家参考，具体如下：在数学中，我们可能会对一个数进行因式分解，如何用P
- 通过购物车的一个案列，把vuex学习了一篇。vuex概念浅谈Vuex 是一个专为 Vue.js 应用程序开发的状态管理模式。它采用集中式存储
- 1.在OpenCV中我们经常会遇到一个名字:Mask(掩膜)。很多函数都使用到它，那么这个Mask到底什么呢？2.如果我们想要裁剪图像中任意
- Rand()函数是系统自带的获取随机数的函数，可以直接运行select rand() 获取0~1之间的float型的数字。如果想要获取0~1
- 1 Video介绍引用我翻译文档《在HTML5页面中嵌入音频和视频》中的介绍文字：“当今，在网页上嵌入视频且所有用户不管使用任何浏览器或者操
- 1. str.format()：使用“{}”占位符格式化字符串（占位符中的索引号形式和键值对形式可以混合使用）。>>> s
- 相关代码如下： 1. 创建sequence： 代码如下:CREATE SEQUENCE SEQU_DATA_DATAINFO IN
- 开门见山，直接以例子介绍： 代码如下:CREATE TABLE [dbo].[course]( [id] [int] NULL,
- +function(){}();这里的加号，也可以替换成!,~等其他一元操作符，其效果相当于：(function() { console.l
- 以下是我开发时碰到的问题以及心得经验，花了些时间调试，贴出来避免大家少走弯路，如有错误欢迎指正，持续更新ing xml文件尽量以
