Python反爬虫技术之防止IP地址被封杀的讲解
作者：李灿辉 发布时间：2022-05-09 10:44:12
在使用爬虫爬取别的网站的数据的时候，如果爬取频次过快，或者因为一些别的原因，被对方网站识别出爬虫后，自己的IP地址就面临着被封杀的风险。一旦IP被封杀，那么爬虫就再也爬取不到数据了。
那么常见的更改爬虫IP的方法有哪些呢？
1，使用动态IP拨号器服务器。
动态IP拨号服务器的IP地址是可以动态修改的。其实动态IP拨号服务器并不是什么高大上的服务器，相反，属于配置很低的一种服务器。我们之所以使用动态IP拨号服务器，不是看中了它的计算能力，而是能够实现秒换IP。
动态IP拨号服务器有一个特点，就是每次拨号都会更换一个新的IP地址。多年前家庭中的上网方式大多采用的ADSL拨号上网，也就是断开网络后再拨号一次，外网IP就会换成另一个。
通常来讲，这个IP池很大，可能有多个AB号段，IP数量基本上用不完。对于爬虫来说，这简直是大杀器，能够轻松的解决封杀IP的限制。
使用动态IP拨号服务器，需要付费购买。
2，使用Tor代理服务器。
Tor（The onion router， 洋葱路由器）是互联网上用于保护隐私最有利的工具之一。如果我们不适用Tor，网络请求就会直接发送给目标服务器。
相比之下，如果我们使用tor发送网络请求，客户端就会选择一条随机路径到服务器。这条随机路径中间会经过多个Tor节点，而且使用洋葱路由加密技术，使得任何节点都不能偷取加密数据，并且该请求的传输路径难以追踪，也查不出起点在哪。
因此，我们可以使用tor技术改变请求的IP地址，作为一种终极的防止IP封锁的爬虫方案。
最近在学习《Python网络爬虫从入门到实践》，了解到其中的关于反爬虫的一些话题，做一下学习笔记。
来源：https://blog.csdn.net/li_canhui/article/details/85014747
0
投稿猜你喜欢
- 一. pprint美观打印数据结构pprint模块包含一个“美观打印机”，用于生成数据结构的一个美观的视图。格式化工具会生成数据结构的一些表
- typeof都返回object在JavaScript中所有数据类型严格意义上都是对象，但实际使用中我们还是有类型之分，如果要判断一个变量是数
创建RandomWalk类为模拟随机漫步，我们将创建一个RandomWalk类，随机选择前进方向，这个类有三个属性，一个存储随机漫步的次数，- 依赖条件：需要有Hadoop，hive，zookeeper，hbase环境映射：每一个在 Hive 表中的域都存在于 HBase 中，而在
- 最近学习了SSD算法，了解了其基本的实现思路，并通过SSD模型训练自己的模型。基本环境torch1.2.0Pillow8.2.0torchv
- 有的时候我们可能有这样的需求,比如现在url为m.taoyuewenhua.com/#/ 我们需要在用户每次跳转路由的时候监控有没有abc这
- 关于端口扫描器端口扫描工具（Port Scanner）指用于探测服务器或主机开放端口情况的工具。常被计算机管理员用于确认安全策略，同时被攻击
- 一、实验原理。 本次用代码实现的是ARP网关欺骗，通过发送错误的网关映射关系导致局域网内其他主机无法正常路由。使用scapy中scapy.a
- 不论是打开网页或者爬取一些资料的时候，我们想要的是计算机能在最短的时间内运行出结果，不然等待的时间过长会影响下一步工作的计划。这时候我们可以
- 我们在做深度学习的过程中，经常面临图片样本不足、不平衡的情况，在本文中，作者结合实际工作经验，通过图像的移动、缩放、旋转、增加噪声等图像变换
- 介绍Go使用goroutines来处理connection的读写事件，不会阻塞：c, err := srv.newConn(rw) &nbs
- ADO.NET 连接到 SQL Server SQL Server .NET Framework 数据提供程序支持类似于 OLE DB (A
- 前言在上一篇教程当中呢，小编向大家展示了如何通过一键点击实现将头像变成动漫风的实践，无非是在制作的UI界面当中，在用户上传了照片之后，后端的
- 简介testing是 Go 语言标准库自带的测试库。在 Go 语言中编写测试很简单，只需要遵循 Go 测试的几个约定，与编写正常的 Go 代
- 原理经度 phi，纬度 theta 处的坐标为：x =R* cos(phi) * cos(theta)y = Rsin(phi) * cos
- 了解blockchain的概念很简单（区块链，交易链块）：它是分布式的（即不是放置在同一台机器上，不同的网络设备上的）数据库支持主办记录日益
- 问题查看 tensorflow api manual 时，看到关于 variable.read_value() 的注解如图：那么在 tens
- html页面一般都会指定一个编码，如何获取到是处理html页面的第一步，因为错误的编码必然带来后面处理的问题。这里我用python的正则表达
- 本文实例讲述了CentOS7系统搭建LAMP及更新PHP版本操作。分享给大家供大家参考，具体如下：搭建LAMP环境 用yum安装安装Apac
- 更多的信息，可以参考python内部的json文档： python>>> help(json) 或者官方文档： http:
