python反爬虫方法的优缺点分析
作者：小妮浅浅 发布时间：2023-09-07 11:38:02
标签：python,反爬虫
我们选择一种问题的解决办法，通常需要考虑到想要达到的效果，还有最重要的是这个办法本身的优缺点有哪些，与其他的方法对比哪一个更好。之前小编之前也教过大家在python应对反爬虫的方法，那么小伙伴们知道具体情况下选择哪一种办法更适合吗？今天就其中的user-agent和ip代码两个办法进行优缺点分析比较，让大家可以明确不同办法的区别从而进行选择。
方法一：
可以自己设置一下user-agent，或者更好的是，可以从一系列的user-agent里随机挑出一个符合标准的使用。
缺点：
容易伪造头部，github上有人分享开源库fake-useragent
IP限制
如果一个固定的ip在短暂的时间内，快速大量的访问一个网站，后台管理员可以编写IP限制，不让该IP继续访问。
方法二：
比较成熟的方式是：IP代理池
简单的说，就是通过ip代理，从不同的ip进行访问，这样就不会被封掉ip了。
可是ip代理的获取本身就是一个很麻烦的事情，网上有免费和付费的，但是质量都层次不齐。如果是企业里需要的话，可以通过自己购买集群云服务来自建代理池。
缺点：
可以使用免费/付费代理，绕过检测。
读完本篇我们会发现，每种方法都有它的缺陷，我们要做的就是发挥使用它的优势出。根据不同的环境情况，可以选择适合自己操作顺手的方法。对于两种方法知识点遗忘的，可以直接点击进去进行回顾。
来源：https://www.py.cn/jishu/jichu/21241.html
0
投稿猜你喜欢
案例：如果我们起了一个协程，但这个协程出现了panic，但我们没有捕获这个协程，就会造成程序的崩溃，这时可以在goroutine中使用rec- 什么是pyQt5首先我们来说说什么是pyQt5。搞过GUI界面设计的童鞋一定都了解过微软的MFC。当然了，个人感觉MFC不是一个非常优雅的U
- 前言小程序本身是不支持async/await语法的，但有些应用场景，我们使用async/await会使得代码更简洁，也更易于维护，用过都知道
- 脚本运行环境python 3.6+edge浏览器（推荐使用，因为在edge浏览器中可以获得额外12分，当然chrome浏览器也可以）webd
- 整理文档，搜刮出一个vue 计时器组件的代码，稍微整理精简一下做下分享。<template> <div>
- 摘要：百度百科上是这样介绍二维码的：二维码（Quick Response Code），又称二维条码，它是用特定的几何图形按一定规律在平面（二
- 本文实例讲述了python使用Flask框架获取用户IP地址的方法。分享给大家供大家参考。具体如下：下面的代码包含了html页面和pytho
- 开发环境与配置win_x64Ubuntu14.04Python3.xpip安装pymysql模块直接使用pip安装 pip install
- 话说本来我的电脑有个2000的数据库，去年我在那个电脑上新装了一个2005的数据库。前不久我买了台新电脑，装了数据库2008 将在旧电脑上的
- 本文介绍了深入理解ES6的迭代器与生成器，分享给大家，具体如下：循环语句的问题var colors = ["red",
- 源码：#路飞骷髅import turtle as t#黄底帽子t.pu()t.goto(0,200)t.circle(-130,-80)t.
- PyCharm PyCharm是一种Python IDE，带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法
- 一.多表关系MySQL多表之间的关系可以概括为:一对一、一对多/多对一关系，多对多一对一关系一个学生只有一张身份证;一张身份证只能对应一学生
- mysql是linux平台下最流行的数据库系统，今天介绍的是mysql的安装及简单的操作方法!groupadd mysql //建立mysq
- 一、读者指引读者指引帮助你掌握本文的梗概。以免你看了大半才明白这编文章不适合你，给你造成视觉污染。如果你正在用ASP+XML写一些程序，或者
- 缓存(Cache)对于创建一个高性能的网站和提升用户体验来说是非常重要的，然而对我们这种只用得起拼多多的码农而言最重要的是学会如何使用缓存。
- 减少HTTP请求，是可以提高网站速度的，把所有的背景图像都放到一个图片文件中，然后通过CSS的background-image和backgr
- 一.问题使用黄金分割法来计算二.代码#黄金分割法python求解PPT上第一个例题#因为函数要求解最大值而这个方法一般求解最小值所以把函数取
- 先前在DW教学－Dreamweaver量身打造Wordpress留言板（一） 教学文章中，已经成功的把前端留言机制与界面搞定了，虽然有了留言
- 1、Python的min函数返回列表中的最小的项。2、如何返回列表中最小的项的索引？def indexofMin(arr):
