python网络爬虫之如何伪装逃过反爬虫程序的方法
作者：Master HaKu 发布时间：2022-08-12 10:23:23
标签：python,反爬虫
有的时候，我们本来写得好好的爬虫代码，之前还运行得Ok, 一下子突然报错了。
报错信息如下：
Http 800 Internal internet error
这是因为你的对象网站设置了反爬虫程序，如果用现有的爬虫代码，会被拒绝。
之前正常的爬虫代码如下：
from urllib.request import urlopen
...
html = urlopen(scrapeUrl)
bsObj = BeautifulSoup(html.read(), "html.parser")
这个时候，需要我们给我们的爬虫代码做下伪装，
给它添加表头伪装成是来自浏览器的请求
修改后的代码如下：
import urllib.parse
import urllib.request
from bs4 import BeautifulSoup
...
req = urllib.request.Request(scrapeUrl)
req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')
response = urllib.request.urlopen(req)
html = response.read()
bsObj = BeautifulSoup(html, "html.parser")
Ok,一切搞定，又可以继续爬了。
来源：https://www.cnblogs.com/davidgu/p/5572547.html
0
投稿猜你喜欢
- 程序开始：<％ Server.ScriptTimeout = &HE10 '&
我遇到的情况是：把数据按一定的时间段提出。比如提出每天6:00-8:00的每个数据，可以这样做：# -*-coding: utf-8 -*-- 在已知DICOM和三维模型对应掩膜的情况下，计算三维模型的体积。思路：1、计算每个体素的体积。每个体素为长方体，x，y为PixelSpaci
- 本文实例为大家分享了JavaScript实现简单计算器的具体代码，供大家参考，具体内容如下此例为简单的计算器：代码示例：<!DOCTY
- 开始码代码之前，我们先来了解一下三种邮件服务协议：1、SMTP协议SMTP(Simple Mail Transfer Protocol)，即
- 本文实例讲述了Python使用回溯法解决迷宫问题。分享给大家供大家参考，具体如下：问题给定一个迷宫，入口已知。问是否有路径从入口到出口，若有
- 在此之前，我一直都在研究JavaScript相关的反调试技巧。但是当我在网上搜索相关资料时，我发现网上并没有多少关于这方面的文章，而且就算有
- TensorFlow 2.0测试版在今年春季发布，新版本比1.x版本在易用性上有了很大的提升。但是由于2.0发布还没有多久，现在大部分论文的
- 项目地址：https://github.com/Henryhaohao/Bilibili_video_download介绍对于单P视频:直接
- 本文实例讲述了Python实现识别图片内容的方法。分享给大家供大家参考，具体如下：python识别图片内容。这里我的环境为windows64
- 本文通过将同一个数据集在三种不同的简便项窗口部件中显示。三个窗口的数据得到实时的同步,数据和视图分离。当添加或删除数据行，三个不同的视图均保
- 你好，％用户名％！我叫Alex，我在机器学习和网络图分析（主要是理论）有所涉猎。我同时在为一家俄罗斯移动运营商开发大数据产品。这是我第一次在
- 本文实例讲述了Python科学计算包numpy用法。分享给大家供大家参考，具体如下：1 数据结构numpy使用一种称为ndarray的类似M
- <?php /** +------------------------------------------------ * 通用的树型
- Blackfriday是在Go中实现的Markdown处理器。您可以安全地输入用户提供的数据，速度快，支持通用扩展（表，智能标点符号替换等）
- debug的时候，有时希望打印某些东西，但是如果代码段刚好在一个循环或者是其他会被执行很多次的部分，那么用来print的语句也会被执行很多次
- 近期，阿里云云安全中心基于全新的深度威胁检测功能，监测到云上部分用户的 SQL Server 数据库内部隐藏着一种新型的持久化后门程序。攻击
- MSXML是微软非托管代码栈中最为核心的XML服务集合，不但适合基于COM的开发应用，更是微软AJAX解决方案和客户端XSLT解决方案的核心
- python：simplified-chinese-menu:中文汉化（英文差的）代码高亮：Atom自带自动补全：autocomplete-
- 一、为什么要安装虚拟环境 情景一、项目A需要某个库的1.0版本，项目B需要这个库的2.0版本。如果没有安装虚拟环境
