Python3爬虫学习之应对网站反爬虫机制的方法分析
作者：Sailfish23 发布时间：2022-04-17 08:44:16
标签：Python3,爬虫
本文实例讲述了Python3爬虫学习之应对网站反爬虫机制的方法。分享给大家供大家参考，具体如下：
如何应对网站的反爬虫机制
在访问某些网站的时候，网站通常会用判断访问是否带有头文件来鉴别该访问是否为爬虫，用来作为反爬取的一种策略。
例如打开搜狐首页，先来看一下Chrome的头信息（F12打开开发者模式）如下：
如图，访问头信息中显示了浏览器以及系统的信息（headers所含信息众多，具体可自行查询）
Python中urllib中的request模块提供了模拟浏览器访问的功能，代码如下：
from urllib import request
url = 'http://www.baidu.com'
# page = request.Request(url)
# page.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read().decode('utf-8')
print(page_info)
可以通过add_header(key, value) 或者直接以参数的形式和URL一起请求访问，
urllib.request.Request()
urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
其中headers是一个字典，通过这种方式可以将爬虫模拟成浏览器对网站进行访问。
https://docs.python.org/3/library/urllib.request.html?highlight=request#module-urllib.request
希望本文所述对大家Python程序设计有所帮助。
来源：https://blog.csdn.net/weixin_37636702/article/details/78756967
0
投稿猜你喜欢
1、jieba库基本介绍(1)、jieba库概述jieba是优秀的中文分词第三方库- 中文文本需要通过分词获得单个的词语- jieba是优秀- 最近临时工作要生成xml报名，通过MQ接口发送。简单小程序。自增长拼成xml报文Test_001.py# encoding=utf-8imp
- 最新MySql8.27主从复制以及SpringBoot项目中的读写分离实战1、MySql主从复制MySQL主从复制是一个异步的复制过程，底层
- 之前一直傻傻分不清（n,1）和（n,）之间的区别，这里做一下总结，希望度过此文章的小伙伴都能明白。例如如果我们创建一个包含10个整型数的数组
- 一丶父子组件传值先在父组件中给子组件的自定义属性绑定一个 父组件的变量<template class="father&quo
- 转眼间上次写文章已经是 2022年12月15日的事情啦，本来从2022年7月份开始写作之后保持着每周一篇，然而从12月15日后断更了这么久，
- 一、前言运算符重载：为运算符定义方法所谓重载，就是赋予新的含义同一个运算符可以有不同的功能二、重载作用让自定义的实例像内建对象一样进行运算符
- 本文将结合实例给大家演示如何使用ASP读取一个目录结构（及包含的文件信息）。演示页面中遍历显示了代码吾爱站点上若干目录文件夹——其中包含它们
- 1.简介： java.util.regex是一个用正则表达式所订制的模式来对字符串进行匹配工作的类库包。 它包括两个类：Pattern和Ma
- 目录背景方案一：老数据备份方案二：分表方案三：迁移至tidb重点说下同步老数据遇到的坑最终同步脚本方案总结背景由于历史业务数据采用mysql
- 本文实例讲述了python实现自动重启本程序的方法。分享给大家供大家参考。具体实现方法如下：#!/usr/local/bin/python#
- 一、JSP EL语言定义 E L（Expression
- 一、发送消息import smtplibfrom email.mime.text import MIMETextfrom email.hea
- ClickHouse是近年来备受关注的开源列式数据库（DBMS），主要用于数据联机分析（OLAP）领域，于2016年开源。目前国内社区火热，
- 这阵子没有精力完整翻译和发到译言（ 现下正渐入状态，预计写博客量会逐步提升回来），简短做一个概要翻译，为近期工作需要做一个参考。
- 测试通过: ie6 + opera + FF + chrome if (document.all) { window.attachEvent
- 目录技术背景加速场景基于Numba的GPU加速总结概要技术背景GPU加速是现代工业各种场景中非常常用的一种技术，这得益于GPU计算的高度并行
- 我们都知道打开文件有两种方法:f = open()with open() as f:这两种方法的区别就是第一种方法需要我们自己关闭文件；f.
- 新人小菜鸟又来写博客啦！！！没人表示不开心~~(>_<)~~今天我来弄一个简单的关键词提取的代码文章内容关键词的提取分为三大步：
- with/as使用open打开过文件的对with/as都已经非常熟悉，其实with/as是对try/finally的一种替代方案。当某个对象
