Python爬虫通过替换http request header来欺骗浏览器实现登录功能
作者：huahuayu 发布时间：2021-04-05 21:55:26
标签：python,爬虫,http,request,header
以豆瓣为例，访问https://www.douban.com/contacts/list 来查看自己关注的人，要登录才能查看。
如果用requests.get()方法获取这个http，没登录只能抓取回一个登录界面，所以我们要用Python登录网站才能抓取想要的网页。
一个简便的方法就是自己在浏览器上登录好，然后通过下图方法（Chrome为例），找到自己的Cookie和User-Agent，然后发送request时用这复制来的header替换掉待发送的request以达到登录的目的，server端会凭这个认为你是已经登录的用户。
代码如下：
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
'Cookie':'gr_user_id=1f9ea7ea-462a-4a6f-9d55-156631fc6d45; bid=vPYpmmD30-k; ll="118282"; ue="codin; __utmz=30149280.1499577720.27.14.utmcsr=douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/doulist/240962/; __utmv=30149280.3049; _vwo_uuid_v2=F04099A9dd; viewed="27607246_26356432"; ap=1; ps=y; push_noty_num=0; push_doumail_num=0; dbcl2="30496987:gZxPfTZW4y0"; ck=13ey; _pk_ref.100001.8cb4=％5B％22％22％2C％22％22％2C1515153574％2C％22https％3A％2F％2Fbook.douban.com％2Fmine％22％5D; __utma=30149280.833870293.1473539740.1514800523.1515153574.50; __utmc=30149280; _pk_id.100001.8cb4=255d8377ad92c57e.1473520329.20.1515153606.1514628010.'
} #替换成自己的cookie
r = requests.get('https://www.douban.com/contacts/list', headers = headers)
print(r.text)
总结
以上所述是小编个大家介绍的Python爬虫通过替换http request header来欺骗浏览器实现登录 ，希望对大家有所帮助，如果大家有任何疑问欢迎给我留言，小编会及时回复大家的！
来源：http://www.cnblogs.com/huahuayu/p/8207037.html
0
投稿猜你喜欢
Python函数库众多，而且在不断更新，所以学习这些函数库最有效的方法，就是阅读Python官方文档。同时借助Google和百度。本文介绍的- 我们通常说的双机热备是指两台机器都在运行，但并不是两台机器都同时在提供服务。当提供服务的一台出现故障的时候，另外一台会马上自动接管并且提供服
- 本章的内容完全基于上文的理论基础，实际上一旦理解了索引背后的机制，那么选择高性能的策略就变成了纯粹的推理，并且可以理解这些策略背后的逻辑。示
- 本文实例讲述了Python实现查找数组中任意第k大的数字算法。分享给大家供大家参考，具体如下：模仿partion方法，当high=low小于
- 几乎每个程序都需要用到图片，在小程序中我们可以通过image组件显示图片。当然小程序也是可以上传图片的，微信小程序文档也写的很清楚。上传图片
- 本文实例为大家分享了python使用matplotlib画饼状图的具体代码，供大家参考，具体内容如下代码与详细注释from matplotl
- 本文为大家分享了解决Mysql存储引擎MyISAM常见问题的方法，供大家参考，具体内容如下一、处理MyISAM存储引擎的表损坏在使用MySQ
- 本文实例借鉴mvc模式，核心数据为model，维护1个矩阵，0表无雷，1表雷，-1表已经检测过。本例使用python的tkinter做gui
- 测试代码1：def test(self): data = {"add": {"doc":
- 一 NULL 为什么这么经常用(1) java的nullnull是一个让人头疼的问题，比如java中的NullPointerExceptio
- 我通过如下的一段程序发送post请求：import urllib3pool = urllib3.connection_from_url(&#
- 概述本文主要介绍一种降维方法，PCA（Principal Component Analysis，主成分分析）。降维致力于解决三类问题。1.
- 本文的主要内容是向大家分享几个Python面试中的T题目，同时给出了答案并对其进行分析，具体如下。本文的原文是5 Great Python
- 主要使用IE各个阶段实现的一些方法，从中也可以看出IE的发展史。暂时提供到IE4的判定。var isIE = window.ActiveXO
- auto_api_test开发环境: Pycharm开发语言&版本: python3.7.8测试框架: Pytest、测试报告: A
- mmh3安装方法哈希方法主要有MD、SHA、Murmur、CityHash、MAC等几种方法。mmh3全程murmurhash3,是一种非加
- 程序中常常需要复制一个对象, 按思路应该是这样的a = [1, 2, 3]b = a# [1, 2, 3]print b 已经复制好了，但是
- 最近稍稍有点空闲时间，于是重新温习了一下之前学习过的python基础。废话不多说，记录一下自己的所得。首先，安装什么的不在本人的温习范围，另
- python有很多有趣的库，其中wxpy是连接微信的接口，具体可以查看官方文档。可以实现自动操作，wxpy 支持 Python 3.4-3.
- 1、监控规划在创建监控项之前要尽量考虑清楚要监控什么，怎么监控，监控数据如何存储，监控数据如何展现，如何处理报警等。要进行监控的系统规划需要
