Python3爬虫之urllib携带cookie爬取网页的方法
作者：haeasringnar 发布时间：2022-07-01 14:19:02
标签：Python3,urllib,cookie
如下所示：
import urllib.request
import urllib.parse
url = 'https://weibo.cn/5273088553/info'
#正常的方式进行访问
# headers = {
# 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
# }
# 携带cookie进行访问
headers = {
'GET https':'//weibo.cn/5273088553/info HTTP/1.1',
'Host':' weibo.cn',
'Connection':' keep-alive',
'Upgrade-Insecure-Requests':' 1',
'User-Agent':' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
'Accept':' text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
# 'Referer: https':'//weibo.cn/',
'Accept-Language':' zh-CN,zh;q=0.9',
'Cookie':' _T_WM=c1913301844388de10cba9d0bb7bbf1e; SUB=_2A253Wy_dDeRhGeNM7FER-CbJzj-IHXVUp7GVrDV6PUJbkdANLXPdkW1NSesPJZ6v1GA5MyW2HEUb9ytQW3NYy19U; SUHB=0bt8SpepeGz439; SCF=Aua-HpSw5-z78-02NmUv8CTwXZCMN4XJ91qYSHkDXH4W9W0fCBpEI6Hy5E6vObeDqTXtfqobcD2D32r0O_5jSRk.; SSOLoginState=1516199821',
}
request = urllib.request.Request(url=url,headers=headers)
response = urllib.request.urlopen(request)
#输出所有
# print(response.read().decode('gbk'))
#将内容写入文件中
with open('weibo.html','wb') as fp:
fp.write(response.read())
来源：https://blog.csdn.net/haeasringnar/article/details/79090971
0
投稿猜你喜欢
- 什么是冗余字段？在设计数据库时，某一字段属于一个表，但它又同时出现在另一个或多个表，且完全等同于它在其本来所属表的意义表示，那么这个字段就是
- 这些小东西是我在网上看到的就把它记下来了，可能以后会有用的： &nbs
- 来自某个nb招聘的题目：请给Array本地对象增加一个原型方法，它的用途是删除数组条目中重复的条目(可能有多个)，返回值是一个包含被删除的重
- 1. 确认已经安装了NT/2000和SQL Server的最新补丁程序，不用说大家应该已经安装好了，但是我觉得最好还是在这里提醒一
自打 Lokesh Dhakar 创造了第一个lightbox应用以来, 相册和弹出窗口方式便跨进了新的时代, 甚至那些lightbox应用- <?php echo CHtml::link('错误链接','user/register')?>
- ACCESS数据库中Field对象的caption属性（也就是标题）是用来设置数据字段的标题，在正常的数据库设计中为了保持维护的便利性，许多
- 前端的小伙伴们在babel等的加持下，已经可以愉快的使用es6来写代码了。然后对于服务端的nodejs就有点坑爹了，虽然原生支持了es6，但
- Yahoo和Google都有自己的建设高性能网站最佳实践, 我不做赘述, 需要了解的自行查阅资料:Yahoo的: Best Practice
- 1:除非你现在已经过了不惑之年了，否则你就一定要保持年轻人特有的激情！这里的激情，包含了那种说不明白的近似于冲动的东西，或者idea。也包含
- 可能许多同学对SQL Server的备份和还原有一些了解，也可能经常使用备份和还原功能，我相信除DBA之外我们大部分开发员队伍对备份和还原只
- firefox不支持text-overflow一直让人很折腾。。不过还好有大虾为我们提供解决方案。。text-overflow: ellip
- 1、善用css缩写可以减少页面文件大小，提高下载速度，同时使代码简洁可读。代码:div{ b
- 内容摘要： Request和Response这两个对象是ASP所提供的内置对象中最常用的两个。在浏览器（或其他用户代理）和Web服
- 字符串打印打印函数echo: 打印值,用于单值print_r(): 人类可读方式打印,用于数组var_dump()：打印结构和类型，一般用于
- go简单代码反汇编用简单的代码用以分析go的调用约定及多返回值的返回方式。package mainfunc vals(c, d int) (
- 我们在用python进行程序开发的时候，很多时候我们需要检测一下当前的变量的数据类型。比如需要在使用字符串操作函数之前先检测一下当前变量是否
- 我们在网页中使用CSS来设置网页、表格和字体大小，一般使用的是网络上较流行的9磅字：<STYLE type=TEXT/CSS
- 如何在线删除表或索引？ <％Set conn1 = Server.CreateObject(&
- 请问如何实现复合查询？我们用下面的代码来实现动态生成查询条件，动态显示结果的复合查询。set database to databasenam
