python爬虫中get和post方法介绍以及cookie作用
作者：fengzhizi76506 发布时间：2021-06-20 06:49:00
标签：python爬虫,get,post,cookie
首先确定你要爬取的目标网站的表单提交方式，可以通过开发者工具看到。这里推荐使用chrome。
这里我用163邮箱为例
打开工具后再Network中，在Name选中想要了解的网站，右侧headers里的request method就是提交方式。status如果是200表示成功访问下面的有头信息，cookie是你登录之后产生的存储会话（session）信息的。第一次访问该网页需要提供用户名和密码，之后只需要在headers里提供cookie就可以登陆进去。
引入requests库，会提供get和post的方法。
代码示例：
import requests
import ssl
user_agent="Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0"
accept='text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'
accept_language='zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3'
upgrade='1'
headers={
'User-Agent':user_agent,
'Accept':accept,
'Accept-Language':accept_language,
'Cookie':'....'#这里填入你登陆后产生的cookie
}
r = requests.get("http://mail.163.com/js6/main.jsp?sid=OAwUtGgglzEJoANLHPggrsKKAhsyheAT&df=mail163_letter#module=welcome.WelcomeModule％7C％7B％7D",headers=headers,verify=False)
fp = open("/temp/csdn.txt","w",encoding='utf-8')
fp.write(str(r.content,'utf-8'))
fp.close()
这里我引入了ssl库，因为我第一次访问的网页证书过期。如果我们使用爬虫进入这样的网站时，会报错：SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)
在requests的get和post方法中，有一个参数为verify，把他设为False后会禁掉证书的要求
来源：http://blog.csdn.net/fengzhizi76506/article/details/60783488
0
投稿猜你喜欢
1.设置mysql允许外部连接访问(授权)：grant all privileges on *.* to root@'％'- ah！其实没有标题说的那么严重！不过下面可是我们开发产品初期的一些血淋淋的案例，更多的安全威胁可以看看北北同学的《python hack》P
- 刚刚心血来潮，编了一个国际域名查询的功能页面，比较简单，没有做什么美化和修饰，主要利用了服务器端的XMLHTTP访问第三方服务器实现域名查询
- （一）索引的作用索引通俗来讲就相当于书的目录，当我们根据条件查询的时候，没有索引，便需要全表扫描，数据量少还可以，一旦数据量超过百万甚至千万
- 实现思路需求需要将本数据库的数据进行处理（添加前缀），然后导入主数据库。但是当前数据库记录的create_time、update_time
- 说明1、Matplotlib函数可以绘制图形，使用plot函数绘制曲线。2、需要将200个点的x坐标和Y坐标分别以序列的形式输入plot函数
- 当页面中引用template.js文件之后，脚本将创建一个TrimPath对象供你使用。 parseDO
- 本文总结了YiiFramework入门知识点。分享给大家供大家参考，具体如下：创建Yii应用骨架web为网站根目录yiic webapp /
- Python中使用ElementTree可以很方便的处理XML，但是产生的XML文件内容会合并在一行，难以看清楚。如下格式：<root
- 需求是根据当前登录用户来显示某个choice字段不同的选择项。先放现在的实现版本。1、重写PushRuleForm的__init__方法，让
- 1.什么是labelpandas处理数据时，我们会经常看到dataframe结构使用loc, iloc, ix等方法。那么这些方法到底有啥区
- 当我写下如下sql语句时，我得到了输入@c参数时想得到的结果集。select * from @tb t where t.id in (sel
- Python 内置的 zipfile 模块可以对文件（夹）进行ZIP格式的压缩和读取操作。要进行相关操作，首先需要实例化一个 ZipFile
- 前言：最近在学习单片机，老师要求自己写串口通信的上位机程序，我采用比较简单的pyqt5+serial模块来完成任务，pycharm测试一切正
- 下面给出ORACLE的一种实现方式，要分2步走：1. 建立 SEQUENCE CREATE [ OR REPLACE ] SEQUENCE
- python简单的学生信息管理系统-文件版，供大家参考，具体内容如下功能如下主函数部分增加学生信息修改学生信息删除学生信息查询学生显示所有学
- 前言使用 requests进行爬取、BeautifulSoup进行数据提取。主要分成两步： 第一步是解析图书列表页，并解析出里面的图书详情页
- 背景在上篇文章，我们系统地学习了where 1=1 相关的知识点，大家可以回看《MySQL中where 1=1方法的使用
- 本文实例讲述了Python使用scipy模块实现一维卷积运算。分享给大家供大家参考，具体如下：一 介绍signal模块包含大量滤波函数、 *
- find()方法判断字符串str，如果起始索引beg和结束end索引能找到在字符串或字符串的一个子串中。语法以下是find()方
