Python实现爬取需要登录的网站完整示例
作者：罗兵 发布时间：2022-08-09 11:40:33
标签：Python,爬取,登录
本文实例讲述了Python爬取需要登录的网站实现方法。分享给大家供大家参考，具体如下：
import requests
from lxml import html
# 创建 session 对象。这个对象会保存所有的登录会话请求。
session_requests = requests.session()
# 提取在登录时所使用的 csrf 标记
login_url = "https://bitbucket.org/account/signin/?next=/"
result = session_requests.get(login_url)
tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]
payload = {
"username": "<你的用户名>",
"password": "<你的密码>",
"csrfmiddlewaretoken": authenticity_token # 在源代码中，有一个名为 “csrfmiddlewaretoken” 的隐藏输入标签。
}
# 执行登录
result = session_requests.post(
login_url,
data = payload,
headers = dict(referer=login_url)
)
# 已经登录成功了，然后从 bitbucket dashboard 页面上爬取内容。
url = 'https://bitbucket.org/dashboard/overview'
result = session_requests.get(
url,
headers = dict(referer = url)
)
# 测试爬取的内容
tree = html.fromstring(result.content)
bucket_elems = tree.findall(".//span[@class='repo-name']/")
bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]
print(bucket_names)
希望本文所述对大家Python程序设计有所帮助。
来源：http://www.cnblogs.com/hhh5460/p/5067678.html
0
投稿猜你喜欢
- Adobe AIR 在我们国庆节的时候发布了beta2版。 同时发布的还有： FLEX 3.0 beta2 官方说这一版本已经基本上接近正式
在广大网友心目中，他们就是中国互联网搜索领域的三驾马车。无论这三家搜索巨头承不承认，在网友眼中总会来将他们进行对比比较。当然，更多时候的比较- MySQL支持大量的列类型，它可以被分为3类：数字类型、日期和时间类型以及字符串(字符)类型。本节首先给出可用类型的一个概述，并且总结每个列
- 前言之前学python时在网上找了好多小程序，由于年代久远，已经忘记出自哪里了，给代码加了点注释，再稍微修改了一下，让代码的可读性更好，如有
- 虽然Python被说成是一种解释型语言，但是实际上，Python源程序要先经过编译，然后才能运行。与Java语言类似，Python源程序编译
- 本文实例讲述了python实现自动登录人人网并采集信息的方法。分享给大家供大家参考。具体实现方法如下：#!/usr/bin/python#
- 一、题目描述求解用户登陆信息表中，每个用户连续登陆平台的天数，连续登陆基础为汇总日期必须登陆，表中每天只有一条用户登陆数据（计算中不涉及天内
- 在document.form1.submit();后加document.body.innerHtml = "W
- hello，我是李华同学，最近开始学习爬虫，下面是我实现的一个得到弹幕的代码找一个的URL想要得到一个网站的内容，首先要找到你想要内容的具体
- 本文实例讲述了Zend Framework教程之Zend_Config_Ini用法。分享给大家供大家参考，具体如下：Zend_Config_
- python3.6下载地址： https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tg
- 前言删除数据表的时候，表的定义和表中所有的数据均会被删除。因此，在进行删除操作前，最好对表中的数据做一个备份，以免造成无法挽回的后果。mys
- 本文主要介绍如何通过python生成ppt文件，以及借助ppt模板来生成ppt环境python 3python-pptx安装pip3 ins
- gojson是快速解析json数据的一个golang包，你使用它可以快速的查找json内的数据安装 go get github.com/wi
- 1、安装Django在命令行模式下使用pip工具来安装Django，pip工具的安装方法见此篇pip install django2、确认是
- javascript上下滑动广告效果 参数说明:客服果果(
- 人民币和美元是世界上通用的两种货币之一，写一个程序进行货币间币值转换，其中：人民币和美元间汇率固定为：1美元 = 6.78人民币。程序可以接
- 另外他们列出的这些区别有些是蛮有意义的,有些可能由于他们本人的MySQL DBA的身份,对Oracle的理解有些偏差,有些则有凑数的嫌疑.
- 有的时候，一个 if … else … 还不够用。比如，根据年龄的划分：条件1：18岁或以上：adult条件2：6岁或以上：teenager
- 最近在用python连接sqlserver读取数据库，读取数据时候在本机电脑正常，但是把程序部署到服务器运行时一直报错“未发现数据源名称并且
