Python 通过爬虫实现GitHub网页的模拟登录的示例代码
作者:Amo Xiang 发布时间:2022-04-27 00:26:39
1. 实例描述
通过爬虫获取网页的信息时,有时需要登录网页后才可以获取网页中的可用数据,例如获取 GitHub
网页中的注册号码时,就需要先登录账号才能在登录后的页面中看到该信息,如下图所示。那么该如何实现模拟登录的功能呢?本文实现将通过爬虫实现 GitHub
网页的模拟登录。
2. 代码实现
在实现 GitHub
网页的模拟登录时,首先需要查看提交登录请求时都要哪些请求参数,然后获取登录请求的所有参数,再发送登录请求。如果登录成功的情况下获取页面中的注册号码信息即可。具体步骤如下:
(1) 点击 此处 打开 GitHub
的登录页面,然后输入账号与密码,如下图所示。
(2) 用 F12
或者 鼠标右键单击网页选择 检查
打开浏览器的开发者工具,选择获取网络请求过程,然后单击登录页面中的 Sign in
按钮,此时开发者工具中将显示 GitHub
网页的登录请求过程,重点查找名称为 session
的网络请求。如下图所示。
(3) 单击名称为 session
的网络请求,然后在 Headers
请求信息中主要查看 Request Headers
与 Form Data
中的各种信息,其中红框内为重要参数与数据。如下图所示。
说明:Host
为主页面地址,Referer
为当前请求的来源地址。User-Agent
为浏览器的头部信息。Form Data
中的所有信息都是登录请求的所用参数,其中动态参数为重要参数,authenticity_token
为加密字符串,login
为登录的账号,password
为密码,其它参数为静态参数。由于动态参数只有 authenticity_token
、login
以及password
,而用户名与密码只需要将动态字符串填写对应的位置即可,所以接下来需要获取 authenticity_token
参数所对应的加密字符串。
(4) 在浏览器中退出所登录的 GitHub
账号,返回 GitHub
的登录页面,打开浏览器开发者工具,查看网页的 html
代码,然后在代码中搜索 authenticity_token
关键词,标签内 value
所对应的值为 authenticity_token
参数的加密字符串。如下图所示。
(5) 实现爬虫代码,首先导入所需模块,然后创建头部信息,再通过 Session
会话对象发送网络请求获取 authenticity_token
信息,最后通过所有的登陆请求参数实现 GitHub
网页的登陆请求并提取注册号码。具体代码如下:
# -*- coding: utf-8 -*-
# @Time : 2020/5/10 23:25
# @Author : 我就是任性-Amo
# @FileName: 77.通过爬虫实现GitHub网页的模拟登录.py
# @Software: PyCharm
# @Blog :https://blog.csdn.net/xw1680
import requests # 导入网络请求模块
from lxml import etree # 导入数据解析模块 都是第三方模块需要安装
# pip install requests/lxml如果太慢 可以加上镜像服务器 或者在Pycharm中使用图形化界面进行安装
class GitHubLogin(object):
def __init__(self, username, password):
# 构造头部信息
self.headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) "
"AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36",
"Host": "github.com",
"Referer": "https://github.com/login"
}
self.login_url = "https://github.com/login" # 登录页面地址
self.post_url = "https://github.com/session" # 实现登录的请求地址
self.session = requests.Session() # 创建Session会话对象
self.user_name = username # 用户名
self.password = password # 密码
# 获取authenticity_token信息
def get_token(self):
# 发送登录页面的网络请求
response = self.session.get(self.login_url, headers=self.headers)
if response.status_code == 200: # 判断请求是否成功
html = etree.HTML(response.text) # 解析html
# 提取authenticity_token信息
token = html.xpath("//div[@id='login']/form/input[1]/@value")[0]
# print(token) 测试是否能够获取到token
return token # 返回信息
# 实现登录
def login(self):
# 请求参数
post_data = {
"commit": "Sign in",
"authenticity_token": self.get_token(),
"login": self.user_name,
"password": self.password,
"webauthn - support": "supported"
}
# 发送登录请求
response = self.session.post(self.post_url, headers=self.headers, data=post_data)
if response.status_code == 200: # 判断请求是否成功
html = etree.HTML(response.text) # 解析html
# 获取注册号码
register_number = html.xpath("//div[contains(@class,'Header-item')][last()]//strong")[0]
print(f"注册号码为: {register_number.text}")
else:
print("登录失败")
if __name__ == '__main__':
user_name = input("请输入您的用户名:") # 获取输入的用户名
password = input("请输入您的密码:") # 获取输入的密码
login = GitHubLogin(user_name, password) # 创建登录类对象并传递输入的用户名与密码
login.login()
执行以上代码,输入用户名与密码,即可显示获取的注册号码。如下图所示:
来源:https://blog.csdn.net/xw1680/article/details/106044765
猜你喜欢
- 线性回归是一种常见的机器学习算法,也是人工智能中常用的算法。它是一种用于预测数值型输出变量与一个或多个自变量之间线性关系的方法。例如,你可以
- 本文实例讲述了Python写入CSV文件的方法。分享给大家供大家参考。具体如下:# _*_ coding:utf-8 _*_#xiaohei
- 1.INSERT INTO SELECT语句 语句形式为:Insert into Table2(field1,field2,...) sel
- 本文的JS效果是在鼠标点击ITEM标签的时候,实现下方的内容跟随滚动切换的效果,我们先来看下运行后的效果图。以下是脚本之家原创的运行代码:&
- 在我们建立一个数据库时,并且想将分散在各处的不同类型的数据库分类汇总在这个新建的数据库中时,尤其是在进行数据检验、净化和转换时,将会面临很大
- 编写 models.py 文件from django.db import models# Create your models here.c
- 一、概述网络爬虫(Web crawler),又称为网络蜘蛛(Web spider)或网络机器人(Web robot),主要用来爬取目标网站内
- 阅读上一节:美化段落文本 Ⅰweb标准知识——美化段落文本 Ⅱ懒,可能是唯一解释为什么这么长时间才写这一篇的主要原因。不述详情,以此责心。上
- 本文实例讲述了Python PyInstaller库基本使用方法。分享给大家供大家参考,具体如下:概述将.py源码转换成无需源代码的可执行文
- 是否应该开启缓冲器? 通过脚本程序启动缓冲器 在ASP脚本的顶部包含Response.Buffer=True ,IIS就会将页面的内容缓存。
- 这几年来,我们这个行业一直都在谈用户体验,以用户为中心的设计。“用户体验”是指用户访问网站的界面、功能、相关信息的可读性、操作的方便性,交互
- 引用是什么在 PHP 中引用意味着用不同的名字访问同一个变量内容。这并不像 C 的指针,替代的是,引用是符号表别名。注意在 PHP 中,变量
- 前言二维码现在是随处度可以看到,买东西,支付,添加好友只要你扫一扫就能完成整个工作,简单且方便。所以利用这个新春佳节做一个带着新春祝福的二维
- 实训课期间忙里偷闲的学习了python的selenium包,唯一一点不好是要自己去查英文文档,明摆着欺负我这种英语不好的,想着用谷歌翻译一下
- 本文实例讲述了Python中迭代的用法,是一个非常实用的技巧。分享给大家供大家参考借鉴之用。具体分析如下:如果给定一个list或tuple,
- 通过phpmyadmin连接mysql数据库时提示:“2003 无法登录 MySQL服务器”。。。很明显这是没有启动mysql服务,右击我的
- 在我之前写的几篇网站优化的文章中,着墨最多的是减少HTTP请求。通过减少请求数目,你的浏览器必须能对你的网站所有内容成功检索,总的HTTP请
- 更换域名,估计是很多站长都很头疼的事情。通常大家的做法就是把老的域名通过IIS设置做301跳转到新的域名。对于只有一个虚拟空间的站长来说,换
- 本文实例讲述了Yii开启片段缓存的方法。分享给大家供大家参考,具体如下:1、main.php文件中的components中添加:cache&
- 生产定制一个彩条标签。首先导入:import matplotlib.pyplot as pltimport numpy as npfrom