python爬虫 基于requests模块发起ajax的get请求实现解析
作者：minger_lcm 发布时间：2022-01-02 05:04:04
标签：python,爬虫,requests,ajax,get,请求
基于requests模块发起ajax的get请求
需求：爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据
用抓包工具捉取 使用ajax加载页面的请求
鼠标往下下滚轮拖动页面，会加载更多的电影信息，这个局部刷新是当前页面发起的ajax请求，
用抓包工具捉取页面刷新的ajax的get请求，捉取滚轮在最底部时候发起的请求
这个get请求是本次发起的请求的url
ajax的get请求携带参数
获取响应内容不再是页面数据，是json字符串，是通过异步请求获取的电影详情信息
start和limit参数 需要注意，改变这两个参数获取的电影详情不一样
import requests
import json
# 指定ajax-get请求的url（通过抓包进行获取）
url = 'https://movie.douban.com/j/chart/top_list?'
# 封装ajax的get请求携带的参数(从抓包工具中获取) 封装到字典
param = {
'type': '13',
'interval_id': '100:90',
'action': '',
'start': '20', # 从第20个电影开始获取详情
'limit': '20', # 获取多少个电影详情
# 改变这两个参数获取的电影详情不一样
}
# 定制请求头信息，相关的头信息必须封装在字典结构中
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
}
# 发起ajax的get请求还是用get方法
response = requests.get(url=url,params=param,headers=headers)
# 获取响应内容：响应内容为json字符串
data = response.text
data = json.loads(data)
for data_dict in data:
print(data_dict["rank"],data_dict["title"])
'''
芙蓉镇
沉静如海
淘金记
马戏团
情迷意乱
士兵之歌
战争与和平
怦然心动
大话西游之月光宝盒
罗马假日
音乐之声
一一
雨中曲
我爱你
莫娣
卡比利亚之夜
婚姻生活
本杰明·巴顿奇事
情书
春光乍泄
'''
从21个电影开始获取信息，总共获取20个电影详情信息
来源：https://www.cnblogs.com/mingerlcm/p/11378848.html
0
投稿猜你喜欢
先打开安装程序。 选择对应的系统版本，我是64位，所以选了X64。- 乐观锁乐观锁大多是基于数据版本记录机制实现，一般是给数据库表增加一个"version"字段。读取数据时，将此版本号一同读
- 使用Python加载最新的Excel读取类库xlwings可以说是Excel数据处理的利器，但使用起来还是有一些注意事项，否则高大上的Pyt
- Django框架中的URL分发采用正则表达式匹配来进行，以下是正则表达式的基本规则：官方演示代码：from django.conf.urls
- 这篇文章主要介绍了基于python实现从尾到头打印链表,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋
- 问题最近在工作中遇到一个问题，在安装python软件包的时候，经常会遇类似这样一个问题。比如对于ipython,机子本身安装的版本是1.2.
- 字符串多级目录取值：比如说：你response接收到的数据是这样的。你现在只需要取到itemstring 这个字段下的值。其他的都不要！思路
- 不到40天，ChatGPT的日活量已突破千万！而当年同样引起轰动的Instagram达到这一成就足足花了355天。这代表着我们正在广泛且快速
- 在Web标准中一个很重要的概念就是强调页面的结构与表现分离。说的通俗一点就是XHTML中应该没有样式化的东西，而且Web在浏览器中除内容外都
- 正则口径：知道前后取中间，如果最后$结束python中则这表达式的方法通常由re.match re.search re.finda
- 楔子Python 有一个第三方模块叫 psutil，专门用来获取操作系统以及硬件相关的信息，比如：CPU、磁盘、网络、内存等等。下面来看一下
- 数据结构：通俗点说，就是储存大量数据的容器。这里主要介绍Python的4种基本数据结构：列表、字典、元组、集合。格式如下：列表：list =
- 1005：创建表失败1006：创建数据库失败1007：数据库已存在，创建数据库失败1008：数据库不存在，删除数据库失败1009：不能删除数
- 用于处理XML文档的DOM元素属性 childNodes：返回当前元素所有子元素的数组； firstChild：返回当前元素的第一个下级子元
- 前言N年前 Laravel 刚面世时，的确让很多人眼前一亮，众人惊呼原来 PHP 代码还可以写得这么简洁优雅。本文主要介绍的是关于larav
- 今天呢，田辛老师来给大家继续讲一个著名的项目管理工具：蒙特卡洛模拟。 当然，田辛老师既然发到CSDN上面，无论如何要给出关于蒙特卡洛模拟的P
- 今天有碰到这种情况,数据库中有张表没办法通过migration来更改, migrate时报 django.db.utils.Operatio
- 1.collatz序列编写一个名为 collatz()的函数，它 有一个名为 number 的参数。如果参数是偶数， 那么 collatz(
- #!/usr/bin/python#-*-coding:utf-8-*-# JCrawler# Author: Jam <810441
- 反转链表首先讨论特殊节点如果节点在首位，则反转之后，首位节点的next值为nil。func reverse(head *ListNode)
