python requests库爬取豆瓣电视剧数据并保存到本地详解
作者:springionic 发布时间:2022-05-29 08:35:05
标签:python,requests,库,爬取,豆瓣,保存,本地
首先要做的就是去豆瓣网找对应的接口,这里就不赘述了,谷歌浏览器抓包即可,然后要做的就是分析返回的json数据的结构:
https://movie.douban.com/j/search_subjects?type=tv&tag=%E5%9B%BD%E4%BA%A7%E5%89%A7&sort=recommend&page_limit=20&page_start=0
这是接口地址,可以大概的分析一下各个参数的规则:
type=tv,表示的是电视剧的分类
tag=国产剧,表示是国产剧的分类
sort参数,这里猜测是一个排序方式
page_limit=20,这个一定就是每页所存取的数据数量了
page_start=0,表示的是这页从哪条数据开始,比如第二页就为page_start=20,第三页为page_start=40,以此类推
最终我们要用到的主要是page_start和page_limit两个参数
下面这里是返回的json数据格式,可以看出我们要的是json中subjects列表中的每条数据,在之后的程序中会把每一个电视剧的信息保存到文件里的一行
有了这些,就直接上程序了,因为感觉程序还是比较好懂,主要还是遵从面向对象的程序设计:
import json
import requests
class DoubanSpider(object):
"""爬取豆瓣热门国产电视剧的数据并保存到本地"""
def __init__(self):
# url_temp中的start的值是动态的,所以这里用{}替换,方便后面使用format方法
self.url_temp = 'https://movie.douban.com/j/search_subjects?type=tv&tag=%E5%9B%BD%E4%BA%A7%E5%89%A7&sort=recommend&page_limit=20&page_start={}'
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
}
def pass_url(self, url): # 发送请求,获取响应
print(url)
response = requests.get(url, headers=self.headers)
return response.content.decode()
def get_content_list(self, json_str): # 提取数据
dict_ret = json.loads(json_str)
content_list = dict_ret['subjects']
return content_list
def save_content_list(self, content_list): # 保存
with open('douban.txt', 'a', encoding='utf-8') as f:
for content in content_list:
f.write(json.dumps(content, ensure_ascii=False)) # 一部电视剧的信息一行
f.write('\n') # 写入换行符进行换行
print('保存成功!')
def run(self): # 实现主要逻辑
num = 0
while True:
# 1. start_url
url = self.url_temp.format(num)
# 2. 发送请求,获取响应
json_str = self.pass_url(url)
# 3. 提取数据
content_list = self.get_content_list(json_str)
# 4. 保存
self.save_content_list(content_list)
if len(content_list) < 20:
break
# 5. 构造下一页url地址,进入循环
num += 20 # 每一页有二十条数据
if __name__ == '__main__':
douban_spider = DoubanSpider()
douban_spider.run()
上面是利用循环遍历每一页,后来我又想到用递归也可以,虽然递归效率可能不高,这里还是展示一下,只需要改几个地方而已:
import json
import requests
class DoubanSpider(object):
"""爬取豆瓣热门国产电视剧的数据并保存到本地"""
def __init__(self):
# url_temp中的start的值是动态的,所以这里用{}替换,方便后面使用format方法
self.url_temp = 'https://movie.douban.com/j/search_subjects?type=tv&tag=%E5%9B%BD%E4%BA%A7%E5%89%A7&sort=recommend&page_limit=20&page_start={}'
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
}
self.num = 0
def pass_url(self, url): # 发送请求,获取响应
print(url)
response = requests.get(url, headers=self.headers)
return response.content.decode()
def get_content_list(self, json_str): # 提取数据
dict_ret = json.loads(json_str)
content_list = dict_ret['subjects']
return content_list
def save_content_list(self, content_list): # 保存
with open('douban2.txt', 'a', encoding='utf-8') as f:
for content in content_list:
f.write(json.dumps(content, ensure_ascii=False)) # 一部电视剧的信息一行
f.write('\n') # 写入换行符进行换行
print('保存成功!')
def run(self): # 实现主要逻辑
# 1. start_url
url = self.url_temp.format(self.num)
# 2. 发送请求,获取响应
json_str = self.pass_url(url)
# 3. 提取数据
content_list = self.get_content_list(json_str)
# 4. 保存
self.save_content_list(content_list)
# 5. 构造下一页url地址,进入循环
if len(content_list) == 20:
self.num += 20 # 每一页有二十条数据
self.run()
if __name__ == '__main__':
douban_spider = DoubanSpider()
douban_spider.run()
最终文件得到的结果:
来源:https://www.cnblogs.com/springionic/p/11107530.html
0
投稿
猜你喜欢
- 写了个JavaScript版的DateAdd、DateDiff、IsDate函数,大家评评!需要说明的是,JavaScript中IsDate
- 写在前面很长一段时间内,我都在研究在线地图的开发者文档,百度地图和高德地图的开发者中心提供了丰富的在线地图服务,虽然有一定的权限限制,但不得
- SELECT SUBSTR (T.RPT_ID, &nb
- 一、概述现有一个用户表,需要将表数据写入到excel中。环境说明mysql版本:5.7端口:3306数据库:test表名:users表结构如
- Anaconda是一个开源的Python发行版本,包括Conda、Python以及一大堆安装好的工具包,比如:numpy、pandas等。其
- 这是我在做的一个游戏的半成品,整理了一下发出来.原理:通过更新变换矩阵来记录转动(函数remx()).利用矩阵计算出转动后的正方体顶点坐标,
- 早就想用一个系列的文章来写AJAX,让自己头到尾理一遍,更好的掌握基础知识(昨天的面试受打击了,基础知识很重要).要是写的好,也许也可以帮助
- 本文实例讲述了Python使用itchat模块实现简单的微信控制电脑功能。分享给大家供大家参考,具体如下:#!/usr/bin/python
- 除了第一年外,谷歌每年母亲节都会更换主页的logo以向全世界的母亲致敬。虽然2000年和2001年母亲节的logo图片看起来没什么不同,但是
- 方法来源于土豆网的导航,在这里纪录一下实现的思路。主要是利用 position 属性的 absolute 和 relative 配
- Firefox 2.0 在对 XML 的支持方面有几个重要的改进。目前它的用户部署如日中天。了解 Firefox 2.0 XML 特性的改进
- 内容摘要:您是否想让您的网站有多种显示风格呢,本文介绍了如何使用CSS结合js实现动态更换页面皮肤风格。看了下面的介绍您就明白了如何实现了这
- python中,A object = B object 是一种赋值操作,赋的值不是一个对象在内存中的空间,而只是这个
- MySQL的ODBC接口实现是通过安装MyODBC驱动,这个驱动程序是跨平台的。如果在Linux等Unix体系操作系统下使用,需要先安装Io
- TihuanWords.txt文档格式注意:同一行的词用单个空格隔开,每行第一个词为同行词的替换词。年休假 年假 年休究竟 到底回家场景 我
- 有这样一个要求,它要创建一个SQL Server查询,其中包括基于事件时刻的累计值。典型的例子就是一个银行账户,因为你每一次都是在不同的时间
- 前言当前二维码的应用越来越广泛,包括疫情时期的健康码也是应用二维码的典型案例,最近需要通过一张二维码显示较多文本数据,也就是对二维码数据进行
- pytorch定义新的自动求导函数在pytorch中想自定义求导函数,通过实现torch.autograd.Function并重写forwa
- 描述 嵌入在你的web页面中的导航元素能够降低你的搜索引擎评价排名并且降低你的网站的响应性能。本文作者想同你一起探讨如何使用AJAX技术来解
- 一. Python 的类和实例在面向对象中,最重要的概念就是类(class)和实例(instance),类是抽象的模板,而实例是根据类创建出