Python爬取豆瓣视频信息代码实例
作者:一只帅气的IT小昂 发布时间:2021-10-28 06:41:46
标签:python,爬取,豆瓣,视频,信息
这篇文章主要介绍了Python爬取豆瓣视频信息代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
这里是爬取豆瓣视频信息,用pyquery库(jquery的python库)。
一:代码
from urllib.request
import quotefrom pyquery
import PyQuery as pqimport requestsimport pandas as pddef get_text_page
(movie_name): ''
' 函数功能:获得指定电影名的源代码 参数:电影名 返回值:电影名结果的源代码 '
''
url =
'https://www.douban.com/search?q=' +
movie_name headers = {
'Host': 'www.douban.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36',
}
r = requests.get(url, headers = headers,
timeout = 5) return r.textdef get_last_url(
this_text): ''
' 函数功能:根据指定的源代码得到最终的网页地址 参数:搜索结果源代码 返回值:最终的网页地址 '
''
doc = pq(this_text) lis = doc(
'.title a').items() k = 0 this_str =
''
for i in lis: #print('豆瓣搜索结果为:{0}'.format(
i.text()))# print('地址为:{0}'.format(i.attr
.href))# print('\n') if k == 0:
this_str = i.attr.href k += 1
return this_strdef the_last_page(
this_url): ''
' 函数功能:获得最终电影网页的源代码 参数:最终的地址 返回值:最终电影网页的源代码 '
''
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36',
}
r = requests.get(this_url, headers =
headers, timeout = 20) return r.textdef the_last_text(
this_text, movie_name): ''
' 函数功能:获得每一项的数据 参数:爬取页面的源代码 返回值:返回空 '
''
doc = pq(this_text)# 获取标题 title = doc(
'#content h1').text()# 获取海报 photo =
doc('.nbgnbg img') photo_url = photo.attr
.src r = requests.get(photo_url) with open(
'{m}.jpg'.format(m = movie_name),
'wb') as f: f.write(r.content)# 电影信息 message =
doc('#info').text()# 豆瓣评分 grade = doc(
'#interest_sectl').text()# 剧情 things =
doc('.related-info').text() with open(
'{0}.txt'.format(movie_name), 'w+') as f:
try: f.writelines([title, '\n', '\n\n',
message, '\n\n', grade, '\n\n',
things
]) except: f.writelines([title, '\n',
'\n\n', message, '\n\n', grade
])# 演员# 演员名 name = [] person_name =
doc('.info').items() for i in
person_name: name.append(i.text())# 演员图片地址 person_photo =
doc('#celebrities') j = 0
for i in person_photo.find('.avatar').items():
m = i.attr('style') person_download_url =
m[m.find('(') + 1: m.find(')')]# 下载演员地址 r =
requests.get(person_download_url) try:
with open('{name}.jpg'.format(name =
name[j]), 'wb') as f: f.write(r.content) except:
continue j += 1 def lookUrl(this_text,
my_str): ''
' 函数功能:获得观看链接 参数:爬取页面的源代码 返回值:返回空 '
''
doc = pq(this_text) all_url = doc(
'.bs li a').items() movie_f = [] movie_url = []
for i in all_url: movie_f.append(i.text()) movie_url
.append(i.attr.href) dataframe = pd.DataFrame({
'观看平台': movie_f,
'观看地址': movie_url
}) dataframe.to_csv(
"{movie_name}的观看地址.csv".format(
movie_name = my_str), index = False,
encoding = 'utf_8_sig', sep = ',') def main():
name = input('') my_str = name movie_name =
quote(my_str) page_text =
get_text_page(movie_name)# 得指定电影名的源代码 last_url =
get_last_url(page_text)# 根据指定的源代码得到最终的网页地址 page_text2 =
the_last_page(last_url)# 获得最终电影网页的源代码 the_last_text(
page_text2, my_str)# 获得每一项的数据 lookUrl(
page_text2, my_str)# 得到并处理观看链接main()
二:结果如下(部分例子)
1.输入天气之子
2.输入百变小樱魔法卡
必须是已经上映的电影才有观看地址
3.独立日
来源:https://www.cnblogs.com/ITXiaoAng/p/11871321.html
0
投稿
猜你喜欢
- 本文将介绍使用mutable对象作为Python函数参数默认值潜在的危害,以及其实现原理和设计目的陷阱重现我们就用实际的举例来演示我们今天所
- 怎样产生10个不同的随机数python产生10个不同随机数的方法:首先创建一个result的结果空列表;然后循环直到result的长度超过1
- Python中对象的行为是由它的类型 (Type) 决定的。所谓类型就是支持某些特定的操作。数字对象在任何编程语言中都是基础元素,支持加、减
- 前言前言:想写这个代码的原因是因为实习的时候需要根据表格名创建对应的文件夹,如果只是很少个数文件夹的话,ctrl+shift+n还可以接受吧
- Python 截取字符串使用 变量[头下标:尾下标],就可以截取相应的字符串,其中下标是从0开始算起,可以是正数或负数,下标可以为空表示取到
- Dreamweaver 2004 除了可以插入 Flash SWF 動畫、Flash 文字和 Flash 按鈕以外,這次又新增加了一個叫做
- 随机从列表中取出元素:import randomdataSet = [[0], [1], [2], [3], [4], [5], [6],
- 本文实例讲述了php测试kafka项目。分享给大家供大家参考,具体如下:概述Kafka是最初由Linkedin公司开发,是一个分布式、分区的
- 环境系统:win10cpu:i7-6700HQgpu:gtx965mpython : 3.6pytorch :0.3数据下载来源自Sasan
- isalnum()方法检查判断字符串是否包含字母数字字符。语法以下是isalnum()方法的语法:str.isa1num()参数
- 在数据库testDB中存在架构A及用户A,现将testDB数据库所属的用户由A改为B,同时删除用户A;架构也由A改为B,删除架构A,操作如下
- 图片外框特征参数: ①dashed:虚线②dotted:点虚线③solid:实线④double:双线⑤groove:沟
- 在我们生活中的一些场合经常会有一些不该出现的敏感词,我们通常会使用*去屏蔽它,例如:尼玛 -> **,一些骂人的敏感词和一些政治敏感词
- 这次自己做了一个小程序来玩,在登录方面一直有些模糊,网上看了很多文档后,得出以下一种解决方案。环境说明:1、小程序只需要拿到openid,其
- 五花八门的SQL产品多得要命,或许你早顾不得其它甩开袖子就动手干了。但你要同时采用ASP和SQL的话就可能会头晕。MySQL、SQL Ser
- 一、决策树的特点1.优点具有很好的解释性,模型可以生成可以理解的规则。可以发现特征的重要程度。模型的计算复杂度较低。2.缺点模型容易过拟合,
- 最近在着手支付宝个人版改版的项目,正好在一些国内知名的SNS网站上分别注册了帐户进行体验。显然一点,国内的SNS都带有Facebook的影子
- 左右布局,图片的宽度不固定。正好前几天测试闭合浮动元素时发现了overflow的特殊现象,倒是正好可以用在这里。测试通过:ie6/7&nbs
- 本文实例讲述了Python切片工具pillow用法。分享给大家供大家参考,具体如下:切片:使用切片将源图像分成许多的功能区域因为要对图片进行
- 翻译:用法:zeros(shape, dtype=float, order='C')返回:返回来一个给定形状和类型的用0填充