Python爬虫实战之虎牙视频爬取附源码
作者:松鼠爱吃饼干 发布时间:2021-04-02 01:23:27
标签:Python,爬取视频,实战,虎牙
知识点
爬虫基本流程
re正则表达式简单使用
requests
json数据解析方法
视频数据保存
开发环境
Python 3.8
Pycharm
爬虫基本思路流程: (重点) [无论任何网站 任何数据内容 都是按照这个流程去分析]
1.确定需求 (爬取的内容是什么东西?)
都通过开发者工具进行抓包分析
分析视频播放url地址 是可以从哪里获取到
如果我们想要的数据内容 是 音频数据/视频数据 (media)
虽然说知道视频播放地址, 但是我们还需要知道这个播放地址 可以从什么地方获取
2.发送请求, 用python代码模拟浏览器对于目标地址发送请求
3.获取数据, 获取服务器给我们返回的数据内容
4.解析数据, 提取我们想要数据内容, 视频标题/视频url地址
5.保存数据
【付费VIP完整版】只要看了就能学会的教程,80集Python基础入门视频教学
点这里即可免费在线观看
分析目标url
先打开一个视频,查看id
打开开发者工具,查找
拿到目标url
开始代码
最开始还是线导入所需模块
import requests # 数据请求模块 pip install requests (第三方模块)
import pprint # 格式化输出模块 内置模块 不需要安装
import re # 正则表达式
import json
数据请求
def get_response(html_url):
# 用python代码模拟浏览器
# headers 把python代码进行伪装
# user-agent 浏览器的基本标识
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}
# 用代码直接获取的 一般大多数都是直接 cookie
response = requests.get(url=html_url, headers=headers)
return response
获取视频标题以及url地址
def get_video_info(video_id):
html_url = f'https://liveapi.huya.com/moment/getMomentContent?videoId={video_id}&uid=&_=1634127164373'
response = get_response(html_url)
title = response.json()['data']['moment']['title'] # 视频标题
video_url = response.json()['data']['moment']['videoInfo']['definitions'][0]['url']
video_info = [title, video_url]
return video_info
获取视频id
def get_video_id(html_url):
html_data = get_response(html_url).text
result = re.findall('<script> window.HNF_GLOBAL_INIT = (.*?) </script>', html_data)[0]
# 需要把获取的字符串数据, 转成json字典数据
json_data = json.loads(result)['videoData']['videoDataList']['value']
# json_data 列表 里面元素是字典
# print(json_data)
video_ids = [i['vid'] for i in json_data] # 列表推导式
# lis = []
# for i in json_data:
# lis.append(i['vid'])
# print(video_ids)
# print(type(json_data))
return video_ids
# 目光所至 我皆可爬
def main(html):
video_ids = get_video_id(html_url=html)
for video_id in video_ids:
video_info = get_video_info(video_id)
save(video_info[0], video_info[1])
保存数据
def save(title, video_url):
# 保存数据, 也是还需要对于播放地址发送请求的
# response.content 获取响应的二进制数据
video_content = get_response(html_url=video_url).content
new_title = re.sub(r'[\/:*?"<>|]', '_', title)
# 'video\\' + title + '.mp4' 文件夹路径以及文件名字 mode 保存方式 wb二进制保存方式
with open('video\\' + new_title + '.mp4', mode='wb') as f:
f.write(video_content)
print('保存成功: ', title)
调用函数
if __name__ == '__main__':
# get_video_info('589462235')
video_info = get_video_info('589462235')
save(video_info[0], video_info[1])
for page in range(1, 6):
print(f'正在爬取第{page}页的数据内容')
# python基础入门课程 第一节课 讲解的知识点 字符串格式化方法
url = f'https://v.huya.com/g/all?set_id=31&order=hot&page={page}'
main(url)
运行代码,得到数据
来源:https://pythonjx.blog.csdn.net/article/details/120770141
0
投稿
猜你喜欢
- 本文实例讲述了JavaScript数据结构中串的表示与应用。分享给大家供大家参考,具体如下:类似于线性表的顺序存储结构,用一组地址连续的存储
- 1、存储过程基本语法: create procedure sp_name() begin ...... end; 2、如何调用: call
- 上一篇:微软建议的ASP性能优化28条守则(8)技巧 28:阅读资源链接下面是一些与性能有关的出色的资源链接。如果您想了解有关信息,请阅读
- Wingdings字体,Symbol字体<html> <head> <title>
- 又一个js加密工具:js混淆,完整源代码如下,有点长呵呵:<HTML><HEAD><TITLE>Cunf
- FSO中除了可以对驱动器、文件夹的操作以外,功能最强大的就是对文件的操作了。它可以用来记数、内容管理、搜索还可生成动态HTML页面等等。一、
- 阅读上一篇:FrontPage XP设计教程2——网页的编辑 制作一个漂亮的网页,离不开网页整体布局的设计,网页布局设计的合理与否,直接影响
- 一、使用loadVariables 一个例子简单的描述了如何通过GET方法向服务器端的ASP发送请求: _root. pushAc
- 对设计“以人为本”和“绿色设计”两个观点的反思——兼与设计界同仁商榷Reflection of Two Views: “People-ori
- 内容摘要:一般情况下,如果我们想了解股市行情,必须登录专业股票网站,输入公司代码才能看到具体股价。其实,利用XMLHTTP协议,我们每个人都
- 随着互联网的快速发展和数据交换的广泛应用,各种数据格式的处理成为软件开发中的关键问题。JSON 作为一种通用的数据交换格式,在各种应用场景中
- 众所周知,随着数据库体积的日益庞大,其备份文件的大小也水涨船高。虽然说通过差异备份与完全备份配套策略,可以大大的减小SQL Server数据
- 废话不多说了直接给大家介绍canvas实现手机端用来上传用户头像的代码,具体代码如下所示:<!DOCTYPE html><
- Boundary MatchersJava regex API还支持边界匹配。如果我们关心在输入文本中匹配的确切位置,那么这就是我们要寻找的
- 许多游戏玩家一定会对游戏中的动态鼠标指针有很深的印象,其实只要一句简单的CSS(层叠样式表),你也能在网页上实现这种效果。首先,你需要一个鼠
- 1**:请求收到,继续处理2**:操作成功收到,分析、接受3**:完成此请求必须进一步处理4**:请求包含一个错误语法或不能完成5**:服务
- 论坛里面有不少人在使用Javascript编写Asp,经常有人在论坛提问,为什么Asp对象在对比指定值时返回结果不对?现在在这里给大家写点关
- 出自: 编程中国 http://www.bc-cn.net作者: 天涯听雨 &nbs
- 按单字节计算字符串的长度,汉字算两个字节。<script type="text/JavaScript"
- Symfony2是一个基于PHP语言的Web开发框架,有着开发速度快、性能高等特点。本文以一个程序示例的实现过程详细叙述了Symfony2框