Python爬虫 bilibili视频弹幕提取过程详解
作者：Tanglaoer 发布时间：2023-07-05 06:41:25
标签：python,爬虫,bilibili,弹幕,提取
两个重要点
1.获取弹幕的url是以 .xml 结尾
2.弹幕url的所需参数在视频url响应的 javascript 中
先看代码
import requests
from lxml import etree
import re
# 使用手机UA
headers = {
"User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"
}
# 视频url
video_url = "https://m.bilibili.com/video/av37834086.html"
html = requests.get(url=video_url, headers=headers).content.decode('utf-8')
# 获取弹幕url的参数
cid = re.findall(r"comment: '//comment.bilibili.com/' \+ (.*?) \+ '.xml',", html)
url = "https://comment.bilibili.com/" + cid[0] + ".xml"
print(url)
response = requests.get(url, headers=headers)
html = response.content
xml = etree.HTML(html)
# 提取数据
str_list = xml.xpath("//d/text()")
# 写入文件
with open('bibi_xuxubaobao.txt', 'w', encoding='utf-8') as f:
for line in str_list:
f.write(line)
f.write('\n')
先找到弹幕的url，以.xml结尾，所以先找到这串数字所在的位置，并获取这串数字发起第二次请求
而这串数字就在 第一次请求的响应的JavaScript中，可以通过 re 正则表达式进行提取
接下来的工作就是获取弹幕url返回的所有弹幕数据，然后对响应进行数据处理。
代码示例中使用的是 lxml 进行获取。接着就是保存到个人本地文件中了
来源：https://www.cnblogs.com/tangkaishou/p/10256335.html
0
投稿猜你喜欢
最近在折腾验证码识别。最终的脚本的识别率在92％左右，9000张验证码大概能识别出八千三四百张左右。好吧，其实是验证码太简单。下面就是要识别- 为什么会有这个需求呢？有没有发现在国外的一些网站，当你向上滚动时，导航条浮动在顶部位置。用户如果是想看内容就可以直接点击到达，省去很多拖动的
- 这两周组里面几位想学习python，于是我们就创建了一个这样的环境和氛围来给大家学习。昨天在群里，贴了一个需求，就是统计squid访问日志中
- 1. Scrapy简介Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等
- 本文实例为大家分享了python实现简单的飞机大战的具体代码，供大家参考，具体内容如下制作初衷这几天闲来没事干，就想起来好长时间没做过游戏了
- 1. 目的每天上班，工作需要，电脑上需要每天开机启动一些软件，下班时候，需要关掉一些软件。一个一个打开和关闭貌似是很繁琐的，于是乎，这个脚本
- 前言 使用scrapy进行大型爬取任务的时候（爬取耗时以天为单位），无论主机网速多好，爬完之后总会发现scrapy
- 阅读别人的python源码时碰到了这个yield这个关键字，各种搜索终于搞懂了，在此做一下总结：通常的for...in...循环中，in后面
- SQLPrompt是Sql Server 开发智能提示插件，方便查询表结果，避免了开发人员一个个敲查询语句、执行语句等，下面带大家仔细了解一
- 0 程序环境与所学函数本章程序运行需要导入下面三个库，并定义了一个显示图像的函数所学函数##放大、缩小cv.resize(img,dsize
- This application failed to start because it could not find or load the
- 在神经网络入门回顾（感知器、多层感知器）中整理了关于感知器和多层感知器的理论，这里实现关于与门、与非门、或门、异或门的代码，以便对感知器有更
- 这几天刚刚做了这个东西，有网友问到，所以分享一下。ie6、firefox2 通过，麻烦有ie7的网友测试一下，由于有其他代码，剖析出来麻烦，
- 本文实例讲述了PHP开发之归档格式phar文件概念与用法。分享给大家供大家参考，具体如下：一个php应用程序往往是由多个文件构成的，如果能把
- ACCESS2000文件用ACCESS2007打开，并迁移到SQLSERVER2005里 打开ACCESS2007的数据库工具方法
- 前言初次了解JWT，很基础，高手勿喷。基于Token的身份验证用来替代传统的cookie+session身份验证方法中的session。to
- 直接上代码图片就使用我家爽妹子的吧如果没有安装pil模块的话先cmd安装下输入：pip install pillow# -*- coding
- 前言至今，ChatGPT 已经火了很多轮，我在第一轮的时候注册了账号，遗憾的是，没有彻头彻尾好好地体验过一次。最近这一次火爆，ChatGPT
- 问题：这里只解决一个问题，到底什么是Access？设计一个数据库管理系统，用access在access里面设计好表，查询，然后再用vb做窗体
- 本文提供一种方法，通过将字符串编码成Unicode格式，保证数据在展示和传输过程中万无一失。无论客户端浏览器如何改变编码，页面上的编码都不会
