Python反爬实战掌握酷狗音乐排行榜加密规则
作者:五包辣条! 发布时间:2021-05-29 08:05:57
标签:Python,反爬,酷狗,排行榜
效果展示
爬取目标
网址:酷我音乐
工具使用
开发工具:pycharm
开发环境:python3.7, Windows10
使用工具包:requests,re
项目思路解析
找到需要解析的榜单数据
随意点击一个歌曲获取到音乐的详情数据 通过抓包的方式获取到音乐播放数据
找到MP3的数据提交地址 mp3数据来自于这个url地址
提交数据的网址:
https://wwwapi.kugou.com/yy/index.php?r=play/getdata&callback=jQuery19102816534571347611_1626783818555&hash=A38449E76C74D45825F565C1FDB825C0&dfid=3dKstH1sJdRa44o6Vj0ZIryF&mid=4458f6d567640b39de367a394d69879e&platid=4&album_id=40437970&_=1626783818556
将多个网址数据进行对比看看哪些参数是需要自行修改的
变化的url数据有3个
hash
album_id
_
_ 可以明显看出来是时间戳 需要获取到对应的hash以及album_id的值 来到主页找寻对应的歌曲id数据 发现数据来自网页源代码
歌曲的数据都是来自网页源代码
梳理整体思路:
从首页源码里提取出对应的hash、album_id值
组合成新的url地址
获取到json数据总的歌曲播放地址
简易源码分享
本章内容只限学习,切勿用作其他用途!!!!!
import requests
import re
import time
def Tools(url):
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.70'
}
response = requests.get(url, headers=headers)
return response
def Save(name, url):
mp3 = Tools(url).content # 请求mp3地址链接 返回格式是16进制
f = open('./kugou/{}.mp3'.format(name), 'wb') # w 文件存在就写入 不存在就会创建 b进制读写
f.write(mp3)
f.close()
print('{}下载完成....'.format(name))
url = 'https://www.kugou.com/yy/html/rank.html'
response = Tools(url).text
album_id = re.findall(r'"album_id":(\d*?),', response) # id
Hash = re.findall(r'"Hash":"(.*?)",', response) # hash
for a, h in zip(album_id, Hash):
# 生成时间戳
time1 = int(time.time() * 1000)
# 包含歌曲下载地址的url
urls = 'https://wwwapi.kugou.com/yy/index.php?r=play/getdata&hash={}&dfid=0zlWqK0UWNFa0weUnX0hjlFa&mid=f79511e2e86914b99e351c42ba1f8bc7&platid=4&album_id={}&_={}'.format(h, a, time1)
response1 = Tools(urls).json()
audio_name = response1['data']['audio_name'].split('-')[1]
play_url = response1['data']['play_url']
Save(audio_name, play_url)
来源:https://blog.csdn.net/AI19970205/article/details/118944328
0
投稿
猜你喜欢
- INSERT、DELETE、UPDATE 三种SQL语句是数据库技术的三大基本语句. 在通常的web开发中对它的处理可以说是无处不在. 如果
- 说明Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码。从Python3.2开
- 问:把数据从MySQL迁移到Oracle需要注意些什么?答:以下是MySQL迁到Oracle需要掌握的注意事项,希望对你有所帮助。1.自动增
- MySQL数据库由于它本身的小巧和操作的高效, 在数据库应用中越来越多的被采用.本文中列举了一个P2P应用开发实例,实例中使用了MySQL来
- 虽然Golang的GC自打一开始,就被人所诟病,但是经过这么多年的发展,Golang的GC已经改善了非常多,变得非常优秀了。以下是Golan
- 第一次写ASP类,实现功能:分段统计程序执行时间,输出统计表等.程序代码:Class ccClsProcessTimeRecord
- 在 Class 块中,成员通过相应的声明语句被声明为 Private(私有成员,只能在类内部调用)
- 阅读上一篇:网马解密大讲堂——网马解密初级篇今天主要讲解的内容是Freshow工具的使用方法,工欲善其事,必先利其器,首先要学会如何使用解密
- 我自己的一个项目,需要同时对65536个文件进行多次写操作。如果先全部打开所有的文件,然后重复写,最后关闭所有的文件。那么第一次写操作全部完
- if(document.mylist.length != "undefined" ) {} 这个用法有误. 正确的是 i
- pandas中的agg函数python中的agg函数通常用于调用groupby()函数之后,对数据做一些聚合操作,包括sum,min,max
- 周六。据闻北服美女甚多,于是应邀去做了一个关于UED的讲座。人不多,讲的很乱,但大家听的很认真,欣慰。讲完之后回答了很多关于社区、搜索、设计
- 在 python 开发中我们最常用的IDE就是PyCharm,有关PyCharm的优点这里就不在赘述。在项目开发中我们经常用到许多第三方库,
- FrontPage服务器扩展可以做以下工作:(1),保存和检索Web服务器的文件;(2),远程执行所有文件管理操作;(3),改名或移动文件时
- 1.sp_helpsort SELECT SERVERPROPERTY ('Collation') 查看你的排序规则. 不过
- 直接使用==比较的情况分类说明是否能比较说明基本类型整型( int/uint/int8/uint8/int16/uint16/int32/u
- INI是微软Windows操作系统中的文件扩展名。这些字母表示初始化。正如该术语所表示的,INI文件被用来对操作系统或特定程序初始化或进行参
- 函数原型:getopt.getopt(args, shortopts, longopts=[])参数解释:  
- 1. 介绍torch.norm()是对输入的tensor求对应的范数。tensor的范数有以下三种:1.1 p-范数1.2 Frobeniu
- 1.不装入数据库而启动事例 可以不装入数据库而启动事例,一般是在数据库才创建时才可以这样做:STARTUP NOMOUNT2.启动事例并装入