python爬虫爬取快手视频多线程下载功能
作者:冰蓝的天空 发布时间:2021-10-29 09:24:04
环境: python 2.7 + win10
工具:fiddler postman 安卓模拟器
首先,打开fiddler,fiddler作为http/https 抓包神器,这里就不多介绍。
配置允许https
配置允许远程连接 也就是打开http代理
电脑ip: 192.168.1.110
然后 确保手机和电脑是在一个局域网下,可以通信。由于我这边没有安卓手机,就用了安卓模拟器代替,效果一样的。
打开手机浏览器,输入192.168.1.110:8888 也就是设置的代理地址,安装证书之后才能抓包
安装证书之后,在 WiFi设置 修改网络 手动指定http代理
保存后就可以了,fiddler就可以抓到app的数据了,打开快手 刷新,可以 看到有很多http请求进来,一般接口地址之类的很明显的,可以看到 是json类型的
http post请求,返回数据是json ,展开后发现一共是20条视频信息,先确保是否正确,找一个视频链接看下。
ok 是可以播放的 很干净也没有水印。
那么现在打开 postman 来模拟这个post 看看有没有检验参数
一共是这么多参数,我以为 client_key 和 sign 会验证...可是 后面 发现我错了 啥也没验证 就这样提交过去就行...
form-data 方式提交则报错
那换 raw 这种
报错信息不一样了,试试加上 headers
nice 成功返回数据,我又多试几次,发现每次返回结果不一样,都是 20个视频,刚才其中post参数中 有个page=1 可能一直都是第一页 就像一直在手机上不往下翻了 就开始一直刷新那样,反正 也无所谓,只要返回数据 不重复就好。
下面就开始上代码
# -*-coding:utf-8-*-
# author : Corleone
import urllib2,urllib
import json,os,re,socket,time,sys
import Queue
import threading
import logging
# 日志模块
logger = logging.getLogger("AppName")
formatter = logging.Formatter('%(asctime)s %(levelname)-5s: %(message)s')
console_handler = logging.StreamHandler(sys.stdout)
console_handler.formatter = formatter
logger.addHandler(console_handler)
logger.setLevel(logging.INFO)
video_q = Queue.Queue() # 视频队列
def get_video():
url = "http://101.251.217.210/rest/n/feed/hot?app=0&lon=121.372027&c=BOYA_BAIDU_PINZHUAN&sys=ANDROID_4.1.2&mod=HUAWEI(HUAWEI%20C8813Q)&did=ANDROID_e0e0ef947bbbc243&ver=5.4&net=WIFI&country_code=cn&iuid=&appver=5.4.7.5559&max_memory=128&oc=BOYA_BAIDU_PINZHUAN&ftt=&ud=0&language=zh-cn&lat=31.319303 "
data = {
'type': 7,
'page': 2,
'coldStart': 'false',
'count': 20,
'pv': 'false',
'id': 5,
'refreshTimes': 4,
'pcursor': 1,
'os': 'android',
'client_key': '3c2cd3f3',
'sig': '22769f2f5c0045381203fc57d1b5ad9b'
}
req = urllib2.Request(url)
req.add_header("User-Agent", "kwai-android")
req.add_header("Content-Type", "application/x-www-form-urlencoded")
params = urllib.urlencode(data)
try:
html = urllib2.urlopen(req, params).read()
except urllib2.URLError:
logger.warning(u"网络不稳定 正在重试访问")
html = urllib2.urlopen(req, params).read()
result = json.loads(html)
reg = re.compile(u"[\u4e00-\u9fa5]+") # 只匹配中文
for x in result['feeds']:
try:
title = x['caption'].replace("\n","")
name = " ".join(reg.findall(title))
video_q.put([name, x['photo_id'], x['main_mv_urls'][0]['url']])
except KeyError:
pass
def download(video_q):
path = u"D:\快手"
while True:
data = video_q.get()
name = data[0].replace("\n","")
id = data[1]
url = data[2]
file = os.path.join(path, name + ".mp4")
logger.info(u"正在下载:%s" %name)
try:
urllib.urlretrieve(url,file)
except IOError:
file = os.path.join(path, u"神经病呀"+ '%s.mp4') %id
try:
urllib.urlretrieve(url, file)
except (socket.error,urllib.ContentTooShortError):
logger.warning(u"请求被断开,休眠2秒")
time.sleep(2)
urllib.urlretrieve(url, file)
logger.info(u"下载完成:%s" % name)
video_q.task_done()
def main():
# 使用帮助
try:
threads = int(sys.argv[1])
except (IndexError, ValueError):
print u"\n用法: " + sys.argv[0] + u" [线程数:10] \n"
print u"例如:" + sys.argv[0] + " 10" + u" 爬取视频 开启10个线程 每天爬取一次 一次2000个视频左右(空格隔开)"
return False
# 判断目录
if os.path.exists(u'D:\快手') == False:
os.makedirs(u'D:\快手')
# 解析网页
logger.info(u"正在爬取网页")
for x in range(1,100):
logger.info(u"第 %s 次请求" % x)
get_video()
num = video_q.qsize()
logger.info(u"共 %s 视频" %num)
# 多线程下载
for y in range(threads):
t = threading.Thread(target=download,args=(video_q,))
t.setDaemon(True)
t.start()
video_q.join()
logger.info(u"-----------全部已经爬取完成---------------")
main()
下面测试
多线程下载 每次下载 2000 个视频左右 默认下载到D:\快手
好了 这次就到这结束了,其实也很简单,快手竟然没有加密。。。因为 爬 抖音的时候 就碰到问题了.....
总结
以上所述是小编给大家介绍的python爬虫爬取快手视频多线程下载网站的支持!
来源:http://www.cnblogs.com/binglansky/p/8483096.html
猜你喜欢
- 新下载了一个Pycharm,建了个小demo,期间产生了一个sqlite3文件,由于是第一次打开,就弹出选择打开方式的对话框,手一块直接点了
- 通过在网络上查找资料和自己的尝试,我认为以下系统参数是比较关键的:(1)、back_log:要求 MySQL 能有的连接数量。当主要MySQ
- 获取图片宽度和高度的类,支持JPG,GIF,PNG,BMP我们可以使用这个类来处理图片的显示。<% Class
- 导语🎼嗨,大宝贝们,又到周末啦,今天你放假了嘛?周末的日子总是无所事事,无所事事。一直在想做什么游戏,给大家来点儿新鲜感,这不?玩游戏、找游
- 如果你想进一步了解如何用JavaScript来为网页添加交互性的话,你也许已经听过JavaScript的事件代理(event delegat
- 准备软件:1. J2SDK(1.5.0): jdk-1_5_0-linux-i586-rpm.bin2. Apache(2.0.53): h
- 1. 引言在使用Python的时候,通常会出现如下场景:array = [1, 2, 3, 3, 2, 1, 0, 2]获取array中元素
- 如下所示:<strong><span style="font-size:14px;">文本过滤&
- plt.subplot()plt.subplot(nrows, ncols, index, **kwargs)第一个参数:*args (官网
- python方法实现字符串反转方法一:反转列表法Python中,列表可以进行反转,我们只要把字符串转换成列表,使用reverse()方法,进
- 如下所示:import numpy as npimport pandas as pdfrom pandas import Series,Da
- 本月第一天日期SELECT FirstDayOfCurrentMonth = dateadd(mm,datediff(mm,0,getdat
- 代码很简洁,也很简单,就不多废话了。/** * 去除多余的0 */ function del0($s)&
- 一、常量常量是一个简单值的标识符(名字)。如同其名称所暗示的,在脚本执行期间该值不能改变(除了所谓的魔术常量,它们其实不是常量)。常量默认为
- 导语每年的节假日一到,大家头疼的总时同一个问题:你买到回家的票了吗?尤其是大型的节日:”比如国庆、春节......&am
- 本文实例讲述了javascript设置页面背景色及背景图片的方法。分享给大家供大家参考,具体如下:<!DOCTYPE HTML PUB
- MenuEverywhere 是Mac OS X上的一款小程序,前一阵刚为其完成了程序图标设计。© 2011 IconMo
- 第一节:WAP的潜能 这些日子,我们常听到WAP技术,一种手机上网的技术。从技术上讲,移动电话不可能和PC来竞争,移动电话的屏幕只能容下很少
- __init__()方法意义重大的原因有两个。第一个原因是在对象生命周期中初始化是最重要的一步;每个对象必须正确初始化后才能正常工作。第二个
- 本文实例讲述了Python HTML解析器BeautifulSoup用法。分享给大家供大家参考,具体如下:BeautifulSoup简介我们