用Python爬取LOL所有的英雄信息以及英雄皮肤的示例代码
作者:阿壮Jonsson 发布时间:2021-07-29 00:54:25
标签:Python,爬取,LOL,英雄
实现思路:分为两部分,第一部分,获取网页上数据并使用xlwt生成excel(当然你也可以选择保存到数据库),第二部分获取网页数据使用IO流将图片保存到本地
一、爬取所有英雄属性并生成excel
1.代码
import json
import requests
import xlwt
# 设置头部信息,防止被检测出是爬虫
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
}
url = "https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js"
response = requests.get(url=url, headers=headers).text
loads = json.loads(response)
dic = loads['hero']
# 创建一个workbook 设置编码
workbook = xlwt.Workbook(encoding='utf-8')
# 创建一个worksheet
worksheet = workbook.add_sheet('LOL')
try:
for i in range(len(dic)):
# 设置单元格宽度大小
worksheet.col(i).width = 4000
# 设置单元格高度大小
style = xlwt.easyxf('font:height 300')
worksheet.row(i).set_style(style)
# 第一行用于写入表头
if i == 0:
worksheet.write(i, 0, '编号')
worksheet.write(i, 1, '名称')
worksheet.write(i, 2, '英文名')
worksheet.write(i, 3, '中文名')
worksheet.write(i, 4, '角色')
worksheet.write(i, 5, '物攻')
worksheet.write(i, 6, '物防')
worksheet.write(i, 7, '魔攻')
worksheet.write(i, 8, '魔防')
continue
worksheet.write(i, 0, dic[i - 1]['heroId'])
worksheet.write(i, 1, dic[i - 1]['name'])
worksheet.write(i, 2, dic[i - 1]['alias'])
worksheet.write(i, 3, dic[i - 1]['title'])
roles_ = dic[i - 1]['roles']
roles = []
for data in roles_:
if 'mage' == data:
roles.append('法师')
if 'tank' == data:
roles.append('坦克')
if 'fighter' == data:
roles.append('战士')
if 'marksman' == data:
roles.append('ADC')
if 'assassin' == data:
roles.append('刺客')
if 'support' == data:
roles.append('辅助')
worksheet.write(i, 4, str(roles))
worksheet.write(i, 5, dic[i - 1]['attack'])
worksheet.write(i, 6, dic[i - 1]['defense'])
worksheet.write(i, 7, dic[i - 1]['magic'])
worksheet.write(i, 8, dic[i - 1]['difficulty'])
# 保存
workbook.save('C:\\Users\\Jonsson\\Desktop\\lol.xls')
except Exception as e:
print(e)
2.效果
二、爬取所有英雄皮肤并保存到本地
1.代码
import json
import os
import requests
import xlwt
# 设置头部信息,防止被检测出是爬虫
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
}
url = "https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js"
# 请求英雄列表的url地址
response = requests.get(url=url, headers=headers).text
loads = json.loads(response)
dic = loads['hero']
for data in dic:
id_ = data['heroId']
skinUrl = 'https://game.gtimg.cn/images/lol/act/img/js/hero/%s.js' % id_
# 请求每个英雄皮肤的url地址
skinResponse = requests.get(url=skinUrl, headers=headers).text
json_loads = json.loads(skinResponse)
hero_ = json_loads['hero']
save_path = './skin/%s-%s-%s' % (hero_["heroId"], hero_['name'], hero_['title'])
# 文件夹不存在,则创建文件夹
folder = os.path.exists(save_path)
if not folder:
os.makedirs(save_path)
skins_ = json_loads['skins']
for data in skins_:
if data['chromas'] == '0':
content = requests.get(url=data['mainImg'], headers=headers).content
try:
with open('%s/%s.jpg' % (save_path, data['name']), "wb") as f:
print("正在下载英雄:%s 皮肤名称:%s ..." % (hero_['name'], data['name']))
f.write(content)
except Exception as e:
print('下载失败')
print(e)
2.效果
来源:https://blog.csdn.net/y1534414425/article/details/107247322
0
投稿
猜你喜欢
- 实现思路是用深度遍历,对图片进行二值化处理,先找到一个黑色像素,然后对这个像素的周围8个像素进行判断,如果没有访问过,就保存起来,然后最后这
- python3字符串操作 x = 'abc' y = 'defgh' print(x + y)
- 很多网站注册时都会要求输入电子邮箱,其应用场景是比较广的,例如注册账号接收验证码、注册成功通知、登录通知、找回密码验证通知等。本文将介绍如何
- 前言项目中大量用到图片加载,由于图片太大,加载速度很慢,因此需要对文件进行统一压缩一:导入包from PIL import Imageimp
- SecureFile功能是oracle 11g中对大对象(LOB)存储格式的完全重新设计实现,原来的LOB存储格式现在通称为BASIXFIL
- rs.open sql,conn:如果sql是delete,update,insert则会返回一个关闭的记录集,在使用过程中不要来个rs.c
- 本文实例为大家分享了python通过输入联系人首字母查询联系人的具体代码,供大家参考,具体内容如下# -*- coding:utf-8 -*
- pyplot直方图的绘制import matplotlib.pyplot as pltimport numpy as npfrom pyla
- str_replace — 子字符串替换 [str_replace]mixed str_replace ( mixed
- 阅读上一篇:网马解密大讲堂——网马解密初级篇今天主要讲解的内容是Freshow工具的使用方法,工欲善其事,必先利其器,首先要学会如何使用解密
- 1、设置无头浏览器模式from selenium import webdriverfrom selenium.webdriver.chrom
- 0.引言利用Dlib官方训练好的模型“shape_predictor_68_face_landmarks.dat”进行68点标定,利用Ope
- 引子如果遇到了 Must provide secret_key to use csrf错误提醒,原因就是没有设置secret_key ,在代
- Golang精编100题能力模型(测试)初级primary:熟悉基本语法,能够看懂代码的意图;在他人指导下能够完成用户故事的开发,编写的代码
- ob缓存介绍ob是output buffering的简称,输出缓冲区,缓冲区是通过php.ini中的output_buffering变量控制
- 本文实例分析了python字典排序的方法。分享给大家供大家参考。具体如下:1、 准备知识:在python里,字典dictionary是内置的
- 目前数据预处理最常见的方法就是中心化和标准化。中心化相当于修正数据的中心位置,实现方法非常简单,就是在每个特征维度上减去对应的均值,最后得到
- 简介scrapy-redis是一个基于redis的scrapy组件,用于快速实现scrapy项目的分布式部署和数据爬取,其运行原理如下图所示
- 前言最近项目中遇到一个用于监控日志文件的Python包pyinotify,结合自己的项目经验和网上的一些资料总结一下,总的原理是利用pyin
- 最近在公司做了微信支付的接入,这里总结下开发的一些经验注意,我使用的是微信开放平台的支付,与手机app相关,而与公众账号无关。微信支付的主要