python爬虫 批量下载zabbix文档代码实例
作者:NAVYSUMMER 发布时间:2022-11-07 11:10:29
标签:python,爬虫,批量,下载,zabbix,文档
这篇文章主要介绍了python爬虫 批量下载zabbix文档代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
# -*- coding: UTF-8 -*-
import requests,re,time
url = 'https://www.zabbix.com/documentation/3.4/zh/manual'
base_url = 'https://www.zabbix.com/documentation/3.4/'
seconds = 1
err_url = []
def get_urls():
res = requests.get(url)
content = res.text
pattern = re.compile(r"indexmenu_4848130395ca30b274d8bd.add[(]'(zh/manual.*?)[']", re.S)
routes = pattern.findall(content)
urls = [base_url+item for item in routes]
return urls
def download(url):
download_url = url + "?do=export_pdf"
print("当前下载url:")
print(download_url)
res = requests.get(url)
if res.status_code == 200 :
pattern = re.compile(r"<title>(.*?)</title>", re.S)
title = pattern.findall(res.text)[0].encode("utf-8")
try:
filename = title.replace('\\','-').replace('/','-').replace('"','-').replace('*','-').replace('?','-').replace(':','-').replace('<','-').replace('>','-').replace('|','-')
except Exception:
title = pattern.findall(res.text)[0]
filename = title.replace('\\','-').replace('/','-').replace('"','-').replace('*','-').replace('?','-').replace(':','-').replace('<','-').replace('>','-').replace('|','-')
file = filename + '.pdf'
res = requests.get(download_url)
if res.status_code == 200 :
with open(file,"wb") as f:
f.write(res.content)
print('下载成功')
else:
print('下载失败')
err_url.append(download_url)
else:
print('获取文件名失败,停止当前下载')
err_url.append(download_url)
def downloads(urls):
for url in urls:
download(url)
time.sleep( seconds )
if len(err_url) :
print("下载失败的URL:")
print(err_url)
def main():
print("下载开始")
urls = get_urls()
downloads(urls)
print("下载完成")
if __name__ == '__main__':
main()
来源:https://www.cnblogs.com/navysummer/p/11051036.html
0
投稿
猜你喜欢
- 在执行python 代码的时候,有时候需要传递外面的参数进行处理这个该怎么实现呢?需要一个模块from sys import argv当然也
- 又发现一个IE不标准的地方,unshift方法会返回新数组的长度,但IE6与IE7则返回undefined。var a = [3,2,1,4
- 谈到“登录”,大多数人脑海中会立刻浮现出那个“两小框:一用户名,一密码,外加一按钮”的经典豆腐块, 这样的功能模块在互联网上屡见不鲜, 成为
- 作业备份,不是备份数据库,是备份作业。 我的方法是把作业导出成文件备份起来,因为当你服务器维护的多了的时候很多你的作业 就很成问题,很麻烦。
- 1. Python的figure参数主要有:def figure(num=None, # autoincrement if None, el
- 命令:Python manage.py runserver改为python manage.py runserver 0.0.0.0:80外网
- 视频观看视频Python 类和对象面向对象编程是编写表示现实世界中的事物和情景的类,并基于这些类来创建对象。编写类时,你定义一大类对象都有的
- 前言python爬虫系列文章的第3篇介绍了网络请求库神器 Requests ,请求把数据返回来之后就要提取目标数据,不同的网站返回的内容通常
- 我们使用 python setup.py install 来安装python包,但是如何卸载呢?只能手动删除安装的文件可以使用如下命令pyt
- 周末在家,儿子闹着要玩游戏,让玩吧,不利于健康,不让玩吧,扛不住他折腾,于是想,不如一起搞个小游戏玩玩!之前给他编过猜数字 和 掷骰子 游戏
- 本文实例为大家分享了Python/Django后端使用PIL Image生成头像缩略图的具体代码,供大家参考,具体内容如下import os
- 1 IDLE1.1 IDLE是python创初人Guido van Rossum使用python and Tkinter来创建的一个集成开发
- 本文实例讲述了PHP利用header跳转失效的解决方法,分享给大家供大家参考。具体方法分析如下:一、问题:今天header(\"L
- 在XHTML中定义ID、CLASS都用得上,主要是方面CSS定义样式时能一眼看穿。所以,CSS命名仅作参考。(1)页面结构类容器: cont
- 导读:最近数据库经常出现会话阻塞的报警,过一会又会自动消失,昨天晚上恰好发生了一次,于是赶紧进行了查看,不看不知道,一看吓一跳,发现是由da
- 在python中json分别由列表和字典组成,本文主要介绍python中字典与json相互转换的方法。使用json.dumps可以把字典转成
- 这篇论坛文章(赛迪网技术社区)根据网友的个人实践扼要的讲解了将MySQL 5.0下的数据导入到MySQL 3.23中的具体方法及步骤,详细内
- 如下所示:import osimport reimport stringfile = open("data2.txt")
- 本文实例讲述了PHP截取指定图片大小的方法。分享给大家供大家参考。具体分析如下:imagecopyresampled($newim, $im
- 在php中使用Xajax能够即时与数据库发生交互带给用户更好的体验主要的应用有网页的即时、不刷新的登录系统也可以利用于注册系统中即时验证用户