详解Python静态网页爬取获取高清壁纸
作者:嗨学编程 发布时间:2023-10-18 08:27:42
前言
在设计爬虫项目的时候,首先要在脑内明确人工浏览页面获得图片时的步骤
一般地,我们去网上批量打开壁纸的时候一般操作如下:
1、打开壁纸网页
2、单击壁纸图(打开指定壁纸的页面)
3、选择分辨率(我们要下载高清的图)
4、保存图片
实际操作时,我们实现了如下几步网页地址的访问:打开了壁纸的网页→单击壁纸图打开指定页面→选择分辨率,点击后打开最终保存目标图片网页→保存图片
在爬虫的过程中我们就尝试通过模拟浏览器打开网页的操作,一步步获得、访问网页、最后获得目标图片的下载地址,对图片进行下载保存到指定路径中
*这些中间过程中网页的一些具体筛选条件的构造,需要打开指定页面的源代码去观察和寻找包含有目的链接的标签
具体实现项目与注释
这里我只想获得一些指定的图片,所以我先在网页上搜索“长门有希”,打开了一个搜索结果页面,发现在这个页面上就已经包含了同类型的其他壁纸链接,于是我一开始就把最初访问的目的地址设置为这个搜索结果页面
目标结果页面截图:
图中下标为"1/29"."2/29"为其他同类型目标壁纸,通过点击这些图片我们可以打开新的目标下载图片页面
这里我们查看一下网页源代码
图中黄色底的地方就是打开这些同类壁纸的目的地址(访问的时候需要加上前缀"http://desk.zol.com.cn")
现在我们可以尝试实现构建爬虫:
打开指定页面→筛选获得所有长门有希壁纸的目标下载页面链接
代码如下:
获得地址以后我们可以通过获取地址→打开指定页面→选择分辨率→获得目的下载地址→保存到本地指定路径中
在测试的时候我输出了一下上一步truelist中保存的内容
可以看到保存的只是一个后缀,在访问的时候我们需要加上一个指定的前缀
实现代码如下(注释见代码):
最后可以在自己的目标文件夹中看到爬下来的图片集~
以上所述是小编给大家介绍的Python爬取高清壁纸详解整合,希望对大家有所帮助
来源:https://www.cnblogs.com/Pythonmiss/p/10752765.html


猜你喜欢
- 前言在前面两篇文章中 初见 Go Mutex 、Go Mutex 源码详解,我们学习了 Go语言 中
- 在网站开发过程中,可能需要用PHP实现验证邮箱格式是否正确,那么我们就可以通过PHP中filter_var函数来实现。下面我们就结合具体的代
- 假设我们有这样一种数据:data = [ ("apple&quo
- 本文实例讲述了python编程开发之textwrap文本样式处理技巧。分享给大家供大家参考,具体如下:在看python的API的时候,发现p
- 字符串打印打印函数echo: 打印值,用于单值print_r(): 人类可读方式打印,用于数组var_dump():打印结构和类型,一般用于
- win32com和微软的word接口文档有什么关系先回答一个网友私信问题: win32com和微软的word接口文档有什么关系win32co
- 记录下第一次使用Python读写文件的过程,虽然很简单,第一次实现其实也有些注意的事项。单个文件的读操作:我们先假设一个需求如下:读取一个t
- 求解三角形第三边长import mathx=input('输入两边长及夹角(度):')#输入时候使用空格分隔3个值a,b,t
- 记得以前写过一篇文章 php有效的过滤html标签,js代码,css样式标签: <?php $str = preg_replace(
- python中,A object = B object 是一种赋值操作,赋的值不是一个对象在内存中的空间,而只是这个
- template 概述最近在做脚手架相关的内容, 研究了一下 Go 的 text/template 包, 接下来跟大家分享下 templat
- 重置系统后,很久之前安装的MySQL数据库出现了控制台查询中文乱码问题,时间太久早已经不记得怎么设置了。网上查询了许多,各种设置,重启数据库
- 前言这里给大家介绍一下利用Pycharm如何打包文件,并为文件设置图标。一、下载pyinstaller库1)点击win+r,输入cmd打开控
- 先给大家展示下运行效果图: 1.后台action产生json数据。List blackList = blackService.ge
- 数据库中有一字段type_code,有中文类型和中文类型编码,现在对type_code字段的数据进行统计处理,编码对应的字典如下:{'
- 树形目录显示程序问题描述:在我们项目中常常会出现自关联的数据表,如果我们从整体看去,整个表就呈现为一个树形数据结构(对于复杂的情况,它可能变
- 是时候稍微总结一下前一段时间的PHP简单系统制作技巧了。 前一段时间主要讲述了如何用PHP读取与查询MySQL中的数据,并向大家着重解释了如
- 最近JETBRAINS发布了目前最受欢迎的python-web开发框架,可以看到最受欢迎的还是Django和Flask,那么本文就对上榜的1
- 目录1. 解题思路2. 具体解析实现3. 单元测试用例:有一段sql语句,我们需要从中截取出所有字段部分,以便进行后续的类型推断或者别名字段
- 前言:处理图片需要,需把图片都转换成1920*1280的大小, python实现很方便,需要导入图片处理的Image包和匹配的glob包,很