Python基础进阶之海量表情包多线程爬虫功能的实现
作者:孤城暮雨 发布时间:2022-03-19 11:52:13
标签:Python,多线程,爬虫
一、前言
在我们日常聊天的过程中会使用大量的表情包,那么如何去获取表情包资源呢?今天老师带领大家使用python中的爬虫去一键下载海量表情包资源
二、知识点
requests网络库
bs4选择器
文件操作
多线程
三、所用到得库
import os
import requests
from bs4 import BeautifulSoup
四、 功能
# 多线程程序需要用到的一些包
# 队列
from queue import Queue
from threading import Thread
五、环境配置
解释器 python3.6
编辑器 pycharm专业版 激活码
六、多线程类代码
# 多线程类
class Download_Images(Thread):
# 重写构造函数
def __init__(self, queue, path):
Thread.__init__(self)
# 类属性
self.queue = queue
self.path = path
if not os.path.exists(path):
os.mkdir(path)
def run(self) -> None:
while True:
# 图片资源的url链接地址
url = self.queue.get()
try:
download_images(url, self.path)
except:
print('下载失败')
finally:
# 当爬虫程序执行完成/出错中断之后发送消息给线程 代表线程必须停止执行
self.queue.task_done()
七、爬虫代码
# 爬虫代码
def download_images(url, path):
headers = {
'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'lxml')
img_list = soup.find_all('img', class_='ui image lazy')
for img in img_list:
image_title = img['title']
image_url = img['data-original']
try:
with open(path + image_title + os.path.splitext(image_url)[-1], 'wb') as f:
image = requests.get(image_url, headers=headers).content
print('正在保存图片:', image_title)
f.write(image)
print('保存成功:', image_title)
except:
pass
if __name__ == '__main__':
_url = 'https://fabiaoqing.com/biaoqing/lists/page/{page}.html'
urls = [_url.format(page=page) for page in range(1, 201)]
queue = Queue()
path = './threading_images/'
for x in range(10):
worker = Download_Images(queue, path)
worker.daemon = True
worker.start()
for url in urls:
queue.put(url)
queue.join()
print('下载完成...')
八、爬取效果图片
来源:https://www.cnblogs.com/aa1273935919/archive/2020/12/17/14149402.html
0
投稿
猜你喜欢
- 执行环境会负责管理代码执行过程中使用的内存,编写JavaScript程序时,所需内存的分配以及无用内存的回收完全实现自动管理。原理:找出那些
- 需求我的需求是批量裁剪某一文件夹下的所有图片,并指定裁剪宽高。思路1、 先使用PIL.Image.size获取输入图片的宽高。2、宽高除以2
- 太长不看的简洁版本1.x = np.arange(start, end, steps)Values are generated within
- 我为一大型网站做了一个论坛,也顺利通过了测试。由于是第一次做这方面的数据库,我不知道比其它网站上数据库差距有多大,是不是够优化。能推荐或介绍
- 工作中遇到一个问题,两个字符串匹配,要求:每个字符串中最多含有一个*,?可以无限多个*代表一个任意长度的字符串,而?则代表一个字符要求可以提
- 最近网上再度兴起了CSS布局和Table 布局的争论。我最初颇有些不以为然:我原以为CSS 布局的意义早已深入人心,却没想到还有这么多设计师
- --------------------------------------------------------- 正则收藏 手机号码: $
- python中zip()函数用法举例定义:zip([iterable, ...])zip()是Python的一个内建函数,它接受一系列可迭代
- 一、地理编码与逆编码地理编码与逆编码表示的是地名地址与地理坐标(经纬度)互相转换的过程。其中,将地址信息映射为地理坐标的过程称之为地理编码;
- 本文实例讲述了Python实现网络端口转发和重定向的方法。分享给大家供大家参考,具体如下:【任务】需要将某个网络端口转发到另一个主机(for
- 本文实例讲述了Python实现的HMacMD5加密算法。分享给大家供大家参考,具体如下:什么是 HMAC-MD5?1、比如你和对方共享了一个
- 在 玉伯 的文章 《一道大题目,嘿嘿》 中有这样一段代码:[] == ![]也许很多同学迷惑:咦,这个如何转换呢?首先,我们了解下逻辑 NO
- 一般来说,使用线程有两种模式, 一种是创建线程要执行的函数, 把这个函数传递进Thread对象里,让它来执行. 另一种是直接从Thread继
- 一. MovingAverage权值滑动平均更新1.1 示例代码:def create_target_q_network(self,stat
- 本文实例为大家分享了python实现网页自动签到功能的具体代码,供大家参考,具体内容如下第1步、环境准备(用的chrome浏览器)1.安装s
- 之前一直对于python类的继承机制认知的比较混乱,今天学习记录一下。(1)首先使用直接继承的方式class parent():  
- 一、概述:Python的GC模块主要运用了“引用计数”(reference counting)来跟踪和回收垃圾。在引用计数的基础上,还可以通
- 引子:今天在蓝点看了Yang的博客《CSS样式表中继承关系的空格与不空格》,思考了一下,本来想写《CSS样式的复合定义与复合调用及简单的模块
- 在使用Keras搭建验证码识别模型时,需要大量的验证码图片。在这里,使用captcha模块生成验证码图片,验证码图片名称为验证码上显示的字符
- numpy官方文档meshgrid函数帮助文档https://docs.scipy.org/doc/numpy/reference/gene