python3爬虫中多线程的优势总结
作者:小妮浅浅 发布时间:2023-05-15 02:41:07
标签:python3,爬虫,多线程
有些小伙伴跟小编讨论了python中使用多线程原理的问题,就聊到了关于python多线程的弊端问题,这点可能在使用的过程中大家会能感觉到。而且之前讲过的GIL也是对python多线程的一种限制。那么,我们为什么还要用多线程呢?当然是多线程的优势已经掩盖了它本身不足之处,所以我们来加强一下学习python多线程的信心吧~
总结起来,使用多线程编程具有如下几个优点:
进程之间不能共享内存,但线程之间共享内存非常容易。
操作系统在创建进程时,需要为该进程重新分配系统资源,但创建线程的代价则小得多。因此,使用多线程来实现多任务并发执行比使用多进程的效率高。
Python 语言内置了多线程功能支持,而不是单纯地作为底层操作系统的调度方式,从而简化了 Python 的多线程编程。
threading模块
普通创建方式
import threading
import time
def run(n):
print("task", n)
time.sleep(1)
print('2s')
time.sleep(1)
print('1s')
time.sleep(1)
print('0s')
time.sleep(1)
if __name__ == '__main__':
t1 = threading.Thread(target=run, args=("t1",))
t2 = threading.Thread(target=run, args=("t2",))
t1.start()
t2.start()
----------------------------------
>>> task t1
>>> task t2
>>> 2s
>>> 2s
>>> 1s
>>> 1s
>>> 0s
>>> 0s
守护线程
我们看下面这个例子,这里使用setDaemon(True)把所有的子线程都变成了主线程的守护线程,因此当主进程结束后,子线程也会随之结束。所以当主线程结束后,整个程序就退出了。
import threading
import time
def run(n):
print("task", n)
time.sleep(1) #此时子线程停1s
print('3')
time.sleep(1)
print('2')
time.sleep(1)
print('1')
if __name__ == '__main__':
t = threading.Thread(target=run, args=("t1",))
t.setDaemon(True) #把子进程设置为守护线程,必须在start()之前设置
t.start()
print("end")
----------------------------------
>>> task t1
>>> end
我们可以发现,设置守护线程之后,当主线程结束时,子线程也将立即结束,不再执行。
python多线程实例代码:
1个线程时:
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/2.html
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/3.html
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/4.html
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/5.html
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/6.html
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/7.html
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/8.html
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/9.html
Done, Time cost: 8.182249069213867
2个线程时:
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/2.html
Current Thread Name Thread-2, Url: http://www.pythontab.com/html/pythonjichu/3.html
Current Thread Name Thread-2, Url: http://www.pythontab.com/html/pythonjichu/4.html
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/5.html
Current Thread Name Thread-2, Url: http://www.pythontab.com/html/pythonjichu/6.html
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/7.html
Current Thread Name Thread-2, Url: http://www.pythontab.com/html/pythonjichu/8.html
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/9.html
Done, Time cost: 4.0987958908081055
来源:https://www.py.cn/jishu/jichu/21185.html


猜你喜欢
- Go语言没有继承、构造函数和析构函数等概念,但是它是面向对象的。.net中类型系统分为值类型和引用类型,两种转换需要进行装箱和拆箱,都是继承
- 安装pyecharts1.8.0版本后导入pyecharts模块绘图时报错: “所有图表类型将在 v1.9.0 版本开始强制使用 Chart
- 一、前言听说python很流行,因为有很多模块资源,而且导入模块,操作和理解起来很简单。所以在这里记录一下学习python的过程,我相信最重
- 在 TypeScript 中一共有 7 种基本类型。1、booleanvar isDone: boolean = false;2、numbe
- 1. Django: Python Web应用开发框架Django 应该是最出名的Python框架,GAE甚至Erlang都有框架受它影响。
- 本文实例为大家分享了python绘制圆柱体示的具体代码,供大家参考,具体内容如下#!/usr/bin/env pythonimport vt
- Python内置模块logging管理不同级别log打印和存储,非常方便,从此告别了使用print打桩记录,我们来看下logging的魅力吧
- 堆 heap 值类型 原始类型(primitive type) Undefined: undefined (注意大小写:类型/ 值,下同)
- 1. PHP入侵检测系统PHP IDS(即PHP-入侵检测系统)是一套易于使用、结构良好、速度出色且专门面向PHP类Web应用程序的先进安全
- 关于“登录”和“注册”的问题已经被很多设计师和交互设计上写过无数遍了,今天我在登录纳米盘网站时受到打击了所以写下此文。事情是这样的:当初租用
- Numpy是Numerical Python extensions的缩写,字面意思是Python数值计算扩展。Numpy是python中众多
- 前言这篇文章主要介绍了JS大坑之19位数的Number型精度丢失问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习
- 背景:作为一个python小白,今天从菜鸟教程上看了一些python的教程,看到了python的一些语法,对比起来(有其他语言功底),感觉还
- 如果你使用的正是mysql数据库,那么你把密码或者其他敏感重要信息保存在应用程序里的机会就很大。保护这些数据免受黑客或者窥探者的获取是一个令
- 简介:本文主要介绍在linux系统下,如何配置mysql支持IPV6的连接。环境要求:1、debian7.5操作系统虚拟机2、mysql5.
- 某些时候我们需要让类动态的添加属性或方法,比如我们在做插件时就可以采用这种方法。用一个配置文件指定需要加载的模块,可以根据业务扩展任意加入需
- 对于初学者来说,一份详尽又清晰明白的指南很重要。今天,猫猫跟大家一起,好好学习Python文件读写的内容,这部分内容特别常用,掌握后对工作和
- 一、K.prodprodkeras.backend.prod(x, axis=None, keepdims=False)功能:在某一指定轴,
- 本文实例讲述了JavaScript内置对象math,global功能与用法。分享给大家供大家参考,具体如下:学习要点:1.Global对象2
- 对于熟悉 C/C++ 或 Java 语言的工程师来说,JavaScript 显得灵活,简单易懂,对代码的格式的要求也相对松散。很容易学习,并