python线程池的实现实例
发布时间：2022-11-21 11:24:27
标签：python,线程池
直接上代码：
# -*- coding: utf-8 -*-
import Queue
import threading
import urllib
import urllib2
import os
def down(url,n):
print 'item '+str(n)+' start '
filename=urllib2.unquote(url).decode('utf8').split('/')[-1]
urllib.urlretrieve(url, filename)
print 'item '+str(n)+' finish '
def worker():
while True:
i = q.get()
url=i[0]
n=i[1]
down(url,n)
q.task_done()
if __name__=="__main__":
num_worker_threads=100
f=open('url.txt')
l=f.readlines()
q = Queue.Queue()
for i in range(num_worker_threads):
t = threading.Thread(target=worker)
t.daemon = True
t.start()
for i in range(0,len(l)):
q.put((l[i],i))
q.join()
0
投稿猜你喜欢
- 本文介绍了使用xmlhttp处理远程文件数据、或采集文章时，对对方网页编码的处理方法。因为使用ajax的xmlhttp网页编码处理不当很容易
- 本文实例讲述了python使用socket进行简单网络连接的方法。分享给大家供大家参考。具体如下：import socketprint &q
- 摘要Beautiful Soup 是一个可以从 HTML 或 XML 格式文件中提取数据的 Python 库，他可以将HTML 或 XML
- 前言有些时候我们在父类中使用了 self.tr('XXX')，使用 Qt Linguist 完成翻译并导出 qm 文件后，发
参考OpenCV摄像头使用代码import cv2cap = cv2.VideoCapture(4) # 使用第5个摄像头（我的电脑插了5个- 1，为了获取视频,你应该创建一个 VideoCapture 对象。他的参数可以是设备的索引号,或者是一个视频文件。设备索引号就是在指定要使用
- 本文实例讲述了Python实现队列的方法。分享给大家供大家参考，具体如下：Python实现队列队列(FIFO)，添加元素在队列尾，删除元素在
- 本文实例讲述了Python实现简单状态框架的方法。分享给大家供大家参考。具体分析如下：这里使用Python实现一个简单的状态框架，代码需要在
- 有些使用Z-Blog的用户询问我，怎么实现我的月光博客首页上这种自动图文混排的版式效果，今天我就详细介绍一下在Z-Blog中实现这种图文混排
- 归并排序思路：将数组不断二分，然后合并为有序数组C++实现:void mergeSort(T arr[], int left,int rig
- 源自MySQL 5.7 官方手册 手册地址一、SELECT…INTO介绍SELECT…INTO用
- 本文主要介绍通过预训练的ImageNet模型实现图像分类，主要使用到的网络结构有：VGG16、InceptionV3、ResNet50、Mo
- 1983年1月19日，苹果公司发布乔布斯领导研制的新一代电脑Lisa，当时Lisa电脑的设计人员就认为，必须将立即执行的命令和需要用户附加输
- 又遇到了一个坑。。类似于安装py2neo时遇到的问题差不多...今天准备试一下docx，按照网上的步骤直接在命令行中pip install
- 平时我们获取事件对象一般写法如下：function getEvent(event) { return e
- 本文实例讲述了php简单定时执行任务的实现方法。分享给大家供大家参考。具体实现方法如下：<?phpignore_user_abort(
- 工具版本python版本：3.8 django版本：2.0.0 mysql版本： 5.5.53 pip3创建工程djangostartDja
- 下面是虚机维护中，经常碰到的一些ASP程序中的数据库调用的错误，现收集整理如下：
- 结合网上解决方法，总结了一 * 意三点：1.文件名或路径名开头如果会引起转义，则\要替换为\\2.文件不能放在桌面，因为读取时按中文路径3.运
- 测试代码1：def test(self): data = {"add": {"doc":
