用python实现的线程池实例代码

python3标准库里自带线程池ThreadPoolExecutor和进程池ProcessPoolExecutor。

如果你用的是python2，那可以下载一个模块，叫threadpool，这是线程池。对于进程池可以使用python自带的multiprocessing.Pool。

当然也可以自己写一个threadpool。

# coding:utf-8

import Queue
import threading
import sys
import time
import math

class WorkThread(threading.Thread):

def __init__(self, task_queue):
   threading.Thread.__init__(self)
   self.setDaemon(True)
   self.task_queue = task_queue
   self.start()
   self.idle = True

def run(self):
   sleep_time = 0.01 # 第1次无任务可做时休息10毫秒
   multiply = 0
   while True:
     try:
       # 从队列中取一个任务
       func, args, kwargs = self.task_queue.get(block=False)
       self.idle = False
       multiply = 0
       # 执行之
       func(*args, **kwargs)
     except Queue.Empty:
       time.sleep(sleep_time * math.pow(2, multiply))
       self.idle = True
       multiply += 1
       continue
     except:
       print sys.exc_info()
       raise

class ThreadPool:

def __init__(self, thread_num=10, max_queue_len=1000):
   self.max_queue_len = max_queue_len
   self.task_queue = Queue.Queue(max_queue_len) # 任务等待队列
   self.threads = []
   self.__create_pool(thread_num)

def __create_pool(self, thread_num):
   for i in xrange(thread_num):
     thread = WorkThread(self.task_queue)
     self.threads.append(thread)

def add_task(self, func, *args, **kwargs):
   '''添加一个任务，返回任务等待队列的长度
     调用该方法前最后先调用isSafe()判断一下等待的任务是不是很多，以防止提交的任务被拒绝
   '''
   try:
     self.task_queue.put((func, args, kwargs))
   except Queue.Full:
     raise # 队列已满时直接抛出异常，不给执行
   return self.task_queue.qsize()

def isSafe(self):
   '''等待的任务数量离警界线还比较远
   '''
   return self.task_queue.qsize() < 0.9 * self.max_queue_len

def wait_for_complete(self):
   '''等待提交到线程池的所有任务都执行完毕
   '''
   #首先任务等待队列要变成空
   while not self.task_queue.empty():
     time.sleep(1)
   # 其次，所以计算线程要变成idle状态
   while True:
     all_idle = True
     for th in self.threads:
       if not th.idle:
         all_idle = False
         break
     if all_idle:
       break
     else:
       time.sleep(1)

if __name__ == '__main__':
 def foo(a, b):
   print a + b
   time.sleep(0.01)
 thread_pool = ThreadPool(10, 100)
 '''在Windows上测试不通过，Windows上Queue.Queue不是线程安全的'''
 size = 0
 for i in xrange(10000):
   try:
     size = thread_pool.add_task(foo, i, 2 * i)
   except Queue.Full:
     print 'queue full, queue size is ', size
 time.sleep(2)

来源：http://www.cnblogs.com/zhangchaoyang/articles/5188904.html