python中threading和queue库实现多线程编程
作者:Cyrus_May 发布时间:2023-01-12 13:59:08
摘要
本文主要介绍了利用python的 threading和queue库实现多线程编程,并封装为一个类,方便读者嵌入自己的业务逻辑。最后以机器学习的一个超参数选择为例进行演示。
多线程实现逻辑封装
实例化该类后,在.object_func函数中加入自己的业务逻辑,再调用.run方法即可。
# -*- coding: utf-8 -*-
# @Time : 2021/2/4 14:36
# @Author : CyrusMay WJ
# @FileName: run.py
# @Software: PyCharm
# @Blog :https://blog.csdn.net/Cyrus_May
import queue
import threading
class CyrusThread(object):
def __init__(self,num_thread = 10,logger=None):
"""
:param num_thread: 线程数
:param logger: 日志对象
"""
self.num_thread = num_thread
self.logger = logger
def object_func(self,args_queue,max_q):
while 1:
try:
arg = args_queue.get_nowait()
step = args_queue.qsize()
self.logger.info("progress:{}\{}".format(max_q,step))
except:
self.logger.info("no more arg for args_queue!")
break
"""
此处加入自己的业务逻辑代码
"""
def run(self,args):
args_queue = queue.Queue()
for value in args:
args_queue.put(value)
threads = []
for i in range(self.num_thread):
threads.append(threading.Thread(target=self.object_func,args = args_queue))
for t in threads:
t.start()
for t in threads:
t.join()
模型参数选择实例
# -*- coding: utf-8 -*-
# @Time : 2021/2/4 14:36
# @Author : CyrusMay WJ
# @FileName: run.py
# @Software: PyCharm
# @Blog :https://blog.csdn.net/Cyrus_May
import queue
import threading
import numpy as np
from sklearn.datasets import load_boston
from sklearn.svm import SVR
import logging
import sys
class CyrusThread(object):
def __init__(self,num_thread = 10,logger=None):
"""
:param num_thread: 线程数
:param logger: 日志对象
"""
self.num_thread = num_thread
self.logger = logger
def object_func(self,args_queue,max_q):
while 1:
try:
arg = args_queue.get_nowait()
step = args_queue.qsize()
self.logger.info("progress:{}\{}".format(max_q,max_q-step))
except:
self.logger.info("no more arg for args_queue!")
break
# 业务代码
C, epsilon, gamma = arg[0], arg[1], arg[2]
svr_model = SVR(C=C, epsilon=epsilon, gamma=gamma)
x, y = load_boston()["data"], load_boston()["target"]
svr_model.fit(x, y)
self.logger.info("score:{}".format(svr_model.score(x,y)))
def run(self,args):
args_queue = queue.Queue()
max_q = 0
for value in args:
args_queue.put(value)
max_q += 1
threads = []
for i in range(self.num_thread):
threads.append(threading.Thread(target=self.object_func,args = (args_queue,max_q)))
for t in threads:
t.start()
for t in threads:
t.join()
# 创建日志对象
logger = logging.getLogger()
logger.setLevel(logging.INFO)
screen_handler = logging.StreamHandler(sys.stdout)
screen_handler.setLevel(logging.INFO)
formatter = logging.Formatter('%(asctime)s - %(module)s.%(funcName)s:%(lineno)d - %(levelname)s - %(message)s')
screen_handler.setFormatter(formatter)
logger.addHandler(screen_handler)
# 创建需要调整参数的集合
args = []
for C in [i for i in np.arange(0.01,1,0.01)]:
for epsilon in [i for i in np.arange(0.001,1,0.01)] + [i for i in range(1,10,1)]:
for gamma in [i for i in np.arange(0.001,1,0.01)] + [i for i in range(1,10,1)]:
args.append([C,epsilon,gamma])
# 创建多线程工具
threading_tool = CyrusThread(num_thread=20,logger=logger)
threading_tool.run(args)
运行结果
2021-02-04 20:52:22,824 - run.object_func:31 - INFO - progress:1176219\1
2021-02-04 20:52:22,824 - run.object_func:31 - INFO - progress:1176219\2
2021-02-04 20:52:22,826 - run.object_func:31 - INFO - progress:1176219\3
2021-02-04 20:52:22,833 - run.object_func:31 - INFO - progress:1176219\4
2021-02-04 20:52:22,837 - run.object_func:31 - INFO - progress:1176219\5
2021-02-04 20:52:22,838 - run.object_func:31 - INFO - progress:1176219\6
2021-02-04 20:52:22,841 - run.object_func:31 - INFO - progress:1176219\7
2021-02-04 20:52:22,862 - run.object_func:31 - INFO - progress:1176219\8
2021-02-04 20:52:22,873 - run.object_func:31 - INFO - progress:1176219\9
2021-02-04 20:52:22,884 - run.object_func:31 - INFO - progress:1176219\10
2021-02-04 20:52:22,885 - run.object_func:31 - INFO - progress:1176219\11
2021-02-04 20:52:22,897 - run.object_func:31 - INFO - progress:1176219\12
2021-02-04 20:52:22,900 - run.object_func:31 - INFO - progress:1176219\13
2021-02-04 20:52:22,904 - run.object_func:31 - INFO - progress:1176219\14
2021-02-04 20:52:22,912 - run.object_func:31 - INFO - progress:1176219\15
2021-02-04 20:52:22,920 - run.object_func:31 - INFO - progress:1176219\16
2021-02-04 20:52:22,920 - run.object_func:39 - INFO - score:-0.01674283914287855
2021-02-04 20:52:22,929 - run.object_func:31 - INFO - progress:1176219\17
2021-02-04 20:52:22,932 - run.object_func:39 - INFO - score:-0.007992354170952565
2021-02-04 20:52:22,932 - run.object_func:31 - INFO - progress:1176219\18
2021-02-04 20:52:22,945 - run.object_func:31 - INFO - progress:1176219\19
2021-02-04 20:52:22,954 - run.object_func:31 - INFO - progress:1176219\20
2021-02-04 20:52:22,978 - run.object_func:31 - INFO - progress:1176219\21
2021-02-04 20:52:22,984 - run.object_func:39 - INFO - score:-0.018769934807246536
2021-02-04 20:52:22,985 - run.object_func:31 - INFO - progress:1176219\22
来源:https://blog.csdn.net/Cyrus_May/article/details/113663802
猜你喜欢
- 目录一、两个模块二、SMTP端口三、四大步骤1、构造邮件内容2、连接邮件服务器3、登陆邮件服务器4、发送邮件四、常用场景1、纯文本邮件2、发
- 这里的Counter是指collections中的Counter,通过Counter可以实现字典的创建以及字典key出现频次的统计。然而,使
- 现在大家学习python掌握内容了解太多太多,但是最重要的不是掌握了解算法的使用,而是了解算法原理远比使用算法命令更重要,现在大家了解算法应
- # -*- coding: utf-8 -*-def insertion_sort(A): "
- python中,遍历dict的方法有四种。但这四种遍历的性能如何呢?我做了如下的测试l = [(x,x) for x in xrange(1
- 以前写过一个标签效果,外观虽然好看,但代码不太规范,实现的方法比较繁冗。需要注意的是标签的背景图,两种状态,激活的标签背景为蓝色,反之为灰色
- 问题描述:最近用jstree遇到一个问题,父节点选中时,被禁用的子节点也会选中如下解决方案:1、 将jstree升级到最新的版本,v3.3.
- python 是一门优雅的语言,有些使用方法就像魔法一样。装饰器(decorator)就是一种化腐朽性为神奇的技巧。最近一直都在使用 Tor
- Python中有哪几种方法安装第三方模块,安装Python第三方模块的方法有很多,这里介绍三种方法安装第三方模块。【方法一】: 通过setu
- csv的简单介绍CSV (Comma Separated Values),即逗号分隔值(也称字符分隔值,因为分隔符可以不是逗号),是一种常用
- 北京时间2月15日据国外媒体报道,美国知名sns网站Facebook全球活跃用户量已突破1.75亿大关。数据显示,全球20%的网民都使用Fa
- <?php //设置我们将要使用的文件 $srcurl = "http://localhost/index.php"
- 我相信站长们做网站的最终目的还是想要获得收入的,我想象站长们大部分的都做Google的联盟的,我相信站长中大部分的人都有考虑过做英文站的,但
- SQL Server数据库快捷键:书签:清除所有书签。 CTRL-SHIFT-F2书签:插入或删除书签(切换)。 CTRL+F2书签:移动到
- fmtfmt是go语言中的格式化输入输出库,其中主要分为两个部分,分别是输出部分和输入部分。输出PrintPrint函数的主要功能是输出,和
- ORM模型:ORM模型对于后端开发来说肯定是不陌生的,包括很多后端框架比如django,现在都自带这个模型了ORM(Object Relat
- 用户管理是绝大部分Web网站都需要解决的问题。用户管理涉及到用户注册和登录。用户注册相对简单,我们可以先通过API把用户注册这个功能实现了:
- 前不久听到这样一个面试的故事:面试官:你准备在我们公司做些什么事情?(大致这个意思)面试人:我准备在公司做网站重构,把原来是table的页面
- Javascript 中的闭包其实很改语言中很难理解的一部分。感谢 Stuart 提供了那么棒的 PPT,它深入浅出的解释了 Javascr
- 如果你使用过大部分,那么你的ASP功力应该是非常高的了ADO对象(太常用了):ConnectionCommandRecordSetRecor