浅谈python多线程和队列管理shell程序
作者:hebedich 发布时间:2023-05-18 05:58:25
标签:python,多线程
首先来描述下环境,在机器上有很多个JAVA程序,我们在每个JAVA程序里都配置了一个启动|停止|重启的脚本
举个例子:
我们现在要同时运行这些脚本,来达到快速启动所有的JAVA程序,如果我们只用多线程的话,线程是不会返回消息给父进程,我们如何才能知道这些程序是启动成功了呢?
所以我们用到了队列来管理。
"""我试过gevent,但是会在command这里造成阻塞"""
gevent代码如下 如果有朋友知道如何优化,请您告诉我
#!/usr/bin/python2.7
# -*- coding:utf-8 -*-
import os,sys
from datetime import datetime
import commands
import gevent.monkey
gevent.monkey.patch_os()
import gevent
def Servers():
servers=commands.getoutput('''ls /data/program/payment/ | grep 'payment' ''')
servers=servers.split('\n')
return servers
def handle(servername):
if sys.argv[1] == 'start' or sys.argv[1] == 'stop' or sys.argv[1] == 'restart':
print '\033[1;31;40m'
print '========================>>>go to handle %s<<<=========================' %servername
print '\033[0m'
r=commands.getoutput('''su - tomcat -c "/data/program/payment/%s/bin/server.sh %s &" ''' %(servername,sys.argv[1])) #在这里会阻塞,我们无法找到合适的地方进行协程的切换
gevent.sleep(0) #无论放到何处,不是之前就是切换之后都会阻塞。
print r
else:
print 'Please Use start | stop | restart To Handle The Command'
sys.exit(1)
if __name__ == '__main__':
s=Servers()
threads=[]
for i in s:
threads.append(gevent.spawn(handle,i))
# print threads
gevent.joinall(threads)
多线程代码如下
#!/usr/bin/python2.7
# -*- coding:utf-8 -*-
from datetime import datetime
import commands
from Queue import Queue
from threading import Thread
_sentinel = object()
def Servers():
servers=commands.getoutput('''ls /data/program/payment/ | grep 'payment' ''')
servers=servers.split('\n')
return servers
def producer(servername,out_q):
if sys.argv[1] == 'start' or sys.argv[1] == 'stop' or sys.argv[1] == 'restart':
print '\033[1;31;40m'
print '========================>>>put %s in Queue<<<=========================' %servername
print '\033[0m'
out_q.put_nowait(commands.getoutput('''su - tomcat -c "/data/program/payment/%s/bin/server.sh %s &" ''' %(servername,sys.argv[1]))) #放入队列的对象
else:
print 'Please Use start | stop | restart To Handle The Command'
sys.exit(1)
def consumer(servername,in_q):
n=len(servername)
while n > 0: #循环在队列中取结果,直到循环结束
data=in_q.get()
n -= 1
print '\033[1;31;40m'
print data
print '\033[0m'
print '\033[1;31;40m'
print 'consumer was done!!!!!!!'
print '\033[0m'
if __name__ == '__main__':
s=Servers()
q = Queue()
t1 = Thread(target=consumer, args=(s,q,)) #消费者在队列中获取结果,前面的函数内部已经循环获取
for i in s:
t2=Thread(target=producer, args=(i,q,)) #讲线程进行管理,放入队列
t2.start() #启动生产者线程
# t2.join() #启动生产者以后放弃校验线程是否结束,进行并发,因为我们是把线程放入队列进行管理的,所以不用在这里等待线程结束,如果使用了join这里会阻塞我们的程序。线程结束后,消费者会通知父进程线程已经结束。
t1.start() #启动消费者线程
t1.join() #在获取完成之前进行线程的阻塞
简单的说下join这个方法:
调用Thread.join将会使主调线程堵塞,直到被调用线程运行结束或超时。参数timeout是一个数值类型,表示超时时间,如果未提供该参数,那么主调线程将一直堵塞到被调线程结束。
以上所述就是本文的全部内容了,希望大家能够喜欢。
0
投稿
猜你喜欢
- 本文的asp xmlhttp类,使用asp的MSXML2.ServerXMLHTTP组件来获取远程音乐文件。类定义 Cls_AspHttp.
- 看看上一篇《javascript设计模式交流(一)Singleton Pattern》本文将讨论Prototype Pattern的js实现
- 单线程+多任务异步协程协程在函数(特殊函数)定义的时候,使用async修饰,函数调用后,内部语句不会立即执行,而是会返回一个协程对象任务对象
- 代码如下:Set Catalog_object= Server.CreateObject("ADO
- 本文实例讲述了Python计算程序运行时间的方法。分享给大家供大家参考。具体实现方法如下:import timedef start_slee
- 去掉html中的table代码 Function OutTable(str) dim a,re&nb
- 最近在学习python,做一些python练习题github上几年前的练习题有一题是这样的:使用 Python 实现:对着电脑吼一声,自动打
- 最早大家都没有给链接加title的习惯,后来因为w3c标准普及,又集体加上了title。从一个极端走到另个极端,于是出现很多怪异现象。两方面
- 每个 batch 前清空梯度,否则会将不同 batch 的梯度累加在一块,导致模型参数错误。然后我们将输入和目标张量都移动到所需的设备上,并
- 我们在工作中经常强调沟通能力,和产品、开发、测试等不同角色的人需要沟通,和领导、同事需要沟通,沟通是一个双向的过程,而沟通首先需要双方有良好
- 今天好不容易闲下来半天,所以和大家分享一下我之前总结的一套Web UI 设计命名规范,也就是网站用户界面设计(俗称网页设计)命名规范。这套规
- asp之家注:那么为什么要使用分页呢?当记录不多的时候,如10个或20个,我们可以也没必要使用分页来显示数据,但是数据是在不断增加的,当到了
- 今天看了微软JScript官方blog上去年的两篇文章: http://blogs.msdn.com/jscript/archive/200
- 基于smtplib包制作而成,但在实践中发现一个不知道算不算是smtplib留的一个坑,在网络断开的情况下发送邮件时会抛出一个socket.
- js给span标签赋值的方法?一般有两种方法:第一种方法:输出html<body onload="s()">
- 程序能实现什么a.完成gap值的自定义输入以及两条需比对序列的输入b.完成得分矩阵的计算及输出c.输出序列比对结果d.使用matplotli
- IE6这个东东在前端开发者的眼中恐怕都是一个恶梦之地,我说它万恶想来没人反对吧。依据现在卡当网的访问统计数据来看,从IE6来的访问量还是占到
- 好久没有更新过PyQt5相关的专题了,今天正好有空就做一个文件、文件内容检索的小工具。目的是为了能够很快的完成的在任意磁盘路径下找到我们需要
- 一、背景有一段代码,因为调用了封装的方法,所以会有一些本来不需要的返回值。这些返回值该怎么处理才能让它消失呢。有的人会说,清除变量不就好了吗
- ttk控件的width-height设置tkinter中窗口,框架容器,控件如果不设置宽度高度,则会根据其中的内容自动设置宽度高度框架容器设