深入浅析python定时杀进程
作者:Focustc 发布时间:2021-10-23 17:14:15
之前写了个python脚本用selenium+phantomjs爬新帖子,在循环拉取页面的过程中,phantomjs总是block住,使用WebDriverWait设置最长等待时间无效。用firefox替换phantomjs无改善
因为这个脚本不会长期使用,因此采取临时办法,新开一个子线程固定周期杀死phantomjs进程,这样selenium就会在block最多不超过此周期后返回。当然在爬虫脚本中做一些微调防止部分url被跳过
定时执行任务采用sched模块,很多人将其与crontab相提并论
杀死特定进程的命令
kill -9 pid命令可以无条件终止对应pid进程
获取名为phantomjs的进程pid
ps命令列出进程信息
grep过滤得指定名字的进程信息
awk '{print $2}'提取第二列pid信息
最终命令为:kill -9 `ps -aux|grep phantomjs|awk '{print $2}'`
python可以用os.system()执行shell命令
使用sched模块周期执行任务
sched模块使用heapq保存event队列,其event为namedtuple类型
sched需要提供两个函数,一个用来获取时间变化,一个用于等待一段时间,可自定义
基本API
sched.scheduler(time_func, sleep_func) 函数返回一个scheduler对象,timefunc是一个返回数字的计时函数,而sleepfunc可接受此数字参数,并延时相应时间
scheduler.enter(delay, priority, action, argument)在delay时间段后,用参数argument调用action, argument必须是一个tuple。若要在固定时刻运行,则应调用scheduler.enterabs
scheduler.cancel(event)取消定时任务。event为enter函数返回值
scheduler.run()开始执行
任务时间重叠
在执行任务时有可能要block一段时间,任务返回后可能已经超过下一个任务的定时时刻,这种情况下会立刻执行下一个任务,而不会跳过
周期执行
类似于递归调用,写一个wrapper function,在任务里面再次定时下一次任务即可
def wrapper(func, delay):
scheduler.enter(delay, 0, wrapper, (func, delay))
func()
最终代码
import os, time, sched
schedule = sched.scheduler(time.time, time.sleep)
cmd = '''kill -9 `ps -aux|grep phantomjs|awk '{print $2}'`
'''
def recycle_eval(c, inc):
schedule.enter(inc, 0, recycle_eval, (c, inc))
os.system(c)
print time.ctime(),'phantomjs killed'
if __name__ == '__main__':
inc = 180
schedule.enter(inc, 0, recycle_eval, (cmd, inc))
schedule.run()
以上所述是小编给大家介绍的python定时杀进程的相关知识,希望能够帮助到大家!


猜你喜欢
- 今天尝试着将引用文献的格式按照IEEE的标准重新排版,感觉手动一条一条改太麻烦,而且很容易出错,所以尝试着用Python写了一个小程序用于根
- 我写的这个程序import tensorflow as tfsess=tf.InteractiveSession()x=tf.Variabl
- 借助zookeeper可以实现服务器的注册与发现,有需求的时候调用zookeeper来发现可用的服务器,将任务均匀分配到各个服务器上去.这样
- 下面的表格中列出了已经学习过的数据类型,也是python的核心数据类型之一部分,这些都被称之为内置对象。对象,就是你面对的所有东西都是对象,
- 本文实例讲述了Python实现判断字符串中包含某个字符的判断函数。分享给大家供大家参考,具体如下:#coding=utf8#参数包含两个:#
- 本文实例讲述了MySQL数据库优化技术的配置方法。分享给大家供大家参考,具体如下:(一)减少数据库访问对于可以静态化的页面,尽可能静态化对一
- 我们知道numpy.ndarray.reshape()是用来改变numpy数组的形状的,但是它的参数会有一些特殊的用法,这里我们进一步说明一
- validator库参数校验若干实用技巧在web开发中一个不可避免的环节就是对请求参数进行校验,通常我们会在代码中定义与请求参数相对应的模型
- 1、何为计算属性:大白话讲就是计算出来的结果保存在属性当中,可以想象为缓存。<!DOCTYPE html><html la
- Vuex实现购物车功能(附:效果视频),供大家参考,具体内容如下功能描述:加购删除加减全选反选选中计算总价存储整体演示效果如下:首先介绍一下
- 这一次将使用pymysql来进行一次对MySQL的增删改查的全部操作,相当于对前五次的总结:先查阅数据库:现在编写源码进行增删改查操作,源码
- 前言:如何悄悄的打开朋友的摄像头,看看她最近过的怎么样,嘿嘿!这次让我带你们来实现这个功能。注: 这个程序仅限在朋友之间开玩笑,别去搞什么违
- 在制作一个 Python 分发包时经常需要把一些文件添加到包中。最常见的例子是你希望通过 pip install 命令安装 Pyt
- 总体跟官方样例相似,但是官方样例因为部分代码有误无法运行,同时需要了解json,以及前后端知识需要一些时间,因此供大家参考。这个是views
- 转自http://rookiefly.cn/detail/69作死小能手这两天闲着没事,把自己电脑重装了,然而重装过后配置开发环境踩了一些坑
- 第一、几种常用方法读取TXT文档:urlopen()读取PDF文档:pdfminer3k第二、乱码问题(1)、from urllib.req
- 首先解释几个概念:TCP:TCP是因特网中的传输层协议,使用三次握手协议建立连接。IP:Internet Protocol协议的英文名直译就
- SQL2005 Express 没了「企业管理器」和「查询分析器」 SQL2005 分五个版本,如下所列: 1.Enterprise(企业版
- 简介str是采用Unicode编码方式的序列,主要用于显示bytes是字节序列,主要用于网络和文件传输bytearray和bytes是一样的
- Python中一切都是对象。类提供了创建新类型对象的机制。这篇教程中,我们不谈类和面向对象的基本知识,而专注在更好地理解Python面向对象