用python记录运行pid,并在需要时kill掉它们的实例
作者：jingxian 发布时间：2023-07-31 17:30:18
标签：python,kill,pid
我在跑爬虫程序的时候，由于爬虫程序的等待目标服务器返回数据的时间很长，而cpu占用很低，所以经常挂着代理一跑就跑好几百个。但是爬虫程序通常是写了死循环，或直到分配给该进程的任务都跑完才退出的。如果我们想中途结束掉这些任务，是没办法手工一个一个kill掉的。那么该如何结束这些进程呢？
我的方法就是在运行爬虫进程时，记录该进程的Pid，然后在需要手动结束时，再用语句kill掉它们。
for i in {1..100}
do
nohup python NetEase_comms_proxy.py > hehe.dat 2>&1 & echo $! >> run.pid
sleep 10
done
上述语句完成了将脚本在后台运行100便，并且将pid append到run.pid文件中。其中nohup 是 no hang up的缩写命令。do…done之间是被循环的语句。
接下来就是kill掉它们的语句了，我用的python
import os
if __name__ == '__main__':
fin = open('run.pid', 'r')
pids = []
for line in fin:
pids.append(line.strip())
for pid in pids:
cmd = 'kill ' + pid
os.system(cmd)
这样就把记录下来的pid全部kill掉了。
但需要注意的一点时，如果在任务运行期间，有的进程由于完成任务或者出错而退出。其他的程序可能会share这些进程的Pid,这样如果在运行kill脚本的时候，可能附带就把这些进程也给Kill掉了，造成不必要的麻烦。
0
投稿猜你喜欢
- items()方法返回字典的(键，值)元组对的列表语法以下是items()方法的语法：dict.items()参数 &
前言：我们学习项目的时难免遇到一些问题，比如;遇到一个功能需要随机返回多条不重复的数据，也可以是拿了就用，下次再需要时已经忘记如何使用了；虽- 我们肯定都很熟悉商品购物车这一功能，每当我们在某宝某东上购买商品的时候，看中了哪件商品，就会加入购物车中，最后结算。购物车这一功能，方便消费
- 最近有个需求，用多线程比较合适，但是我需要每个线程的返回值，这就需要我在threading.Thread的基础上进行封装import thr
- Mcrypt扩展库可以实现加密解密功能，就是既能将明文加密，也可以密文还原。1.PHP加密扩展库Mcrypt安装在标准的PHP安装过程中并没
- 之前需要做一些目标检测的训练，需要自己采集一些数据集，写了一个小demo来实现图片的采集使用方法：指定name的名称，name为分类的标签按
- 前言：Matplotlib 通常与 NumPy、Pandas 一起使用，是数据分析中不可或缺的重要工具之一。Matplotlib 是 Pyt
- 相信大家都知道html和css，知道html结构和css表现分离，知道html语义化，这些都是这几年的热门关键字。语义化的html在国内也是
- 操作系统：Windows2000，IIS5出现症状：使用ASPJPEG时执行Server.CreateObject("Persit
- 脚本调试第一步：设置中断（鼠标左键点击）第二步：输入中断条件（可选功能，鼠标右键点击红点）第三步：触发中断（当符合条件是，中断被触发）出现中
- 一直以来都是链接SQL Server数据库服务但是在部署时将很麻烦，所以突发奇想，直接连接到MDF文件，刚开始还很混乱不会连接，后来向导，连
- 在日常工作中；经常会遇到这样的需求：Oracle 数据表跟文本或者文件格式进行交互；即将指定文件内容导入对应的 Oracle 数据表中；或者
- 这篇文章主要介绍了python 矢量数据转栅格数据代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要
- 在Python中可以使用paramiko模块中的sftp登陆远程主机，实现上传和下载功能。1.功能实现根据输入参数判断是文件还是目录，进行上
- 本文实例为大家分享了python傅里叶变换FFT绘制频谱图的具体代码，供大家参考，具体内容如下频谱图的横轴表示的是 频率， 纵轴表
- 亲身实践安装mysql，用时居然花费了三个小时，在有那么多教程的情况下，依然在不该花费时间的路上浪费了太多时间。希望这篇文章能够帮助大家少走
- Python 定义了类型转换函数以将一种数据类型直接转换为另一种数据类型，这在日常和竞争性编程中很有用。本文旨在提供有关某些转换函数的信息。
- 在数据处理与分析领域，对数值型与字符型类别变量加以编码是不可或缺的预处理操作；这里介绍两种不同的方法。1 OneHotEncoder首先导入
- 在任何语言中，都会规定某些对象(属性、方法、函数、类等)只能够在某个范围内访问，出了这个范围就不能访问了。这是“公”、“私”之分。此外，还会
- 导言：在前面的教程里我们探讨了如何为GridView控件添加radio buttons列。当用户最多只能选择一项数据时，我们可以在用户界面里
