Python3+cgroupspy安装使用简介
作者:阿风小子 发布时间:2022-11-13 15:11:21
一、系统资源使用限制的必要性探讨
对于一个脚本,最基础的限制是要限制单进程实例以保证了不会存在多个进程实例、在运行程序主体逻辑前检测系统资源剩余量确保自己不是压夸系统的最后一根稻草、设置程序运行超时时间以保证进程实例不会无休止地运行下去。
进一步,在部署有可用性要求较高的服务的主机中,我们还需要关注脚本运行期间占用的系统资源的问题,我们需要一种途径限制脚本对cpu、内存、io等系统资源的用量,以防止脚本对这些关键服务造成影响。
二、cgroups简介
2.1背影简介
cgroups是Control groups的简称,是Linux内核提供的一种限制进程使用和种系统资源的特性。
最早的cgroups来自于谷歌工程师Paul Menage和Rohit Seth开发的“处理容器”特性,他们的工作在2008年布的Linux2.6.24版本被集成,此亦即所谓的cgroupsV1版本。
在此之后各种不同的特性被添加到cgroups之上,在丰富cgroups功能的同时,也使其出现复杂化和不一致的问题。基于此原因,Tejun Heo对cgroups进行了重写此即cgroupsV2,在Linux 3.10开始被集成在Linux 4.5正式发布。
在预期上V2是V1的替代,但为了兼容两者可以同时存在。在后边的介绍中没有特别说明指的都是cgroupsV2。
2.2使用简介
在表现形式上,cgroups是一个文件系统,通常是挂载在/sys/fs/cgroup目录下,可以使用df -h直接查看
该目录下的每一个子文件夹就代表一种资源,要限制该项资源就在相应的文件夹下进行配置。
比如限制cpu就在cpu,cpuacct文件夹下进行配置、限制io就在blkio文件夹下进行配置、限制内存就在memory文件夹下进行配置。
在文件夹下的每个文件就是该项资源的一个指标,对各指标进行配置,最后在tasks中写入想要限制的目标进程的pid,linux内核即会按配置对这个进程进行限制。
但我们可能会想对不同的进程进行不同的限制,这是一个普遍的需求。所以我们一般不直接修改各资源文件夹下的文件,而是在资源文件夹下为我们的目标进程单独创建一个文件夹,但使用mkdir创建文件夹时系统会自动在该文件夹下生成各资源指标的配置文件。而要删除时,直接使用rmdir删除文件夹即可。
2.3配置实现示例
示例一,限制pid为1234的进程最多只能使用一个核的90%算力。
pid_num=1234
cgroup_base_dir="/sys/fs/cgroup"
resource_dir="cpu,cpuacct"
self_define_dir="test_process"
target_path="${cgroup_base_dir}/${resource_dir}/${self_define_dir}"
# 先在cpu配置文件夹下再单独创建一个文件夹
mkdir ${target_path}
# 设置时段长度,单位微秒。这里设置成1000000微秒,即1秒
echo 1000000 > ${target_path}/cpu.cfs_period_us
# 设置在该时间段内最多能使用的时间,单位微秒。这里设置成900000,即0.9秒。
# 当cpu.cfs_quota_us比cpu.cfs_period_us大时表示可以使用多个cpu核
echo 900000 > ${target_path}/cpu.cfs_quota_us
# 对进程进行限制
echo ${pid_num} >> ${target_path}/tasks
示例二,限制pid为1234的进程对设备号为252:0的磁盘的读写速度最高都只能为5M
pid_num=1234
# 这里设备号是给定的,可使用lsblk查看自己磁盘的设备号
device_num=252:0
limit_read_rate=5242880
limit_write_rate=5242880
cgroup_base_dir="/sys/fs/cgroup"
resource_dir="blkio"
self_define_dir="test_process"
target_path="${cgroup_base_dir}/${resource_dir}/${self_define_dir}"
# 先在cpu配置文件夹下再单独创建一个文件夹
mkdir ${target_path}
# 限制读速度,单位B每秒。
echo "${device_num} ${limit_read_rate}" > ${target_path}/blkio.throttle.read_bps_device
# 限制写速度,单位B每秒。
echo "${device_num} ${limit_write_rate}" > ${target_path}/blkio.throttle.write_bps_device
# 对进程进行限制
echo ${pid_num} >> ${target_path}/tasks
示例三,限制pid为1234的进程最多只能使用1G的内存
pid_num=1234
limit_memory_byte=1024000000
cgroup_base_dir="/sys/fs/cgroup"
resource_dir="memory"
self_define_dir="test_process"
target_path="${cgroup_base_dir}/${resource_dir}/${self_define_dir}"
# 先在cpu配置文件夹下再单独创建一个文件夹
mkdir ${target_path}
# 限制内存用量大小,单位B。
echo ${limit_memory_byte} > ${target_path}/memory.limit_in_bytes
# 对进程进行限制
echo ${pid_num} >> ${target_path}/tasks
2.4关于配置的一些说明
所有配置项,如果有多条配置,那么使用换行进行分隔;包括tasks的进程pid也一样。
cgroups的配置有一定的主动排错功能,如果配置错误会拒绝写入。比如上边限制磁盘读写速率的配置中,如果你不存在设备号为252:0的设备那么配置写入会失败。
cgroups的进程限制有一定的自适应功能。比如你限制了一个进程那么其子进程也会被自动加入到tasks中一起限制,如果一个进程结束那么其pid会被自动移出tasks。
三、cgroupspy安装使用
如果考虑不受拘束我们可以按第二大节所说自己实现资源限制,但如果考虑简单性和健壮性可以直接使用别人写好的库;cgroupspy是cgroups配置的python实现。
项目主页:https://github.com/cloudsigma/cgroupspy
3.1安装
直接pip安装即可:
pip install cgroupspy
3.2使用示例(以限制内存为例)
from cgroupspy import trees
pid_num = 1234
resource_item = "memory"
group_name = "test_process"
limit_memory_byte = 1024000000
# 实例化一个资源树
t = trees.Tree()
# 获取内存配置对象
memory_limit_obj = t .get_node_by_path("/{0}/".format(resource_item))
# 创建一个test_process组(在实际上,即文件夹)
test_process_group = memory_limit_obj.create_cgroup(group_name)
# 限制内存用量。相对于实际的文件少了memory前辍
test_process_group.controller.limit_in_bytes = limit_memory_byte
# 限制进程
test_process_group.controller.tasks = pid_num
参考:
https://en.wikipedia.org/wiki/Cgroups
https://man7.org/linux/man-pages/man7/cgroups.7.html
来源:https://www.cnblogs.com/kn-zheng/p/17361085.html


猜你喜欢
- 前言:这个先来创建一个模块,名称为christmastree,在该模块中,首先定义一个全局变量,然后创建一个名称为fun_christmas
- 1.示例树的一些属性:层次性:树是按层级构建的,越笼统就越靠近顶部,越具体则越靠近底部。一个节点的所有子节点都与另一个节点的所有子节点无关。
- 前几天项目在运行的时候数据库数据插入突然报:ORA-01653: unable to extend table HSDC.ADDRESS b
- 目录1. 前言2. 准备3. 实战1、获取目标应用的包名及初始化 Activity2、获取所有在线的设备3、群控打开目标应用4、封装执行步骤
- 运用webbrowser库中的一个函数实现自动打开浏览器:webbrowser.open(http://blog.csdn.net/ares
- 今天,发现了一个之前从未注意的角落,相信能够大大提高自己写JS的速度。能够迅速发现错误。例如,今天的加班中调试一个js错误发现的一个例子。1
- wxml文件中: <!--倒计时 --> <view class="countDownTimeVie
- 前言1.基准测试(benchmarking)是性能测试的一种类型,强调的是对一类测试对象的某些性能指标进行定量的、可复现、可对比的测试。进一
- Oracle物理结构故障是指构成数据库的各个物理文件损坏而导致的各种数据库故障。这些故障可能是由于硬件故障造成的,也可能是人为误操作而引起。
- 本文实例讲述了Python实现统计代码行的方法。分享给大家供大家参考,具体如下:参加光荣之路测试开发班已三月有余,吴总上课也总问“ 咱们的课
- 很神奇的一个晚上,居然在以前老同事的群里跟同事讨论起CSS的东西来了,不过很意外的还是有收获。在IE中常常会碰到如果将容器定位后,出现容器内
- Numpy是python常用的一个类库,在python的使用中及其常见,广泛用在矩阵的计算中,numpy对矩阵的操作与纯python比起来速
- 一、求算术平方根a=x=int(raw_input('Enter a number:'))if x >= :while
- 实现搜索历史-[即时自动补全&联想搜索]无论是新闻、内容、还是电商平台,联想输入已经成为搜索功能的标配,早已不是什么新鲜事物。我们随
- 列表1~n输出步长为3的分组print([[x for x in range(1,101)][i:i+3] for i in range(0
- 入职第一家公司做开发的时候使用的项目版本管理工具是svn,公司内部搭建的服务器;在第二、第三家公司做开发的时候,使用的项目版本管理工具是Gi
- [本站原创]在我们浏览了一些网页时,经常会弹出一些信息窗口或浏览器窗口以显示一些公告内容,想知道这些窗口是怎么制作出来的吗?如果你还不曾知道
- 本文实例分析了Python操作Access数据库基本步骤。分享给大家供大家参考,具体如下:Python编程语言的出现,带给开发人员非常大的好
- 说明1. 使用google翻译服务获得翻译和语音;2. 使用mplayer播放获得的声音文件,因此,如果要播放语音,请确保PATH中能够找到
- 1 通过System.DBNull判断,网上大部分都使用这个方法。DataTable dt;