go程序测试CPU占用率统计ps vs top两种不同方式对比
作者:极限实验室 发布时间:2024-05-05 09:27:04
如何计算 CPU 占用率?
简单来说,进程的 CPU 占用率指的是 CPU 有多少时间花费在了运行进程上。在 Linux 系统里,进程运行的时间是以jiffies
[1]统计的,通过计算jiffies * HZ
,就可以得到进程消耗的 CPU 时间,再除以 CPU 的总时间,就可以得到进程的 CPU 占用率:jiffies * HZ / total_time
。
ps 和 top 的不同之处
ps
和top
是最常用的两种查看 CPU 占用的方式,都可以用来快速找到当前 CPU 占用率高的进程。但实际上这两个工具的统计方式是完全不同的。
我们用下面这个简单的 Go 程序来测试这两个工具的差别:
package main
import (
"bytes"
"fmt"
"strconv"
"sync"
"time"
)
var testData = []byte(`testdata`)
func testBuffer(idx int) {
m := map[string]*bytes.Buffer{}
for i := 0; i < 100; i += 1 {
buf, ok := m[strconv.Itoa(i)]
if !ok {
buf = new(bytes.Buffer)
}
for j := 0; j < 1024; j += 1 {
buf.Write(testData)
}
m[strconv.Itoa(i)] = buf
}
fmt.Println("done, ", idx)
wg.Done()
}
var wg sync.WaitGroup
func main() {
for i := 0; i < 10; i += 1 {
wg.Add(1)
j := i
go testBuffer(j)
}
wg.Wait()
fmt.Println("sleeping")
time.Sleep(time.Hour)
}
然后我们运行这个程序,通过top
和ps aux
分别查看进程的 CPU 占用情况。
top -n 1
:
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
39753 infini 20 0 14.663g 0.014t 1200 S 611.1 22.2 0:23.53 test-cpu
ps aux
:
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
infini 39881 767 39.1 26505284 25791892 pts/16 Sl+ 07:04 0:38 ./test-cpu
可以看到,ps
和top
统计的 CPU 占用率是近似的(由于时间点并不完全吻合,统计值也会有轻微差别)。两个工具的差异体现在testBuffer
结束后,top
统计的 CPU 占用率已经接近于 0,但是ps
依然统计到很高的 CPU 占用率:
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
infini 39881 82.3 42.4 28638148 27953532 pts/16 Sl+ 07:04 0:40 ./test-cpu
为什么 ps 和 top 的统计值会有差异?
这两个工具的差异来自于各自运行方式的不同:top 只能持续运行一段时间,而 ps 是立刻返回的。这个差异体现在运行top -n 1
和ps aux
时,top
是延迟后返回的,而ps
是立刻返回的。这两种不同的运行方式就会反映在两个工具的统计算法上。
文章开头我们提到,Linux 的 CPU 时间是按照jiffies
统计的,考虑到效率问题,Linux 只会统计总值,不会记录历史数据。对于 ps
来说,由于只能统计到瞬时值,这个瞬时值的统计算法就必然拿不到实时的 CPU 占用率,因为实时的占用率需要通过 (current_cpu_time - last_cpu_time) / time_duration
来得到,ps
只能统计一次,所以time_duration
为0
,也就无法计算这个占用率。实际上,ps
统计的是整个进程运行周期内的 CPU 占用率[2]:
(total_cpu_time / total_process_uptime)
对于测试程序这种短时间的占用率上升,刚开始的时候 ps
能够统计到近似准确的平均 CPU 占用率,但是 cpu 占用恢复后,ps
的统计值并不会立刻下降,而是会随着进程运行时间total_process_uptime
的增加缓慢下降。
top
命令不同, top
是通过持续运行来更新 CPU 占用率统计的。-n 1
这个参数指定 top
运行一个迭代后退出,top
命令就可以通过这个延迟来可以完成一个迭代内的 CPU 占用率统计:
(current_cpu_time - last_cpu_time) / iteration_duration
如何持续监控 CPU 占用率?
通常来说,监控系统分为采集和统计两个不同的组件,采集组件只会采集指标数值,统计功能通过数据库/Dashboard 来实现。要监控 CPU 占用率,ps
是一个非常符合采集组件行为的统计方式,每次采集都可以拿到“当前”的 CPU 占用率。但是受限于算法本身的统计方式,我们实际采集到的是平均 CPU 占用率,无法反映进程的实时状态。
以 INFINI Console为例,我们运行一个短时间的数据迁移任务负载,然后查看对应 INFINI 网关实例的 CPU 占用监控(payload.instance.system.cpu
,通过ps
方式统计当前 CPU 占用率)。可以看到,CPU 占用率会以一个曲线上升,在任务结束后会缓慢下降:
如果想持续监控实时 CPU 占用率,我们就需要借鉴top
的统计方式,采集原始的进程 CPU 时间,进而通过聚合数据来计算 CPU 占用率。
在 Linux 系统下,ps
和top
命令都会通过/proc/[PID]/stat
提供的信息来计算 CPU 占用率[2]:
## Name Description
14 utime CPU time spent in user code, measured in jiffies
15 stime CPU time spent in kernel code, measured in jiffies
16 cutime CPU time spent in user code, including time from children
17 cstime CPU time spent in kernel code, including time from children
获取到每个采样时间的进程信息后,我们就可以通过这个公式来计算采样周期内的 CPU 占用率:
delta(cpu_time) / delta(timestamp)
在 INFINI Console,我们可以通过deriative
函数来计算payload.instance.system.user_in_ms
和payload.instance.system.sys_in_ms
相对于timestamp
的占比,进而得到准确的 CPU 占用率统计。
这样,我们就可以统计到网关在运行任务负载前后的实时 CPU 占用率:
来源:https://segmentfault.com/a/1190000043820945
猜你喜欢
- swiper是我之前做前端页面会用到的一个插件,我自己认为是非常好用的。swiper提供了形式多种多样、适应各个终端的轮播图效果。本文是小编
- 简介Flv.js 是 HTML5 Flash 视频(FLV)播放器,纯原生 JavaScript 开发,没有用到 Flash。由 bilib
- select * from (select t.*, row_number() over(order by 列 desc) r from 表
- 1、官网下载地址在官网找到你想安装的版本 官网地址:https://www.python.org/并且选择下载windows版本目前最新的版
- 本文介绍了多个 Python IDE,并评价其优缺点。读者可以参考此文列举的 Python IDE 列表,选择适合自己的编辑器。写 Pyth
- 需求是小程序做头部做导航分类的效果顶部用 scroll-view 组件横向滚动,类似tab选项卡的效果,内容用类似模板方式引用,可重复利用&
- 直接上图,图文并茂,相信你很快就知道要干什么。A文件:B文件:可以发现,A文件中“汉字井号”这一列和B文件中“WELL”这一列的属性相同,以
- 最近在制作一个自己的个人博客的时候遇到这么一个问题, 在CSS中使用了相对路径来充当背景图片, 如下所示:然后将整个工程使用webpack打
- 卸载旧版本的MySQL(没有就跳过此步骤)(注:3-6步 重新安装新版本的MySQL,一定要把之前版本卸载干净,要不会出错;新的虚拟机初装M
- 如下:re.split(pattern, string, [maxsplit], [flags])pattern:表示模式字符串,由要匹配的
- 本文实例讲述了Python设计模式之观察者模式。分享给大家供大家参考,具体如下:观察者模式是一个软件设计模式,一个主题对象包涵一系列依赖他的
- 在同事那整了个免安装版的Mysql,然后添加到window服务,但是中间出现很多问题,总结一下个人经验,希望其他人不要走弯路。1)在同事那或
- 在python列表中,如果我们想要删除一个或者连续几个元素,可以使用del()方法,在numpy数组,如果想要删除元素,可以使用numpy.
- SQLSRV驱动程序允许您创建一个结果集,其中包含可以根据游标类型以任何顺序访问的行。本主题将讨论客户端(缓冲)和服务器端(非缓冲)游标及其
- python怎么打印菱形?下面给大家带来三种方法:第一种rows = int(input('请输入菱形边长:\n'))row
- 学习前言在SSD的框架中,除去tfrecord处理是非常重要的一环之外,slim框架的使用也是非常重要的一环,于是我开始学习slim啦sli
- 类、构造函数、原型先来说明一点:在上面的内容中提到,每一个函数都包含了一个prototype属性,这个属性指向了一个prototype对象(
- 本文实例讲述了python开发中range()函数用法。分享给大家供大家参考,具体如下:python中的range()函数的功能很强大,所以
- 本文实例讲述了Python编程之string相关操作。分享给大家供大家参考,具体如下:#coding=utf8'''
- 本文介绍了4个asp数据库管理中常用到的access数据库操作程序,一般的网站管理后台都提供了这个功能,方便管理员对数据库数据的管理维护。1