Python系统公网私网流量监控实现流程
作者:Rainbowhhy 发布时间:2022-05-16 07:55:39
目前很多公司业务已经上云,使用了大量的云主机。当前大多数云厂商的云主机公网都是采用的eip,也就是内网和外网使用的同一张网卡,所以流量全部经过的同一个网卡。然而这就面临一个问题,如何将公网和私网的流量分开统计呢?特别是当机器流量异常的时候,如何快速的判断流量是来自公网还是私网。当然云厂商一般也提供了eip的监控,然而很多公司也有一套自己的监控,对于自建监控如何实现,这就值得思考了。
本文将采用python实现云主机的公网和私网流量分开统计,可以将结果输入到自建监控中,当发生业务故障时,可以快速定位问题。
1. iftop
iftop是linux系统下面一个监控主机与外部通信的工具,它可以实时监控本机与外部机器的流量大小,需要自行下载安装包编译安装。iftop类似与linux系统自带的top命令,在屏幕终端动态输出监控结果。同时,iftop支持很多参数可选项,其中-t 参数使用不带ncurses的文本界面,可以实现将结果保存到文件。
2. os.popen函数
os是python的系统模块,os.popen可以调用系统的shell命令,相当于直接在shell终端执行shell命令。
3. 实现思路
使用python的os.open来调用iftop命令获取到和主机通信的所有ip的流量大小。然后分别分析公网和私网的流量,将各自的流量之和统计起来,从而实现分别监控系统的公网和私网流量。
4. 代码实现
# -*- coding:utf-8 -*-
"""
@Author: Rainbowhhy
@Date: 2020-11-14 15:16:18
"""
import os, re
def is_public_ip(ip):
# 判断ip是公网还是私网
private = re.findall(
r'^((192\.168)|(198\.18)|(198\.19)|(10\.(1\d{2}|2[0-4]\d|25[0-5]|[1-9]\d|\d))|(172\.(1[6-9]|2[0-9]|3[0-1])))\.(1\d{2}|2[0-4]\d|25[0-5]|[1-9]\d|\d)\.(1\d{2}|2[0-4]\d|25[0-5]|[1-9]\d|\d)$',
ip)
if private:
return 0
else:
return 1
def convert_unit(unit):
# 统一转换成bit后计算
if "Gb" in unit:
flow = float(unit.strip("Gb")) * 1024 * 1024 * 1024
elif "Mb" in unit:
flow = float(unit.strip("Mb")) * 1024 * 1024
elif "Kb" in unit:
flow = float(unit.strip("Kb")) * 1024
else:
flow = float(unit.strip("b"))
return flow
def get_traffic():
# 调用iftop命名获取公网和私网流量
iftop_info = os.popen("iftop -t -N -n -s 4 2>/dev/null | grep -A 1 -E '^ [0-9]'").read()
iftop_list = iftop_info.split("\n")
count = len(iftop_list) - 1
public_traffic_send = 0
public_traffic_recv = 0
private_traffic_send = 0
private_traffic_recv = 0
public_ips = []
private_ips = []
for i in range(int(count / 2)):
# 获取出向流量信息
traffic_send = iftop_list[i * 2]
traffic_send_lists = traffic_send.split(" ")
while "" in traffic_send_lists:
traffic_send_lists.remove("")
traffic_send = traffic_send_lists[3]
traffic_send_float = convert_unit(traffic_send)
# 获取入向流量信息
traffic_recv = iftop_list[i * 2 + 1]
traffic_recv_lists = traffic_recv.split(" ")
while "" in traffic_recv_lists:
traffic_recv_lists.remove("")
ip = traffic_recv_lists[0]
traffic_recv = traffic_recv_lists[2]
traffic_recv_float = convert_unit(traffic_recv)
# 计算公网和私网的总流量
if is_public_ip(ip):
public_ips.append(ip)
public_traffic_send += traffic_send_float
public_traffic_recv += traffic_recv_float
else:
private_ips.append(ip)
private_traffic_send += traffic_send_float
private_traffic_recv += traffic_recv_float
return public_traffic_send, public_traffic_recv, private_traffic_send, private_traffic_recv
if __name__ == '__main__':
public_traffic_send, public_traffic_recv, private_traffic_send, private_traffic_recv = get_traffic()
print("公网入向:%s" % public_traffic_recv)
print("公网出向:%s" % public_traffic_send)
print("私网入向:%s" % private_traffic_recv)
print("私网出向:%s" % private_traffic_send)
5. 输出结果截图
如下图是输出结果展示
file:///home/rainbowhhy/%E6%A1%8C%E9%9D%A2/monitor.png
来源:https://blog.51cto.com/13053917/2550792


猜你喜欢
- SELECT TABLE_SCHEMA,TABLE_NAMEFROM information_schema.`COLUMNS`WHERE C
- 本文实例讲述了Python PyInstaller库基本使用方法。分享给大家供大家参考,具体如下:概述将.py源码转换成无需源代码的可执行文
- 本文实例讲述了Python实现约瑟夫环问题的方法。分享给大家供大家参考,具体如下:题目:0,1,...,n-1这n个数字排成一个圆圈,从数字
- 前言这个系列的文章我们使用以下的顺序进行讲解:Pattern 详解;Matcher 详解;正则表达式语法详解。接下来先来介绍 Pattern
- 目录前言typeof是否能正确判断类型?instanceof是否能正确判断类型?Object.prototype.toString.call
- <script> Array.prototype.swap = function(i, j) { var temp = this
- function clearCookie(){ var keys=document.cookie.match(/[^ =;]+(?=\=)/
- 今天我们分享一个小案例,获取天气数据,进行可视化分析,带你直观了解天气情况!核心功能设计总体来说,我们需要先对中国天气网中的天气数据进行爬取
- 前言本文将介绍如何使用ONNX将PyTorch中训练好的模型(.pt、.pth)型转换为ONNX格式,然后将其加载到Caffe2中。需要安装
- 1.图像金字塔①高斯金字塔向下采样,数据会越来越少,减少的方式是:将偶数行和列删除向上采样,数据会越来越多,将图像在每个方向上扩大为原来的两
- 使用索引提高查询速度1.前言在web开发中,页面模板,业务逻辑(包括缓存、连接池)和数据库这三个部分,数据库在其中负责执行SQL查询并返回查
- 例子1:<input type="text" value="0" onkeyup="
- ''推拉门''动效也可以称作"手风琴"效果,大多数效果实现的思路基本是一样的,下面介绍两
- 南京的炎炎夏日也未能挡住书友会朋友们的参与,下午两点半我们正式开始了这个月的话题:“浏览器”。一开始大家大致上说了一些自己认为各浏览器中各自
- 这是一个获取字符串中两个子串之间的子串,如从字符串www.aspxhome.com中获取coderbolg子串,就让这个PHP函数来实现吧,
- 从PDF读取文本内容和从已经有的文档生成新的PDF。需要用到的模块是PyPDF2.mstamy2/PyPDF2: A utility to
- 本文实例为大家分享了Python实现简单层次聚类算法,以及可视化,供大家参考,具体内容如下基本的算法思路就是:把当前组间距离最小的两组合并成
- //验证文件的格式 function validateFile(){ var fileObject=$("#filename&qu
- 引言众所周知,在python中我们用try…except…来捕获异常,使用raise来抛出异常,
- 什么是recovery?在elasticsearch中,recovery指的是一个索引的分片分配到另外一个节点的过程,一般在快照恢复、索引复