详解linux下nohup日志输出过大问题解决方案
作者:tuuuuski 发布时间:2023-11-03 18:20:49
最近在一hadoop测试集群运行一个spark streaming程序,然后使用nohup ./execute.sh & 执行让程序后台运行,才几天日志就上G了,如果有问题想要查看日志,显然打开文件是一件很麻烦的事,于是我想办法通过减小文件大小:
1、nohup命令解释:
a、语法:nohup [command] [args] [&]
b、说明:nohup 命令运行由 Command 参数和任何相关的 Arg 参数指定的命令,忽略所有挂断信号。在注销后使用 nohup 命令运行后台中的程序。要运行后台中的 nohup 命令,添加 & ( 表示“and”的符号)到命令的尾部,如果不指定重定向,则日志默认输出到当前目录下nohup.out文件中,
一般提交如 :nohup ./execute.sh & 这样日志或输出当前运行目下.nohup.out中
重定向: nohup ./execute.sh > /home/xxx/log.log 2>&1 & :这样日志会重定向到指定目录下
2 、切分nohup.out,同时不让它无限增长
我这里用的一般提交命令:nohup ./execute.sh &,这样在当前目录就有nohup.out文件了,这时候可以想办法定时将nohup.out切分成,多个小文件,但同时又要使nohup.out不会无限增长下去(一般情况下是程序不能中断的):
a、每天(根据需要设置时间),定时切分前一天的日志,(比如每天大概1g,那么可以么次切分100m左右),
b、切分完后将nohup.out文件情况,保证新的输出日志会不停的继续输出到nohup.out
以上在shell中
current_date=`date -d "-1 day" "+%Y%m%d"`
split -b 65535000 -d -a 4 nohup.out ./log/log_${current_date}_ 这里使用split命令,将nouhup文件按指定大小切分(65535000b 大概60多M吧,可以自定义大小 ),并分成指定格式(-d -a 4以4位数字形式为后缀以从0000开始,具体可以百度split命令用法),最终输出格式为log_20160610_0001
cat /dev/null > nohup.out (该命令会瞬间清空nohup.out文件,后续会继续写该文件),将日志定向到/dev/null中
使用重定向输出一样可以这样,只不过换成重定向的文件名即可
将这些命令定义在一个shell文件每天定时运行即可,这样每天日志会被分成若干份,排查也方便,而且如果日志积压过大的话。可以定时删除历史的日志,保留近几天即可
整体代码如下:
this_path=$(cd `dirname $0`;pwd)
cd $this_path
echo $this_path
current_date=`date -d "-1 day" "+%Y%m%d"`
echo $current_date
split -b 65535000 -d -a 4 /home/.../nohup.out /home/.../log/log_${current_date}_
cat /dev/null > nohup.out
来源:https://blog.csdn.net/shawnhu007/article/details/50971084
猜你喜欢
- 自带的关于网络的命令行工具很多,比如大家熟悉的Ping、Tracert、Ipconfig、Telnet、Ftp、Tftp、Netstat,还
- 相信用Discuz论坛的朋友应该都知道,Discuz论坛对搜索引擎优化的还是比较到位的。Discuz6.0 - 7.0论坛都提供了此功能,登
- 前言最近在服务器上搭建了一套Redis3.0伪分布式集群,发现一个问题,就是Shell脚本编写能力和运维工具的重要性亟待提高。集群环境安装1
- WSDL设计继承了以XML为基础的当代Web技术标准的开放设计理念。它允许通过扩展使用其它的类型定义语言(不光是XMI Schema),允许
- 实例如下:#include <time.h>#ifdef WIN32# include <windows.h&
- 记事本打开httpd.conf文件 ,该文件在apache的目录下,如: D:\AppServ\Apache2.2\conf,修改如下两处:
- 一、系统安全记录文件操作系统内部的记录文件是检测是否有网络入侵的重要线索。如果您的系统是直接连到Internet,您发现有很多人对您的系统做
- 确保关键任务应用程序始终可用是 IT 部门提供的一项关键服务,而且“高可用性”是 Windows S
- 1、添加网页标题(title)。为每页内容写5-8个字的描述性标题。标题要简练,去掉“the,” “and,”这些不重要的词汇,要说明该页面
- 有好多朋友买了Godaddy主机后不会将数据导入到Godaddy MSSQL数据库中,犯了难,为了帮助大家我们找了一些教程,希望对大家能有帮
- 阳光总在风雨后,成功好象永远是在失败中找到。这是四月的第一场雨。清澈的雨把株洲的天空洗的非常明媚,然后清爽的阳光大把大把地散落人间。然而这样
- 随着Internet的发展,很多机构都将自己内部的网络连接到Internet上,因而网络安全问题越来越重要。一、现有防火墙技术及其局限性为了
- 现今的网络,安全越来越受到大家的重视,在构建网络安全环境时,在技术手段,管理制度等方面都逐步加强,设置防火墙,安装入侵检测系统等等。但网络安
- 垂直搜索是针对某一个行业的专业搜索引擎,是搜索引擎的细分和延伸,是对网页库中的某类专门的信息进行一次整合,定向分字段抽取出需要的数据进行处理
- 在各大Web 2.0标杆网站、门户网站及电信运营商的推动下,2008年作为中国互联网SNS元年,SNS在国内的发展异常火暴。2009年,UC
- 每年网络上都会有一股热潮。Web2.0热潮过去了,留下了一大堆以论坛为主的站点。视频热潮又来了,先是56、tudou、youku、ku6和六
- 作为中国千千万万草根中的一个,我深感荣幸,因为这么多人参与,正说明了这个行业是如此的朝阳。哈哈废话少说。其实刚开始对地方分类网站了解不多,初
- 代理服务器在目前的网络环境中应用较广,并在Internet里扮演着一个很重要的角色。今天我就给大家介绍一种在LINUX环境下架设代理服务器的
- Google是我最喜欢的搜索引擎,我被Google的精神而折服,被Google的文化而感染,我可以说是Google的超级粉丝之一了,今天看了
- 10月27日消息,今日有消息称《魔兽世界》第二部资料片《巫妖王之怒》(Wrath of the Lich King)将于今年11月中旬发布,