网络编程
位置:首页>> 网络编程>> Python编程>> Python 写入训练日志文件并控制台输出解析

Python 写入训练日志文件并控制台输出解析

作者:SiyuanChen  发布时间:2021-10-11 01:27:10 

标签:python,写入,日志,文件,控制台,输出

1. 背景

在深度学习的任务中,通常需要比较长时间的训练,因此我们会选择离开电脑。笔者在跟踪模型表现,

观察模型accuracy 以及 loss 的时候,比较传统的方法是在控制台print输出或者直接使用tensorboard。

但如果是你需要远程观察模型表现,那一个时刻记录的log 文件就非常重要。

(如果你希望不在实验室,远程通过访问正在训练网络的服务器的Jupyter Notebook ,实时查看实验进度。请参考——远程连接服务器端Jupyter Notebook)

2. logging 函数

创建 .log 文件并将一些数据在控制台输出可以通过logging 函数实现。

废话不多,直接贴代码:一下函数可以在你想要保存日志文件的路径——output_dir下生成一个.log 文件,文件名以年.月.日.时.分命名,以免重复。


import logging
import time
import os
def log_creater(output_dir):
 if not os.path.exists(output_dir):
   os.makedirs(output_dir)
 log_name = '{}.log'.format(time.strftime('%Y-%m-%d-%H-%M'))
 final_log_file = os.path.join(output_dir,log_name)
 # creat a log
 log = logging.getLogger('train_log')
 log.setLevel(logging.DEBUG)

# FileHandler
 file = logging.FileHandler(final_log_file)
 file.setLevel(logging.DEBUG)

# StreamHandler
 stream = logging.StreamHandler()
 stream.setLevel(logging.DEBUG)

# Formatter
 formatter = logging.Formatter(
   '[%(asctime)s][line: %(lineno)d] ==> %(message)s')

# setFormatter
 file.setFormatter(formatter)
 stream.setFormatter(formatter)

# addHandler
 log.addHandler(file)
 log.addHandler(stream)

log.info('creating {}'.format(final_log_file))
 return log

3. 结果

保存后的日志文件差不多就是这样:

Python 写入训练日志文件并控制台输出解析

来源:https://www.cnblogs.com/siyuan1998/p/10886958.html

0
投稿

猜你喜欢

手机版 网络编程 asp之家 www.aspxhome.com