python设置检查点简单实现代码
作者:mdxy-dxy 发布时间:2023-09-25 19:08:44
标签:python,检查点
说检查点,其实就是对过去历史的记录,可以认为是log.不过这里进行了简化.举例来说,我现在又一段文本.文本里放有一堆堆的链接地址.我现在的任务是下载那些地址中的内容.另外因为网络的问题或者网站的问题,每次下载可能不会非常的成功.有可能出现断链或者socket异常错误。不过不管产生什么样的错误,我都希望我的程序能够一直跑下去。或者能停掉后,继续从为下载的链接处跑。而不是从开始的地方跑。这个问题非常简单。因为这些链接是上下文无关的(上下文有关的情况要另外分析)。所以我只要记录程序运行停止前的最后一条,就有希望能够延续前面的工作。这里实现中使用的是记录原有的链接,大家也可以使用计数器的方法来记录。代码如下:
# 这个异常是原文本内容中未出现检查点内容出现造成的
class CheckPointMissContentError:
pass
# 将文件读取指针fd移至到检查点对应的内容处
# check point 的规则为,读取文件一行或者多行,进行操作后,将此一行或多行送入
# 检查文件check_point中。以后再次运行程序,即可从该检查点处继续运行。
def GoCheckPoint(fd,check_point):
if not os.path.isfile(check_point):
f_check = open(check_point,'w')
f_check.close()
f_check = open(check_point,'r')
lines = f_check.readlines()
if len(lines) > 0:
check_content = lines[-1] #找到检查点最后一行
check_content = check_content.strip(' /n/r')
# go to check point
while True:
content = fd.readline()
if content == '': # eof
raise CheckPointMissContentError
if content.strip(' /n/r') == check_content:
break
f_check.close()#关闭检查点
有了上面一段还是不够的,需要下面的代码补充:
# 伪代码
def Download(downloadlist,sleep_time):
if os.path.isfile(downloadlist):
f = open(downloadlist)
# check_point file name,这里为自动生成一个检查点文件
check_point = file[0:file.rfind('.')]+'_check.txt'
Util.GoCheckPoint(f,check_point) #这就是上面代码中的GoCheckPoint函数
f_check = open(check_point,'a')# 以追加方式写入
try:
while True:
content = f.readline()
if content == '': # eof
break
content = content.strip(' /n/r')
if content != '':
# has download url
time.sleep(sleep_time)
DownloadOper(path,url) #这里是伪代码..可以认为是urllib.request.retrieve()函数或者是urllib.request.urlopen()啥的
# 作为响应的操作后再将内容写入检查点文件
f_check.write(content+'/n')
f_check.flush() # 必须的,否则会缓存,不会写入硬盘中
except : # 蹦个异常也不怕,以后再次按F5执行即可
raise Exception()
return Util.FAILURE # 这是我设置的常量,大家认为是0或者1就可以了
finally:
f.close()
f_check.close()# 关闭文件
print('Downloading is done........................')
return Util.SUCCESS
执行完操作之后再写入到检查点文件中。以后程序挂掉,只要检查点文件还在,就可以延续前面的工作。不过这里的检查点相对于数据库中事务处理的检查点还是太简单了点。
0
投稿
猜你喜欢
- 需求说明:通过在界面上输入春联的上、下批和横批汉字从而生成春联图像,最后将春联图片保存。有实际需要的还可以将春联打印。实现过程:实现思路是先
- 背景:准备给长辈买个手机,有关手机大小,网购平台基本只有手机尺寸和分辨率的文本数据,因而对手机屏幕大小没有直观感受,虽然网上有比较手机大小的
- 本文实例讲述了django框架实现一次性上传多个文件功能。分享给大家供大家参考,具体如下:在用django 写文件上传的时候,从reques
- 接下来我们会进入 字符串常用方法的应用阶段,重点学习字符串的内置函数。正式学习之前,我们要先了解一个词 对象 (划重点,不是男女朋友!),只
- 目录1.字典的介绍2.访问字典的值(一)根据键访问值(二)通过get()方法访问值3.修改字典的值4.添加字典的元素(键值对)5.删除字典的
- 举例如下,一个服务器端的form 代码自动被解释成客户端代码:服务器端代码: &l
- wlile循环while True表示永远为真,不管是什么条件都会向下执行,下面是写的一个例子。#!/usr/bin/env pythona
- 这篇文章主要介绍了微信小程序wxml列表渲染原理解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友
- 在工作中,有时会遇见需要将数字转换为条码的问题,每次都需要打开条码转换的网站,一次次的转换后截图,一两个还行,但是当需要转换的数量较多时,就
- SQL> show all --查看所有68个系统变量值 SQL> show user --显示当前连接用户 SQL> s
- 阅读上一章:打印样式Chapter 12 CSS布局本书到此为止,讨论的主要是页面内部元素,也就是内容,但是大结构怎么办?长久以来,设计者都
- 小的本身是一个平面设计人员,前一阵儿有一些空闲的时间,便在各个站长网上发布了贴子,大意是免费制作logo,以换取网站连接(相信很多人都看过)
- 在平时,常常会提醒自己要做一个善于发现的人,时刻发现细节,这样才会更加懂得生活、会让生活更加精彩。在学习上也是如此,我们常常会发现有很多网站
- 前几天玩了玩Google的Map API,感觉还不错,很简单。但凡有过任何编程经验的同学,看完以下的教程,都可以在10分钟内掌握它的主要功能
- 1、获取秒级时间戳与毫秒级时间戳、微秒级时间戳import timeimport datetimet = time.time()print
- 这是一个简易的员工管理系统,实现最简单的功能:1.登录用户密码验证(错误三次自动退出) 2.支持文本员工的搜索、添加、删除、修改 3.一级层
- 内容摘要合理使用渐变留白网格布局提高字体应用明确而有效的导航设计漂亮、有用的页脚介绍优秀设计和卓越设计之间的区别是比较小的。一般人可能无法解
- driver.get("url")等到页面全部加载渲染完成后才会执行后续的脚本。在执行脚本时,driver.get(&q
- 最近需要做一个围棋识别的项目,首先要将棋盘位置定位出来,效果图如下:效果图原图中间处理效果最终结果思路分析我们利用python opencv
- 如果你的Pycharm提示过期可以使用下面这个最新的Pycharm激活码,适用最新版的Pycharm 2020.2.3,老版本的Pychar