Python重新加载模块的实现方法
作者:codePande 发布时间:2021-07-05 16:05:18
importlib 模块的作用
模块,是一个一个单独的py文件 包,里面包含多个模块(py文件)
动态导入模块,这样就不用写那么多的import代码, 典型的例子: 自动同步服务,每个网站都有一个py文件。主进程里收到同步任务,根据名称来动态导入对应的py文件,这样就不用写那么多的import代码。(有点类似java的工厂方法)
但是,importlib并不能解决我在线修改py源码,再不重启进程的情况下,使修改生效。 这种情况,可以使用reload()
reload方法
为防止两个模块互相导入的问题,Python默认所有的模块都只导入一次,如果需要重新导入模块, Python2.7可以直接用reload(),Python3可以用下面几种方法:
方法一:基本方法 from imp import reload reload(module)
方法二:按照套路,可以这样 import imp imp.reload(module)
方法三:看看imp.py,有发现,所以还可以这样 import importlib importlib.reload(module)
方法四:根据天理,当然也可以这样 from importlib import reload reload(module)
在多进程的 程序中,一个进程的reload是无法影响另一个进程的
例子:
# 在主进程中启动多进程
def begin():
""" 启动多进程 """
plist = []
for i in xrange(Num_process):
p = Process(target=pre_run)
p.start()
plist.append(p)
# 此进程监听redis消息,收到消息,即执行reload方法
p = Process(target=reload_spider)
p.start()
plist.append(p)
for p in plist:
p.join()
# 监听redis,执行reload方法
def reload_spider():
""" 监听文件变化,自动reload """
rconn = redis.Redis(host=settings.REDIS_HOST, port=settings.REDIS_PORT, db=settings.REDIS_DB, password=settings.REDIS_PW)
while True:
try:
key = 'reload-spider'
value = rconn.get(key)
print value
if value == '1':
crawler_module = importlib.import_module('crawlers.%s' % 'temp'.lower())
reload(crawler_module)
crawlerClass = getattr(crawler_module, 'temp'.upper())
print 'reload_spider 中的class: %s' % (crawlerClass.name)
# rconn.delete(key)
except Exception, e:
pass
time.sleep(3)
另一个进程打印py文件里面一个变量
crawler = get_crawler_from_factory(mq_service, message)
print crawler.name
结果发现,一个进程中进行了reload,并不能改变另外一个进程中的变量。那么在同一个进程中呢...
同一进程中,多线程,任一线程进行了reload操作,其他线程均受影响
def pre_run():
t = threading.Thread(target=reload_spider, name='LoopThread')
t.start()
# t.join()
""" 在每个进程里面再使用多线程 """
pool = ThreadPool(Num_Thread)
# 初始化mq通道
mq_service = RabbitMqService()
def callback(ch, method, properties, body):
# 消息确认
mq_service.input_channel.basic_ack(delivery_tag=method.delivery_tag)
# 获取当前线程的名字
current_process_name = multiprocessing.current_process().name
logger.debug('当前进程名称:%s - pid: %s' % (current_process_name, os.getpid()))
logger.debug('进程 %s,收到消息: %s' % (current_process_name, body))
# 收到任务消息,丢给线程池处理
pool.apply_async(run, (properties, body, mq_service))
# 开始监听入口通道
mq_service.receive(callback)
reload_spider中监听redi中的消息,如果有reload标识,进行reload操作
def reload_spider():
""" 监听文件变化,自动reload """
rconn = redis.Redis(host=settings.REDIS_HOST, port=settings.REDIS_PORT, db=settings.REDIS_DB, password=settings.REDIS_PW)
while True:
try:
key = 'reload-spider'
value = rconn.get(key)
print value
if value == '1':
crawler_module = importlib.import_module('crawlers.%s' % 'temp'.lower())
reload(crawler_module)
crawlerClass = getattr(crawler_module, 'temp'.upper())
print 'reload_spider 中的class: %s' % (crawlerClass.name)
# rconn.delete(key)
except Exception, e:
pass
time.sleep(3)
经测试,其他线程中的引入的变量,也改变了。
当然,消息监听最好使用mq或者是redis阻塞队列
来源:https://blog.csdn.net/m0_37607365/article/details/79889906
猜你喜欢
- 一、is_numberic函数简介国内一部分CMS程序里面有用到过is_numberic函数,我们先看看这个函数的结构bool is_num
- 正常情况下,当我们定义了一个class,创建了一个class的实例后,我们可以给该实例绑定任何属性和方法,这就是动态语言的灵活性。先定义cl
- 简介查看百度搜索中文文本聚类我失望的发现,网上竟然没有一个完整的关于Python实现的中文文本聚类(乃至搜索关键词python 中文文本聚类
- 互联网的真正算得上成功的产品屈指可数,每年都有成千上万个新网站出现,同时也有成千上万的网站死去,而那些算得上成功的产品,无不是从这些尸骨堆里
- 之前我们曾经分享过:Python获取某一日期是“星期几”的6种方法!实际上,在我们使用Python处
- 简介SSH,Secure Shell,安全外壳协议,用于远程登录会话SFTP,Secret File Transfer Protocol,安
- 一、list 合并第一种方法:a =[91,95,97,99]b =[92,93,96,98]c = a+b # 合并c.sor
- 二维码是用某种特定的几何图形按一定规律在平面(二维方向上)分布的、黑白相间的、记录数据符号信息的图形。二维码被称为快速响应码,可能看起来很简
- 本文研究的主要是Python生成器及其应用,具体如下。一、定义可以理解为一种数据类型,这种数据类型自动实现了迭代器协议(其他的数据类型需要调
- 1、顺序表介绍顺序表是最简单的一种线性结构,逻辑上相邻的数据在计算机内的存储位置也是相邻的,可以快速定位第几个元素,中间不允许有空,所以插入
- 本文实例讲述了Python实现对字符串的加密解密方法。分享给大家供大家参考,具体如下:需求是是要将密码存在数据库里,所以要加密解密是可逆的,
- python正则表达式 匹配反斜杠正则 需要把原始字符串不被转义的条件下传递给正则模块,正则再去转义。 r表示r后面的字符串为原始字符串,防
- 前言使用pandas进行数据分析的时候,我们经常需要对DataFrame的行或者列进行索引。使用pandas进行索引的方法主要有三种:直接使
- 前言:网上搜到了一些关于手势处理的实验,我在这儿简单的实现一下,主要运用的知识就是opencv,python基本语法,图像处理基础知识。获取
- 一、Background当想将照片序列合成延时摄影视频时,可能会发现照片中缺少一张,或者照片序列是跨时间、并不连续的,如图1所示,但PR中只
- optimizer.param_groups: 是长度为2的list,其中的元素是2个字典;optimizer.param_groups[0
- 最近做接口对接,遇到了.net开发的webservice接口,因为python第一次与webservice对接,连问带查,最后使用suds库
- 导语哈喽哈喽!大家好!我是木木子,又到了每日游戏更新环节!8月30日,对暑假还意犹未尽的孩子们收到了一份“开学大礼”:通知要求,严格限制向未
- 想学习Python的同学们,在这里隆重介绍一款 Python 的开发工具 pyCharm IDE。这是我最喜欢的 Python编辑器利器。而
- 目录问题注意总结问题如何在一张表上对多个表进行外键关联from django.db import modelsclass Appliance