scrapy 远程登录控制台的实现
作者:卑微小钟 发布时间:2023-05-22 14:27:00
远程登录控制台
Scrapy附带一个内置的telnet控制台,用于检查和控制Scrapy运行过程。telnet控制台只是一个运行在scrappy进程内部的常规python shell,因此您可以从中做任何事情。
telnet控制台是一个 built-in Scrapy extension 它在默认情况下是启用的,但如果需要,您也可以禁用它。有关扩展本身的更多信息,请参阅 Telnet控制台扩展 。
警告
通过公共网络使用telnet控制台是不安全的,因为telnet不提供任何传输层安全性。拥有用户名/密码验证不会改变这一点。
预期用途是本地连接到正在运行的Scrapy Spider(Spider进程和Telnet客户端在同一台计算机上)或通过安全连接(VPN、SSH通道)进行连接。请避免在不安全的连接上使用telnet控制台,或使用 TELNETCONSOLE_ENABLED 选择权。
如何访问telnet控制台
telnet控制台侦听中定义的TCP端口 TELNETCONSOLE_PORT 设置,默认为 6023 . 要访问控制台,您需要键入:
telnet localhost 6023
Trying localhost...
Connected to localhost.
Escape character is '^]'.
Username:
Password:
>>>
默认用户名为 scrapy 密码是自动生成的。自动生成的密码可以在垃圾日志上看到,如下例所示:
2018-10-16 14:35:21 [scrapy.extensions.telnet] INFO: Telnet Password: 16f92501e8a59326
默认用户名和密码可以被设置覆盖 TELNETCONSOLE_USERNAME 和 TELNETCONSOLE_PASSWORD .
警告
用户名和密码仅提供有限的保护,因为telnet不使用安全传输-默认情况下,即使设置了用户名和密码,通信也不会加密。
您需要在Windows和大多数Linux发行版中默认安装的telnet程序。
telnet控制台中的可用变量
elnet控制台就像一个运行在scrappy进程内部的常规python shell,所以您可以从中做任何事情,包括导入新模块等。
但是,telnet控制台附带一些为方便起见而定义的默认变量:
捷径 | 描述 |
---|---|
crawler | 残废的爬虫 (scrapy.crawler.Crawler 对象) |
engine | crawler.engine属性 |
spider | 主动蜘蛛 |
slot | 发动机槽 |
extensions | 扩展管理器(crawler.extensions属性) |
stats | stats收集器(crawler.stats属性) |
settings | Scrapy设置对象(crawler.settings属性) |
est | 打印发动机状态报告 |
prefs | 内存调试(请参见 调试内存泄漏) |
p | 到的快捷方式 pprint.pprint() 功能 |
hpy | 内存调试(请参见 调试内存泄漏) |
telnet控制台使用示例
以下是使用telnet控制台可以执行的一些示例任务:
查看发动机状态
你可以使用 est() scrapy引擎使用telnet控制台快速显示其状态的方法:
elnet localhost 6023
>>> est()
Execution engine status
time()-engine.start_time : 8.62972998619
len(engine.downloader.active) : 16
engine.scraper.is_idle() : False
engine.spider.name : followall
engine.spider_is_idle() : False
engine.slot.closing : False
len(engine.slot.inprogress) : 16
len(engine.slot.scheduler.dqs or []) : 0
len(engine.slot.scheduler.mqs) : 92
len(engine.scraper.slot.queue) : 0
len(engine.scraper.slot.active) : 0
engine.scraper.slot.active_size : 0
engine.scraper.slot.itemproc_size : 0
engine.scraper.slot.needs_backout() : False
暂停、恢复和停止报废发动机
暂停:
telnet localhost 6023
>>> engine.pause()
>>>
恢复:
telnet localhost 6023
>>> engine.unpause()
>>>
停止:
telnet localhost 6023
>>> engine.stop()
Connection closed by foreign host.
Telnet控制台信号
scrapy.extensions.telnet.update_telnet_vars(telnet_vars)
在telnet控制台打开之前发送。您可以连接到这个信号来添加、删除或更新telnet本地命名空间中可用的变量。为此,需要更新 telnet_vars 听写你的处理程序。
参数
telnet_vars (dict) – telnet变量的dict
远程登录设置
以下是控制telnet控制台行为的设置:
TELNETCONSOLE_PORT
违约: [6023, 6073]
用于telnet控制台的端口范围。如果设置为 None 或 0 ,使用动态分配的端口。
TELNETCONSOLE_HOST
违约: '127.0.0.1'
telnet控制台应该监听的接口
TELNETCONSOLE_USERNAME
违约: 'scrapy'
用于telnet控制台的用户名
TELNETCONSOLE_PASSWORD
违约: None
telnet控制台使用的密码,默认行为是让它自动生成。
来源:https://blog.csdn.net/zhongjianboy/article/details/129221371
猜你喜欢
- 本文实例讲述了Python回文字符串及回文数字判定功能。分享给大家供大家参考,具体如下:所谓回文字符串,就是一个字符串,从左到右读和从右到左
- 本文实例为大家分享了python实现图书管理系统的具体代码,供大家参考,具体内容如下添加新书查询借阅二次添加新书(读取已有的.xls并修改)
- 1 基本概念1.1 命名空间 (namespace)命名空间是变量名到对象的映射(name -> obj)。目前大多数的命名空间以类似
- 情况1:在一个目录下面只有文件,没有文件夹,这个时候可以使用os.listdir在我们的桌面上有一个file目录(文件夹),里面有三个文件f
- 本文实例讲述了Python中迭代的用法,是一个非常实用的技巧。分享给大家供大家参考借鉴之用。具体分析如下:如果给定一个list或tuple,
- 什么是ASP,它能干什么? 一、什么是ASP? 从字面上说,ASP包含三方面含义: 1、Active:ASP使用了Microsoft的Act
- 文件数据读写读写文件,本质上是请求操作系统打开一个文件对象,然后,通过操作系统提供的接口从这个文件对象中读取数据(读文件),或者把数据写入这
- python中的二叉树模块内容:BinaryTree:非平衡二叉树 AVLTree:平衡的AVL树 RBTree:平衡的
- 概述基于内容的图像检索技术是采用某种算法来提取图像中的特征,并将特征存储起来,组成图像特征数据库。当需要检索图像时,采用相同的特征提取技术提
- 前提条件:1.安装好Wampserver64(版本不限)2.Wampserver64软件启动后 变为绿色如:3.在数据库里面创建好名为&am
- 一、背景我们在进行代码调试时,通常使用两种方式。print 输出调试的内容或者标识通过断点调试debug但是我想知道代码的中间的每一行程序运
- 对于任何一个开发项目来说最大的错误可能就是没有计划。最近,有些人认为开始前无需计划,一个优秀的开发者需要的是随机应变。我敢肯定这样的做法最后
- 一、临时表空间概念临时表空间用来管理数据库排序操作以及用于存储临时表、中间排序结果等临时对象,当ORACLE里需要用到SORT的时候,并且当
- 一、Scrapy是什么Scrapy 是一个基于 Twisted 的异步处理框架,是纯 Python 实现的爬虫框架,其架构清晰,模块之间的耦
- 我们知道Python3.x引入了新的字符串格式化语法。不同于Python2.x的"%s %s "%(a,b)
- 大家都知道,数据库的安全性是很重要的,它直接影响到数据库的广泛应用。用户可以采用任意一种方法来保护数据库应用程序,也可以将几种方法结合起来使
- NumPy中asarray的用法函数说明asarray(a, dtype=None, order=None)转换输入为数组 array输入参
- 代码如下:< % '功能:显示数据库中表名、字段名、字段内容 '原创:wangsdong
- 任何事情都是由量变到质变的过程,学习Python也不例外。只有把一个语言中的常用函数了如指掌了,才能在处理问题的过程中得心应手,快速地找到最
- 随着当今世界的发展,计算机视觉技术的应用越来越广泛。伴随着硬件设备的不断升级,构造复杂的计算机视觉应用变得越来越容易了。OpenCV像是一个