Python使用Scrapy保存控制台信息到文本解析
作者：曾是土木人 发布时间：2022-04-12 20:29:00
标签：python,scrapy,控制台
在Windows平台下，如果想运行爬虫的话，就需要在cmd中输入：
scrapy crawl spider_name
这时，爬虫就能启动，并在控制台（cmd）中打印一些信息，如下图所示：
但是，cmd中默认只能显示几屏的信息，其他的信息就无法看到。
如果我们想查看爬虫在运行过程中的调试信息或错误信息的话，会很不方便。
此时，我们就可以将控制台的信息写入的一个文本文件中去，方便我们查看。
命令如下:
D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log
来源：http://blog.csdn.net/php_fly/article/details/19679167
0
投稿猜你喜欢
字符串操作字符串 + 运算符+运算符用于连接字符串，返回一个由连接在一起的操作数组成的字符串。>>> s = 'a- 目录1. 文件相关函数2. 函数_函数的参数2.1 函数2.2 函数的参数3. 收集参数4. 命名关键字_总结小提示：5. 小练习练习问题：
- 目录一、索引类型1.B+树2.MyISAM和InnoDB的B+树索引实现方式的区别(聚簇索引和非聚簇索引)？3.非聚簇索引4.聚簇索引的优缺
- 在SQL Server中，如果我想授予一个用户klb拥有创建表的权限，但是我又不想授予其数据库角色db_ddladmin，因为这样会扩大其权
- 使用ASP做网站虽然有点落伍，但在中国还是有很大市场的，因为大部分国内用户使用Windows Server服务器，在Windows Serv
- Python 想必大家都已经很熟悉了，甚至关于它有用或者无用的论点大家可能也已经看腻了。但是无论如何，它作为一个广受关注的语言还是有它独到之
- 前言当我们的项目达到一定的规模时，对于某些组件来说，我们并不希望一开始全部加载，而是需要的时候进行加载；这样的做得目的可以很好的提高用户体验
- 前言Go语言的序列化与反序列化在工作中十分常用，在Go语言中提供了相关的解析方法去解析JSON，操作也比较简单序列化// 数据序列化func
- 前言今天我们一起来看一看 vue3+ts如何优雅的封装axios，并结合 mock.js 实现敏捷开发；但是我们要注意区分 Axios 和
- 1.JOIN和UNION区别 join 是两张表做交连后里面条件相同的部分记录产生一个记录集， union是产生的两个记录集(字段要一样的)
- 本文的重点就是如何创建一个PHP类来实现两个数间的加减乘除，这种类似于极简单的计算器功能。实现起来是非常简单的，继续往下看：这里简单给大家介
- 有时候我们会有这样的需求，需要把一些数据从别的库导入到另外的一个库中，而这些数据是用CSV文件存放的。对于MySql数据库我们有两种方式：一
- 前沿Python字典是一种可变容器模型，且可存储任意类型对象，如字符串、数字、元组等其他容器模型。字典的每个键值key=>value对
- 网络开发的在分页上要是遇到数（几十）万以上的数据还是用ADO那样的分页会速度很慢的。有了存储过程速度就快多了。下面是本人用50万的数据进行的
- 一、项目背景：为了回顾关于django的文件上传和分页功能，打算写一个微型的小说网站练练手。花了一个下午的时间，写了个小项目，发现其中其实遇
- 一、array_map() 1、array_map() 函数将用户自定义函数作用到数组中的每
- 一、环境配置安装 Python请确保您已经安装了 Python 3.x。可以在Python 官网下载并安装。安装所需库在命令提示符或终端中运
- 你是否曾为表单设计感到过沮丧或不知所措呢？接下来三篇文章，希望能彻底改变你的看法，真正爱上Web表单设计。首先感谢Luke Wroblews
- API:statuses/public_timeline 返回最新的200条公共微博，返回结果非完全实时CODE:#!/usr/
- 引言：在Python3下运行Matplotlib之时，碰到了”No module named _tkinter“的问题，花费数小时进行研究解
