pycharm下打开、执行并调试scrapy爬虫程序的方法
作者：轰_HONG 发布时间：2022-08-07 09:30:52
标签：PyCharm,Scrapy
首先得有一个Scrapy项目，我在Desktop上新建一个Scrapy的项目叫test，在Desktop目录打开命令行，键入命令：scrapy startproject test1
目录结构如下：
打开Pycharm，选择open
选择项目，ok
打开如下界面之后，按alt + 1， 打开project 面板
在test1/spiders/，文件夹下，新建一个爬虫spider.py， 注意代码中的name="dmoz"。这个名字后面会用到。
在test1目录和scrapy.cfg同级目录下面，新建一个begin.py文件（便于理解可以写成main.py），注意箭头2所指的名字和第5步中的name='dmoz'名字是一样的。
from scrapy import cmdline
cmdline.execute("scrapy crawl dmoz".split())
7. 上面把文件搞定了，下面要配置一下pycharm了。点击Run->Edit Configurations
8. 新建一个运行的python模块
9. Name：改成spider； script：选择刚才新建的那个begin.py文件；Working Direciton：改成自己的工作目录
10. 至此，大功告成了，点击下图，右上角的按钮就能运行了。
调试
可以在其他代码中设置断点，就可以debug运行
遇到问题
1. Unknown command: crawl
调试运行，断点并未命中，控制台输出信息如下：
H:\Python\Python36\python.exe "H:\Program Files (x86)\JetBrains\PyCharm Community Edition 4.5.4\helpers\pydev\pydevd.py" --multiproc --client 127.0.0.1 --port 59810 --file H:/Python/Python36/Lib/site-packages/scrapy/cmdline.py crawl quotes -o quotes.jl
pydev debugger: process 4740 is connecting
Connected to pydev debugger (build 141.3058)
Scrapy 1.3.2 - no active project
Unknown command: crawl
Use "scrapy" to see available commands
Process finished with exit code 2
工作目录设置有误，造成无法识别 scrapy 命令，按照上文所说，将工作目录设置为包含 scrapy.cfg，重新运行，问题解决。
来源：http://blog.csdn.net/u012052268/article/details/72063917
0
投稿猜你喜欢
- 问题你想改变对象实例的打印或显示输出，让它们更具可读性。解决方案要改变一个实例的字符串表示，可重新定义它的 __str__() 和 __re
- 这篇文章主要介绍了python匿名函数lambda原理及实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值
根据google最新的算法规则:用户行为模式的重视程度越来越高，这也就要求网页设计的时候应注意“合理的网页结构”，SEO业界也有个共识“网页- 本文实例讲述了Python中dictionary items()系列函数的用法，对Python程序设计有很好的参考借鉴价值。具体分析如下：先
- 本文实例讲述了python飞机大战pygame游戏框架搭建操作。分享给大家供大家参考，具体如下：目标明确主程序职责实现主程序类准备游戏精灵组
- 我曾以为,写脚本是很难的,直到我遇到了Python前言随着国内版权意识的跟进,很多影视音乐资源开始收费,而且度盘又经常随意封杀各种资源,所以
- SQL Server中的伪列下午看QQ群有人在讨论（非聚集）索引的存储，说，对于聚集索引表，非聚集索引存储的是索引键值+聚集索引键值；对于非
- 在处理批量更新某些数据的时候，如果跟你更新的字段的值都一样，比如某个状态都更新为某个固定值,直接用update table set xxx=
- 本人最近在做字符识别，所以自行在网上寻找方法，接触到tesseract，自己按照网上方法做的时候，也遇到一些问题
- 1、利用php gd库的函数绘制3D扇形统计图<?phpheader("content-type","t
- 具体代码如下所述：< !DOCTYPE html > <html lang = "en" > &
- 一、背景最近在和系统模块做数据联调，其中有一个需求是将两个角色下的相关数据对比后将最新的数据返回出去，于是就想到了去重，再次做一个总结。二、
- 写了个JavaScript版的DateAdd、DateDiff、IsDate函数，大家评评!需要说明的是，JavaScript中IsDate
- 一.pyinstaller简介pyinstaller将Python脚本打包成可执行程序，使在没有Python环境的机器上运行最新版是pyin
- 方案一func md5V(str string) string { h := md5.New() &n
- 前言：上一篇博客我用AOP+AbstractRoutingDataSource实现了MySQL读写分离，自己写代码实现判断该使用哪个数据源挺
- 用最新版本（2.1.0）的pyshp解析shp文件的records时：records = sf.records()如果records里面含有
- 单继承时super()和__init__()实现的功能是类似的class Base(object):def __init__(self):p
- python 中sorted与sort有什么区别sort(cmp=None, key=None, reverse=False)sorted(
- 1、之前那个说淘宝交易评价“有问题”的文章已经有了一百多个评论。（某些开口就骂的评论已被删除）近期去评论的人都是从搜索引擎过来的，他们不是产
