Pycharm+Scrapy安装并且初始化项目的方法
作者：方naoke 发布时间：2023-03-05 11:49:00
标签：Pycharm,Scrapy,安装
前言
Scrapy是一个开源的网络爬虫框架，Python编写的。最初设计用于网页抓取，也可以用来提取数据使用API或作为一个通用的网络爬虫。是数据采集不可必备的利器。
安装
pip install scrapy
如果使用上面的命令太慢。国内可以使用豆瓣源进行加速。
pip install -i https://pypi.douban.com/simple scrapy
注意要写错了，是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速，这也是pip的一个技巧，还可以使用阿里云进行加速。
安装完成之后在命令行输入
scrapy -v
如果出现了相应的版本号就说明安装成功。
创建项目
目前还没有IDE 能够创建scrapy的项目，我们必须手动初始化项目。
1、找一个目录
输入命令
scrapy startproject SpiderObject
命令行出现这样的结果说明创建成果
You can start your first spider with:
cd SpiderObject
scrapy genspider example example.com
去文件夹中看看
初始化项目
使用pycharm打开该项目
如果出现这个页面就说明对了。
下面生成一个模板
打开pycharm的terminal
输入
scrapy genspider BiduSpider http://www.baidu.com
我们的spider 包下面会多一个文件
这说明我们的spider创建成功。可以在pytharm中使用这个 强大的框架了。
来源：https://blog.csdn.net/skullFang/article/details/78607942
0
投稿猜你喜欢
自定义模板标签，过滤器。英文翻译是Customtemplatetagsandfilters。customfilter自定义过滤器今天不在我的- 最近，我加入了Cloudera，在这之前，我在计算生物学/基因组学上已经工作了差不多10年。我的分析工作主要是利用Python语
- 本文实例讲述了JS实现控制表格内指定单元格内容对齐的方法。分享给大家供大家参考。具体如下：下面的代码控制表格单元格的内容向右对齐<!D
- 方法一： 代码如下:id=request.form("checkbox") id=Split(id,"
- 由于javascript无法获取img文件头数据，必须等待其加载完毕后才能获取真实的大小，所以lightbox类效果为了让图片居中显示，导致
- 前言前段时间做项目的时候，需要一个Markdown编辑器，在网上找了一些开源的实现，但是都不满足需求说实话，这些开源项目也很难满足需求公司项
- 这方面我还是一个freshman，不过看了一些文章，经过一些实践后也算是有了一些想法。希望如果有这方面的前辈路过的话，能不吝指教。首先，作为
- Git 是什么？Git 是一个分布式的代码管理容器，本地和远端都保有一份相同的代码。 Git 仓库主要是由是三部分组成：本地代码，缓存区，提
- 数据库对于服务端开发人员来说，几乎就是左膀右臂。几乎每一个服务端开发人员都要和数据库打交道。而MySQL又以其开源免费，小巧玲珑，简单易用，
- 导入执行后VM292:1 thirdScriptError sdk uncaught third Error mod
- Null模式我想每个人都有一种经历，为了获取某属性，但是有时候属性是None，那么需要你做异常处理， 而假如你想节省这样的条件过滤的代码，可
- 页面访问慢是网站公认的死穴，如果页面都没法访问，往后再精彩的体验都等于零。这个问题如果专业点说，叫做“加载”呈现效率。那么具体了讲，除常规的
- 描述super() 函数用于调用下一个父类(超类)并返回该父类实例的方法。super 是用来解决多重继承问题的，直接用类名调用父类方法在使用
- Go语言实现互斥锁、随机数、time、Listimport ( "container/list"
- 这里分享一些轨迹聚类的基本方法，涉及轨迹距离的定义、kmeans聚类应用。需要使用的python库如下import pandas as pd
- 有时候我们需要判断两个字符串内容是否相等，判断内容相等，我们用‘=='，但是有时候发现print(str1)和print(str2)
- python对函数库的引用方式1、import <库名> 例如：import turtle 如果需要使用库函数中的函数，需要使用
- 1、模拟退火算法退火是金属从熔融状态缓慢冷却、最终达到能量最低的平衡态的过程。模拟退火算法基于优化问题求解过程与金属退火过程的相似性，以优化
- 本文实例讲述了Python实现的桶排序算法。分享给大家供大家参考，具体如下：桶排序也叫计数排序，简单来说，就是将数据集里面所有元素按顺序列举
- 上一课：ACCESS入门教程：初识Access 2000窗口接口简介 通过上一课的学习，你是否感觉Access的窗口和接口还有点搞不清楚，对
