Pycharm+Scrapy安装并且初始化项目的方法
作者：方naoke 发布时间：2023-03-05 11:49:00
标签：Pycharm,Scrapy,安装
前言
Scrapy是一个开源的网络爬虫框架，Python编写的。最初设计用于网页抓取，也可以用来提取数据使用API或作为一个通用的网络爬虫。是数据采集不可必备的利器。
安装
pip install scrapy
如果使用上面的命令太慢。国内可以使用豆瓣源进行加速。
pip install -i https://pypi.douban.com/simple scrapy
注意要写错了，是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速，这也是pip的一个技巧，还可以使用阿里云进行加速。
安装完成之后在命令行输入
scrapy -v
如果出现了相应的版本号就说明安装成功。
创建项目
目前还没有IDE 能够创建scrapy的项目，我们必须手动初始化项目。
1、找一个目录
输入命令
scrapy startproject SpiderObject
命令行出现这样的结果说明创建成果
You can start your first spider with:
cd SpiderObject
scrapy genspider example example.com
去文件夹中看看
初始化项目
使用pycharm打开该项目
如果出现这个页面就说明对了。
下面生成一个模板
打开pycharm的terminal
输入
scrapy genspider BiduSpider http://www.baidu.com
我们的spider 包下面会多一个文件
这说明我们的spider创建成功。可以在pytharm中使用这个 强大的框架了。
来源：https://blog.csdn.net/skullFang/article/details/78607942
0
投稿猜你喜欢
- 在使用tensorflow时常常会使用到tf.reduce_*这类的函数，在此对一些常见的函数进行汇总1.tf.reduce_sumtf.r
现在，比较牛的设计师和开发者都认识到了可用性在他们工作中的重要性。可用性好的网站会极大地提高用户体验，并且好的用户体验会让用户更加快乐。用聪- 前言一首歌热门了，参与评论的人也很多，这时无论好坏评论都来了，没有人控评得话，指不定乱七八糟但是自己有喜欢看评论，不想影响好心情，想看看精彩
- 写在前面如非特别说明，下文均基于Python3命名空间与作用于跟名字的绑定相关性很大，可以结合另一篇介绍Python名字、对象及其绑定的文章
- 我们都有过函数调用的经历，那么call调用类实例的过程就跟函数很相似。类的用法很多人都知道了，类实例又是什么呢？可以把类看成一个设计图，类实
- 最流行的数据交换格式之一是 CSV 格式。是需要通过键盘和控制台以外的方式将信息输入和输出的程序，通过文本文件交换信息是在程序之间共享信息的
- 一、pyqt5的UI中嵌入matplotlib的方法1、导入模块导入模块比较简单，首先声明使用pyqt5，通过FigureCanvasQTA
- 最近认识了一个做Python语音识别的朋友，聊天时候说到，未来五到十年，Python人工智能会在国内掀起一股狂潮，对各种应用的冲击，不下于淘
- 打开pycharm，程序某一行序号出出现书签bookmark，编号为9如果想要删除bookmark，将光标移至bookmark所在行，按快捷
- 本文实例讲述了Python针对给定字符串求解所有子序列是否为回文序列的方法。分享给大家供大家参考，具体如下：问题：给定一个字符串，得到所有的
- Django的Field类中方法有：to_python() # 把数据库数据转成python数据from_db_value() # 把数据库
- 本文实例讲述了Python使用django获取用户IP地址的方法。分享给大家供大家参考。具体如下：函数实现：def get_client_i
- 在Internet上我们每天都会遇到数不清的表单，也看到其中大部分并没有限制用户多次提交同一个表单。缺乏这种限制有时候会产生某些预料不到的结
- 通常的聊天室所采用的程序，也就是Chat程序了，其基本结构原理是不会采用到数据库的。那究竟采用什么技术呢？我们知道ASP变量当中Sessio
- 1 、创建一个django项目使用django-admin.py startproject MyDjangoSite 参考这里2、建立视图f
- 尼姆游戏是个著名的游戏，有很多变种玩法。两个玩家轮流从一堆物品中拿走一部分。在每一步中，玩家可以自由选择拿走多少物品，但是必须至少拿走一个并
- isnumeric()方法检查字符串是否仅由数字组成。这种方法只表示为Unicode对象。注意：要定义一个字符串为Unicode
- 印象中最早看老外个人网站就挺纳闷，怎么人家都没有www，这样也可以？经过不断尝试，我发现确实不录入www要快捷的多，但不清楚怎么能做到。几年
- 准备工作创建一个应用添加应用到配置创建一个html编写视图函数from django.shortcuts import render# Cr
- 环境准备python3.5.4windows redispip install celerypip install rediswindows
