详解python3 + Scrapy爬虫学习之创建项目
作者：s_kangkang_A 发布时间：2022-07-22 18:02:05
标签：python,Scrapy,创建项目
最近准备做一个关于scrapy框架的实战，爬取腾讯社招信息并存储，这篇博客记录一下创建项目的步骤
pycharm是无法创建一个scrapy项目的
因此，我们需要用命令行的方法新建一个scrapy项目
请确保已经安装了scrapy，twisted，pypiwin32
一：进入你所需要的路径，这个路径存储你创建的项目
我的将放在E盘的Scrapy目录下
二：创建项目：scrapy startproject ***(这个是项目名)
这样就创建好了一个名为tencent的项目
三：进入项目新建一个爬虫：scrapy genspider tencent_spider hr.tencent.com
这里我们要注意，上面的命令，加黑的是爬虫名称，斜体是域名
这样，我们就新建了一个爬虫项目，打开文件夹查看
打开spiders
然后我们用pycharm打开
点击File —>open，找到项目所在文件夹，打开即可
这样，我们就新建了一个scrapy项目，如果安装了所需要的库，scrapy飘红，记得去切换解释器
在File—>settings的标红的地方
另外推荐大家，在根目录下新建一个start.py的文件并写入
from scrapy import cmdline
cmdline.execute("scrapy crawl tencent_spider".split())
这样，我们每次运行，运行start.py，即可，不用到命令行执行运行命令
鼠标右键tencent，新建python文件，即可创建。
以上所述是小编给大家介绍的python3 Scrapy爬虫创建项目详解整合网站的支持！
来源：https://blog.csdn.net/s_kangkang_A/article/details/89158648
0
投稿猜你喜欢
很多时候，用户可能会因为承受不了某一产品中的细节设计而放弃使用该产品，这无疑是让设计人员感很沮丧的事情，因为除去这个细节的问题外，这个产品可- 本文实例讲述了golang基于websocket实现的简易聊天室。分享给大家供大家参考，具体如下：先说点无关的,最近忙于工作没有更新博客,今
- 说明MySql社区版从5.7.11开始支持基于表的数据加密方案，模块名为keyring_file，支持加密整张表。这种是加密方式其实是基于文
- 今天帮助同事解决一个问题，问题是她做的一套页面在FF下显示正常，在IE6下样式却没有效果，也就是没有应用样式。最终发现是编码不匹配的问题，c
- 问题描述有些小伙伴在使用python做GUI界面的时候可能想添加这么一个小功能，就是在界面的某个角落动态的显示当前的时间，本文将介绍具体方法
- 快速测试创建项目与appdjango-admin startproject mysitedjango-admin startapp app1
- 最近一个项目中使用了ThinkPHP做为开发框架，URL上我们使用了PATHINFO模式，但是Nginx默认是不支持PATHINFO的，需要
- 1、下载地址：MySQL官网2、解压解压之后的文件里边是没有data文件的，需要创建一个空文件夹命名为data(后面需要用),并且需要创建一
- 大家好，今天给大家分享一下自己整理的一篇 Python 参数的内容，内容非常的干，全文通过案例的形式来理解知识点，自认为比网上 80％ 的文
- Python 中导入csv数据的三种方法，具体内容如下所示：1、通过标准的Python库导入CSV文件：Python提供了一个标准的类库CS
- # -*- coding:utf-8 -*-__author__ = 'walkskyer'import osimport
- 阅读上一篇：网马解密大讲堂——网马解密初级篇今天主要讲解的内容是Freshow工具的使用方法，工欲善其事,必先利其器，首先要学会如何使用解密
- 用opencv处理一下pillow也可以，但是试过有时候会把图片自动旋转180°，cv没有这个问题import osfrom
- 本文实例讲述了Python实现的最近最少使用算法。分享给大家供大家参考。具体如下：# lrucache.py -- a simple LRU
- <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN&
- 本文实例讲述了js实现照片墙功能的方法。分享给大家供大家参考。具体实现方法如下：<!doctype html><html
- 代码如下:<％ Rem xml缓存类 '----------------------------
- 分享一个python脚本，使用代理ip来访问网页，方便抓取数据什么的~并自动验证ip是否可以用什么情况下会用到 * ？比如你要抓取一个网站
- 前言VScode是一个相当优秀的IDE，具备开源、跨平台、模块化、插件丰富、启动时间快、颜值高、可高度定制等等优秀的特质，不愧是微软爸爸的私
- </pre><pre name="code" class="javascript"
