详解python3 + Scrapy爬虫学习之创建项目
作者:s_kangkang_A 发布时间:2022-07-22 18:02:05
标签:python,Scrapy,创建项目
最近准备做一个关于scrapy框架的实战,爬取腾讯社招信息并存储,这篇博客记录一下创建项目的步骤
pycharm是无法创建一个scrapy项目的
因此,我们需要用命令行的方法新建一个scrapy项目
请确保已经安装了scrapy,twisted,pypiwin32
一:进入你所需要的路径,这个路径存储你创建的项目
我的将放在E盘的Scrapy目录下
二:创建项目:scrapy startproject ***(这个是项目名)
这样就创建好了一个名为tencent的项目
三:进入项目新建一个爬虫:scrapy genspider tencent_spider hr.tencent.com
这里我们要注意,上面的命令,加黑的是爬虫名称,斜体是域名
这样,我们就新建了一个爬虫项目,打开文件夹查看
打开spiders
然后我们用pycharm打开
点击File —>open,找到项目所在文件夹,打开即可
这样,我们就新建了一个scrapy项目,如果安装了所需要的库,scrapy飘红,记得去切换解释器
在File—>settings的标红的地方
另外推荐大家,在根目录下新建一个start.py的文件并写入
from scrapy import cmdline
cmdline.execute("scrapy crawl tencent_spider".split())
这样,我们每次运行,运行start.py,即可,不用到命令行执行运行命令
鼠标右键tencent,新建python文件,即可创建。
以上所述是小编给大家介绍的python3 Scrapy爬虫创建项目详解整合网站的支持!
来源:https://blog.csdn.net/s_kangkang_A/article/details/89158648
0
投稿
猜你喜欢
- 我们在上传大文件时,可能会由于服务器的原因导致文件上传失败,文件过大时由于服务器的配置或响应事件过长导致上传文件失败,这时候我们可以将一个大
- 背景故事:我需要对一张图片做一些处理,是在图像像素级别上的数值处理,以此来反映图片 * 定区域的图像特征,网上查了很多,大多关于opencv的
- 阅读上一章:Chapter 14 图片替换Chapter 15 为<body>指定样式把内容与显示效果分开设定的好处之一就是灵活
- PyAutoGUI是一个纯Python的GUI自动化工具,其目的是可以用程序自动控制鼠标和键盘操作,多平台支持(Windows,OS X,L
- 2.彻底弄懂CSS盒子模式二(导航栏实例) 3.彻底弄懂CSS盒子模式三(浮动的表演和清除的自述) 4.彻底弄懂CSS盒子模式四(绝对定位和
- 文中用到了BeautifulSoup这个库, 目的是处理html文档分析的, 因为我只是提取了title的关键字,所以可以用正则表达式代替,
- 说明本文根据https://github.com/liuchengxu/blockchain-tutorial的内容,用python实现的,
- exam = { 'math': '95', 'eng': '96',
- 1. 引言在Python中有很多好玩的花式打印,对厉害的高手来说可能是小菜一碟,对入门的小白来说往往让人望而退步,我们今天就来挑战下面三个常
- **截止文章发布chinese_calendar版本为1.8.0,大约在每年的11月份更新次年的节假日新版本import datetimef
- 一、常用文件函数库1、basename(); -- 返回路径中的文件名部分。string basename ( string $path [
- 一、前言上次写了一个俄罗斯方块,感觉好像大家都看懂了,这次就更新一个植物大战僵尸吧二、引入模块import pygameimport ran
- 问:如何在SQL Enterprise Manager version 6.5下操作SQL Server 6.0的服务器?答:在使用SQL
- 本文实例为大家分享了python将两个txt文件内容合并的具体代码,供大家参考,具体内容如下分析: 先分别将两个文件中的内容读入列表中,再将
- SQL Server有几个版本都在使用中——4.2, 6.0, 6.5, 7.0, 2000,以及2
- collections中defaultdict的用法一、字典的键映射多个值将下面的列表转换成字典一个字典就是一个键对应一个单值得映射,而上面
- kNN算法是k-近邻算法的简称,主要用来进行分类实践,主要思路如下:1.存在一个训练数据集,每个数据都有对应的标签,也就是说,我们知道样本集
- 一、安装写出许多有趣的可视化东西也可以画出很多奇妙的图案pip install turtule二、画布画布就是turtle为我们展开用于绘图
- 在 Python 中对一个可迭代对象进行排序是很常见的一个操作,一般会用到 sorted() 函数num_list = [4, 2, 8,
- 数据增强卷积神经网络非常容易出现过拟合的问题,而数据增强的方法是对抗过拟合问题的一个重要方法。2012 年 AlexNet 在 ImageN