python中Scrapy shell的使用
作者：码农飞哥 发布时间：2021-03-23 08:23:24
标签：python,Scrapy,shell使用
前言：
我们想要在爬虫中使用xpath、beautifulsoup、正则表达式，css选择器等来提取想要的数据，但是因为scrapy是一个比较重的框架，每次运行都要等到一段时间，因此要去验证我们提取规则是否正确，是一个比较麻烦的事情，因此，scrapy提供了一个shell。用来方便的测试规则，当然也不仅仅局限于这一个功能。
打开Scrapy shell：
进入命令行终端，进入到scrapy项目所在的目录，然后进入到scrapy框架所在的虚拟环境中，输入命令 scrapy shell [链接] ，就会进入到scrapy的shell环境中。在这个环境中，你可以跟在爬虫的parse方法中一样使用了。
进入到scrapy项目所在的目录：
cd /Volumes/development/Python_learn/PycharmProjects/scrapy_demo/bmw_img_demo/
进入到scrapy框架所在的虚拟环境中：
source /Volumes/development/Python_learn/PycharmProjects/venv/crawler_evn/bin/activate
输入命令 scrapy shell [链接] :
rapy shell https://car.autohome.com.cn/pic/series/66.html
输入我们需要测试的语句：
srcs = response.xpath('//div[contains(@class,"uibox-con")]/ul/li/a/img/@src').getall()
来源：https://feige.blog.csdn.net/article/details/122775755
0
投稿猜你喜欢
- 不夸张地说，XML正在接管这个世界，正在成为今天一切Web服务和大多数SOA的基础。XML本身并非一种技术，而是程序设计语言，可支持开发者为
1.核心代码使用py2neo连接neo4j的方法：from py2neo import Graphgraph = Graph("h- pandas.read_csv参数整理 读取CSV（逗号分割）文件到DataFrame也支持文件的部分导入和选择迭代更多帮助参见：
- YUI3.2.0 的 transition 模块，通过使用 transition:end 事件实现在 transition 完成后执行其他操
- 在sql语句中，如果查找某个文本字段值为空的可以用select * from 表 where 字段=''但是如果
- 高级语言不能直接被机器所理解执行，所以都需要一个翻译的阶段，解释型语言用到的是解释器，编译型语言用到的是编译器。编译型语言通常的执行过程是：
- 一、前言在学习深度学习会发现都比较爱用python这个argparse，虽然基本能理解，但没有仔细自己动手去写，因此这里写下来作为自己本人的
- 定义神经网络继承nn.Module类；初始化函数__init__：网络层设计；forward函数：模型运行逻辑。class NeuralNe
- 代码实现：<!DOCTYPE html><html lang="en"><head>
- 说明1、Matplotlib函数可以绘制图形，使用plot函数绘制曲线。2、需要将200个点的x坐标和Y坐标分别以序列的形式输入plot函数
- 基本上是因为jupyter notebook的kernel所用的python和命令提示符中的python环境不一样。首先分别在cmd和jup
- 一.基于纹理背景的图像分割该部分主要讲解基于图像纹理信息（颜色）、边界信息（反差）和背景信息的图像分割算法。在OpenCV中，GrabCut
- 简介Closure所谓“闭包”，指的是一个拥有许多变量和绑定了这些变量的环境的表达式（通常是一个函数），因而这些变量也是该表达式的一部分。闭
- 微信小程序 支付功能实现PHP实例详解前端代码： wx.request({ url: 'https://w
- 为了更好的理解这些基本操作，下面会通过读取一个股票数据，来进行Pandas基本数据操作的语法介绍。# 读取文件（读取保存文件后面会专门进行讲
- 最近将Jesse James Garrett的《用户体验的要素》一书读了两遍，做一些简要的摘录并添加一些个人注释。当然，一本好书绝对不是简单
- Django 为未来的开发人员提供了许多功能：一个成熟的标准库，一个活跃的用户社区，以及 Python 语言的所有好处。虽然其他
- 这篇文章主要介绍了python使用rsa非对称加密过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要
- 从概念上讲，大多数关系数据库系统都是类似的：它们都由一组数据库组成，且每个数据库都包含一组表。但是，所有的系统都有自己的管理数据的方法， M
- 概要：Oracle关系数据库系统以其卓越的性能获得了广泛的应用，而保证数据库的安全性 是数据库管理工作的重要内容。本文是笔者在总结Oracl
