python中Scrapy shell的使用
作者：码农飞哥 发布时间：2021-03-23 08:23:24
标签：python,Scrapy,shell使用
前言：
我们想要在爬虫中使用xpath、beautifulsoup、正则表达式，css选择器等来提取想要的数据，但是因为scrapy是一个比较重的框架，每次运行都要等到一段时间，因此要去验证我们提取规则是否正确，是一个比较麻烦的事情，因此，scrapy提供了一个shell。用来方便的测试规则，当然也不仅仅局限于这一个功能。
打开Scrapy shell：
进入命令行终端，进入到scrapy项目所在的目录，然后进入到scrapy框架所在的虚拟环境中，输入命令 scrapy shell [链接] ，就会进入到scrapy的shell环境中。在这个环境中，你可以跟在爬虫的parse方法中一样使用了。
进入到scrapy项目所在的目录：
cd /Volumes/development/Python_learn/PycharmProjects/scrapy_demo/bmw_img_demo/
进入到scrapy框架所在的虚拟环境中：
source /Volumes/development/Python_learn/PycharmProjects/venv/crawler_evn/bin/activate
输入命令 scrapy shell [链接] :
rapy shell https://car.autohome.com.cn/pic/series/66.html
输入我们需要测试的语句：
srcs = response.xpath('//div[contains(@class,"uibox-con")]/ul/li/a/img/@src').getall()
来源：https://feige.blog.csdn.net/article/details/122775755
0
投稿猜你喜欢
前言最近已经播完第一季的电视剧《雪中悍刀行》，从播放量就可以看出观众对于这部剧的期待，总播放量达到50亿，可让人遗憾的是，豆瓣评分只有5.7- 本文实例讲述了Python中文分词工具之结巴分词用法。分享给大家供大家参考，具体如下：结巴分词工具的安装及基本用法，前面的文章《Python
- python的annotate函数annotate函数该函数的详细参数可调用内置属性__doc__查看。import matplotlib.
- asp之家注：学习javascript(js),免不了要用到打开新窗口，方法很多，总的来说是使用window.open。不同与HTML中的t
- 这几个技术都不是很新了,现在还拿出来说也就是为了教教新手了呵呵,各位大虾多多指正.css之所以出现就是为了实现数据与数据的表现形式的分离,
- PC端项目中经常会出现大量的数据列表页面，涉及到下拉框选择筛选条件；当时用到bootstrap-select下拉框时该如何点击重置按钮就清除
- 关于cookie和session估计很多程序员面试的时候都会被问到，这两个概念在写web以及爬虫中都会涉及，并且两者可能很多人直接回答也不好
- 画之前肯定要知道规格图，我找了一个大致的图。参考图片：绘制大星的方法很简单，五角星的补角是144度。绘制小五角星有点麻烦，因为我国国旗上的小
- 使用递归查找父元素，知道查到想要的元素，然后return getParentTag(startTag) { var self
- 大家已经从实际使用中了解了jquery这个javascript框架的强大，其实jquery更加强大的是可扩展。你可以编写自己的基于jquer
- 一、图像缩略图的编辑图像的缩略图是指把图像按原比例缩小,可作为原图的预览，这在网络速度比较慢时可快速地显示图片的概图。当你的网页上有大型图片
- 本文实例讲述了JS笛卡尔积算法与多重数组笛卡尔积实现方法。分享给大家供大家参考，具体如下：js 笛卡尔积算法的实现代码，据对象或者数组生成笛
- 先来看一个老掉牙的故事：福特说，我在设计汽车之前，到处去问人们“需要一个什么样的更好的交通工具？”，几乎所有人的答案都是 ── 一匹“更快的
- 最近认识了一个做Python语音识别的朋友，聊天时候说到，未来五到十年，Python人工智能会在国内掀起一股狂潮，对各种应用的冲击，不下于淘
- NopCommerce为了实现松耦合的框架设计目的，使用了IOC框架：Autofac。据有人测试，Autofac是性能很好的IOC工具。1、
- 需求：用户输入运算表达式，终端显示计算结果代码：# ！/usr/bin/env/ python3# -*- coding: utf-8 -*
- 昨天下班后忽然兴起想写一个爬虫抓抓网页上的东西。花了一个钟简单学习了python的基础语法，然后参照网上的例子自己写了个爬虫。python数
- 一、报错： 「Can't swap PDO instance while within transaction」通过查询 Larav
- 1. Express简介express是一个基于node.js平台的极简，灵活的web应用开发框架，它提供一系列强大的特征，帮助你创建各种w
- 可视化辅助函数在下面的代码的注释内有大致的操作基本操作与前面的人脸检测的操作相似，增加了可视化的辅助函数import matplotlib.
