详解Python安装scrapy的正确姿势
作者：公众号Python6359 发布时间：2023-04-04 01:38:14
运行平台：Windows
Python版本：Python3.x
IDE：Sublime text3
一、Scrapy简介
Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架，可以应用于数据挖掘，信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。现在，Scrapy已经推出了曾承诺过的Python3.x版本。
为什么学习Scrapy呢？它能我们更好的完成爬虫任务，自己写Python爬虫程序好比孤军奋战，而使用了Scrapy就好比手底下有了千军万马。Scrapy可以起到事半功倍(甚至好几倍*.*)的效果。所以，学习Scrapy也就显得很有必要了。
二、Scrapy安装
1.直接使用指令pip3 install scrapy，发现有诸多错误。
Failed building wheel for lxml
Microsoft Visual C++ 10.0 is required
Failed building twisted
Unable to find vcvarsall.bat
遇到的错误，如下图所示：
2.解决办法
(1)在cmd中输入指令python，查看python的版本，如下：
从上图可以看出可以看出我的Python版本为Python3.5.2-64bit。
(2)登陆http://www.lfd.uci.edu/~gohlke/pythonlibs/，Ctrl+F搜索Lxml、Twisted、Scrapy，下载对应的版本，例如：lxml-3.7.3-cp35-cp35m-win_adm64.whl，表示lxml的版本为3.7.3，对应的python版本为3.5-64bit。我下载的版本如下图所示：
在cmd中输入DOS指令，进入下载好的whl文件夹下，例如我的三个whl文件放在了Scrapy文件夹下：
(4)依次执行如下命令：
a.pip3 install wheel
b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl
c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl
d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl
这样Scrapy的安装就完成了，请忽略最后两行让我升级pip的信息。*.*
(5)Srapy已经安装成功，还要下载pywin32，找到对应版本下载，一路下一步安装即可。安装完成后，就可以正常使用Scrapy了。
URL：https://sourceforge.net/projects/pywin32/files/pywin32/Build％20220/
至此，大功告成，我们可以愉快的使用Scrapy了。
总结
以上所述是小编给大家介绍的Python安装scrapy的正确姿势网站的支持！
来源：https://www.cnblogs.com/Python6359/archive/2018/06/26/9229524.html
0
投稿猜你喜欢
首先简单介绍一下什么叫MySQL；数据库简而言之就是存储数据的仓库，为了方便数据的存储和管理，它将数据按照特定的规律存储在磁盘上。是为了实现- 箱形图概念后面的图形都是一些专业的统计图形，当然也会是我们可视化的对象。箱形图（Box-plot）又称为盒须图、盒式图或箱线图，是一种用作显
- 简介：psutil（进程和系统实用程序）是一个跨平台库，用于检索Python中运行进程和系统利用率（CPU、内存、磁盘、网络、传感器）的信息
- 一心想学习算法，很少去真正静下心来去研究，前几天趁着周末去了解了最短路径的资料，用python写了一个最短路径算法。算法是基于带权无向图去寻
- user-define-session-inc.php文件代码：<?php function mysession_open($save
- 前言首先，我们开发的项目会有多个版本.其次，我们的项目版本会随着更新越来越多，我们不可能因出了新版本就不维护旧版本了.那么，我们就需要对版本
- 1 什么是嵌套循环所谓嵌套循环就是一个外循环的主体部分是一个内循环。内循环或外循环可以是任何类型，例如 while 循环或 for 循环。
- 问题你想将HTML或者XML实体如 &entity; 或 &#code; 替换为对应的文本。 再者，你需要转换文本 * 定的字
- Python 是一门更注重可读性和效率的语言，尤其是相较于 Java，PHP 以及 C++ 这样的语言，它的这两个优势让其在开发者中大受欢迎
- 我就废话不多说了，直接上代码吧！import subprocessdef excuteCommand(com): ex = subproce
- 前言tkinter：GUI桌面应用开发模块，写软件界面你还可以打包成exe软件, 哪怕你没有python环境, 一样可以用虽然不一定要有界面
- .asa是文件后缀名,它是Active Server Application的首字母缩写。Global.asa文件可以管理在ASP应用中两个
- 本文实例讲述了JavaScript获取中英文混合字符串长度的方法。分享给大家供大家参考，具体如下：JavaScript获取中英文混合字符串的
- 题目：一个六位数，分别用2，3，4，5，6乘它，得到的五个新数仍是由原数中的六个数字组成，只是位置不同，则此六位数是多少？function
- 这篇文章主要介绍了python读取ini配置文件过程示范,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的
- 判断字段是否存在：DROP PROCEDURE IF EXISTS schema_change; DELIMITER //CREATE PR
- 在刚学Pandas时，行选择和列选择非常容易混淆，在这里进行一下讨论和归纳本文的数据来源：https://github.com/fiveth
- Python2 和 Python3 是不兼容的，如果碰到无法升级到 Python2 代码，或者同事中有坚守 Python2 阵营的情况，就要
- 一：代码实现class TreeNode: """节点类""&q
- 翻译自https://pytorch.org/docs/stable/torchvision/models.html主要讲解了torchvi
