Windows环境下安装Scrapy的正确方式

本文最后更新于:2021年1月29日 下午

Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架,可以应用于数据挖掘,信息处理或存储历史数据等一些列的程序中。
Scrapy最初就是为了网络爬取而设计的。现在,Scrapy已经推出了曾承诺过的Python3.x版本。
为什么学习Scrapy呢?它能我们更好的完成爬虫任务,自己写Python爬虫程序好比孤军奋战,而使用了Scrapy就好比手底下有了千军万马。
Scrapy可以起到事半功倍的效果。所以,学习Scrapy也就显得很有必要了。

友情提醒:一定要按照Python的版本下载,要不然安装的时候会提醒找不到Python。建议大家安装32位是因为有些版本的必备软件64位不好找。

  • 安装Python(建议32位)

    安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。

  • lxml(这个最重要),使用pip命令安装

    pip3 install lxml
    若没有报错,则安装成功,如果报错提示缺少libxml2 库,可以使用wheel文件进行安装 libxml2

  • pyOpenSSL

    需要在官网下载wheel文件 pyOpenssL
    下载后使用pip3 install 文件路径/下载文件名.whl(例:‪pip3 install D:\QQDownload\pyOpenSSL-17.2.0-py2.py3-none-any.whl)
    也可以尝试用pip3 install pyopenssl进行安装

  • Twisted

    同理,需要在官网下载wheel文件 Twisted
    不过一定要记得在控制台下输入python查看你的电脑版本和python版本,然后在上面的地址中下载对应的wheel文件
    下载完后使用pip3 install 文件路径/下载文件名.whl
    也可以尝试pip3 install twisted

  • PyWin32

    在官网下载对应版本的安装包双击安装即可 pywin32
    或者pip3 install pywin32

  • Scrapy

    在依赖包全部安装成功前提下安装Scrapy框架,使用pip命令
    pip3 install scrapy


如果提示缺少C++库,可以使用Microsoft Visual C++ Build Tools.exe来解决。


本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!