你好,游客 登录 注册 搜索
背景:
阅读新闻

Ubuntu&Windows下scrapy安装攻略

[日期:2016-07-17] 来源:Linux社区  作者:Linux [字体: ]

scrapy是python下的一个开源包,首先你要安装这个。首先当然是要安装python环境。。Ubuntu默认自带一个python环境,Windows下需要自行安装并配置环境变量等,在此不多做赘述。

1.Windows

Windows下scrapy需要很多的依赖包。

(1)pywin32

pywin32下载地址:https://sourceforge.net/projects/pywin32/files/pywin32/

(2)twisted

当然twisted这个异步通信框架也需要一些依赖包(= =)。

zope.interface 和 pyopenssl

zope下载地址:https://pypi.python.org/pypi/zope.interface#download

pyopenssl下载地址:https://pypi.python.org/pypi/pyOpenSSL

twisted下载地址:http://twistedmatrix.com/trac/wiki/Downloads

(3)lxml

下载地址:https://pypi.python.org/pypi/lxml/

ps:如果遇到.whl的扩展名,只需改成.rar解压后将里面的文件夹放到python的系统环境中即可。

(4)安装scrapy

安装scrapy有很多方法。可以用easytool

我是用pip装的:pip install scrapy

2.Ubuntu

(1).升级python至2.7.11(自带pip) ---可选,也可不升级

wget https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tgz

tar -xvf Python-2.7.11.tgz

cd Python-2.7.11

./configure && make && make install && make clean #

(2)安装依赖包

apt-get install python-dev libxml2-dev libxslt1-dev libssl-dev libffi-dev #

(3)安装scrapy

pip install Scrapy

更多Ubuntu相关信息见Ubuntu 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=2

本文永久更新链接地址http://www.linuxidc.com/Linux/2016-07/133251.htm

linux
相关资讯       Scrapy 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款