你好,游客 登录 注册 搜索
背景:
阅读新闻

Ubuntu下安装Scrapy总结

[日期:2017-02-25] 来源:Linux社区  作者:sancong [字体: ]

Ubuntu下安装Scrapy总结,此文档是本人学习时使用的,采用一个实例作为引导进行安装测试。

  实例下载地址如下:

  https://github.com/sans-serif/scrapy-german-news#introduction

  解压之后为:scrapy-german-news-master

  修改requirements.txt 删除psycopg2==2.6.1

  其中requirements.txt内容如下:

  ********************************************************************

  attrs==15.2.0

  cffi==1.5.2

  cryptography==1.2.3

  cssselect==0.9.1

  enum34==1.1.2

  idna==2.0

  ipaddress==1.0.16

  lxml==3.5.0

  psycopg2==2.6.1

  pyasn1==0.1.9

  pyasn1-modules==0.0.8

  pycparser==2.14

  pyOpenSSL==0.15.1

  queuelib==1.4.2

  Scrapy==1.0.5

  service-identity==16.0.0

  six==1.10.0

  Twisted==15.5.0

  w3lib==1.13.0

  zope.interface==4.1.3

  ********************************************************************

  按理只需此文件即可,scrapy-german-news-master只是测试工程。


 

具体安装步骤如下:

第一步:

    安装pip: sudo apt-get install python-pip

第二步:安装依赖

    sudo apt-get install libffi-dev

    sudo apt-get install python-dev 

    sudo apt-get install libxml2-dev

    sudo apt-get install libxslt-dev

第三步:

  准备好requirements.txt文件。

  sudo pip install -r requirements.txt

第四步:安装postgresql

    sudo apt-get install postgresql

    sudo apt-get install python-psycopg2

    sudo apt-get install libpq-dev

    sudo pip install psycopg2==2.6.1

安装完成

测试运行,看是否安装成功:

  进入目录scrapy-german-news-master 运行 scrapy crawl faz

  如果能看到开始抓取数据,则认为配置成功


 如安装过程中出现如下错误,解决方案:

(1)ImportError: No module named pkg_resources 解决方法:

  sudo apt-get install --reinstall python-pkg-resources

(2)pkg_resources.DistributionNotFound: setuptools>=11.3 解决方法:

  sudo pip install -U distribute

(3)pip install psycopg2  错误,解决如下:

  sudo apt-get install postgresql

  sudo apt-get install python-psycopg2

  sudo apt-get install libpq-dev

(4)c/_cffi_backend.c:2:20: 致命错误: Python.h:没有那个文件或目录, 解决如下:

  sudo apt-get install python-dev

(5)src/lxml/includes/etree_defs.h:14:31: 致命错误: libxml/xmlversion.h:没有那个文件或目录,解决如下:

  apt-get install libxml2-dev libxslt-dev

(6)关于这个libffi,错误,解决如下:

  sudo apt-get install libffi-dev

(7) build/temp.linux-i686-2.7/_openssl.c:431:25: fatal error: openssl/aes.h: No such file or directory, 解决如下:

  sudo apt-get install libssl-dev

备注:以上测试工程采用的是postgresql数据库,也可以采用MySQL。

本文永久更新链接地址http://www.linuxidc.com/Linux/2017-02/141063.htm

linux
相关资讯       Scrapy  Ubuntu安装Scrapy 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款