你好,游客 登录 注册 搜索
背景:
阅读新闻

hadoop-lzo-0.4.20安装

[日期:2014-03-21] 来源:Linux社区  作者:wanglinzi [字体: ]

一、安装lzop:
yum -y install lzop

二、安装lzo
1、wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
2、tar -zxvf lzo-2.06.tar.gz
3、mv lzo-2.06 lzo && cd lzo
4、export CFLAGS=-m64
5、./configure -enable-shared
6、make && make install【默认安装在了/usr/local/lib下:liblzo2.a  liblzo2.la  liblzo2.so  liblzo2.so.2  liblzo2.so.2.0.0】
7、在/etc/ld.so.conf.d/目录下新建lzo.conf文件,内容:
/usr/local/lib
8、让lzo.conf生效:/sbin/ldconfig -v

三、安装Hadoop-LZO
1、下载源码:https://github.com/twitter/hadoop-lzo
2、解压后是hadoop-lzo-master,进入hadoop-lzo-master目录
3、export CFLAGS=-m64
4、export CXXFLAGS=-m64
5、export C_INCLUDE_PATH=/usr/local/include/lzo
6、export LIBRARY_PATH=/usr/local/lib
7、mvn clean package -Dmaven.test.skip=true【可能在hadoop-lzo-master目录下还有一个hadoop-lzo-master目录,就会抛MissingProjectException异常,找不到源码,需要进入hadoop-lzo-master/hadoop-lzo-master目录下编译,或者去掉一层hadoop-lzo-master目录】
8、在当前目录下生成了target,下面有个native/Linux-amd64-64/lib目录,将lib目录下的文件拷贝到hadoop的lib/native目录下:tar -cBf - -C target/native//Linux-amd64-64/lib . | tar -xBvf - -C /usr/local/hadoop/lib/native

9、将target下的hadoop-lzo-xxx.jar拷贝到hadoop/lib下

参考资料: http://www.linuxidc.com/Linux/2014-03/98602.htm

相关阅读

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

linux
相关资讯       Hadoop Lzo  LZO 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款