你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop学习札记

编译

[日期:2014-01-28] 来源:Linux社区  作者:hutou [字体: ]

近期对Hadoop很感兴趣,下面是在CentOS系统上进行编译的分享

系统情况如下:

1. CentOS 6.2 64位
2. hadoop-2.2.0
3. jdk 1.6.0_31
4. maven 3.1.0
5. protobuf-2.5.0
6. cmake 2.8.12.1

系统中已经安装好了JDK,并正确进行了设置,这里不说明JDK的安装与设置,请自行查阅

第一步:安装maven

    1.1 下载文件 apache-maven-3.1.0-alpha-1-bin.tar.gz

    1.2 执行命令 tar zvxf apache-maven-3.1.0-alpha-1-bin.tar.gz

    1.3 配置环境变量,编辑etc/profile文件,添加如下代码

MAVEN_HOME=/home/youUser/apache-maven-3.1.0-alpha-1
PATH=$MAVEN_HOME/bin:$PATH
export MAVEN_HOME
export PATH

    1.4 保存文件,并运行如下命令使环境变量生效

source /etc/profile

    1.5 通过如下命令可以查看是否安装正常

mvn -version

  第二步:安装protobuf

    2.1 下载文件 protobuf-2.5.0.tar.gz

    2.2 执行命令 tar zvxf protobuf-2.5.0.tar.gz

    2.3 进入 protobuf-2.5.0 目录,执行下面的命令

 ./configure
 make 
 make check 
 make install

    2.4 通过如下命令可以查看是否安装正常

protoc --version

  第三步:安装cmake

    3.1 下载安装文件 cmake-2.8.12.1.tar.gz

    3.2 执行如下命令 tar zvxf cmake-2.8.12.1.tar.gz

    3.3 进人 cmake-2.8.12.1 目录,执行如下命令

./bootstrap
make
make install

    3.4 通过如下命令检查安装是否正常

cmake -version

  第四步:安装必要的包

    4.1 执行如下命令,安装 autotool

yum install autoconf automake libtool

    4.2 执行如下命令,安装 openssl-devel

yum install openssl-devel

  第五步:正式编译hadoop

    5.1 下载源码包 hadoop-2.2.0-src.tar.gz

    5.2 执行解包命令 tar zvxf hadoop-2.2.0-src.tar.gz

    5.3 由于源码有问题,需要进行修改,修改 hadoop-common-project/hadoop-auth/pom.xml 文件,添加如下内容

 
     </dependency>
     <dependency>
       <groupId>org.mortbay.jetty</groupId>
       <artifactId>jetty-util</artifactId>
       <scope>test</scope>
     </dependency>
     <dependency>
       <groupId>org.mortbay.jetty</groupId>
       <artifactId>jetty</artifactId>
       <scope>test</scope>
     </dependency>
 

    5.4 进入 hadoop-2.2.0-src 目录,执行如下命令

mvn clean package -Pdist,native -DskipTests -Dtar

    5.5 如果能看到类型下面的输出就证明编程成功,这个过程中要保证网络通畅,需要下载很多包。

    

    5.6 进入 hadoop-dist/target 目录,看一下编译成果吧

  注明:

    有人说可能还需要安装 ncurses-devel , 可以通过 yum install ncurses-devel 进行安装

相关阅读

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

linux
【内容导航】
第1页:编译 第2页:配置
第3页:第一个程序 第4页:运行一个真正的MapReduce程序
第5页:真正的分布式系统搭建
相关资讯       Hadoop编译  Hadoop学习 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款