手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop 2.2.0集群搭建

[日期:2014-06-08] 来源:Linux社区  作者:liyong199012 [字体: ]

一、环境说明

1、虚拟机平台:VMware10

2、Linux版本:Ubuntu-12.04.3-desktop-i386

3、JDK:jdk1.7.0_51

4、Hadoop版本:2.2.0

5、集群节点:3个,分别是hadoopMaster,hadoopSlave1,hadoopSlave2

注明:文中linuxidc是虚拟机用户名。

--------------------------------------分割线 --------------------------------------

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop集群上使用Lzo压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

--------------------------------------分割线 --------------------------------------

二、准备工作

1、安装虚拟机平台,并新建一个Ubuntu虚拟机,记为hadoopMaster。

2、在hadoopMaster上安装JDK。

Jdk一般有两个版本:Open JDK、SunJDK,建议使用Sun JDK。安装步骤如下:

先去 Oracle下载Linux下的JDK压缩包,http://www.oracle.com/technetwork/java/javase/downloads/index.html,下好后直接解压。

进入在存放jdk文件夹的当前目录,将解压好的jdk1.7.0_51文件夹用最高权限复移动到/usr/lib/jvm目录里,此时即使没有jvm目录也可以执行如下命令,jvm文件夹将得到创建。

        sudo mv jdk1.7.0_51 /usr/lib/jvm/

接下来需要设置环境变量,进入当前用户名的主文件夹,修改.profile文件。注意,该文件是当前用户的配置文件,如果要对使用计算机的所有用户生效,那么需要设置的文件应该是 /etc/profile。

        sudo gedit ~/.profile

在末尾加上:

        export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51
        exportJRE_HOME=/usr/lib/jvm/jdk1.7.0_51/jre
        exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
        export PATH=$JAVA_HOME/bin:$PATH

然后保存关闭,此时在命令行输入java -version将会仍然显示java没有安装。此时,需要使用source更新下.profile文件:

        $ source ~/.profile

再次使用java -version命令可以看到如下输出:

        linuxidc@ubuntu:~$ java -version
        java version "1.7.0_51"
        Java(TM) SE Runtime Environment (build1.7.0_51-b18)

到此,已经将oracle jdk配置完成。如果之前系统里面已经安装了openjdk,可以使用如下方法将默认jdk更改过来:

        $ sudo update-alternatives --install/usr/bin/java java /usr/lib/jvm/jdk1.7.0_51/bin/java 300

 输入sun jdk前的数字就好了

        $ sudo update-alternatives --install/usr/bin/javac javac /usr/lib/jvm/jdk1.7.0_51/bin/javac 300
        $ sudo update-alternatives --config java
        $ sudo update-alternatives --config javac

 3、安装SSH

可以先检查是否已经有ssh,也可以跳过这步,直接安装。

 

$ sudo ps -ef | grep ssh

如果只有 ssh-agent  就需要安装openssh-server了。

$ sudo apt-get install ssh openssh-server

4、配置SSH公钥

$ ssh-keygen -t rsa -P "yourPassWord"

$ ssh-keygen -t rsa -P "yourPassWord"

ssh-kengen 是用连字符连着的,千万不要分开。另外,密码是你的虚拟机密码,而不是空(当然,如果你的虚拟机密码为空,另当别论)。

5、建立IP和hadoop节点的映射关系

修改etc/hosts文件,在上面加入hadoop节点IP和名称的映射关系。

$ sudo gedit /etc/hosts

在其中加上(ip是节点可配置的ip,自己设定):

192.168.32.***  hadoopMaster

192.168.32.***  hadoopSlave1

192.168.32.***  hadoop Slave2

6、克隆两个Ubuntu虚拟机,作为hadoop的其他两个节点

7、分别修改三个Ubuntu虚拟机的名称

sudo gedit /etc/hostname

分别将三个虚拟机名称改为:hadoopMaster,hadoopSlave1,hadoopSlave2。

8、修改三个Ubuntu虚拟机的IP

更多详情见请继续阅读下一页的精彩内容http://www.linuxidc.com/Linux/2014-06/102865p2.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担��切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款