手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

CentOS 6.4安装Hadoop-2.5.1完全分布式集群

[日期:2014-10-08] 来源:Linux社区  作者:古韦 [字体: ]

环境介绍

在两台装有CentOS 6.4(32位)的服务器上安装Hadoop-2.5.1分布式集群(2台机器,主要试验用)。

1.修改主机名和/etc/hosts文件

1)修改主机名(非必要)

vi /etc/sysconfig/network
HOSTNAME=XXX

重启后生效。

2)/etc/hosts是ip地址和其对应主机名文件,使机器知道ip和主机名对应关系,格式如下:

#IPAddress HostName
192.168.1.67 MasterServer
192.168.1.241 SlaveServer

2.配置免密码登陆SSH

1)生成密钥:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 

以上是两个单引号。

2)将id_dsa.pub(公钥)追加到授权的key中:

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3)将认证文件复制到其它节点上:

scp ~/.ssh/authorized_keys hadooper@192.168.1.241:~/.ssh/ 

第一次要确认连接,输入yes即可。

但我的仍要求输入密码,原因是.ssh和authorized_keys权限不对,具体见:http://www.linuxidc.com/Linux/2014-10/107762.htm

3.各节点上安装jdk
1)选择的版本是jdk-6u27-linux-i586.bin,下载地址:http://pan.baidu.com/s/1dDGi5QL
2)上传到hadooper用户目录下,添加执行权限

chmod 777 jdk-6u27-linux-i586.bin 

3)安装

./jdk-6u27-linux-i586.bin 

4)配置环境变量:vi /etc/profile加入以下三行

#Java_HOME
export JAVA_HOME=/usr/lib/jvm/jdk1.6/jdk1.6.0_27
export PATH=$JAVA_HOME/bin:$PATH

5)执行source /etc/profile使环境变量的配置生效
6)执行java –version查看jdk版本,验证是否成功。

4. Hadoop安装

每台节点都要安装hadoop。上传hadoop-2.5.1.tar.gz到用户hadooper目录下。

1)解压

tar -zvxf hadoop-2.5.1.tar.gz

2)添加环境变量:vi  /etc/profile,尾部添加如下


export HADOOP_HOME=/home/hadooper/hadoop/hadoop-2.5.1
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop


export CLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

设置立即生效:

source /etc/profile

3)修改Hadoop配置文件

(1)core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://MasterServer:9000</value>
</property>

(2)hdfs-site.xml

 <property> 
    <name>dfs.replication</name> 
    <value>3</value> 
 </property>

(3)mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
 </property>
 <property>
    <name>mapreduce.jobhistory.address</name>
    <value>MasterServer:10020</value>
 </property>
 <property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>MasterServer:19888</value>
 </property><span style="font-family: Arial, Helvetica, sans-serif;">        </span>

jobhistory是Hadoop自带了一个历史服务器,记录Mapreduce历史作业。默认情况下,jobhistory没有启动,可用以下命令启动:

sbin/mr-jobhistory-daemon.sh start historyserver

(4)yarn-site.xml

 <property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
 </property> 
 <property> 
    <name>yarn.resourcemanager.address</name> 
    <value>MasterServer:8032</value> 
 </property> 
 <property> 
    <name>yarn.resourcemanager.scheduler.address</name> 
    <value>MasterServer:8030</value> 
 </property> 
 <property> 
    <name>yarn.resourcemanager.resource-tracker.address</name> 
    <value>MasterServer:8031</value> 
 </property> 
 <property> 
    <name>yarn.resourcemanager.admin.address</name> 
    <value>MasterServer:8033</value> 
 </property> 
 <property> 
    <name>yarn.resourcemanager.webapp.address</name> 
    <value>MasterServer:8088</value> 
 </property>

(5)slaves

SlaveServer 

(6)分别在hadoop-env.sh和yarn-env.sh中添加JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/jdk1.6/jdk1.6.0_27 

--------------------------------------分割线 --------------------------------------

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm

--------------------------------------分割线 --------------------------------------

更多详情见请继续阅读下一页的精彩内容http://www.linuxidc.com/Linux/2014-10/107763p2.htm

linux
相关资讯       Hadoop完全分布式  CentOS安装Hadoop 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款