手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

VMware虚拟机中搭建Hadoop集群

[日期:2013-01-12] 来源:Linux社区  作者:gujincuis [字体: ]

1、下载的软件: VMware Workstation  Ubuntu  SUN-JDK  Hadoop,可到官网下载

2、安装 VMwareWorkstation 虚拟机,并建立 Master 虚拟主机(记住,先是建立一个虚拟机,然后在这个基础上进行clone,这样就能利用已建好的虚拟机,以及在其上安装好的软件和相关配置,达到复用的效果),同时,在建立虚拟机时应该选择桥接模式,原因不在叙述,可查看相关资料

3、在Master主机下,建立hadoop用户(可以选择其他的),以及hadoop组,(在Hadoop集群中建立相同的用户以及组是基本要求)

4、Hadoop  集群 IP地址分配:

192.168.1.108    master

192.168.1.103    node1

192.168.1.101    node2

当然,自己可根据自己的IP进行分配,为此,需要在Master主机下修改 /etc/hosts文件,加入上面的配置,同时修改 /etc/hostname 中的内容为 master,至于为什么要选择主机名,而不直接用IP地址,主要是为了直观以及可扩展性

5、在Master主机下安装Java,并配置好环境变量,可参考 http://www.linuxidc.com/Linux/2012-06/62078.htm

6、 在Master主机下安装SSH :

1) ssh-keygen -t rsa  一路回车下去即可,即可生成公钥(~/.ssh/id_rsa.pub)和私钥(~/.ssh/id_rsa)文件。

7、在Master主机下安装好Hadoop

1) 解压缩  tar -xvzf hadoop-0.20.2.tar.gz

2) 配置Hadoop环境变量  修改 ~/.bashrc,在文件最后面加上如下配置:

export HADOOP_HOME=/home/hadoop/Downloads/hadoop-1.0.4

export PATH=$PATH:$HADOOP_HOME/bin

3) 配置master和slaves文件 修改 hadoop安装目录下的/conf/masters 文件,http://www.linuxidc.com 内容如下所示:

master,

以及 hadoop安装目录下的/conf/slaves  文件,内容如下

node1

node2

4) 配置 hadoop安装目录下的/conf/hadoop-env.sh文件,修改 JDK的路径为实际安装路径 ,如下所示:

export JAVA_HOME=/home/hadoop/Downloads/jdk1.6.0_37

5) 配置 hadoop安装目录下的conf/core-site.xml文件为:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>
    <description></description>
</property>
<property>
<name>Hadoop.tmp.dir</name>
    <value>/myhadoop</value>
    <description></description>
</property>
</configuration>

linux
相关资讯       Hadoop集群  Hadoop集群搭建 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款