手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

用VMware虚拟机搭建Hadoop集群和Storm集群

[日期:2013-08-10] 来源:Linux社区  作者:dehailiu [字体: ]

最近试着搭建Hadoop集群和Storm集群,先在虚拟机上做个实验。

Storm的安装步骤见Github上提供的安装文档: https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster 

各系统版本:

VMwareWorkstation 9.0.0
Ubuntu-12.04.1-desktop-i386
hadoop-1.0.4
zookeeper-3.4.3.
zeromq-2.1.4
jdk1.6.0_27
Storm-0.7.0
Python 2.6.6 

推荐阅读:

Twitter Storm安装配置(集群)笔记  http://www.linuxidc.com/Linux/2013-05/84307.htm

安装Twitter Storm集群  http://www.linuxidc.com/Linux/2012-07/66336.htm

Twitter Storm安装配置(单机版)笔记  http://www.linuxidc.com/Linux/2013-05/84306.htm

Storm 实战及实例讲解一  http://www.linuxidc.com/Linux/2012-08/69146.htm

一、利用VM搭建起3个节点的平台

分别命名:nimbus,supervisor1,supervisor2 (nimbus为主节点,在hadoop,zookeeper,storm的配置中都要用到)

在VM中每个节点的Network Adaper都设置为NAT,自动为其分配IP

安装Ubuntu 12.04时,用户名都设置为hadoop

P.S. 事实上,应该尽量将可以安装的东西安装完成后再对虚拟机进行复制,以减少工作量。

二、配置Host(更改两个文件hostname,hosts)

$sudo gedit /etc/hostname,每个虚拟机节点分别改为nimbus,supervisor1,supervisor2

$ifconfig分别获取每个虚拟机的ip信息

nimbus:192.168.128.144

supervisor1:192.168.128.146

supervisor2:192.168.128.145

$sudo gedit /etc/hosts

文件内容中加入

192.168.128.144 nimbus

192.168.128.146 supervisor1

192.168.128.145 supervisor2

三、实现SSH免密码登录

安装ssh,$sudoapt-get install ssh

设置免密码登录,以下是从nimbus到supervisor1,2的无密码登录

$ssh-keygen –t dsa,在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub

把公钥追加到授权的key里面去

$cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

将公钥复制到其他节点上

在namenode中 cd到.ssh文件夹下输入以下命令:

scp id_dsa.pub supervisor1:~/.ssh/

在supervisor1上执行:cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

supervisor2同上

查看是否成功,ssh supervisor1

四、安装JDK1.6

解压到/usr/lib/Java/jdk1.6.0_27

$sudo gedit/etc/environment

将/usr/lib/java/jdk1.6.0_27加入到PATH当中,用:与之前的隔开

CLASSPATH=..:/usr/lib/java/jdk1.6.0_27/lib

JAVA_HOME=/usr/lib/java/jdk1.6.0_27

五、安装hadoop平台

分别修改以下配置文件

conf/core-site.xml:

<Configuration>

<Property>

<name>fs.default.name</name>

<value>hdfs://nimbus:9000</value>

</Property>

<Property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/tmp</value>

</Property>

</Configuration>

 

conf/hdfs-site.xml:

<Configuration>

<Property>

<name>dfs.replication</name>

<value>1</value>

</Property>

</Configuration>

 

conf/mapred-site.xml:

<Configuration>

<Property>

<name>mapred.job.tracker</name>

<value> nimbus:9001</value>

</Property>

</Configuration>

 

conf/masters:

nimbus

 

conf/slaves:

supervisor1

supervisor2

接下来请看第2页精彩内容http://www.linuxidc.com/Linux/2013-08/88549p2.htm

linux
相关资讯       Hadoop集群  Storm集群 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款