手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

用VMware虚拟机搭建Hadoop集群和Storm集群

[日期:2013-08-10] 来源:Linux社区  作者:dehailiu [字体: ]

启动Hadoop

在hadoop目录下

$bin/hadoop namenode –format

$bin/start-all.sh

运行一个hadoop自带的example输入命令:

$bin/hadoop jar /home/hadoop/hadoop-1.0.4/hadoop-1.0.4-examples.jar pi 4 2

$bin/stop-all.sh

六、安装zookeeper平台(zookeeper-3.4.3.)

将zk目录中conf/zoo-example.cfg重命名为zoo.cfg,加入以下内容

tickTime=2000

dataDir=/home/hadoop/zookeeper/

clientPort=2181

initLimit=5

syncLimit=2

server.1=nimbus:2888:3888

server.2=supervisor1:2888:3888

server.3=supervisor2:2888:3888

 

在每个节点分别启动

$~/zookeeper-3.4.3/bin/zkServer.sh start

$~/zookeeper-3.4.3/bin/zkServer.sh status

$~/zookeeper-3.4.3/bin/zkServer.sh stop

七、安装zeromq-2.1.4,官方文档说高版本会出问题

装的时候会提示很多东西没装,没关系,一个个的sudo apt-get install就OK

Libtool, autoconf, automake, uuid-dev

注意:机器是正常的联网状态,不能通过代理上网,否则apt-get会出错

安装很简单,进入目录

$./configure

$make

$sudo make install

$sudo ldconfig

八、安装JZMQ

在jzmq目录下

./autogen.sh

./configure

make

sudo make install

九、安装Python 2.6.6

进入Python-2.6.6目录

./configure

make

sudo make install

十、安装Storm-0.7.0

修改目录下conf/storm.yaml,写进去的内容会覆盖storm.jar里default.yaml的那部分。

storm.zookeeper.servers:

- "nimbus"

- "supervisor1"

- "supervisor1"

storm.zookeeper.port如果之前是2181,这里就不用写,否则要改成=***

storm.local.dir:"/mnt/storm"

需要自行创建,命令如下

$sudo mkdir /mnt/storm

$cd /mnt/storm

$chmod 777 .

nimbus.host: "nimbus"

 

nimbus 节点:$bin/stormnimbus

supervisor 节点:$bin/stormsupervisor

$bin/storm ui

也可以通过浏览器http://{nimbus host}:8080.

 

 

向Nimbus提交jar,执行。
bin/storm jar /tmp/storm-start.jar storm.starter.WordCountTopology
此时会报错,由于执行bin/storm jar *** 命令时,没有载入正确的$STORM_HOME/conf,所以再次修改bin/storm:
1 #!/usr/bin/python
2
3 import os
4 import sys
5 import random
6 import subprocess as sub
7
8 CONF_DIR =os.path.expanduser("~/.storm")
9 STORM_DIR ="/".join(os.path.abspath( __file__ ).split("/")[:-2])
10 CONF_DIR = STORM_DIR +"/conf" #确定目录conf文件目录,这样在执行bin/storm jar的时候可以将正确的conf目录加入classpath中。

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

linux
相关资讯       Hadoop集群  Storm集群 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款