手机版
你好,游客 登录 注册
背景:
阅读新闻

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

[日期:2013-09-26] 来源:Linux社区  作者:xjavasunjava [字体: ]

一、引言

Hadop是一种分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力高速运算和存储。Hadoop1.2.1版本下载地址:http://apache.dataguru.cn/hadoop/common/hadoop-1.2.1/

相关阅读:

Ubuntu 12.10 上安装部署Openstack http://www.linuxidc.com/Linux/2013-08/88184.htm

Ubuntu 12.04 OpenStack Swift单节点部署手册 http://www.linuxidc.com/Linux/2013-08/88182.htm

在Ubuntu上安装OpenStack的Swift组件-installing openstack object storage http://www.linuxidc.com/Linux/2013-08/88180.htm

OpenStack Hands on lab系列 http://www.linuxidc.com/Linux/2013-08/88170.htm

二、准备安装环境

我的本机是环境是windows8.1系统 +VMvare9虚拟机。VMvare中虚拟了3个ubuntu 12.10的系统,JDK版本为1.7.0_17.集群环境为一个master,两个slave,节点代号分别为node1,node2,node3.保证以下ip地址可以相互ping通,并且在/etc/hosts中进行配置

机器名 Ip地址 作用
node1 202.193.74.173 NameNode,JobTraker
node2 202.193.75.231 DataNode,TaskTraker
node3
202.193.74.3
DataNode,TaskTraker


三、安装环境

1、首先修改机器名

使用root权限,使用命令:

sudo vi /etc/hosts 

其中node1、node2、node3的/etc/hosts配置为:

 

/etc/hosts的配置很重要,如果配置的不合适会出各种问题,会影响到后面的SSH配置以及Hadoop的DataNode节点的启动。

2、安装JDK

Ubuntu下的JDK配置请参考: http://www.linuxidc.com/Linux/2012-05/59858.htm

3、添加用户

在root权限下使用以下命令添加hadoop用户,在三个虚拟机上都添加这个用户

sudo adduser hadoop

将下载到的hadoop-1.2.1.tar文件放到/home/hadoop/目录下解压,然后修改解压后的文件夹的权限,命令如下:

sudo tar -xvzf hadoop-1.2.1.tar #解压命令

chown -R hadoop:hadoop hadoop-1.2.1(文件夹名)

4、安装和配置SSH

1)在三台实验机器上使用以下命令安装ssh:

sudo apt-get install ssh

安装以后执行测试:

netstat -nat  #查看22端口是否开启

ssh localhost #测试ssh是否成功连接

输入当前用户名和密码按回车确认,说明安装成功,同时ssh登陆需要密码。

 

这种默认安装方式完后,默认配置文件是在/etc/ssh/目录下。sshd配置文件是:/etc/ssh/sshd_config

接下来请看第2页精彩内容http://www.linuxidc.com/Linux/2013-09/90600p2.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款