手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop伪分布式集群环境搭建

[日期:2016-12-16] 来源:cnblogs.com/chongluo  作者:taurus [字体: ]

本教程讲述在单机环境下搭建Hadoop伪分布式集群环境,帮助初学者方便学习Hadoop相关知识。

首先安装Hadoop之前需要准备安装环境。

注意:以上三者版本需要统一,必须同为64位/32位

 

下面关于Hadoop的文章您也可能喜欢,不妨看看:

 

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

 

CentOS安装和配置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

 

CentOS 6.3下Hadoop伪分布式平台搭建  http://www.linuxidc.com/Linux/2016-11/136789.htm

 

Ubuntu 14.04 LTS下安装Hadoop 1.2.1(伪分布模式) http://www.linuxidc.com/Linux/2016-09/135406.htm

 

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

 

实战CentOS系统部署Hadoop集群服务 http://www.linuxidc.com/Linux/2016-11/137246.htm

 

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

 

Hadoop 2.6.0 HA高可用集群配置详解  http://www.linuxidc.com/Linux/2016-08/134180.htm

 

Spark 1.5、Hadoop 2.7 集群环境搭建  http://www.linuxidc.com/Linux/2016-09/135067.htm

 

1.安装JDK1.7

下载JDK1.7,然后拷贝到指定目录

cd /usr/local/

解压缩:tar -zxvf jdk1.7

配置环境变量:

vim /etc/profile.d/Java.sh
添加如下内容:
CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH

执行:

source /etc/profile.d/java.sh

java -version显示出JDK相关信息

2.配置hosts文件,使访问更加方便

vim /etc/hosts

在文件末尾加入:

192.168.1.1(本机ip) taurus(本机域名)

3.关闭防火墙:

查看防火墙状态:service iptables status
关闭防火墙:chkconfig iptables off(永久性生效)
service iptables stop(即时生效,重启后复原)

4.SSH无密码验证配置

创建hadoop用户组

groupadd hadoop

创建hadoop用户

useradd group group

为hadoop用户设置密码

passwd hadoop

创建.ssh文件

mkdir .ssh

使用命令生成密钥:

ssh-keygen -t rsa

用公钥生成认证文件

cp id_rsa.pub authorized_keys

赋予文件权限

chmod  700.ssh

chmod 600 .ssh/*

然后使用ssh连接当前节点,ssh taurus(本机域名) 如果提示ssh未安装执行命令:

yum -y install openssh-clients

如果还是提示下列错误:

ssh: connect to host taurus port 22: Connection refused

说明ssh-server没有安装

sudo apt-get install openssh-server   进行安装

然后在使用ssh localhost应该会连接成功。

5.开始搭建伪分布式环境

下载hadoop2.2.0安装包

wget http://hadoop.f.dajiangtai.com/hadoop2.2/hadoop-2.2.0-x64.tar.gz

解压安装包:

tar -zxvf hadoop-2.2.0-x64.tar.gz

重命名hadoop-2.2.0-x64.tar.gz

mv hadoop-2.2.0-x64.tag.gz  hadoop

将haddop文件夹的权限赋予hadoop用户

chown -R hadoop:hadoop hadoop

创建hadoop数据目录--3个

root@taurus:/usr/local# mkdir -p /data/dfs/name
root@taurus:/usr/local# mkdir -p /data/dfs/data
root@taurus:/usr/local# mkdir -p /data/tmp

将创建的文件夹权限赋予hadoop用户

root@taurus:/usr/local# chown -R hadoop:hadoop hadoop /data

然后切换到hadoop用户,进入hadoop文件夹下etc/hadoop目录:

su hadoop
cd etc/hadoop
vim core-site.xml

添加如下内容到core-site.xml文件

默认HDFS路径

存放数据的公共目录

设置hadoop安全机制的代理用户和用户组

修改hdfs-site.xml文件,添加如下内容:

Namenode文件目录

Datanode文件目录

数据快副本

HDFS权限

更多详情见请继续阅读下一页的精彩内容http://www.linuxidc.com/Linux/2016-12/138433p2.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款