手机版
你好,游客 登录 注册
背景:
阅读新闻

Hadoop2.7.1 集群部署及自动化脚本

[日期:2016-07-03] 来源:Linux社区  作者:zcf1002797280 [字体: ]

Hadoop2.7.1 集群部署及自动化脚本

实验环境

操作系统:Ubuntu 14.04 64位

主机名IP
namenode 10.107.12.10
datanode1 10.107.12.20
datanode2 10.107.12.50
datanode3 10.107.12.60

jdk 安装

实验安装的是jdk1.7.0_71版本,具体安装步骤及环境变量设置参考这里http://www.linuxidc.com/Linux/2016-07/132852.htm

SSH 无密登录

下面是我写的一个自动化SSH 无密登录脚本,运行脚本前需要安装expect包,ubuntu 系统下直接执行:sudo apt-get install expect就可以了。该脚本运行在namenode上,运行时只需要将IP_1改成对应的datanode地址,PWD_1是对应datanode密码。

# NO_PWD_SSH
#!/bin/sh 
IP_1=10.107.12.20,10.107.12.50,10.107.12.60
PWD_1=111111

key_generate() {
    expect -c "set timeout -1;
        spawn ssh-keygen -t dsa;
        expect {
            {Enter file in which to save the key*} {send -- \r;exp_continue}
            {Enter passphrase*} {send -- \r;exp_continue}
            {Enter same passphrase again:} {send -- \r;exp_continue}
            {Overwrite (y/n)*} {send -- n\r;exp_continue}
            eof             {exit 0;}
    };"
}

auto_ssh_copy_id () {
    expect -c "set timeout -1;
        spawn ssh-copy-id -i $HOME/.ssh/id_dsa.pub root@$1;
            expect {
                {Are you sure you want to continue connecting *} {send -- yes\r;exp_continue;}
                {*password:} {send -- $2\r;exp_continue;}
                eof {exit 0;}
            };"
}

rm -rf ~/.ssh

key_generate

ips_1=$(echo $IP_1 | tr ',' ' ')
for ip in $ips_1
do
    auto_ssh_copy_id $ip  $PWD_1
done

eval &(ssh-agent)
ssh-add

安装Hadoop2.7.1

1. 下载Hadoop2.7.1

下载地址点这里

2. 解压安装

tar zxvf hadoop-2.7.1.tar.gz解压,解压后放在了/root/spark_sdk/目录下,并在hadoop-2.7.1目录下建立tmp、hdfs/namenode、hdfs/datanode目录,命令如下:

mkdir ./hadoop-2.7.1/tmp
mkdir ./hadoop-2.7.1/hdfs
mkdir ./hadoop-2.7.1/hdfs/datanode
mkdir ./hadoop-2.7.1/hdfs/namenode

3. 设置环境变量

~/.bashrc文件中加入如下两条命令:

export HADOOP_HOME=/root/spark_sdk/hadoop-2.7.1 
PATH=$PATH:$HADOOP_HOME/bin

使环境变量生效:source ~/.bashrc

4. 设置主机名 && hosts文件

主机名
/etc/hostname中主机名依次修改为namenode,datanode1,datanode2,datanode3。

hosts文件
/etc/hosts文件中加入如下命令:

10.107.12.10 namenode
10.107.12.20 datanode1
10.107.12.50 datanode2
10.107.12.60 datanode3

注意主机名必须和hosts文件中名称保持一致!!

5. 修改Hadoop 配置文件

hadoop-env.sh 文件

export Java_HOME=/root/spark_sdk/jdk1.7.0_71

yarn-env.sh 文件

export JAVA_HOME=/root/spark_sdk/jdk1.7.0_71

core-site.xml 文件

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>

    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/root/spark_sdk/hadoop-2.7.1/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>

    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>

    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>
</configuration>

这里有一个地方需要注意,最后设置hadoop.proxyuser时,后面跟的是用户名,我是用root用户登录的,所以填的是root。

hdfs-site.xml 文件

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/root/spark_sdk/hadoop-2.7.1/hdfs/namenode</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/root/spark_sdk/hadoop-2.7.1/hdfs/datanode</value>
    </property>

    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>namenode:9001</value>
    </property>

    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

mapred-site.xml 文件

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml 文件

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>namenode:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>namenode:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>namenode:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>namenode:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>namenode:8088</value>                                                                                                    
    </property>
</configuration>

slaves 文件

    datanode1
    datanode2
    datanode3

6. 启动Hadoop

先格式化namenode,然后依次启动hdfs和yarn。

bin/hadoop namenode -format

sbin/start-dfs.sh

sbin/start-yarn.sh

7. 集群启动验证

namenode上执行jps命令,可以查询到有如下进程:

15746 SecondaryNameNode
15508 NameNode
15969 ResourceManager
16377 Jps

datanode上执行jps命令,可以查询到有如下进程:

14731 Jps
14421 NodeManager
14182 DataNode

8. 查询集群信息 && 关闭集群

可以在浏览器中输入:10.107.12.10:50070查询HDFS相关信息,这里10.107.12.10是namenode的IP地址。浏览器输入:10.107.12.10:8088查看yarn的启动情况。

关闭集群可以执行sbin/stop-all.sh

9. 运行应用程序

启动集群后,切换到hadoop 主目录,执行 ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar pi 20 10,运行成功后会输出Pi的值,结果如下:

Hadoop2.7.1集群部署

【完】

下面关于Hadoop的文章您也可能喜欢,不妨看看:

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS安装和配置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址http://www.linuxidc.com/Linux/2016-07/132851.htm

linux