手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Ubuntu 16.04上构建分布式Hadoop-2.7.3集群

[日期:2017-07-09] 来源:Linux社区  作者:荧光小炉 [字体: ]

实验环境

在本篇教程中,我总共使用了两台装有Ubuntu 16.04虚拟机,分别称为master和slave。

IP主机名 (hostname)内存CPU
192.168.0.161 hadoop-master 8192 MB 4 cores
192.168.0.162 hadoop-s1 8192 MB 4 cores

首先需要在两台机器上各自的/etc/hosts文件中加上彼此的主机名和IP地址:


h1.png

安装Java 7

$ sudo add-apt-repository ppa:openjdk-r/ppa
$ sudo apt-get update
$ sudo apt-get install openjdk-7-jdk
$ java -version

如果java安装成功,那么默认是装在了/usr/lib/jvm下的,我们需要把以下的两句加入~/.bashrc中。

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export PATH=$PATH:/usr/lib/jvm/java-7-openjdk-amd64/bin

SSH免密登录

Hadoop需要节点之间可以免密访问,因此我们需要生成SSH秘钥并且加入对方的配置文件。
首先在master上执行:

$ sudo apt-get install openssh-server
$ ssh-keygen -t rsa -P ""

然后把生成的id_rsa.pub加入authorized_keys里:

$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

此时master已经可以对localhost免密访问了

$ ssh localhost

接下来,为了使master能免密访问slave:

$ ssh-copy-id -i $HOME/.ssh/id_rsa.pub administrator@hadoop-s1
$ ssh hadoop-s1

安装Hadoop

Hadoop的各个版本的Release版本在http://hadoop.apache.org/releases.html

在Master和Slave节点上

下载hadoop-2.7.3压缩包,并解压。

$ cd $HOME
$ wget http://mirror.fibergrid.in/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
$ tar -xvf hadoop-2.7.3.tar.gz

此时可以通过以下命令确认hadoop是否成功安装

$ cd hadoop-2.7.3/
$ bin/hadoop-2.7.3

如果成功安装,则把hadoop的以下环境变量加入.bashrc文件中。

# Set Hadoop-related environment variables
export HADOOP_HOME=$HOME/hadoop-2.7.3
export HADOOP_CONF_DIR=$HOME/hadoop-2.7.3/etc/hadoop
export HADOOP_MAPRED_HOME=$HOME/hadoop-2.7.3
export HADOOP_COMMON_HOME=$HOME/hadoop-2.7.3
export HADOOP_HDFS_HOME=$HOME/hadoop-2.7.3
export YARN_HOME=$HOME/hadoop-2.7.3

# Add Hadoop bin/ directory to PATH
export PATH=$PATH:$HOME/hadoop-2.7.3/bin
$ source .bashrc

然后将JAVA_HOME配置到hadoop-2.7.3/etc/hadoop/hadoop-env.sh里,这个文件指定了Hadoop的守护进程使用的JDK环境变量。

$ cd hadoop-2.7.3/etc/hadoop/
$ sudo vim hadoop-env.sh

将以下命令贴到文件中并保存。

# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

接下来我们创建NameNode和DataNode的目录。

$ cd
$ mkdir -p $HADOOP_HOME/hadoop2_data/hdfs/namenode
$ mkdir -p $HADOOP_HOME/hadoop2_data/hdfs/datanode

Hadoop有很多的配置文件需要我们根据需求来做相应的配置,下面一个一个地进行配置。

$ cd hadoop-2.7.3/etc/hadoop/
$ sudo vim core-site.xml

core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://master:9000</value>

    </property>

</configuration>

hdfs-site.xml

$ sudo vim hdfs-site.xml
<configuration>

    <property>

        <name>dfs.replication</name>

        <value>2</value>

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/home/ubuntu/hadoop-2.7.3/hadoop2_data/hdfs/namenode</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/home/ubuntu/hadoop-2.7.3/hadoop2_data/hdfs/datanode</value>

    </property>

</configuration>

yarn-site.xml

$ sudo vim yarn-site.xml
<configuration>

     <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
     </property>
     <property>
           <name>yarn.resourcemanager.address</name>
           <value>hadoop-master:8032</value>
     </property>
     <property>
          <name>yarn.resourcemanager.scheduler.address</name>
          <value>hadoop-master:8030</value>
      </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>hadoop-master:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>hadoop-master:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>hadoop-master:8088</value>
     </property>

</configuration>

mapred-site.xml

$ cp mapred-site.xml.template mapred-site.xml
$ sudo vim mapred-site.xml
<configuration>

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>4096</value>
    </property>

    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>4096</value>
    </property>

    <property>
        <name>mapreduce.map.java.opts</name>
        <value>-Xmx3072m</value>
    </property>

    <property>
        <name>mapreduce.reduce.java.opts</name>
        <value>-Xmx3072m</value>
    </property>

</configuration>
$ sudo vim hadoop-2.7.3/etc/hadoop/masters
hadoop-master
$ sudo vim hadoop-2.7.3/etc/hadoop/slaves
hadoop-master
hadoop-s1

现在对Hadoop集群master的配置已经完成了,我们需要按照同样的步骤配置slave节点。当两台机器都安装并配置好hadoop之后,我们就可以启动hadoop集群了。首先要格式化hadoop的文件系统。

On Master

$ cd hadoop-2.7.3/bin
$ hadoop namenode -format

然后就可以启动Hadoop的守护进程了(NameNode, DataNode, ResourceManager和NodeManager)

$ cd ..
$ sbin/start-dfs.sh

运行完成后再启动yarn。

$ sbin/start-yarn.sh

通过在命令行运行jps指令我们可以看到当前运行在master节点上的守护进程。


h2.png

h3.png

此时可在hadoop-master节点上访问http://hadoop-master:8088/cluster/nodeshttp://hadoop-master:50070/dfshealth.html来查看集群的一些状态信息。


h4.png

运行MapReduce示例程序做词频统计

Hadoop中的所有MapReduce都是运行在HDFS上的。首先我们可以去网上随便找一篇莎士比亚全集,用txt格式保存在某个目录中,本文是保存在master的$HOME下,文件大小为54MB。

把用来做词频统计的输入文件放到HDFS中,就可以运行wordcount来做词频统计了。

$ cd $HADOOP_HOME
$ hdfs dfs -put $HOME/shakespeare.txt /input
$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-example-2.7.3.jar wordcount /input /output

程序运行起来后可以在http://hadoop-master:8088/cluster/nodes查看任务的状态。如果运行成功,统计结果会存在HDFS的/output目录下。如果想查看的话可以从HDFS中导入到本地的文件系统。

hdfs dfs -getmerge /output $HOME/output.txt

如果想了解更多对HDFS的操作方式,可以访问https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/FileSystemShell.html#Overview

Hadoop2.3-HA高可用集群环境搭建  http://www.linuxidc.com/Linux/2017-03/142155.htm

Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署  http://www.linuxidc.com/Linux/2017-04/143095.htm

Hadoop2.7.2集群搭建详解(高可用)  http://www.linuxidc.com/Linux/2017-03/142052.htm

使用Ambari来部署Hadoop集群(搭建内网HDP源)  http://www.linuxidc.com/Linux/2017-03/142136.htm

Ubuntu 14.04下Hadoop集群安装  http://www.linuxidc.com/Linux/2017-02/140783.htm

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建  http://www.linuxidc.com/Linux/2017-06/144932.htm

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程  http://www.linuxidc.com/Linux/2017-06/144926.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址http://www.linuxidc.com/Linux/2017-07/145503.htm

linux
相关资讯       Hadoop集群 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款