手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop学习教程(四) ---- Hadoop集群

[日期:2016-08-26] 来源:Linux社区  作者:dqqiu [字体: ]

下面就跟着笔者开始配置Hadoop集群吧。

hosts文件和SSH免密码登录配置好了之后,现在进入Hadoop安装目录,修改一些配置文件,修改配置还是相对简单的,一下是需要修改的文件内容(当然这里只是学习时的配置,更加深入的配置笔者也不会了),四台机相同配置,以下是一些修改的文件(红色为修改部分):

  conf/hadoop-env.sh:

  export Java_HOME=/usr/local/java/jdk1.6.0_45   ##原本是注释的,解开注释,修改一下路径即可

  conf/core-site.xml:

   <?xml version="1.0"?>

  <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

  <!-- Put site-specific property overrides in this file. -->

  <configuration>
    <property>

      <!-- 用户DFS命令模块中指定默认的文件系统协议 -->
      <name>fs.default.name</name>
      <value>hdfs://hadoop.master:9000</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/local/temp</value>
    </property>
  </configuration>

 

  conf/hdfs-site.xml

  <?xml version="1.0"?>

  <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

  <!-- Put site-specific property overrides in this file. -->

  <configuration>
    <property>
      <!-- 默认Block副本数,设置为副节点个数,这里为3个 -->
      <name>dfs.replication</name>
      <value>3</value>
    </property>
  </configuration>

 

  conf/mapred-site.xml(配置JobTracker):

  <?xml version="1.0"?>

  <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

  <!-- Put site-specific property overrides in this file. -->

  <configuration>
    <property>
      <name>mapred.job.tracker</name>
      <value>hadoop.master:9001</value>
    </property>
  </configuration>

  conf/masters(填写主节点主机名即可):

  hadoop.master

  conf/slaves(填写从节点主机名,一行一个):

  hadoop.slave1

  hadoop.slave2

  hadoop.slave3

  

  至此,配置已经修改完了,接下来是启动。在首次启动之前,先格式化NameNode,之后启动就不需要格式化了,命令如下:

  hadoop namenode -format

  接下来,启动Hadoop集群:

  start-all.sh

  启动后截图如下:

  

  在启动过程中由于配置了SSH免密码登录,是不会询问slaves机器上的密码的。

  集群测试:

  接下来我们运行一下hadoop-example.jar中自带的wordCount程序,用户统计单词出现次数,步骤如下:

  1.新建一个test.txt,内容可自行填写:

  

 

  2.在HDFS系统中创建一个文件夹input,命令如下:

    hadoop fs -mkdir /user/hadoop/input1

  3.上传刚刚创建的test.txt至HDFS系统中的input文件夹,命令如下:
    hadoop fs -put /usr/local/hadoop/test.txt /user/hadoop/input1/

  4.查看文件是否已经上传至HDFS中,命令如下:

    hadoop fs -ls /user/hadoop/input1/

  5.运行hadoop-example.jar,命令如下:

    cd /usr/local/hadoop

    hadoop -jar hadoop-example-1.2.1.jar wordcount /user/hadoop/input1/test.txt /user/hadoop/output1

  6.过程截图:

        

    

   7.运行完毕后,可以查看结果了,键入以下命令,结果截图也在下面:

    hadoop fs -text /user/hadoop/output1/part-r-00000

    

    OK!至此Hadoop集群就安装结束了,而且也测试过了,就先写到这里了。

全部系列见http://www.linuxidc.com/search.aspx?where=nkey&keyword=44572

 

下面关于Hadoop的文章您也可能喜欢,不妨看看:

 

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

 

CentOS安装和配置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

 

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

 

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

 

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

 

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

 

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

 

Hadoop HA 高可用集群部署搭建  http://www.linuxidc.com/Linux/2016-08/134187.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

 

linux
相关资讯       Hadoop集群  Hadoop学习教程 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款