下面就跟着笔者开始配置Hadoop集群吧。
hosts文件和SSH免密码登录配置好了之后,现在进入Hadoop安装目录,修改一些配置文件,修改配置还是相对简单的,一下是需要修改的文件内容(当然这里只是学习时的配置,更加深入的配置笔者也不会了),四台机相同配置,以下是一些修改的文件(红色为修改部分):
conf/hadoop-env.sh:
export Java_HOME=/usr/local/java/jdk1.6.0_45 ##原本是注释的,解开注释,修改一下路径即可
conf/core-site.xml:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<!-- 用户DFS命令模块中指定默认的文件系统协议 -->
<name>fs.default.name</name>
<value>hdfs://hadoop.master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/temp</value>
</property>
</configuration>
conf/hdfs-site.xml:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<!-- 默认Block副本数,设置为副节点个数,这里为3个 -->
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
conf/mapred-site.xml(配置JobTracker):
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop.master:9001</value>
</property>
</configuration>
conf/masters(填写主节点主机名即可):
hadoop.master
conf/slaves(填写从节点主机名,一行一个):
hadoop.slave1
hadoop.slave2
hadoop.slave3
至此,配置已经修改完了,接下来是启动。在首次启动之前,先格式化NameNode,之后启动就不需要格式化了,命令如下:
hadoop namenode -format
接下来,启动Hadoop集群:
start-all.sh
启动后截图如下:
在启动过程中由于配置了SSH免密码登录,是不会询问slaves机器上的密码的。
集群测试:
接下来我们运行一下hadoop-example.jar中自带的wordCount程序,用户统计单词出现次数,步骤如下:
1.新建一个test.txt,内容可自行填写:
2.在HDFS系统中创建一个文件夹input,命令如下:
hadoop fs -mkdir /user/hadoop/input1
3.上传刚刚创建的test.txt至HDFS系统中的input文件夹,命令如下:
hadoop fs -put /usr/local/hadoop/test.txt /user/hadoop/input1/
4.查看文件是否已经上传至HDFS中,命令如下:
hadoop fs -ls /user/hadoop/input1/
5.运行hadoop-example.jar,命令如下:
cd /usr/local/hadoop
hadoop -jar hadoop-example-1.2.1.jar wordcount /user/hadoop/input1/test.txt /user/hadoop/output1
6.过程截图:
7.运行完毕后,可以查看结果了,键入以下命令,结果截图也在下面:
hadoop fs -text /user/hadoop/output1/part-r-00000
OK!至此Hadoop集群就安装结束了,而且也测试过了,就先写到这里了。
全部系列见:http://www.linuxidc.com/search.aspx?where=nkey&keyword=44572
下面关于Hadoop的文章您也可能喜欢,不妨看看:
Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 http://www.linuxidc.com/Linux/2015-02/113487.htm
CentOS安装和配置Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm
Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
Hadoop HA 高可用集群部署搭建 http://www.linuxidc.com/Linux/2016-08/134187.htm
更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13