你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop 2.6.0 HA高可用集群配置详解

[日期:2016-08-11] 来源:Linux社区  作者:carl810224 [字体: ]

8 Hadoop集群的启动

8.1 集群启动步骤

// 启动zookeeper集群(分别在slave1、slave2和slave3执行)

$ zkServer.shstart

// 启动HDFS(在master1执行)

$ start-dfs.sh

备注:此命令分别在master1/master2节点启动了NameNode和ZKFC,分别在slave1/slave2/slave3节点启动了DataNode和JournalNode,如下图所示。

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

 

// 启动YARN(在master2执行)

$ start-yarn.sh

备注:此命令在master2节点启动了ResourceManager,分别在slave1/slave2/slave3节点启动了NodeManager。

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

// 启动YARN的另一个ResourceManager(在master1执行,用于容灾)

$ yarn-daemon.sh start resourcemanager

// 启动YARN的安全代理(在master2执行)

$ yarn-daemon.sh start proxyserver

备注:proxyserver充当防火墙的角色,可以提高访问集群的安全性

// 启动YARN的历史任务服务(在master1执行)

$ mr-jobhistory-daemon.sh starthistoryserver

备注:yarn-daemon.sh start historyserver已被弃用;CDH版本似乎有个问题,即mapred-site.xml配置的mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address参数似乎不起作用,实际对应的端口号是10200和8188,而且部需要配置就可以在任意节点上开启历史任务服务。

8.2 集群启动截图

hadoop-master1开启了NameNode、ResourceManager、HistoryServer和ZKFC,如下图所示:

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

 

hadoop-master2开启了NameNode、ResourceManager、ProxyServer和ZKFC,如下图所示:

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

 

hadoop-slave1、hadoop-slave2和hadoop-slave3分别开启了DataNode、JournalNode、NodeManager和ZooKeeper,如下图所示:

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

 

 

8.3 Web UI

下图为http://hadoop-master1:50070,可看到NameNode为active状态:

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

 

下图为http://hadoop-master2:50070,可看到NameNode为standby状态:

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

HDFS还有一个隐藏的UI页面http://hadoop-master1:50070/dfshealth.jsp比较好用:

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

下图为http://hadoop-master2:8088,可看到ResourceManager为active状态:

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

下图为http://hadoop-master1:8088,可看到ResourceManager为standby状态,它会自动跳转到http://hadoop-master2:8088:

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

下图为http://hadoop-master1:19888,可查看历史任务信息:

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

9 功能测试

// 向HDFS上传数据

$ hadoopfs -put webcount.txt /input

// 查看HDFS上的数据

$ hadoopfs -ls /input

$ hadoopfs -cat /input/webcount.txt

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

// 向YARN提交MapReduce任务,该任务用于分析网站日志文件webcount.txt统计每小时的点击次数

$ hadoopjar mr-webcount-0.0.1-SNAPSHOT.jar com.mr.demo.WebCountDriver/input/webcount.txt /output/webcount 1 1

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

 

// 在HDFS查看结果

$ hadoopfs -ls /output/webcount

$ hadoopfs -cat /output/webcount/part-r-00000

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

 

// 通过Web UI查看任务信息和历史任务信息

 

Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

 Hadoop 2.0 HA高可用集群配置详解 www.linuxidc.com

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址http://www.linuxidc.com/Linux/2016-08/134180.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款