手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Ubuntu 14.04下Hadoop2.4.1集群安装配置教程

[日期:2015-02-15] 来源:powerxing.com  作者:蔡珉星 [字体: ]

执行WordCount实例

执行WordCount实例过程与伪分布式模式一样。首先创建所需的几个目录

bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/Hadoop

将etc/hadoop中的文件作为输入文件复制到分布式文件系统中。

bin/hdfs dfs -put etc/hadoop input 

通过查看DataNode的状态(占用大小有改变),输入文件确实复制到了DataNode中。

通过Web页面查看DataNode的状态通过Web页面查看DataNode的状态

接着就可以运行MapReduce作业了。

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar grep input output 'dfs[a-z.]+'

运行时的信息如下所示,显示Job的进度。可能会比较慢,但如果迟迟没有进度,比如10分钟都没看到进度,那不妨重启Hadoop再试试。

显示MapReduce Job的进度显示MapReduce Job的进度

同样可以通过Web界面查看任务进度 http://master:8088/cluster

通过Web页面集群状态和MapReduce作业的信息通过Web页面集群状态和MapReduce作业的信息

在 Web 界面点击 “Tracking UI” 这一列的 History,可能会提示网页无法打开,遇到这种情况需要手动开启 jobhistory server,开启之后刷新页面再点击就可以打开了。

/usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

执行完毕后的输出结果:

MapReduce作业的输出结果

MapReduce作业的输出结果

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址http://www.linuxidc.com/Linux/2015-02/113486.htm

linux
相关资讯       Hadoop集群  Hadoop2.4.1 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款