你好,游客 登录 注册 搜索
背景:
阅读新闻

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

[日期:2013-01-12] 来源:Linux社区  作者:hitwengqi [字体: ]

4.安装Hadoop 1.0.2

官网下载hadoop源文件,这里选择hadoop 1.0.2

解压并放到你希望的目录中。我是放到/usr/local/hadoop

~$ sudo tar xzf hadoop-1.0.2.tar.gz
~$ sudo mv hadoop-1.0.2 /usr/local/hadoop

要确保所有的操作都是在用户hadoop下完成的:

~$ sudo chown -R hadoop:hadoop /usr/local/hadoop

5.设定hadoop-env.sh(Java 安装路径)

进入hadoop目录,打开conf目录下到hadoop-env.sh,添加以下信息:
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk (视你机器的java安装路径而定)
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin

并且,让环境变量配置生效source

~$ source /usr/local/hadoop/conf/hadoop-env.sh

至此,hadoop的单机模式已经安装成功。

于是,运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:

在hadoop目录下新建input文件夹

~$ mkdir input

将conf中的所有文件拷贝到input文件夹中

~$ cp conf/* input

运行WordCount程序,并将结果保存到output中

~$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output

运行

 ~$ cat output/*

你会看到conf所有文件的单词和频数都被统计出来。

下面是伪分布模式需要的一些配置,继续。

linux
本文评论   查看全部评论 (1)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款
第 1 楼
* 啼叫的杜鹃会员 发表于 2014/4/1 9:47:34
楼主好人,按照你的,装成功了。好人一生平安。