你好,游客 登录 注册 搜索
背景:
阅读新闻

Ubuntu 13.04上搭建Hadoop环境

[日期:2013-06-16] 来源:Linux社区  作者:p_3er [字体: ]

4.安装Hadoop

官网下载hadoop源文件,这里选择hadoop 1.2.0

解压并放到你希望的目录中。我是放到/usr/local/hadoop

sudo tar xzf hadoop-1.2.0.tar.gz 

sudo mv hadoop-1.2.0 /usr/local/hadoop 

 要确保所有的操作都是在用户hadoop下完成的:

sudo chown -R hadoop:hadoop /usr/local/hadoop

5.设定hadoop-env.sh(Java 安装路径)

进入hadoop目录,打开conf目录下到hadoop-env.sh,添加以下信息:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 (视你机器的java安装路径而定) 

export HADOOP_HOME=/usr/local/hadoop 

export PATH=$PATH:/usr/local/hadoop/bin 

并且,让环境变量配置生效source

source /usr/local/hadoop/conf/hadoop-env.sh

下面是伪分布模式需要的一些配置,继续。

6.设定*-site.xml

 这里需要设定3个文件:core-site.xml,hdfs-site.xml,mapred-site.xml,都在/usr/local/hadoop/conf目录下

 core-site.xml:  Hadoop Core的配置项,例如HDFS和MapReduce常用的I/O设置等。

 hdfs-site.xml:  Hadoop 守护进程的配置项,包括namenode,辅助namenode和datanode等。

 mapred-site.xml: MapReduce 守护进程的配置项,包括jobtracker和tasktracker。

首先在hadoop目录下新建几个文件夹

01. ~/hadoop$ mkdir tmp 

02. ~/hadoop$ mkdir hdfs 

03. ~/hadoop$ mkdir hdfs/name 

04. ~/hadoop$ mkdir hdfs/data

接下来编辑那三个文件:

core-site.xml:

  1. <configuration>
  • <property>
  • <name>fs.default.name</name>
  • <value>hdfs://localhost:9000</value>
  • </property>
  • <property>
  • <name>hadoop.tmp.dir</name>
  • <value>/usr/local/hadoop/tmp</value>
  • </property>
  • </configuration>

hdfs-site.xml:

  1. <configuration>
  • <property>
  • <name>dfs.replication</name>
  • <value>1</value>
  • </property>
  • <property>
  • <name>dfs.name.dir</name>
  • <value>/usr/local/hadoop/hdfs/name</value>
  • </property>
  • <property>
  • <name>dfs.data.dir</name>
  • <value>/usr/local/hadoop/hdfs/data</value>
  • </property>
  • </configuration>

mapred-site.xml:

  1. <configuration>
  • <property>
  • <name>mapred.job.tracker</name>
  • <value>localhost:9001</value>
  • </property>

  • </configuration>

 

7.格式化HDFS
通过以上步骤,我们已经设定好Hadoop单机测试到环境,接着就是启动Hadoop到相关服务,格式化namenode,secondarynamenode,tasktracker:

source /usr/local/hadoop/conf/hadoop-env.sh

hadoop namenode -format

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款