手机版
你好,游客 登录 注册
背景:
阅读新闻

Hadoop 伪分布式安装

[日期:2013-06-19] 来源:Linux社区  作者:hljlzc2007 [字体: ]

Hadoop的安装分为本地模式、伪分布式模式、集群模式
 
在这里演示伪分布式模式的安装和部署,以下将演示hadoop安装在RedHat上的方法,首先要确保防火墙已经关闭。
 
1.      安装JDK,设置环境变量,这里选择JDK1. 6
 
2.      下载hadoop1.1.2安装文件,hadoop-1.1.2.tar.gz
 
3.      将该文件解压到linux机器上,配置hadoop环境变量,具体配置如下
 
exportJAVA_HOME=/usr/local/jdk
 
export HADOOP_HOME=/usr/local/hadoop
 
export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
 
4.      设置ssh自动登录
 
生成密钥文件,ssh-keygen -t rsa
 
修改生成文件的名字:cp id_rsa.pub authorized_keys, 这里一定要这么做
 
确认ssh自动登录已经成功:ssh hadoop,连续登录两次主机,第二次不用确认信息,说明设置成功
 

5.      配置hadoop文件
 
要配置伪分布式,这里要修改hadoop的配置文件

在hadoop中设置java home
 
1)  修改hadoop-env.sh
 
在hadoop/conf下打开hadoop-env.sh
 
export HADOOP_PID_DIR=/usr/local/hadoop/pids
 
export JAVA_HOME=/usr/local/java
 
2)  修改core-site.xml
 
在core-site.xml中加入以下行,设置hadoop file system的访问路径,以及tmp文件的存储路径,在源码中,你可以看到默认值
 
<property>
 
    <name>fs.default.name</name>
 
    <value>hdfs://hadoop:9000</value>
 
</property>
 
<property>
 
    <name>hadoop.tmp.dir</name>
 
      <value>/usr/local/hadoop/tmp</value>
 
    </property>
 
3)  修改hdfs-site.xml
 
<configuration>
 
    <property>
 
      <name>dfs.replication</name>
 
        <value>1</value>
 
    </property>
 
</configuration>
 
4)  修改mapred-site.xml
 
<configuration>
 
    <property>
 
        <name>mapred.job.tracker</name>
 
        <value>hadoop:9001</value>
 
    </property>
 
</configuration>
 
6.      格式化namenode
 
Hadoop namenode –format
 

7.      启动hadoop
 
start-all.sh,这里启动了五个java进程,有namenode, datanode, jobtracker,tasktracker, secondarynamenode, 可以用jps命令查看是否启动成功 
       

8.      在浏览器中查看namenode是否启动成功
 
http://localhost.localdomain:50070/dfshealth.jsp

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

linux
相关资讯       Hadoop安装  Hadoop伪分布式 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款