你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop入门基础教程

Hadoop之单机模式搭建

[日期:2015-03-08] 来源:Linux社区  作者:andie_guo [字体: ]

单机模式所需要的系统资源是最少的,这种安装模式下,Hadoop的core-site.xml、mapred-site.xml、hdfs-site.xml配置文件均为空。默认情况下,官方hadoop-1.2.1.tar.gz文件默认使用的就是单机安装模式。当配置文件为空时,Hadoop完全运行在本地,不与其他节点交互,也不使用Hadoop文件系统,不加载任何守护进程,该模式主要用于开发调试MapReduce应用程序的逻辑,不与任何守护进程交互进而避免复杂性。以hadoop用户远程登录K-Master服务器,在K-Master服务器上安装Hadoop过程如下。

开发环境


硬件环境:CentOS 6.5 服务器4台(一台为Master节点,三台为Slave节点)

软件环境:Java 1.7.0_45、hadoop-1.2.1

1、安装Hadoop


1)以hadoop用户远程登录K-Master服务器,下载hadoop-1.2.1.tar.gz ,并将其拷贝到K-Master服务器的/home/hadoop/目录下。

2)解压hadoop-1.2.1.tar.gz

[hadoop@KVM-Master ~]$ su hadoop

[hadoop@KVM-Master ~]$ cd /usr

[hadoop@KVM-Master usr]$ sudo tar –zxvf  /home/hadoop/hadoop-1.2.1.tar.gz

3) 重命名hadoop

[hadoop@KVM-Master usr]$ sudo mv hadoop-1.2.1/ hadoop/

4)将文件夹”hadoop”读权限分配给hadoop用户

很关键到一步,便于hadoop用户对该文件夹的文件拥有读写权限,不然后续hadoop启动后,无法在该文件夹创建文件和写入日志信息。

[hadoop@KVM-Master usr]$ sudo chown -R hadoop:hadoop /usr/hadoop

5)删除安装包

[hadoop@KVM-Master ~]$ rm –rf /home/hadoop/hadoop-1.2.1.tar.gz #删除”hadoop-1.2.1.tar.gz”安装包

2、配置环境变量


1)配置/etc/profile

[hadoop@KVM-Master ~]$ sudo vi /etc/profile

#HADOOP

export HADOOP_HOME=/usr/hadoop

export PATH=$PATH:$HADOOP_HOME/bin 

export HADOOP_HOME_WARN_SUPPRESS=1 

2)使得配置文件在当前终端立即生效

[hadoop@KVM-Master ~] $source /etc/profile

3、启动Hadoop


1)使用start-al.sh命令启动hadoop

[hadoop@KVM-Master ~] $start-all.sh

2)使用jps查看启动是否成功

[hadoop@KVM-Master ~] $jps

jps

因为是单机模式,NameNode和JobTracker等都没有启动,怎么知道安装是否成功了?

3)查看HDFS系统

[hadoop@KVM-Master ~] $ hadoop fs -ls /

通过hadoop fs -ls /命令查看Hadoop HDFS文件管理系统,显示的像Linux文件系统目录。若出现上述所示结果,表明Hadoop单机版安装成功。到目前为止,我们并没有对Hadoop的配置文件做任何修改,全是默认配置,即配置文件全为空,如下所示。

[hadoop@K-Master hadoop] vi conf/core-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>



<!-- Put site-specific property overrides in this file. -->



<configuration>



</configuration>
linux
【内容导航】
第1页:Hadoop之服务器基础环境搭建 第2页:Hadoop之单机模式搭建
第3页:Hadoop之伪分布式环境搭建 第4页:Hadoop之完全分布式环境搭建
第5页:Hadoop之单词计数 第6页:Hadoop之单表关联查询
第7页:Hadoop之一对一关联查询 第8页:Hadoop之一对多关联查询
第9页:Hadoop之倒排索引
相关资讯       Hadoop基础教程  Hadoop入门教程 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款