手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop安装备忘

[日期:2015-05-01] 来源:Linux社区  作者:cnn237111 [字体: ]

参考刘鹏的《实战Hadoop》一书,按照hadoop 0.20.2几个注意的地方。

实战Hadoop:开启通向云计算的捷径 PDF高清扫描版  下载  http://www.linuxidc.com/Linux/2013-05/85132.htm

第一,首先理解Hadoop中的几个后台进程。

NameNode,Secondary NameNode,JobTracker,TaskTracker,DataNode这几个角色。

NameNode:负责如何切分数据块,和切完放哪个节点。它对内存和I/O集中管理。

这个进程部署在Master节点上,是一个单点,它挂了整个系统都挂了。

Secondary NameNode:和NameNode一样,辅助程序。每个集群都有一个,它与NameNode进行通讯,定期保存HDFS元数据快照,当NameNode故障可以作为备用NameNode使用。它也是部署在Master节点上。

JobTracker负责调度作业,它决定哪些文件由哪些节点运行,并且监听TaskTracker发送来的心跳。当收不到心跳,即认为某个task失败,就会决定重启task。每个集群只有一个JobTracker。它是部署在Master节点上的。

上述三个进程都是部署在Master节点上的,而TaskTracker和DataNode进程进程是集群中各个几点都需要部署的。

DataNode负责将HDFS数据块读写到本地文件系统。当客户端读写某个数据库的时候,由NameNode告诉客户端去那个DataNode进行,然后客户端直接与这个DataNode的服务器通信,并操作相关的数据块。

TaskTracker也是位于从节点的,它负责独立执行具体的Task,每个从节点只能有一个TaskTracker,但是每个TaskTracker可以产生多个Java虚拟机,用于并行处理多个map和reduce认为。TaskTracker还会和JobTracker交互,JobTasker负责分配Task,并且检测TaskTracker的心跳,如果没有心跳,就认为已经崩溃,并将认为分配给其他的TaskTracker。

各个进程的部署图如下:

Hadoop安装备忘

具体的安装环节,可以参考书中的步骤,但是有几个点需要注意。

主机和从机统一创建专门的运行hadoop的用户grid, 设置SSH的免密码登陆机制,可以参考http://www.linuxidc.com/Linux/2015-05/116908.htm。将所有的机器上的公钥文件上里的内容,都统一整合到一个authorized_keys文件,以此实现互相免密码登陆ssh。

启动hadoop的时候,注意要以grid用户登录,在grid用户的主目录下进行操作,有时权限的问题,此时要注意将主机和从机的hadoop文件夹的owner设置为grid用户和组。执行 chown -R grid:grid /home/grid/hadoop-1.2.1  (此处为hadoop的放置目录,这里要使用root用户修改)

然后可以到hadoop的文件夹中的bin目录下启动start-all.sh,可以看到如下的信息,说明启动成功。

Hadoop安装备忘

此时还可以通过运行命令查看进程的启动情况,在主机上运行jdk中的jps文件,可以看到如下:

Hadoop安装备忘

在从节点运行相同的命令,可以看到

Hadoop安装备忘

至此,说明安装Hadoop已经成功了。

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS安装和配置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址http://www.linuxidc.com/Linux/2015-05/116909.htm

linux
相关资讯       Hadoop安装 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款