手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop集群监控工具Ambari安装

[日期:2014-06-15] 来源:Linux社区  作者:jiedushi [字体: ]

Apache Ambari是对Hadoop进行监控、管理和生命周期管理的基于网页的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari支持管理的服务有:
 
Apache HBase
 Apache HCatalog
 Apache Hadoop HDFS
 Apache Hive
 Apache Hadoop MapReduce
 Apache Oozie
 Apache Pig
 Apache Sqoop
 Apache Templeton
 Apache Zookeeper

ambari可以使安装hadoop集群,管理hadoop集群服务,监控集群都很容易。目前ambari支持的操作系统为rhel/CentOS 5、rhel/centos6 。

--------------------------------------分割线 --------------------------------------

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop集群上使用Lzo压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

--------------------------------------分割线 --------------------------------------
 
安装步骤为
 
1.  首先需要使用svn客户端获取ambari的源码

$ svn checkout http://svn.apache.org/repos/asf/incubator/ambari/trunk ambari


2. 对ambari源码进行打包编译
 

$ yum install rpm-build
$ cd hmc/package/rpm
$ ./create_hmc_rpm.sh

$ cd mon_dashboard/package/rpm
$ ./create_dashboard_rpm.sh 如果编译成功的话,将会生成下面的rpm文件

1) hmc/package/rpm/build/rpmbuild/RPMS/noarch/ambari-1.0.0-1.noarch.rpm
 
2) hmc/package/rpm/build/rpmbuild/RPMS/noarch/ambari-agent-1.0.0-1.noarch.rpm
 
3) mon_dashboard/package/rpm/build/rpmbuild/RPMS/noarch/hdp_mon_dashboard-0.0.1-2.noarch.rpm
 
3. 安装ambari前需要做的步骤
 
将需要安装的hadoop集群按照namenode,datanode进行划分,namenode节点作为ambari master节点,其他节点作为ambari slave。
 
设置namenode节点到其他节点的无密码登陆的ssh设置。
 
将各个节点的防火墙停止 service iptables stop 
 
4. 开始安装ambari
 
因为ambari需要依赖模块puppet ruby  php  apache等,所以需要先使用yum源安装这些组件
 
在每个节点设置系统yum源
 

$ sudo rpm -Uvh http://dl.Fedoraproject.org/pub/epel/5/x86_64/epel-release-5-4.noarch.rpm
OR
$ sudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm

$ sudo rpm -Uvh http://passenger.stealthymonkeys.com/rhel/5/passenger-release.noarch.rpm
$ sudo rpm -Uvh http://public-repo-1.hortonworks.com/HDP-1.0.1.14/repos/centos5/hdp-release-1.0.1.14-1.el5.noarch.rpm ( for rhel5/centos5 )ORrpm -Uvh http://public-repo-1.hortonworks.com/HDP-1.0.1.14/repos/centos6/hdp-release-1.0.1.14-1.el6.noarch.rpm (for rhel6/centos6 )

在ambari master主节点中安装puppet php等模块

$ sudo yum install php-pecl-json  # version 1.2.1 compatible with php-5.1 or php-5.2
$ sudo yum install php-pdo 检测是否安装posix
$ php -m | grep posix 如果没有找到posix模块,使用

$ sudo yum install php-process 安装即可。

$ sudo yum install pdsh
$ sudo yum install httpd-devel
$ sudo yum install mod_passenger
$ sudo yum install puppet-2.7.9
$ sudo yum install ruby-devel 上面的模块都安装完成后,在ambari master节点安装

$ sudo rpm -iv ambari-1.0.0-1.noarch.rpm
$ sudo rpm -iv hdp_mon_dashboard-0.0.1-2.noarch.rpm 在其他的slave节点安装

$ sudo rpm -Uvh ambari-agent-1.0.0-1.noarch.rpm

因为hadoop需要jdk环境运行,所以需要到  http://www.Oracle.com/technetwork/Java/javase/downloads/jdk-6u26-download-400750.html 下载
 
1) jdk-6u26-linux-x64.bin
 
2) jdk-6u26-linux-i586.bin
 安装包,然后放到 /var/run/hmc/downloads/文件夹中
4.  启动ambari server开始安装集群
 
在ambari master主节点启动ambari server 服务

service ambari start 然后在浏览器中打开

http://AMBARIMASTER/hmc/html/  地址开始安装hadoop 集群

安装集群需要ambari master 节点中root 用户的SSH Private Key File ,路径在/root/.ssh/id_rsa
 
然后将所需要安装的slaves 节点所有hostname 每行一个进行分割存为文件
 
在页面中都选择好文件后,即可进行安装,在安装服务的过程中需要等一段时间,因为所需要的hadoop 都是通过yum 进行下载安装。
 
等安装成功后,即可对集群进行管理,监控了。

参考 http://incubator.apache.org/ambari/install.html

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址http://www.linuxidc.com/Linux/2014-06/103208.htm

linux
相关资讯       Hadoop集群  Hadoop Ambari 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款