手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

使用Ambari来部署Hadoop集群(搭建内网HDP源)

[日期:2017-03-24] 来源:Linux社区  作者:heqin [字体: ]

三:安装Ambari

(1)添加yum源

  • Ambari-server、master1、master2、slave1、slave2、slave3

cd /etc/yum.repos.d/ 
$ wget http://10.10.10.20/Hadoop/ambari.repo   #上面搭建的内网yum源
$ wget http://10.10.10.20/hadoop/hdp.repo      #上面搭建的内网yum源 

(2)ambari主机ssh信任hadoop各机器

  • master1、master2、slave1、slave2、slave3

echo sshd:10.10.10.10  >>/etc/hosts.allow
  • Ambari-server

ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub root@master1
ssh-copy-id -i ~/.ssh/id_rsa.pub root@master2
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave2
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave3

(3)安装ambari

  • Ambari-server

$ yum -y install ambari-server

wKiom1hzKKnTtNRAAAAaVW2nSXE052.png

(4)初始化ambari

  • Ambari-server

下载需要的jdk文件(必须用这个文件)

$ wget http://public-repo-1.hortonworks.com/ARTIFACTS/jdk-6u31-linux-x64.bin
mv jdk-6u31-linux-x64.bin /var/lib/ambari-server/resources/
  
$ ambari-server setup  #初始化配置

spacer.gifwKioL1hzKNTgeb-pAAAU2zTexhI052.png

(5)启动ambari

  • Ambari-server

$ ambari-server start

spacer.gifwKiom1hzKOXy6RuEAAAYI02hEhs359.png

(6)给ambari配置本地的hadoop源

  • Ambari-server

cd /var/lib/ambari-server/resources/stacks/HDPLocal/2.0.6/repos/
$ vim repoinfo.xml
CentOS6的
<baseurl>http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.0.6.0</baseurl>
替换成
<baseurl>http://10.10.10.20/hdp/centos6/2.x/updates/2.0.6.0</baseurl>

(7)进入ambari

  • 访问:http://10.10.10.10:8080进入ambari,user:admin,passwd:admin

spacer.gifwKioL1hzKQqg5MNfAAAgTzbpECs805.png

  • 输入集群名

spacer.gifwKioL1hzKRiSJqt1AAA_M92eS9Q810.png

  • 选择 stack 版本

spacer.gifwKiom1hzKTHiBJl5AAAyigec8gc454.png

  • Target Hosts输入hadoop机器的列表,需要添加ambari-server这台机器的/root/.ssh/id_rsa文件。

wKiom1hzKU-w6_TYAAC84mB6QQo631.png

  • 会自动安装ambari-agent

spacer.gifwKiom1hzKW7DkRizAAC8ehqA9sQ500.png

  • 选择那个服务安装在哪个机器上。

spacer.gifwKiom1hzKYTw6fBVAAFA_mTt56A500.png

  • 配置客户端和slaves

spacer.gifwKioL1hzKaSjE3CjAACZLwbp1wQ351.png

  • 配置各个系统

wKiom1hzKdTjDjQLAACepuUtLcM514.png

  • 开始安装

wKiom1hzKhrx4Ls0AACdSVBu2Qs209.png

wKioL1hzKkLzrI2wAABXhtmzp88487.pngwKiom1hzKnnRQGkDAACG99fnJ0w740.pngwKiom1hzK0mTlSZfAAJkoVZN3WY729.png

通过Ambari部署hadoop集群成功!

部署过程中遇到的问题:

1:执行os_type_check.sh脚本执行失败导致的Local OS is not compatible with cluster primary OS报错,这是一个BUG,可以直接修改该os_type_check.sh,输出正确的结果。

2:ambari没有复制过去正确的hdp源,所以手动将hdp源配置到hadoop的集群

$ vim hdp.repo
[HDP-2.0.6]
name=HDP
baseurl=http://10.10.10.20/hdp
path=/
enabled=1
gpgcheck=0

3:nagios输入正确密码和用户名无法登陆,密码文件httpd用户没有权限,设置777后可以正常访问。

-rw-r----- 1 nagios nagios 26 Jun  9 11:54 /etc/nagios/htpasswd.users

4:jourenode无法启动报错

wKiom1hzK5PTSj6TAACApFs5tTI533.png

wKioL1hzK5TDMQ-OAACqKINZzxI660.png

直接执行yum会报错

$ yum  -d 0 -e 0 -y install net-snmp-utils

rpmdb: Thread/process 12500/139757427676928 failed: Thread died in Berkeley DB library

error: db3 error(-30974) from dbenv->failchk: DB_RUNRECOVERY: Fatal error, run database recovery

error: cannot open Packages index using db3 -  (-30974)

error: cannot open Packages database in /var/lib/rpm

CRITICAL:yum.main:

解决办法:

$ rm -rf /var/lib/rpm/__db.*

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址http://www.linuxidc.com/Linux/2017-03/142136.htm

linux
相关资讯       Hadoop集群  Ambari  Ambari部署Hadoop集群 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款