你好,游客 登录 注册 搜索
背景:
阅读新闻

Ambari 2.4 安装教程及 Haodoop lzo 配置

[日期:2017-04-25] 来源:Linux社区  作者:professor [字体: ]

准备工作

1. 安装JDK,集群内各成员主机安装JDK的路径和版本必须统一。

2. 在集群内主机安装一台MySQL Server (MySQL为选装,Ambari默认的数据库为 PostgreSQL)

1. MySQL 配置
创建 ambari-server 的数据库以及连接用户,且授权
# mysql -u root -p
CREATE DATABASE ambari DEFAULT CHARSET=utf8;
CREATE USER '<AMBARIUSER>'@'%' IDENTIFIED BY '<AMBARIPASSWORD>';
GRANT ALL PRIVILEGES ON ambari.* TO '<AMBARIUSER>'@'%';
# 删除MySQL默认的匿名账户,此处省略。
FLUSH PRIVILEGES;
2. 连接测试 MySQL 且创建结构表
# mysql -u ambari -p
SHOW DATABASES;
SHOW GRANTS;

# 导入结构表
SOURCE /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
3.配置 mysql-jdbc 连接器
wget http://java.com/****/mysql-connector-java-5.1.40.tar.gz
tar xf mysql-connector-java-5.1.40.tar.gz
cd mysql-connector-java-5.1.40
mkdir /usr/share/java
cp mysql-connector-java-5.1.40-bin.jar /usr/share/java/
cd /usr/share/java   
ln -s mysql-connector-java-5.1.40-bin.jar  mysql-connector-java.jar

或者直接 yum 安装 mysql-connector-java 即可。

1. 配置ambari repo本地源

#VERSION_NUMBER=2.4.2.0-136

[Updates-ambari-2.4.2.0]
name=ambari-2.4.2.0 - Updates
baseurl=http://172.17.20.21/ambari/
gpgcheck=1
gpgkey=http://172.17.20.21/ambari/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

2. 配置HDP本地源

[HDP-2.5.3.0]
name=HDP Version - HDP-2.5.3.0
baseurl=http://172.17.20.21/HDP/CentOS6/
gpgcheck=1
gpgkey=http://172.17.20.21/HDP/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1


[HDP-UTILS-2.5.3.0]
name=HDP-UTILS Version - HDP-UTILS-2.5.3.0
baseurl=http://172.17.20.21/HDP-UTILS-1.1.0.21/repos/centos6/
gpgcheck=1
gpgkey=http://172.17.20.21/HDP-UTILS-1.1.0.21/repos/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

3.安装ambari-server

yum install ambari-server

yum安装ambari-server 需要依赖安装 postgresql,ambari-server 是需要数据库支持的,默认为PostgreSQL,也可以选择 MySQL (这里因为依赖关系,先安装PostgreSQL,后续不用,改用安装MySQL即可)。

yum install ambari-agent

在集群内所有的成员主机上手动安装 ambari-agent

4. 初始化ambari

使用命令:

ambari-server  setup

Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)?  # ambari-server以root身份运行
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle jdk 1.8 + java cryptography extension (jce) policy files 8
[2] oracle jdk 1.7 + java cryptography extension (jce) policy files 7
[3] custom jdk  # 如果本地已经安装有jdk,那么选择这一项,否则ambari初始化的时候会通过yum源安装jdk
==============================================================================
Enter choice (1): 3
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please makesure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /opt/java/jdk        # 指定本地已经安装好的jdk路径,也就是环境变量 JAVA_HOME 的值。
Validating JDK on Ambari Server...done.
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y  # 是否需要自定义数据库配置
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)     # 默认使用PostgreSQL
[2] - Oracle
[3] - MySQL / MariaDB           # 我们这里选择本地安装的MySQL
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3
Hostname (localhost):
Port (3306):        # 是否需要指定数据库端口,默认3306
Database name (ambari):     # 是否需要指定ambari 的数据库,默认ambari库
Username (ambari):      # 是否需要指定ambari-server的数据库用户,默认ambari
Enter Database Password (bigdata):  # 是否需要使用默认的数据库连接密码,默认为bigdata
Re-enter password:
Configuring ambari database...
Copying JDBC drivers to server resources...
Configuring remote database connection properties...
WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema:/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? y     # 初始化数据库连接数据
Extracting system views...
.............
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.       # successfully 配置完成

启动ambari-server服务:

service ambari-server start

Using python  /usr/bin/python
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
No errors were found.
Ambari database consistency check finished
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start....................
Ambari Server 'start' completed successfully.

配置完成后web页面打开 http://HOST_IP:8080 即可,安装完成后默认登录密码为 admin 60a4fcefgw1fb8ulx5otzj20vr0dd74v.jpg

5. ambari-server 的web端配置

60a4fcefgw1fb8urcipx8j20r40jc420.jpg

点击 Launch install Wizard 开始安装和配置集群。

-1. 集群命名

-2. 选择 HDP 版本 60a4fcefgw1fb8uuxirydj20nx087mxu.jpg 我这里由于本地源的版本是2.5,就选择默认的2.5版本

60a4fcefgw1fb8v21rgqcj20oa0f3wh2.jpg

选择 Use Local Repository (各集群主机均要从yum源安装角色包,默认为官方源)。

删除其余无关的系统类别

填入HDP源 以及 HDP-UTILS 的 Base URL

-3. 填入集群所有主机的 FQDN 名称。 上传或粘贴私钥(集群内所有主机均信任的 ssh 私钥)。 60a4fcefgw1fb8v6yeb7vj20oc0h8dj3.jpg

点击注册和确认按钮过后,ambari-server 会通过上一步指定的本地源地址,使用该ssh私钥 连接到所有的集群内主机安装必要的 ambari-agent 等包,以及创建各服务运行的系统用户。

-4. 提交集群初始化配置 60a4fcefgw1fb8vbbmrrcj20o40gy41d.jpg

这一步就是检测集群内各成员主机是否安装有 ambari-agent ,如果没有安装,那么程序会自动通过yum安装,前提是得事先配置好yum源。

  • 需要配置好集群内各成员主机的ntpd服务,并启动服务。

  • 推荐关闭内核的 Transparent Huge Pages (THP) 功能,方法是在 grub.conf 的 kenel 启动参数中追加配置 transparent_hugepage=never 重启即可。

-5. 选择需要安装的服务 60a4fcefgw1fb8vvykeglg20o40kfgxf.gif

-6. 分配集群内各主机的master角色 60a4fcefgw1fb8vydz27lj20o30l179o.jpg

-7. 分配集群内各主机的Slave角色 60a4fcefgw1fb8vzyr1blj20ok0ek0xq.jpg

-8. 自定义配置各服务的参数 60a4fcefgw1fb8w27ho7uj20ob0dpmzi.jpg 可以配置DataNode DataNode的存储目录,存储空间大小,内存分配大小等。

-9. 之前的配置汇总预览 60a4fcefgw1fb8w4znhtpg20o10i6tbf.gif

-10. 开始部署 60a4fcefgw1fb8w7xyvh0j20oa0ee778.jpg

如遇错误提示,可以点击 Message 查看报错详情。

6. HDP配置lzo

yum -y install lzo lzo-devel Hadooplzo hadooplzo-native

Web端的配置: 60a4fcefgw1fbnyft3b39j20xx0niq7i.jpg找到 Advanced core-site 项,在 io.compression.codecs 的原有value值中添加 com.hadoop.compression.lzo.LzoCodec

找到 Custom core-site 项,添加key为 io.compression.codec.lzo.class 且值为 com.hadoop.compression.lzo.LzoCodec 。

保存配置。 重启集群服务即可。

测试lzo:执行

hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://mycluster/test_lzo lzo

Hadoop集群监控工具Ambari安装 http://www.linuxidc.com/Linux/2014-06/103208.htm

使用Ambari快速部署Hadoop大数据环境 http://www.linuxidc.com/Linux/2014-05/101531.htm

Ambari 服务配置以及 Alert 详解  http://www.linuxidc.com/Linux/2016-12/138149.htm

Ubuntu 14.04上搭建Ambari 清晰PDF  http://www.linuxidc.com/Linux/2016-01/126965.htm

CentOS 7 安装Ambari2.4.0图文详解 http://www.linuxidc.com/Linux/2016-12/138142.htm

Ambari + HDP 升级 (Ambari 2.2.2 - 2.4.1 + HDP 2.4.2 - 2.5.0)  http://www.linuxidc.com/Linux/2017-03/141303.htm

CentOS 6.5下使用Ambari安装Hadoop集群  http://www.linuxidc.com/Linux/2014-12/110824.htm

Ambari安装指南图文详解 http://www.linuxidc.com/Linux/2017-03/141295.htm

CentOS 6.5+Ambari+HDP集群安装  http://www.linuxidc.com/Linux/2017-03/141297.htm

本文永久更新链接地址http://www.linuxidc.com/Linux/2017-04/143153.htm

linux
相关资讯       Ambari安装  Ambari 2.4  Haodoop LZO 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款