手机版
你好,游客 登录 注册
背景:
阅读新闻

Cloudera Manager Server CDH 5.15部署详解

[日期:2019-02-20] 来源:Linux社区  作者:shangmo [字体: ]

安装前准备

主机和系统

Host

OS

Memory

IP

bigdata001-dev

Cent OS 7.4 x64

32G

192.168.1.1

bigdata002-dev

Cent OS 7.4 x64

32G

192.168.1.2

bigdata003-dev

Cent OS 7.4 x64

15G

192.168.1.3

bigdata004-dev

Cent OS 7.4 x64

32

192.168.1.4

安装包下载

下载 cloudera-manager.repo 文件

 wget –P /etc/yum.repos.d https://archive.cloudera.com/cm5/RedHat/7/x86_64/cm/cloudera-manager.repo

升级 GPG key

sudo rpm --import https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/RPM-GPG-KEY-cloudera

系统和环境配置

更改主机名

打开网络配置

sudo vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=bigdata002-dev.novalocal

重启网络

sudo service network restart

配置hosts文件

打开hosts文件

sudo vim /etc/hosts

改为如下配置

192.168.1.3  bigdata003-dev.novalocal

192.168.1.2  bigdata002-dev.novalocal

192.168.1.1  bigdata001-dev.novalocal

192.168.1.4  bigdata004-dev.novalocal

关闭内存大页

/etc/rc.d/rc.local 中添加一下内容

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

所有机器安装Java 8

旧版本卸载

#查看安装的Java

rpm -qa | grep java

#卸载相应的Java

rpm –qa |grep jdk | xargs rpm -e --nodeps $1

下载 JDK tar包解压并配置环境变量

在你看到这篇文档的时候 Oracle JDK 可能已经开始收费了。所以我们可以试试 OpenJDK ,Cloudera 正在努力让自己的平台与 OpenJDK 适配这应该不会花费太多时间

 

wget https://download.java.net/java/early_access/jdk8/b03/BCL/jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz

tar xzvf jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz –C /user/java/

配置环境变量

Vim /etc/profile

添加一下内容

JAVA_HOME=/usr/java/jdk1.8.0_202

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib

export JAVA_HOME PATH CLASSPATH JRE_HOME

关闭所有机器的防火墙和SELinux

如果一个个配置端口的话会比较麻烦,所以在安装过程中就把防火墙关闭,可以在安装完成后再根据需求配置

关闭防火墙

关闭 iptables

service iptables stop

sudo chkconfig iptables off

关闭firewalld

systemctl disabled firewalld

我们的服务器 salt 所以我们可以批量执行。在salt server 服务器

Salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘systemctl stop firewalld && systemctl disable firewalld’

Salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘systemctl stop firewalld && systemctl disable firewalld’

关闭SELinux

临时关闭

sudo setenforce 0

Salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘setenforce 0 && getenforce ’

Salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘setenforce 0 && getenforce ’

 

如果要永久关闭,可以修改配置:

sudo vim /etc/selinux/config

修改以下配置

SELINUX=disabled

启动 NTP 服务

Service ntpd start

Chkconfig ntpd on

Systemctl start ntpd

Systemctl enable ntpd

Salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘systemctl start ntpd && systemctl enable ntpd’

Salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘systemctl start ntpd && systemctl enable ntpd ’

注:如果不启动 ntpd 服务,scm agent 无法发现123 端口开放状态,会出现告警

Cloudera Manager Server  Agent 安装

Yum 安装

Yum 网络安装方式,如果你已经配置 yum 

yum install cloudera-manager-daemons cloudera-manager-server

rpm 包安装

所有服务器都需要的操作:

我们使用 rpm 安装所以其他的依赖包需要使用 yum 安装

yum install bind-utils psmisc libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse  portmap fuse-libs  httpd mod_ssl Python-psycopg2 redhat-lsb-core –y

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

rpm –ivh cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

Server 服务器

https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/RPMS/x86_64/

下载 server rpm

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

rpm –ihv cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

Agent 服务器安装

Wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

Rpm –ivh cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

安装MySQL

数据库这一步我们可以找DBA 协助

server 机安装配置MySQL

sudo yum install mysql-server

设置开机启动

sudo chkconfig mysqld on

启动MySQL service

sudo service mysqld start

设置root用户密码

sudo mysqladmin -u root password 'xxxx'

Cloudera Manager建立数据库

下载MySQL驱动:http://dev.mysql.com/downloads/connector/j/

解压把驱动的jar文件mysql-connector-java.jar上传到/usr/share/java/

初始化数据cloudera

sudo /user/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pmysql@Hadoop0 --scm-host localhost scm mysql@Hadoop:scm:88

如果DBA已经帮我们处理完的数据库的事情,我们需要修改 数据库配置文件

c /etc/cloudear-scm-server/db.properties

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=www.mydatabase.com:3306

com.cloudera.cmf.db.name=scm

com.cloudera.cmf.db.user=devuser

com.cloudera.cmf.db.password=Devuser123

com.cloudera.cmf.db.setupType=EXTERNAL

 

Master机上启动Cloudera Manager  Server

Systemctl start cloudera-scm-server

Systemctl enable cloudera-scm-server

 

Agent配置

在所有机器上配置Master机的主机名

sudo vim /etc/cloudera-scm-agent/config.ini

server_host设置成Master机的主机名

server_host=192.1687.1.2

启动agent 

Systemctl  start cloudera-scm-agent

Systemctl enable cloudera-scm-agent

 

打开Cloudera Manager主页

http://192.168.1.10:7180/

第一次启动比较慢,可能需要等待几分钟才可以打得开cloudera manager主页。

登录Cloudera Manager

默认用户名密码都是admin,第一次登录成功之后先进入到cloudera manager的安装引导界面:

 

CDH安装

CDH文件上传

下载 CDH 安装包和 sha 验证文件

http://archive.cloudera.com/cdh5/parcels/5.15.0/

wget http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel

wget http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1

在通过 Cloudera Manager 进行网络安装CDH 的时候可能会比较慢或卡住所以我们可以将已经下好的 CDH 包上传到server 端服务器上

把下载好的CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1 重命名 

CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha

CDHparcelsha文件上传到server  /opt/cloudera/parcel-repo/目录

CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel

CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha

 

选择cloudera manager的版本

选择要安装CDH的主机

所有正常启动agent的机器都会显示在这个页面

选择要安装的Parcels

 

安装Parcel

 

选择要安装的服务

如下图所示,有多种服务组合供选择(服务是随时可以根据需求增删的),我这里根据项目需求选择自定义服务。

 

集群设置

一般按默认设置就可以了,也可以根据自己的需求定制。

点击继续安装,在安装的过程中可能会有一些服务的配置需要设置,一般按默认配置就可以了。

   

完成安装

 

至此,Cloudear Manger/CDH的安装已经完成,你可以在Cloudear Manger管理界面上对集群进行更细化的定制。

Linux公社的RSS地址https://www.linuxidc.com/rssFeed.aspx

本文永久更新链接地址https://www.linuxidc.com/Linux/2019-02/157007.htm

linux
相关资讯       CDH  Cloudera Manager 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款