手机版
你好,游客 登录 注册
背景:
阅读新闻

CDH-5.XX 离线安装及升级步骤及安装过程常见错误

[日期:2017-12-18] 来源:www.jianshu.com/p/982fad7157c7  作者:浊流 [字体: ]

简述

Hadoop 体系衍生了许多商业发行版,其中国内最常用的是 CDH。CDH是在原生 apache hadoop 的基础上封装的发行版,拥有 Cloudera Manager (简称CM,是一个管理、监控CDH运行的软件),将 hadoop 集群很好的监控和管理了起来,目前 CDH 最高版本是 5.7.x,对应 apache hadoop 2.7.x,这里我们采用 CDH 5.7.0。其安装的简要说明及系统要求见以下链接:
Download Cloudera Manager

CDH 的安装相比原生 hadoop 安装,将会少敲很多命令,少写很多配置文件,但是在过程中许多步骤都需要用到 root 权限。整个安装过程,大致上可以分成两个步骤:首先是先安装 CM 控制台(即一个web管理界面),然后通过 CM 来安装 CDH。也就是说,整个CDH集群的安装,是可以在CM界面上进行操作的,包括后面添加节点,也是在CM界面上进行操作。

搭建过程

系统环境

CentOS release 6.5 x64
CDH 5.7.0
三台主机节点,内存都为10G

节点角色说明
IP主机名角色描述
10.1.2.126 hadoop01 CM, Agent
10.1.2.142 hadoop02 Agent
10.1.2.144 hadoop03 Agent

一开始可能只有一台机器,那么本文的的所有安装步骤可以先只在其中一台机器上操作,那么这台机器也就是主控节点了,因为这台机器上将会安装CM,那么以后集群添加其他机器便可以在CM上操作了。例如,选择 hadoop01 作为主控节点,hadoop02和hadoop03 当做受控节点,那么仅需要在 hadoop01 节点上执行本文的所有安装步骤。等安装完成,CM界面可以正常打开运行,再添加 hadoop02和hadoop03 节点。

配置主机域名
  • 分别在每一台主机上操作
  • 方法1:
sudo vim /etc/sysconfig/network
HOSTNAME=hadoop01
# 修改 HOSTNAME 为该节点主机名,例如 hadoop01
# 然后重新启动即可
  • 方法2:
sudo vim /etc/hostname # centos系统可能没有该文件,创建即可
hadoop01 # 该节点主机名

将该文件内容修改为对应的主机名,例如 hadoop02

域名解析
  • 配置 /etc/hosts,将以下代码追加到文件末尾即可
  • 分别在所有三台主机上操作

sudo vim /etc/hosts
10.1.2.126 hadoop01
10.1.2.142 hadoop02
10.1.2.144 hadoop03

!!! Ubuntu系统,须删掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!!
Check that there isn't an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this).
127.0.1.1 h01.vm.com # must remove

不然可能会引起 hadoop、zookeeper 节点间通信的问题

服务器安全配置
  • 分别在所有三台主机上操作
  • 关闭 iptables (如果不允许关闭,则采用配置 iptables 策略的方法)

service iptables stop    # 临时关闭
chkconfig iptables off  # 永久关闭 重启后生效

  • 或 配置 iptables 策略
    附CDH、CM及其上各组件的端口列表
    http://www.cloudera.com/documentation/manager/5-0-x/Cloudera-Manager-Installation-Guide/cm5ig_ports_cm.html
    http://www.cloudera.com/documentation/cdh/5-0-x/CDH5-Installation-Guide/cdh5ig_ports_cdh5.html

# ACCEPT=允许  DROP=拒绝

# 443
iptables -A INPUT -p tcp -s 10.1.2.0/24 --dport 443 -j ACCEPT # 允许10.1.2.0的IP访问本机443端口
iptables -A OUTPUT -p tcp --sport 443 -m state --state ESTABLISHED -j ACCEPT # 允许443端口出

# zookeeper
iptables -A INPUT -p tcp -s 10.1.2.0/24 --dport 2181 -j ACCEPT
iptables -A OUTPUT -p tcp --sport 2181 -m state --state ESTABLISHED -j ACCEPT
iptables -A INPUT -p tcp -s 10.1.2.0/24 --dport 2888 -j ACCEPT
iptables -A OUTPUT -p tcp --sport 2888 -m state --state ESTABLISHED -j ACCEPT
iptables -A INPUT -p tcp -s 10.1.2.0/24 --dport 3888 -j ACCEPT
iptables -A OUTPUT -p tcp --sport 3888 -m state --state ESTABLISHED -j ACCEPT

# yarn

# 重启 iptables
service iptables save
service iptables restart

  • 关闭 SELinux

setenforce 0 # 临时生效
sudo vim /etc/selinux/config
SELINUX=disabled
# 将 SELINUX 设置为 disabled 即永久关闭了 SELinux

配置免密码ssh登录

hadoop 主节点需要能远程登陆集群内的所有节点(包括自己),以执行命令。所以需要配置免密码的ssh登陆。可选的ssh秘钥对生成方式有rsa和dsa两种,这里选择rsa。

  • 分别所有节点操作

ssh-keygen -t rsa
# 注意在接下来的命令行交互中,直接按回车跳过输入密码

  • 分别在所有节点操作:以下命令将本节点的公钥 id_rsa.pub 文件的内容追加到远程主机的 authorized_keys 文件中(默认位于 ~/.ssh/)

ssh-copy-id root@hadoop01 # root是远程主机用户名
ssh-copy-id root@hadoop02
ssh-copy-id root@hadoop03

  • 在每个节点上测试无密码 ssh 登录到 hadoop01 hadoop02 hadoop03

ssh hadoop01
ssh hadoop02
ssh hadoop03

!!! 注意使用rsa模式生成密钥对时,不要轻易覆盖原来已有的,确定无影响时方可覆盖 !!!

安装jdk(在所有节点操作)
  1. 先查询看系统是否已安装 openjdk

sudo rpm -qa openjdk

  1. 卸载 openjdk

sudo rpm -e --nodeps 上面步骤找到的包名
...

  1. 安装 jdk

# jdk-7u67-linux-x64.rpm 需要事先下载好
sudo rpm -ivh jdk-7u67-linux-x64.rpm

  1. 配置环境变量

sudo vim /etc/profile
# 在该文件末尾添加以下行
JAVA_HOME=/usr/java/jdk1.7.0_67
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/jt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH CLASSPATH

  1. 使环境变量立即生效

source /etc/profile

  1. 测试jdk安装是否成功

java -version
# 如显示了jdk的版本,则安装成功

时间同步:在内网中搭建 ntp 服务器
  1. 安装 ntp(在所有节点操作)

sudo yum install ntp

  1. 设置NTP服务开机启动(在所有节点操作)

chkconfig ntpd on
chkconfig --list ntpd
# 2-5为on即成功

  1. 配置主节点(在 hadoop01 操作)

vim /etc/ntp.conf

该配置文件全部内容如下

driftfile /var/lib/ntp/ntp.drift #草稿文件

# Hosts on local network are less restricted.
# 允许内网其他机器同步时间
restrict 10.1.2.0 mask 255.255.255.0 nomodify notrap
 
# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
# 中国这边最活跃的时间服务器 : [http://www.pool.ntp.org/zone/cn](http://www.pool.ntp.org/zone/cn)
server 210.72.145.44 perfer  # 中国国家受时中心
server 202.112.10.36            # 1.cn.pool.ntp.org
server 59.124.196.83            # 0.asia.pool.ntp.org
 
#broadcast 192.168.1.255 autokey        # broadcast server
#broadcastclient                        # broadcast client
#broadcast 224.0.1.1 autokey            # multicast server
#multicastclient 224.0.1.1              # multicast client
#manycastserver 239.255.254.254        # manycast server
#manycastclient 239.255.254.254 autokey # manycast client
 
# allow update time by the upper server
# 允许上层时间服务器主动修改本机时间
restrict 210.72.145.44 nomodify notrap noquery
restrict 202.112.10.36 nomodify notrap noquery
restrict 59.124.196.83 nomodify notrap noquery
 
# Undisciplined Local Clock. This is a fake driver intended for backup
# and when no outside source of synchronized time is available.
# 外部时间服务器不可用时,以本地时间作为时间服务
server  127.127.1.0    # local clock
fudge  127.127.1.0 stratum 10

  • 保存后重启服务

service ntpd restart

# 查看同步状态
netstat -tlunp | grep ntp
watch ntpd –p

# 手动同步
ntpdate –u ip

  • 配置子节点(在所有非主节点操作)

vim /etc/ntp.conf

该配置文件全部内容如下

driftfile /var/lib/ntp/ntp.drift # 草稿文件

# 日志文件
statsdir /var/log/ntpstats/

statistics loopstats peerstats clockstats
filegen loopstats file loopstats type day enable
filegen peerstats file peerstats type day enable
filegen clockstats file clockstats type day enable

# 让NTP Server为内网的ntp服务器
server 10.1.2.126
fudge 10.1.2.126 stratum 5

# 不允许来自公网上ipv4和ipv6客户端的访问
restrict -4 default kod notrap nomodify nopeer noquery
restrict -6 default kod notrap nomodify nopeer noquery

# Local users may interrogate the ntp server more closely.
restrict 127.0.0.1
restrict ::1

  • 保存后重启服务(在每一台子节点操作)

service ntpd restart

# 手工同步
netdate -u 10.1.2.126

准备包(用parcel 方式安装)
  • CM包下载地址:
    http://archive.cloudera.com/cm5/RedHat/5/x86_64/cm/5.7.0/RPMS/x86_64/

cloudera-manager-agent-5.7.0-1.cm570.p0.76.el6.x86_64.rpm
cloudera-manager-daemons-5.7.0-1.cm570.p0.76.el6.x86_64.rpm
cloudera-manager-server-5.7.0-1.cm570.p0.76.el6.x86_64.rpm
cloudera-manager-server-db-2-5.7.0-1.cm570.p0.76.el6.x86_64.rpm
enterprise-debuginfo-5.7.0-1.cm570.p0.76.el6.x86_64.rpm
Oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

  • CDH包下载地址
    http://archive.cloudera.com/cdh5/parcels/5.7.0

CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel
CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1
cloudera-manager-installer.bin
manifest.json

  • CM 安装文件下载地址
    http://archive.cloudera.com/cm5/installer/5.7.0/

cloudera-manager-installer.bin

配置 cloudera yum 源(在 hadoop01 操作)
  1. 添加 cloudera-manager 源

cd /etc/yum.repos.d
wget http://archive.cloudera.com/cm5/redhat/5/x86_64/cm/cloudera-manager.repo
vim cloudera-manager.repo
# 修改该文件以下内容
baseurl=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7.0/
gpgcheck = 0
enabled  =1

  1. 添加 cloudera-cdh5 源

cd /etc/yum.repos.d
wget http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo
vim cloudera-cdh5.repo
# 修改该文件以下内容
baseurl=http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.7.0/
gpgcheck = 0
enabled  =1

  1. 更新源

sudo yum update

安装 mysql

(略)

安装 CM(注意安装顺序)
  • 只需要在 hadoop01 节点安装

cd CM包的下载目录
rpm -ivh cloudera-manager-daemons-5.7.0-1.cm570.p0.76.el6.x86_64.rpm
rpm -ivh cloudera-manager-agent-5.7.0-1.cm570.p0.76.el6.x86_64.rpm
rpm -ivh cloudera-manager-server-5.7.0-1.cm570.p0.76.el6.x86_64.rpm
rpm -ivh cloudera-manager-server-db-2-5.7.0-1.cm570.p0.76.el6.x86_64.rpm
rpm -ivh enterprise-debuginfo-5.7.0-1.cm570.p0.76.el6.x86_64.rpm
rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

  • 执行安装

rm -f /etc/cloudera-scm-server/db.properties
cd CM包的下载目录
./cloudera-manager-installer.bin --skip_repo_package=1

后面按照提示操作

  • 创建 mysql 数据库

mysql -u用户名 -p
# 然后在mysql控制台执行以下语句
CREATE DATABASE IF NOT EXISTS cmf DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

  • 修改 CM 配置文件使支持mysql

vim /etc/cloudera-scm-server/db.properties
# 修改以下配置
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=localhost:3306
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=USER
com.cloudera.cmf.db.password=PASSWORD

  • 添加 com.mysql.jdbc.Driver 到 /usr/share/cmf/lib

wget -c http://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.39.tar.gz
tar zxf mysql-connector-java-5.1.39.tar.gz
cp mysql-connector-java-5.1.39/mysql-connector-java-5.1.39-bin.jar /usr/share/cmf/lib/
rm mysql-connector-java-5.1.39 -Rf mysql-connector-java-5.1.39.tar.gz

安装 cloudera-manager-agent (在所有节点操作)
  1. 将所需软件从 hadoop01 复制到其他节点

scp -r /data/soft/* hadoop02:/data/soft
scp -r /data/soft/* hadoop03:/data/soft

  1. 执行安装

rpm -ivh cloudera-manager-daemons-5.7.0-1.cm570.p0.76.el6.x86_64.rpm
rpm -ivh cloudera-manager-agent-5.7.0-1.cm570.p0.76.el6.x86_64.rpm
rpm -ivh enterprise-debuginfo-5.7.0-1.cm570.p0.76.el6.x86_64.rpm
rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

将 cdh 复制到/opt/cloudera/parcel-repo
  • 在 hadoop01 操作

cd CDH包的下载目录
cp ./* /opt/cloudera/parcel-repo
cd /opt/cloudera/parcel-repo
mv CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1 CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha

  • 检验哈希码

cd /opt/cloudera/parcel-repo
vim CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha
# 查看该文件内容是否与以下链接的文件内容一致
# http://archive.cloudera.com/cdh5/parcels/5.7.0/manifest.json
# parcelName: "CDH-5.7.0-1.cdh5.7.0.p0.45-el5.parcel" 所对应的 hash 值
# 如不一致,则将线上的hash值替换到 CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha 文件中

重启 CM 服务

service cloudera-scm-server-db restart
service cloudera-scm-server restart
service cloudera-scm-agent restart

启动 CM Web 界面安装 CDH
  • 如果访问 refused to connect,请耐心等待片刻,服务启动需要时间
  1. 访问 http://hadoop01:7180/
    默认帐号密码是 admin / admin
    强烈要求登录后修改密码

  2. 后面的步骤都在 web 界面操作,这里暂不说明

  3. 这里展示一张安装好后,并添加了些许服务的效果图

 

本文永久更新链接地址http://www.linuxidc.com/Linux/2017-12/149558.htm

linux
相关资讯       CDH  CDH离线安装  CDH升级 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款