你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署

[日期:2017-04-24] 来源:Linux社区  作者:cmdschool [字体: ]

2.5 Cloudera Manager安装配置

In HD01:

2.5.1 修改mysql参数

1)关闭数据库

systemctl stop mysqld

2)备份ib_logfile文件

mkdir /var/lib/backup
cd /var/lib/mysql/
mv ib_logfile* /var/lib/backup/

3)修改MySQL配置

cp /etc/my.cnf /etc/my.cnf.default
vim /etc/my.cnf

修改参数如下:

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
  
# Recommended in standard MySQL setup
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
  
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
# symbolic-links = 0
  
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
  
max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M
  
#log_bin should be on a disk with enough free space. Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your system
#and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log
server-id=1
  
# For MySQL version 5.1.8 or later. Comment out binlog_format for older versions.
binlog_format = mixed
  
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M
  
# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
  
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
  
sql_mode=STRICT_ALL_TABLES

2.5.2 启动并设置开机自动启动

systemctl start mysqld
systemctl enable mysqld

2.5.3 初始化数据库

mysql_secure_installation

向导如下:

[...]
Enter current password for root (enter for none):
OK, successfully used password, moving on...
[...]
Set root password? [Y/n] y
New password:
Re-enter new password:
Remove anonymous users? [Y/n] y
[...]
Disallow root login remotely? [Y/n] n
[...]
Remove test database and access to it [Y/n] y
[...]
Reload privilege tables now? [Y/n] y
All done!

2.5.4 准备scm库

数据库配置:

mysql -uroot -p
create database scm default character set utf8;
grant all privileges on *.* to scm@'hd01.cmdschool.org' identified by 'scm';
flush privileges;

修改数据库连接参数:

cp /etc/cloudera-scm-server/db.properties /etc/cloudera-scm-server/db.properties.default
vim /etc/cloudera-scm-server/db.properties

修改如下参数:

com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=hd01.cmdschool.org
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm
com.cloudera.cmf.db.setupType=EXTERNAL

2.5.5 创建附加数据库(可选)

1)附加数据库列表

Role Database User Password
Activity Monitor amon amon amon_password
Reports Manager rman rman rman_password
Hive Metastore Server metastore hive hive_password
Sentry Server sentry sentry sentry_password
Cloudera Navigator Audit Server nav nav nav_password

Cloudera Navigator Metadata Server

navms navms navms_password

2)创建数据库并配置管理账号密码

mysql -uroot -p
create database amon default character set utf8;
grant all privileges on amon.* to 'amon'@'%' identified by 'amon_password';
  
create database rman default character set utf8;
grant all privileges on rman.* to 'rman'@'%' identified by 'rman_password';
  
create database metastore default character set utf8;
grant all privileges on metastore.* to 'hive'@'%' identified by 'hive_password';
  
create database sentry default character set utf8;
grant all privileges on sentry.* to 'sentry'@'%' identified by 'sentry_password';
  
create database nav default character set utf8;
grant all privileges on nav.* to 'nav'@'%' identified by 'nav_password';
  
create database navms default character set utf8;
grant all privileges on navms.* to 'navms'@'%' identified by 'navms_password';
  
flush privileges;

2.5.6 配置Oozie库(可选)

1)数据库权限配置

mysql -uroot -p
create database oozie default character set utf8;
grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
flush privileges;

2)配置Oozie库所需软连接

cd /opt/cloudera/parcels/CDH/lib/oozie/lib/
ln -s /usr/share/java/mysql-connector-java.jar mysql-connector-java.jar

2.5.7 启动服务并配置开机启动

/etc/init.d/cloudera-scm-server start
chkconfig cloudera-scm-server on

2.5.8 故障排除

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.out

2.6 Cloudera Manager Agent安装

In HD01-05:

2.6.1 创建压缩包存放目录

mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

2.6.2 指定管理服务器和指定包存放目录

vim /etc/cloudera-scm-agent/config.ini

确保参数如下并启用:

server_host=hd01.cmdschool.org
server_port=7182
parcel_dir=/opt/cloudera/parcels

2.6.3 指定运行单用户模式的用户名(仅用于单用户模式,不配置

vim /etc/default/cloudera-scm-agent

取消以下行的注释

USER="cloudera-scm"

2.6.4 启动服务并配置服务器开机启动

/etc/init.d/cloudera-scm-agent start
chkconfig cloudera-scm-agent on

2.6.5 故障排除

如下命令监控启动服务的错误输出

tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.out

2.7 登陆配置

In HD01:

http://10.168.0.24:7180/cmf/login

Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署

注:界面部分请跟着向导走,相对容易,这是不再详述。

参阅文档

============================

Overview

https://www.cloudera.com/documentation/enterprise/latest/topics/installation_installation.html

Managed Service Database

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_installing_configuring_dbs.html

系统地址:

https://www.centos.org/download/mirrors/

CDH地址:

https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/

Java地址:

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

支持信息参考:

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html

本文永久更新链接地址http://www.linuxidc.com/Linux/2017-04/143095.htm

linux
相关资讯       CDH  Cloudera 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款