手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Apache Hadoop配置Kerberos指南

[日期:2018-02-16] 来源:Linux社区  作者:kongcong [字体: ]

通常,一个Hadoop集群的安全使用kerberos来进行保障。在启用Kerberos后,需要用户进行身份验证。用户通过验证后可以使用GRANT/REVOKE语句来进行基于角色的访问控制。本文介绍一下在CDH集群中如何配置kerberos。

1.KDC安装和配置脚本

脚本install_kerberos.sh可以完成kerberos服务器所有安装配置和相应的参数配置

#!/bin/bash

#
echo "ready to install and config kerberos"

# 使用root权限运行
cd /root
chmod 755 /etc
chmod 755 /etc/hadoop

# 安装kerberos组件
yum install -y krb5-server
yum install  -y openldap-clients
yum -y install krb5-workstation

# 在配置文件中更新域名和主机名

# 设置域名
sed -i.orig 's/EXAMPLE.COM/CLOUDERA/g' /etc/krb5.conf
# 设置kerberos server主机名
sed -i.m1 's/kerberos.example.com/quickstart.cloudera/g' /etc/krb5.conf
# 设置域名为cloudera
sed -i.m2 's/example.com/cloudera/g' /etc/krb5.conf

# 从Oracle官网下载JDK到root目录

mkdir jce
cd jce
unzip ../UnlimitedJCEPolicyJDK7.zip
# 保存原始jar文件做备份
cp /usr/java/jdk1.7.0_67-cloudera/jre/lib/security/local_policy.jar local_policy.jar.orig
cp /usr/java/jdk1.7.0_67-cloudera/jre/lib/security/US_export_policy.jar US_export_policy.jar.orig

# 将新的jar包拷贝进来
cp /root/jce/UnlimitedJCEPolicy/local_policy.jar /usr/java/jdk1.7.0_67-cloudera/jre/lib/security/local_policy.jar
cp /root/jce/UnlimitedJCEPolicy/US_export_policy.jar /usr/java/jdk1.7.0_67-cloudera/jre/lib/security/US_export_policy.jar

# 创建kerberos数据库
echo suggested password is cloudera

kdb5_util create -s

# 更新kdc.conf
sed -i.orig 's/EXAMPLE.COM/CLOUDERA/g' /var/kerberos/krb5kdc/kdc.conf
# 票据文件中增加一行
sed -i.m1 '/dict_file/a max_life = 1d' /var/kerberos/krb5kdc/kdc.conf
# 增加可创建的最大文件数
sed -i.m2 '/dict_file/a max_renewable_life = 7d' /var/kerberos/krb5kdc/kdc.conf
# 将新增加的两行缩进
sed -i.m3 's/^max_/  max_/' /var/kerberos/krb5kdc/kdc.conf

# acl文件需要admin权限
sed -i 's/EXAMPLE.COM/CLOUDERA/' /var/kerberos/krb5kdc/kadm5.acl

# 修改kdc.conf文件
sed -i.m3 '/supported_enctypes/a default_principal_flags = +renewable, +forwardable' /var/kerberos/krb5kdc/kdc.conf
# 设置缩进
sed -i.m4 's/^default_principal_flags/  default_principal_flags/' /var/kerberos/krb5kdc/kdc.conf

# 启动krb5kdc和kadmin服务
service krb5kdc start
service kadmin start

kadmin.local <# cloudera-scm/admin@YOUR-LOCAL-REALM.COM

# 在集群中添加admin用户
kadmin.local <

2.Cloudera Manager Kerberos配置

  在运行脚本之后,我们现在拥有一个正在运行的Kerberos服务器,可以使用它来保护Hadoop集群。ClouderaManager封装了大部分工作,我们只需要配置一些参数值。

  通过浏览器访问http://<your.cm.manager>:7180登录到Cloudera Manager。

  直接进入管理> 安全>Kerberos,如下图所示

  点击“启用Kerberos”按钮

  列表中这四个选项全部已经由运行的脚本完成。然后选择“继续”。

  Kerberos向导需要知道脚本的配置项的值。需要我们填写以下选项:

  • KDC服务器主机: <your_kdc_server>
  • Kerberos安全领域: <your_safe_realm>
  • Kerberos加密类型: aes256-cts-hmac-sha1-96

  点击“继续”。

  勾选通过Cloudera Manager管理krb5.conf。点击继续

  输入创建的用户名和密码。点击继续,之后提示成功可需要重启集群。重启后我们就构建了一个使用kerberos进行安全保护的hadoop集群。

3.启动kerberos后集群使用方式

  未开启kerberos时,hdfs用户是hdfs的超级用户,用户可以通过su hdfs来获取对hdfs操作的权限,启用kerberos后使用方式如下:

kinit hdfs@HADOOP

  使用hdfs命令进行验证

hadoop fs -mkdir /kongc
hadoop fs -rmdir /kongc

  使Kerberos·token无效

kdestroy

  现在已经成功构建了一个正在运行的Kerberos集群!

Hadoop2.3-HA高可用集群环境搭建  http://www.linuxidc.com/Linux/2017-03/142155.htm

Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署  http://www.linuxidc.com/Linux/2017-04/143095.htm

Hadoop2.7.2集群搭建详解(高可用)  http://www.linuxidc.com/Linux/2017-03/142052.htm

使用Ambari来部署Hadoop集群(搭建内网HDP源)  http://www.linuxidc.com/Linux/2017-03/142136.htm

Ubuntu 14.04下Hadoop集群安装  http://www.linuxidc.com/Linux/2017-02/140783.htm

CentOS 6.7安装Hadoop 2.7.2  http://www.linuxidc.com/Linux/2017-08/146232.htm

Ubuntu 16.04上构建分布式Hadoop-2.7.3集群  http://www.linuxidc.com/Linux/2017-07/145503.htm

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建  http://www.linuxidc.com/Linux/2017-06/144932.htm

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程  http://www.linuxidc.com/Linux/2017-06/144926.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

 本文永久更新链接地址https://www.linuxidc.com/Linux/2018-02/150959.htm

linux
相关资讯       kerberos  Hadoop配置Kerberos 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款