你好,游客 登录 注册 搜索
背景:
阅读新闻

Apache Kylin部署手册PDF

[日期:2017-06-18] 来源:Linux社区  作者:Linux [字体: ]

1. 安装准备
1、操作系统 CentOS 6.x
2、时间问题
集群内所有节点时间一定要同步。
NTP、Chrony
3、用户
创建Hadoop组和hadoop用户,并做ssh免密码登录
4、Hadoop HA集群
Hadoop2.5
5、HBase
hbase 1.1.3及以上
6、Hive
hive 1.2.1 或者2.0 ,使用 mysql 存放元数据
7、准备目录
# cd /opt
# mkdir /opt/sxt
# chown -R hadoop:hadoop /opt/sxt
8、kylin
kylin 1.5.1 这个版本支持hbase1.1.3及以上版本
apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz
$ tar xf apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz -C /opt/sxt
$ cd /opt/sxt
$ mv apache-kylin-1.5.1-bin/kylin
#代表在root用户下
$代表普通用户

2. 环境变量
部署每个节点
hadoop用户的.bashrc
export HADOOPROOT=/opt
export HADOOP_HOME=$HADOOPROOT/hadoop
export ZOOKEEPER_HOME=$HADOOPROOT/zookeeper
export HBASE_HOME=$HADOOPROOT/hbase
export HIVE_HOME=$HADOOPROOT/hive12
export HCAT_HOME=$HIVE_HOME/hcatalog
export KYLIN_HOME=$HADOOPROOT/kylin
export CATALINA_HOME=$KYLIN_HOME/tomcat
export hive_dependency=$HIVE_HOME/conf:$HIVE_HOME/lib/*:$HCAT_HOME/share/hcatalog/hive-hcatalog-core-1.2.1.jar
PATH=$PATH:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin
PATH=$PATH:$HBASE_HOME/bin:$FLUME_HOME/bin:$HIVE_HOME/bin:$HCAT_HOME/bin
PATH=$PATH:$CATALINA_HOME/bin:$KYLIN_HOME/bin
export PATH

基本的配置已经做好了,安装从以下步骤开始
3. 配置kylin
修改bin/kylin.sh
export KYLIN_HOME=/opt/sxt/kylin
export HBASE_CLASSPATH_PREFIX=${tomcat_root}/bin/bootstrap.jar:${tomcat_root}/bin/tomcat-juli.jar:${tomcat_root}/lib/*:$hive_dependency:$HBASE_CLASSPATH_PREFIX

压缩问题
关于压缩的问题
本次不是用snappy,如果需要事先重新编译Hadoop源码,使得native库支持snappy
使用snappy能够实现一个适合的压缩比,使得这个运算的中间结果和最终结果都能占用较小的存储空间
1、kylin.properties
1)设置Rest Server
kylin.rest.servers=192.168.56.201:7070
默认为PST,修改为中国时间
kylin.rest.timezone=GMT+8
2)不启用压缩,注释即可
#kylin.hbase.default.compression.codec=snappy
3)定义kylin用于MR jobs的job.jar包和hbase的协处理jar包,用于提升性能。
kylin.job.jar=/opt/sxt/kylin/lib/kylin-job-1.5.1.jar
kylin.coprocessor.local.jar=/opt/sxt/kylin/lib/kylin-coprocessor-1.5.1.jar

2、kylin_job_conf.xml
不使用压缩
mapred.compress.map.output设置为false
mapred.output.compress 设置为false

3、kylin_hive_conf.xml
不使用压缩
hive.exec.compress.output 设置为false

完整PDF文档可以到Linux公社资源站下载:

------------------------------------------分割线------------------------------------------

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是www.linuxidc.com

具体下载目录在 /2017年资料/6月/18日/Apache Kylin部署手册PDF/

下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm

------------------------------------------分割线------------------------------------------

本文永久更新链接地址http://www.linuxidc.com/Linux/2017-06/144922.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款