你好,游客 登录 注册 搜索
背景:
阅读新闻

CentOS 安装R 集成 Hadoop、RHive 配置安装手册

[日期:2015-07-11] 来源:Linux社区  作者:youngqj [字体: ]

RHive 是一种通过HIVE高性能查询来扩展R计算能力的包。它可以在R环境中非常容易的调用HQL, 也允许在Hive中使用R的对象和函数。理论上数据处理量可以无限扩展的Hive平台,搭配上数据挖掘的利器R环境, 堪称是一个完美的大数据分析挖掘的工作环境。

资源包下载地址

------------------------------------------分割线------------------------------------------

FTP地址:ftp://ftp1.linuxidc.com

用户名:ftp1.linuxidc.com

密码:www.linuxidc.com

在 2015年LinuxIDC.com\7月\CentOS 安装R 集成 Hadoop、RHive 配置安装手册

下载方法见 http://www.linuxidc.com/Linux/2013-10/91140.htm

------------------------------------------分割线------------------------------------------

安装

首先hadoop 以及hive 的安装这里就跳过了。这里主要介绍在Centos 中如何安装R 语言以及如何集成Rhive 到hadoop 中。

本次实验节点有8个因此我们需要在每个节点中安装R 以及相应的其他模块首先我们来看看如何安装R

下载资源包中的 R-3.2.0.tar.gz 并解压

编译前确保安装如下模块

执行命令:

yum install gcc-gfortran  gcc gcc-c++ libXt-devel  openssl-devel  readline-devel

RHive 依赖于Rserve,因此在编译安装R的时候主要使用参数 --disable-nls --enable-R-shlib:

cd R-3.2.0/

./configure --disable-nls --enable-R-shlib

make

make install

cd ../

执行R 命令进行rJAVA 、RHive 等模块的安装

R CMD INSTALL rJava_0.9-6.tar.gz

R CMD INSTALL Rserve_1.8-3.tar.gz

R CMD INSTALL RHive_2.0-0.2.tar.gz

说明:如果你有多个节点,请在每个节点 和master 中均安装上述模块

到此安装结束,我们进入环境配置部分。

配置

1. 新建RHIVE 数据存储路径(本地的非HDFS)

我这里保存在 /www/store/rhive/data

2.新建Rserv.conf 文件并写入 “remote enable” 保存到你指定的目录

我这里存放在 /www/cloud/R/Rserv.conf

3.修改各个节点以及master 的 /etc/profile 新增环境变量

export RHIVE_DATA=/www/store/rhive/data

4.将R目录下的lib目录中所有文件上传至HDFS 中的/rhive/lib 目录下(如果目录不存在手工新建一下即可)

cd /usr/local/lib64/R/lib

hadoop fs -put ./* /rhive/lib

启动

1.在所有节点和master 上执行

R CMD Rserve --RS-conf /www/cloud/R/Rserv.conf

telnet cloud01 6311

然后在Master节点telnet所有slave节点,显示 Rsrv0103QAP1 则表示连接成功

2.启动hive远程服务: rhive是通过thrift连接hiveserver的,需要要启动后台thrift服务,即:在hive客户端启动hive远程服务,如果已经开启了跳过本步骤

nohup hive --service hiveserver &

Rhive 测试

library(RHive)

rhive.connect("master", 10000,hiveServer2=TRUE)

完毕!

最后附上RHive 相关文档地址 https://github.com/nexr/RHive/wiki/User-Guide

Hive编程指南 PDF 中文高清版  http://www.linuxidc.com/Linux/2015-01/111837.htm

基于Hadoop集群的Hive安装 http://www.linuxidc.com/Linux/2013-07/87952.htm

Hive内表和外表的区别 http://www.linuxidc.com/Linux/2013-07/87313.htm

Hadoop + Hive + Map +reduce 集群安装部署 http://www.linuxidc.com/Linux/2013-07/86959.htm

Hive本地独立模式安装 http://www.linuxidc.com/Linux/2013-06/86104.htm

Hive学习之WordCount单词统计 http://www.linuxidc.com/Linux/2013-04/82874.htm

Hive运行架构及配置部署 http://www.linuxidc.com/Linux/2014-08/105508.htm

Hive 的详细介绍请点这里
Hive 的下载地址请点这里

本文永久更新链接地址http://www.linuxidc.com/Linux/2015-07/119760.htm

linux
相关资讯       Hadoop配置  RHive 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款