手机版
你好,游客 登录 注册
背景:
阅读新闻

CentOS 5.5下scribe写入数据到HDFS配置方法

[日期:2011-04-17] 来源:Linux社区  作者:ToCpp [字体: ]

1按照CentOS 5.5 下配置Hadoop 0.21单节点 一文中的方法配置Hadoop

2编译scribe,支持hdfs

   2.1下载thrift,libevent,boost等库,可以都下载最新版本,基本上都是make & make install

   2.2下载最新版scribe-2.2,之前在网上看到说scribe有很多bug,必须在当前开发版本才能写入HDFS,试了好久没成功,也以为确实是代码的问题,现在发现不是这个问题,直接下载 该版本

   2.3在scribe源码包里面bootstrap.sh,按照文档上的说法是可以一步到位的即:./configure --with-hadooppath=/usr/local/hadoop --enable-hdfs CPPFLAGS="-I/usr/local/Java/include -I/usr/local/java/include/linux" LDFLAGS="-ljvm -lhdfs",但是我的机器上面这样不行,因此直接./configure --enable-hdfs,然后修改相应的Makefile(src目录下面的),将以下字段修改如下:

CPPFLAGS = -I/usr/local/lib/jdk1.6.0_23/include -I/usr/local/lib/jdk1.6.0_23/include/linux

上面的JDK路径以机器上面的实际路径为准。

   2.4拷贝hadoop-0.21.0\hdfs\src\c++\libhdfs\hdfs.h文件到scribe/src目录下,libhdfs其实就是通过JNI让C/C++调用HDFS接口,在hadoop-0.21.0\hdfs\src\c++\libhdfs目录下面执行如下操作

./configure --enable-shared JVM_ARCH=tune=k8 --prefix=`pwd`/nativelib

./make install

这时会在nativelib\lib下面生成5个文件,将其都拷贝到/usr/local/lib下面,执行ldconfig

  2.5编译scribe,在scribe/src目录下面执行./make,即可生成scribed文件,

linux
相关资讯       CentOS 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款