手机版
你好,游客 登录 注册
背景:
阅读新闻

Hadoop 0.20.0+RHEL 5+Eclipse plugin+Makefile开发环境搭建

[日期:2012-05-05] 来源:Linux社区  作者:shirdrn [字体: ]
Hadoop框架已经将MapReduce的运行机制封装好,程序员在实际开发过程中,只需要将精力专注于各自的业务逻辑,而不必花费过多的时间和精力来考虑具体怎么调度和执行,因为MapReduce框架已经将这些做好了,这样降低了MapReduce程序开发的难度,具有很好的易用性。

这里通过在Linux系统下,搭建基于Hadoop + Eclipse plugin的开发环境,并在实际中使用。下面详述具体的配置和实践情况。

RHEL 5环境配置

(1)无密码验证配置

执行如下命令:

  1. [www.linuxidc.com @localhost .ssh]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa  
  2. [www.linuxidc.com @localhost .ssh]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  
  3. [www.linuxidc.com @localhost .ssh]$ ssh localhost  
如果可以不需要密码,ssh到localhost,表示配置成功。

否则,如果出现需要输入密码进入,则需要检查一下你的.ssh目录的权限,包括.ssh目录下的authorized_keys和known_hosts是否具有读(r)的权限,如果问题出在这里,授权即可。

(2)环境变量配置

修改.bashrc文件,配置环境变量:

[www.linuxidc.com @localhost ~]$ vi .bashrc

  1. # .bashrc  
  2. # Source global definitions  
  3. if [ -f /etc/bashrc ]; then  
  4.         . /etc/bashrc  
  5. fi  
  6. # User specific aliases and functions  
  7. export JAVA_HOME=/usr/java/jdk1.6.0_16  
  8. export PATH=$JAVA_HOME/bin:$PATH  
  9. export CLASSPATH=.:$JAVA_HOME/jre/lib/*.jar:$JAVA_HOME/jre/lib/*.jar  
  10. export HADOOP_HOME=/home/shirdrn/eclipse/eclipse-3.5.2/hadoop/hadoop-0.20.0  
  11. export PATH=$PATH:$HADOOP_HOME/bin  

Hadoop准备

1、下载hadoop-0.20.0.tar.gz压缩包,解压缩到/home/shirdrn/eclipse/eclipse-3.5.2/hadoop/目录下面:

[www.linuxidc.com @localhost hadoop]$ tar -xzvf hadoop-0.20.0.tar.gz

2、配置Hadoop

(1)修改hadoop-0.20.0/conf/hadoop-env.sh,在该文件中增加如下三行:

  1. export JAVA_HOME=/usr/java/jdk1.6.0_16  
  2. export HADOOP_HOME=/home/shirdrn/eclipse/eclipse-3.5.2/hadoop/hadoop-0.20.0  
  3. export PATH=$PATH:$HADOOP_HOME/bin  

(2)修改hadoop-0.20.0/conf/core-site.xml,内容如下所示:

  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <!-- Put site-specific property overrides in this file. -->  
  5.   
  6. <configuration>  
  7.   <property>  
  8.     <name>fs.default.name</name>  
  9.     <value>hdfs://localhost:9000</value>  
  10.   </property>  
  11.   <property>  
  12.     <name>hadoop.tmp.dir</name>  
  13.     <value>/tmp/hadoop/hadoop-${user.name}</value>  
  14.   </property>  
  15. </configuration>  

(3)修改hadoop-0.20.0/conf/hdfs-site.xml,内容如下所示:

  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <!-- Put site-specific property overrides in this file. -->  
  5.   
  6. <configuration>  
  7.   <property>  
  8.     <name>dfs.replication</name>  
  9.     <value>1</value>  
  10.   </property>  
  11. </configuration>  

(4)修改hadoop-0.20.0/conf/mapred-site.xml,内容如下所示:

  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <!-- Put site-specific property overrides in this file. -->  
  5.   
  6.   
  7. <configuration>  
  8.   <property>  
  9.     <name>mapred.job.tracker</name>  
  10.     <value>localhost:9001</value>  
  11.   </property>  
  12. </configuration>  

Eclipse plugin配置

这个配置比较容易一点:

解压缩eclipse-SDK-3.5.2-linux-gtk.tar.gz到/home/shirdrn/eclipse/目录下面,然后将hadoop-0.20.0/contrib/eclipse-plugin/hadoop-0.20.0-eclipse-plugin.jar插件拷贝到/home/shirdrn/eclipse/eclipse-3.5.2/eclipse/plugins/目录下面:

[www.linuxidc.com @localhost ~]$ cp /home/shirdrn/eclipse/eclipse-3.5.2/hadoop/hadoop-0.20.0/contrib/eclipse-plugin/hadoop-0.20.0-eclipse-plugin.jar /home/shirdrn/eclipse/eclipse-3.5.2/eclipse/plugins/

然后,就可以在RHEL 5下启动Eclipse开发工具了。

linux
相关资讯       Hadoop部署 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款