手机版
你好,游客 登录 注册
背景:
阅读新闻

Hadoop Eclipse 配置

[日期:2013-01-19] 来源:Linux社区  作者:luyee2010 [字体: ]

重装系统后有折腾了好久,才搞定。。感觉还是不靠谱。。先记录下

Hadoop 伪分布式配置:

1,hadoop版本

hadoop@Ubuntu:~/collector_3h/hadoop-0.20.2/bin$ ./hadoop version
Hadoop 0.20.2
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707
Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010


2,配置文件

hdfs-site.xml


hadoop@ubuntu:~/collector_3h/hadoop-0.20.2/conf$ cat hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
    </property> 

    <property>
        <name>dfs.name.dir</name>
        <value>/home/hadoop/collector_3h/hadoop-0.20.2/hdfs/name</value>
    </property>

    <property>
        <name>dfs.data.dir</name>
        <value>/home/hadoop/collector_3h/hadoop-0.20.2/hdfs/data</value>
    </property>
</configuration>

-----------------------

mapred-site.xml


hadoop@ubuntu:~/collector_3h/hadoop-0.20.2/conf$ cat mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>


    <property>
    <name>mapred.local.dir</name>
    <value>/home/hadoop/collector_3h/hadoop-0.20.2/mapred/local</value>
    </property> 

    <property>
    <name>mapred.system.dir</name>
    <value>/home/hadoop/collector_3h/hadoop-0.20.2/mapred/system</value>
    </property>

</configuration>

--------------------------------------------

core-site.xml
hadoop@ubuntu:~/collector_3h/hadoop-0.20.2/conf$ cat core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>

  <property> 
    <name>hadoop.tmp.dir</name> 
    <value>/home/hadoop/collector_3h/hadoop-0.20.2/hdfs/tmp</value> 
  </property> 

</configuration>

--------------------------------------

之后配置eclipse  这个插件真不靠谱

最终用的3.3.2+hadoop 自带的插件

linux
相关资讯       Hadoop配置  Hadoop Eclipse 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款