你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop2安装——单机模式

[日期:2012-12-02] 来源:oschina.net  作者:mynote [字体: ]

Hadoop有三种模式 单机模式、伪分布模式和完全分布模式

这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。

Hadoop 网址http://hadoop.apache.org/

下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.0.2-alpha/hadoop-2.0.2-alpha.tar.gz

下载的版本是hadoop-2.0.2-alpha

安装前确定java安装 略

一、拷贝到/usr/local  解压 hadoop

cp hadoop-2.0.2-alpha.tar.gz /usr/local

cd /usr/local

tar -zxvf hadoop-2.0.2-alpha.tar.gz

目录结构和配置文件这里就 省略()

二、修改配置文件 hadoop-env.sh

Hadoop的配置文件都在 hadoop-2.0.2-alpha/etc/hadoop下,由于默认情况下是单机模式,一般不用做修改就可以直接做第三步测试实例,下面只是安装实际情况修改。

1、在hadoop中配置JAVA_HOME

默认的是export JAVA_HOME=${JAVA_HOME}  如果原来在环境变量中配置过,就可用使用默认的,不需修改

export JAVA_HOME=/opt/java

/opt/java 也就是jdk安装的路径

2、修改java虚拟机的类存

原来启动JVM时配置的最大内存是128m,当运行hadoop的一些自带的实例会报内存溢出,其实这里是可以修改内存大小

如果不需要也不必修改。

export HADOOP_CLIENT_OPTS="-Xmx128m $HADOOP_CLIENT_OPTS"

export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"

三、运行实例 Hello Hadoop

切换到该安装目录下,建立要上传到hadoop的两个文件 test1.txt、test2.txt

mkdir input

cd input

echo "hello world" > test1.txt

echo "hello hadoop" > test2.txt

cd ..

运行hadoop自带的wordcount实例可以统计一批文本文件中单词出现的次数

$bin/hadoop jar /usr/local/hadoop-2.0.2-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.2-alpha.jar wordcount input output

查看结果

$cat output/*

hadoop 1

hello 2

world 1

OK,Hadoop单机模式就OK了

linux
相关资讯       Hadoop安装  Hadoop2  Hadoop单机安装 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款