你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop开发周期

基础环境安装

[日期:2013-04-14] 来源:Linux社区  作者:zhongyangzhong [字体: ]

Hadoop的开发周期一般是:
1)开发和部署环境准备
2)编写mapper和reducer
2)单元测试
3)编译、打包

4)提交作业和结果检索

在用Hadoop处理大数据之间,需要首先将运行和开发环境部署好,下面是基础环境的安装过程,所有软件都安装在Linux系统上。下面先介绍在一台机器上的部署,该机器信息如下:

1 JDK安装

1)下载最新的JDK并减压 jdk-7u17-linux-x64.gz

2) 设置Java环境变量 

切换到root用户的根目录, 编辑/etc/profile文件, 在该文件的最下方添加如下语句: 

export JAVA_HOME=/opt/jdk1.7(可以改变)

export CLASSPATH=$CLASSPATH:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:

export PATH=$JAVA_HOME/bin:$PATH

重新执行修改过的文件

# source /root/.bashrc

3) 测试是否安装成功

在终端执行:java –version, 如果显示的版本号和安装的版本号一致,则表明java设置安装成功。

2 Eclipse安装

后期需要在Eclipse中进行mapper和reducer函数的编程,现在这里搭建好IDE环境。

1)下载最新版本Eclipse

eclipse-jee-juno-SR2-linux-gtk-x86_64.tar.gz

2) 减压 tar.gz 文件

3) 在Windows系统上使用 VNC 启动 Eclipse

进入减压后的文件,点击eclipse图标或者在终端执行如下命令

./eclipse

设置工作目录


4) 常见问题解决

如果出现以下问题,但是安装的JDK在1.5以上


需要在启动Eclipse时指定它使用的JVM,为了方便我们这里写了一个脚本(startEclipse.sh)来启动eclipse,脚本如下:


使该脚本可以执行:chmod 777 startEclipse.sh

执行该脚本,eclipse即可正常启动

3 Hadoop安装

Hadoop有3种安装模式单机模式、伪分布模式和全分布模式。

3.1 安装

1)下载最新版本的Hadoop,并减压

% tar xzf hadoop-x.y.z.tar.gz

2) Hadoop路径配置

切换到root用户的根目录, 编辑/etc/profile文件, 在该文件的最下方添加如下语句:

如果只在终端输入输入exoprt,只在当前shell下生效,以后重启就不生效了,所有一劳永逸在.bashrc文件中配置)

#hadoop path(hadoop安装主目录)
export HADOOP_HOME=/home/hadoop/hadoop-1.0.4
export PATH=$PATH:$HADOO_HOME/bin
# log dir(日志文件路径)
export HADOOP_LOG_DIR=$HADOOP_HOME/log


 

重新执行修改过的文件(如果没有这一步,有时输入hadoop命令会出现:Hadoop commondnot found)

# . /root/.bashrc

3.2 配置

core-site.xml用于配置Common组件的属性,hdfs-site.xml用于配置HDFS属性,mapred-sit.xml用于��置MapReduce实现。这些配置文件都放在conf子目录下。

 

单机模式(Standalone or local mode)

单台机器、单线程运行、不需要启动hadoop进程,所有程序都在单个JVM上执行。该模式适合在开发阶段测试和调试MapReduce程序。

伪分布模式(Pseudo-distributed mode)

单台机器,启动hadoop所有进程(如NameNode, DataNode, TaskTracker, JobTracker, SecondaryNameNode),较好的模拟hadoop集群情况。

分布模式

需要利用多台机器,实现hadoop的分布式集群,通过高仿真环境进行集成测试。

在特定模式下运行hadoop需要做2件事:正确设置属性和启动hadoop进程。下图是配置不同模式所需要的最小属性集合。

linux
相关资讯       hadoop开发 
本文评论   查看全部评论 (1)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款
第 1 楼
* 匿名 发表于 2013/4/14 15:10:35
Hadoop