手机版
你好,游客 登录 注册
背景:
阅读新闻

单机版搭建Hadoop环境图文教程详解

[日期:2012-02-11] 来源:Linux社区  作者:weixiaolu [字体: ]

前言:

年前,在老大的号召下,我们纠集了一帮人搞起了Hadoop,并为其取了个响亮的口号“云在手,跟我走”。大家几乎从零开始,中途不知遇到多少问题,但终于在回家之前搭起了一个拥有12台服务器的集群,并用命令行在该集群上运行了一些简单的mapreduce程序。想借此总结我们的工作过程。

安装过程:

一、安装Linux操作系统
二、在Ubuntu下创建hadoop用户组和用户
三、在Ubuntu下安装JDK
四、修改机器名
五、安装ssh服务
六、建立ssh无密码登录本机
七、安装hadoop
八、在单机上运行hadoop

一、安装Linux操作系统

我们是在windows中安装linux系统的,选择的是ubuntu 11.10,介于有些朋友是第一次安装双系统,下面我就介绍一种简单的安装方法:

1、下载ubuntu-11.10-desktop-i386.iso镜像文件,用虚拟光驱打开,执行里面的wubi.exe程序,如图(1)

 

 

2、选择在widows中安装,如图(2)

 

 

3、在弹出的窗口中设置一些具体的参数,自动跟新完成后需要重启。重启时,就会出现ubuntu系统的选择了,系统一般默认开机启动windows系统,所以这里要自己手动选择哦~,进入ubuntu后,系统就自动下载,跟新、安装了。

(注:安装的过程中可能会卡在一个阶段很长时间(我卡了半个小时),这时我选择了强制关机,重启时同样选择进入ubuntu。一般第二次就不会卡,具体原因我也不是很清楚,可能和wubi.exe程序有关吧。 在网上看到,有些人认为用wubi.exe安装ubuntu不是很好,可能这就是它的不好之处吧。不过这是非常简单的方法,所以我们还是选择这种安装方法吧。)


二、在Ubuntu下创建hadoop用户组和用户

这里考虑的是以后涉及到hadoop应用时,专门用该用户操作。用户组名和用户名都设为:hadoop。可以理解为该hadoop用户是属于一个名为hadoop的用户组,这是linux操作系统的知识,如果不清楚可以查看linux相关的书籍。

1、创建hadoop用户组,如图(3)

 

 

2、创建hadoop用户,如图(4)

 

 

3、给hadoop用户添加权限,打开/etc/sudoers文件,如图(5)

 

 

按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权限。在root  ALL=(ALL:ALL)  ALL下添加hadoop  ALL=(ALL:ALL)  ALL,如图(6)

 

 

三、在Ubuntu下安装JDK( http://www.linuxidc.com/Linux/2012-06/62078.htm )

linux
本文评论   查看全部评论 (3)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款
第 3 楼
* xierui4056会员 发表于 2016/1/17 10:33:38
不错,学习了
第 2 楼
* 匿名 发表于 2013/10/23 13:50:03
没有datanode是怎么回事啊。。
第 1 楼
* 匿名 发表于 2013/3/25 14:09:38
3