手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Apache Hadoop2.x 安装入门详解 PDF

[日期:2016-09-26] 来源:Linux社区  作者:Linux [字体: ]

Apache Hadoop2.x 安装入门详解

目录

第一部分:Linux环境安装

第一步、配置Vmware NAT网络

一、 Vmware网络模式介绍

二、 NAT模式配置

第二步、安装Linux操作系统

三、 Vmware上安装Linux系统

四、设置网络

五、修改Hostname

六、配置Host

七、关闭防火墙

八、关闭selinux

第三步、安装JDK

九、安装Java JDK

第二部分:Hadoop本地模式安装

第四步、 Hadoop部署模式

第五步、本地模式部署

十、本地模式介绍

十一、解压hadoop后就是直接可以使用

十二、运行MapReduce程序,验证

第三部分:Hadoop伪分布式模式安装

第六步、伪分布式Hadoop部署过程

十三、 Hadoop所用的用户设置

十四、解压Hadoop目录文件

十五、配置Hadoop

十六、配置、格式化、启动HDFS

十七、配置、启动YARN

十八、运行MapReduce Job

十九、停止Hadoop

二十、 Hadoop各个功能模块的理解

第七步、开启历史服务

二十一、历史服务介绍

二十二、开启历史服务

二十三、 Web查看job执行历史

二十四、开启日志聚集

第四部分:完全分布式安装

第八步、完全布式环境部署Hadoop

二十五、环境准备

二十六、服务器功能规划

二十七、在第一台机器上安装新的Hadoop

二十八、设置SSH无密码登录

二十九、分发Hadoop文件

三十、格式NameNode

三十一、启动集群

三十二、测试Job

第五部分:Hadoop HA安装

第九步、时间服务器搭建

三十三、配置NTP服务器

三十四、配置其他机器的同步

三十五、测试同步是否有效

第十步、 Zookeeper分布式机器部署

三十六、 zookeeper说明

三十七、安装zookeeper

三十八、 zookeeper命令

第十一步、 Hadoop 2.x HDFS HA 部署

三十九、 HDFS HA原理

四十、 HDFS HA架构图

四十一、搭建HDFS HA 环境

四十二、测试HDFS HA

第十二步、 Hadoop 2.x YARN HA 部署

四十三、 YARN HA原理

四十四、搭建YARN HA环境

四十五、测试YARN HA

第十三步、 HDFS Federation 架构部署

四十六、 HDFS Federation 的使用原因

四十七、 HDFS Federation的架构图

四十八、 HDFS Federation搭建

四十九、测试HDFS Federation

附录一:源码编译Hadoop


 

前言

Hadoop在大数据技术中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。

这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图,本文的思路是:以安装部署Apache Hadoop2.x版本为主线,来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。

本文分为五个部分:

²  第一部分:Linux环境安装

Hadoop是运行在Linux,虽然借助工具也可以运行在Windows上,但是生产环境都运行在Linux系统上,第一部分介绍Linux环境的安装、配置、Java JDK安装等。

²  第二部分:Hadoop本地模式安装

Hadoop本地模式只是用于本地开发调试,或者快速安装体验Hadoop,这部分做简单的介绍。

²  第三部分:Hadoop伪分布式模式安装

学习Hadoop一般是在伪分布式模式下进行。这种模式是在一台机器上各个进程上运行Hadoop的各个模块,伪分布式的意思是虽然各个模块是在各个进程上分开运行的,但是只是运行在一个操作系统上的,并不是真正的分布式。

²  第四部分:完全分布式安装

完全分布式模式才是生产环境采用的模式,Hadoop运行在服务器集群上。

²  第五部分:Hadoop HA安装

HA是指高可用,为了解决Hadoop单点故障问题,生产环境一般都做HA部署。这部分介绍了如何配置Hadoop2.x的高可用,并简单介绍了HA的工作原理。

安装过程中,会穿插简单介绍涉及到的知识。希望能对大家有所帮助。


 

第一部分:Linux环境安装

第一步、配置Vmware NAT网络

一、Vmware网络模式介绍

参考:http://blog.csdn.net/collection4u/article/details/14127671

二、NAT模式配置

NAT是网络地址转换,是在宿主机和虚拟机之间增加一个地址转换服务,负责外部和虚拟机之间的通讯转接和IP转换。

我们部署Hadoop集群,这里选择NAT模式,各个虚拟机通过NAT使用宿主机的IP来访问外网。

我们的要求是集群中的各个虚拟机有固定的IP、可以访问外网,所以进行如下设置:

1、Vmware安装后,默认的NAT设置如下:

2、默认的设置是启动DHCP服务的,NAT会自动给虚拟机分配IP,但是我们需要将各个机器的IP固定下来,所以要取消这个默认设置。

3、为机器设置一个子网网段,默认是192.168.136网段,我们这里设置为100网段,将来各个虚拟机Ip就为 192.168.100.*。

4、点击NAT设置按钮,打开对话框,可以修改网关地址和DNS地址。这里我们为NAT指定DNS地址。

5、网关地址为当前网段里的.2地址,好像是固定的,我们不做修改,先记住网关地址就好了,后面会用到。

第二步、安装Linux操作系统

三、Vmware上安装Linux系统

1、文件菜单à新建虚拟机

2、选择经典类型安装,下一步。

3、选择稍后安装操作系统,下一步。

4、选择Linux系统,版本选择CentOS 64位。

5、命名虚拟机,给虚拟机起个名字,将来显示在Vmware左侧。并选择Linux系统保存在宿主机的哪个目录下,应该一个虚拟机保存在一个目录下,不能多个虚拟机使用一个目录。

6、指定磁盘容量,是指定分给Linux虚拟机多大的硬盘,默认20G就可以,下一步。

7、点击自定义硬件,可以查看、修改虚拟机的硬件配置,这里我们不做修改。

8、点击完成后,就创建了一个虚拟机,但是此时的虚拟机还是一个空壳,没有操作系统,接下来安装操作系统。

9、点击编辑虚拟机设置,找到DVD,指定操作系统ISO文件所在位置。

10、  点击开启此虚拟机,选择第一个回车开始安装操作系统。

11、  设置root密码

12、  选择Desktop,这样就会装一个Xwindow。

13、  先不添加普通用户,其他用默认的,就把Linux安装完毕了。

四、设置网络

因为Vmware的NAT设置中关闭了DHCP自动分配IP功能,所以Linux还没有IP,需要我们设置网络各个参数。

1、用root进入Xwindow,右击右上角的网络连接图标,选择修改连接。

2、网络连接里列出了当前Linux里所有的网卡,这里只有一个网卡System eth0,点击编辑。

3、配置IP、子网掩码、网关(和NAT设置的一样)、DNS等参数,因为NAT里设置网段为100.*,所以这台机器可以设置为192.168.100.10网关和NAT一致,为192.168.100.2

4、  用ping来检查是否可以连接外网,如下图,已经连接成功。

百度网盘:http://pan.baidu.com/s/1dEXSN6L

或者到Linux公社资源站下载:

------------------------------------------分割线------------------------------------------

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是www.linuxidc.com

具体下载目录在 /2016年资料/9月/26日/Apache Hadoop2.x 安装入门详解 PDF/

下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm

------------------------------------------分割线------------------------------------------

实际效果截图:

 

Apache Hadoop2.x 安装入门详解 PDF

Apache Hadoop2.x 安装入门详解 PDF

Apache Hadoop2.x 安装入门详解 PDF

本文永久更新链接地址http://www.linuxidc.com/Linux/2016-09/135524.htm

linux
相关资讯       Hadoop安装  Hadoop2.x安装 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款