你好,游客 登录 注册 搜索
背景:
阅读新闻

Windows 10下编译安装Hadoop2.6

[日期:2016-08-10] 来源:Linux社区  作者:王小雷 [字体: ]

Windows 10下安装Hadoop2.6,Windows10下编译64位Hadoop2.x。详细记录了Windows10版本下对Hadoop的编译、安装步骤,以及相关包或者软件下载安装过程。

  • 不需要在Cygwin下安装Hadoop,官方也不推荐使用Cygwin。

  • Hadoop版本支持情况:Hadoop 2.2版本起包括Windows的原生支持。截至2014年一月份,官方的Apache Hadoop的版本不包括Windows二进制文件。

  • Windows版本支持情况:Hadoop官方人员开发、测试环境分别是32的 Windows Server 2008 和32位的 Windows Server 2008 R2 。因为服务器型号win32位的API相似,所以官方推测Windows7或者Windows Vista应该也是支持的。Windows XP Hadoop官方不测试也不支持。

总之,Windows版本的Hadoop需要在2.2之后可自行编译,并且不支持Windows XP,在其他Windows平台下,官方不予严格的支持(仅仅提供二进制文件,部分组件需要自行编译)。

以下内容是具体实施,Hadoop集群在Windows环境下支持情况调研与测试部署,罗列了Windows实际部署情况,以及所遇到的问题和解决方案。

1. 自行编译Windows环境的二进制包

Requirements:

* Windows System
* JDK 1.6+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer
* Windows SDK or Visual Studio 2010 Professional
* Unix command-line tools from GnuWin32 or Cygwin: sh, mkdir, rm, cp, tar, gzip
* zlib headers (if building native code bindings for zlib)
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)

1. 配置编译环境

1.1. 设置JDK环境

JAVA_HOME设置

<img src='../../../Imgs/HadoopforWindows/JAVA_HOMEpath.png' style='width: 50%'/>

jdk设置path

1.2. 安装编译工具maven

下载maven的zip包 将maven的根目录放置系统变量path中

测试mvn -v

mvn-version

1.3. 安装ProtocolBuffer

下载 先切换到带有pom文件路径中

cd E:\IDE\protobuf-3.0.0-beta-3\java

通过mvn 安装 mvn test 测试 mvn install

mvn install.png

1.4. 安装CMake

下载 安装即可。

1.5. 安装visual studio 2010之后(直接下载安装,不再赘述) 或者安装Windows SDK

下面关于Hadoop的文章您也可能喜欢,不妨看看:

CentOS7.2下Hadoop2.7.2集群搭建 http://www.linuxidc.com/Linux/2016-07/133644.htm

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS安装和配置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

2. 编译安装

设置环境编译环境位数 set Platform=x64 (when building on a 64-bit system) set Platform=Win32 (when building on a 32-bit system) 设置安装包环境 设置环境变量添加至将ZLIB_HOME至环境变量中 set ZLIB_HOME=C:\zlib-1.2.7 mvn编译命令

mvn package  -Pdist,native-win -DskipTests -Dtar

mvn-p

更多详情见请继续阅读下一页的精彩内容http://www.linuxidc.com/Linux/2016-08/134131p2.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款