手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Spark源码包的编译

[日期:2015-01-03] 来源:Linux社区  作者:Linux [字体: ]

Spark源码包的编译和部署生成,其本质只有两种:Maven和SBT (Simple Build Tool), 只不过针对不同的场景而已:

Maven编译

SBT编译

IntelliJ IDEA编译(可采用Maven或者SBT插件编译),适用于开发人员

包部署生成(内嵌Maven编译),使用维护人员

编译的目的是生成特定环境下运行Spark本身或者开发Spark Application的JAR包,本次编译的目的生成运行在Hadoop2.5.2上的Spark JAR包,缺省编译所支持的Hadoop环境是Hadoop1.0.4

SBT编译

将源码包复制到指定的目录下,然后进入该目录,运行:

SPARK_HADOOP_VERSION=2.5.2 SPARK_YARN=true sbt/sbt assembly

Maven 编译

事先安装好Maven3.3.2或者Maven3.0.5,并设置环境变量MAVEN_HOME,将MAVEN_HOME/bin加入到PATH变量。然后将源代码复制到指定的目录下,然后进入该目录,先设置Maven参数

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

再运行

mvn -Pyarn -Dhadoop.version=2.5.2 -Dyarn.version=2.5.2  -DskipTests clean package

--------------------------------------分割线 --------------------------------------

Spark1.0.0部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

CentOS 6.2(64位)下安装Spark0.8.0详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark简介及其在Ubuntu下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装Spark集群(在CentOS上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

--------------------------------------分割线 --------------------------------------

Spark 的详细介绍请点这里
Spark 的下载地址请点这里

本文永久更新链接地址http://www.linuxidc.com/Linux/2015-01/111183.htm

linux
相关资讯       Spark  Spark编译 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款