你好,游客 登录 注册 搜索
背景:
阅读新闻

Ubuntu 14.04 LTS 安装 Spark 1.6.0 (伪分布式)

[日期:2016-03-09] 来源:Linux社区  作者:Key-Ky [字体: ]

安装Scala

安装scala比较容易,直接将解压后的scala-2.11.7文件夹放置在/opt目录下,然后修改etc/profile目录增加Scala所需环境变量就可以了。

1.vim etc/profile增加环境变量

2.利用命令scala -version检查是否配置成功,如果出现如下信息就代表成功。


安装Spark

1.将下载好的spark用命令tar -xf进行解压后剪切mv到某目录下后,配置spark环境变量如下:

?
1
2
export SPARK_HOME=/opt/spark-1.6.0-bin-Hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

 

2.配置spark,先修改spark-env.sh文件:

1
2
cp spark-env.sh.template spark-env.sh
vim spark-env.sh

 添加Spark的配置信息

1
2
3
4
5
6
export JAVA_HOME=/usr/java/jdk1.8.0_73
export SCALA_HOME=/opt/scala-2.11.7
export SPARK_MASTER_IP=bk25103378-B85M-DS3H-A #主机名
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=2g
export HADOOP_CONF_DIR=/opt/hadoop-2.6.4/etc/hadoop

 修改slaves文件:

1
2
cp slaves.template slaves
vim slaves

 添加节点:

1
127.0.1.1 bk25103378-B85M-DS3H-A

 

3.最后来启动spark检查是否配置成功即可。‘

Spark 的详细介绍请点这里
Spark 的下载地址请点这里

本文永久更新链接地址http://www.linuxidc.com/Linux/2016-03/129068.htm

linux
相关资讯       Spark 1.6.0  Spark伪分布式 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款