安装Scala
安装scala比较容易,直接将解压后的scala-2.11.7文件夹放置在/opt目录下,然后修改etc/profile目录增加Scala所需环境变量就可以了。
1.vim etc/profile增加环境变量
2.利用命令scala -version检查是否配置成功,如果出现如下信息就代表成功。
安装Spark
1.将下载好的spark用命令tar -xf进行解压后剪切mv到某目录下后,配置spark环境变量如下:
1
2
|
export SPARK_HOME=/opt/spark-1.6.0-bin-Hadoop2.6 export PATH=$SPARK_HOME/bin:$PATH |
2.配置spark,先修改spark-env.sh文件:
1
2
|
cp spark-env.sh. template spark-env.sh vim spark-env.sh |
添加Spark的配置信息
1
2
3
4
5
6
|
export JAVA_HOME=/usr/java/jdk1.8.0_73 export SCALA_HOME=/opt/scala-2.11.7 export SPARK_MASTER_IP=bk25103378-B85M-DS3H-A #主机名 export SPARK_WORKER_CORES=2 export SPARK_WORKER_MEMORY=2g export HADOOP_CONF_DIR=/opt/hadoop-2.6.4/etc/hadoop |
修改slaves文件:
1
2
|
cp slaves. template slaves vim slaves |
添加节点:
1
|
127.0.1.1 bk25103378-B85M-DS3H-A |
3.最后来启动spark检查是否配置成功即可。‘
Spark 的详细介绍:请点这里
Spark 的下载地址:请点这里
本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-03/129068.htm