手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

在Ubuntu环境部署Apache Spark集群

[日期:2016-01-02] 来源:Linux社区  作者:chszs [字体: ]

1、软件环境

本文主要讲述怎样在Ubuntu系统上部署Apache Spark独立集群(Standalone Cluster)的过程。所需的软件如下:

  • Ubuntu 15.10 x64
  • Apache Spark 1.5.1

2、安装所需的一切

# sudo apt-get install git -y
# sudo apt-add-repository ppa:webupd8team/Java -y
# sudo apt-get update -y
# sudo apt-get install Oracle-java8-installer -y
# sudo apt-get install oracle-java8-set-default 
# sudo apt-get install maven gradle -y
# sudo apt-get install sbt -y
# sudo wget http://d3kbcqa49mib13.cloudfront.net/spark-1.5.1-bin-Hadoop2.6.tgz
# sudo tar -xvf spark*.tgz
# sudo chmod 755 spark*
# sudo apt-get update
# sudo apt-get install -y openjdk-7-jdk
# sudo apt-get install -y autoconf libtool
# sudo apt-get -y install build-essential Python-dev python-boto libcurl4-nss-dev libsasl2-dev maven libapr1-dev libsvn-dev
# sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E56151BF
DISTRO=$(lsb_release -is | tr '[:upper:]' '[:lower:]')
CODENAME=$(lsb_release -cs)

添加到软件仓库:

# echo "deb http://repos.mesosphere.io/${DISTRO} ${CODENAME} main" | \
 sudo tee /etc/apt/sources.list.d/mesosphere.list
# sudo apt-get -y update
# sudo apt-get -y install mesos

为了便于Spark集群未来从独立集群模式升级,还安装了Apache Mesos。

针对Spark独立集群,使用了spark-1.5.1-bin-hadoop2.6

conf/spark-env.sh
#!/usr/bin/env bash
export SPARK_LOCAL_IP=MYIP

3、启动一个节点

# sbin/start-slave.sh masterIP:7077

可参考文档:

4、安装其它的工具和服务器

1)安装MongoDB 3.0.4版

# sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 7F0CEB10
# echo "deb http://repo.mongodb.org/apt/ubuntu "$(lsb_release -sc)"/mongodb-org/3.0 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-3.0.list
# sudo apt-get update
# sudo apt-get install -y mongodb-org
# sudo apt-get install -y mongodb-org=3.0.4 mongodb-org-server=3.0.4 mongodb-org-shell=3.0.4 mongodb-org-mongos=3.0.4 mongodb-org-tools=3.0.4
# sudo service mongod start
# sudo tail -5000 /var/log/mongodb/mongod.log

2)安装PostgreSQL

可参考文档:
https://www.digitalocean.com/community/tutorials/how-to-install-and-use-postgresql-on-ubuntu-14-04

# sudo apt-get update
# sudo apt-get install postgresql postgresql-contrib

3)安装Redis

可参考文档:
https://www.digitalocean.com/community/tutorials/how-to-install-and-use-redis

# sudo apt-get install build-essential
# sudo apt-get install tcl8.5
# sudo wget http://download.redis.io/releases/redis-stable.tar.gz
# sudo tar xzf redis-stable.tar.gz
# cd redis-stable
# make
# make test
# sudo make install
# cd utils
# sudo ./install_server.sh
# sudo service redis_6379 start
# redis-cli

4)安装Scala 2.11.7版

可参考文档:

执行命令:

# sudo wget http://downloads.typesafe.com/scala/2.11.7/scala-2.11.7.deb
# sudo dpkg -i scala-2.11.7.deb

可参考文档:
http://www.scala-sbt.org/0.13/tutorial/Installing-sbt-on-Linux.html

# echo "deb http://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list
# sudo apt-get update
# sudo apt-get install sbt
# sudo apt-get install unzip
# curl -s get.gvmtool.net | bash
# source "/root/.gvm/bin/gvm-init.sh"
# gvm install gradle

更多Spark相关教程见以下内容

CentOS 7.0下安装并配置Spark  http://www.linuxidc.com/Linux/2015-08/122284.htm

Spark1.0.0部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

CentOS 6.2(64位)下安装Spark0.8.0详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark简介及其在Ubuntu下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装Spark集群(在CentOS上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

Spark 的详细介绍请点这里
Spark 的下载地址请点这里

本文永久更新链接地址http://www.linuxidc.com/Linux/2016-01/127002.htm

linux
相关资讯       Spark集群  Spark集群部署 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款