你好,游客 登录 注册 搜索
背景:
阅读新闻

Spark2.0.2+Zeppelin0.6.2 环境搭建入门初探

[日期:2017-06-18] 来源:Linux社区  作者:purstar [字体: ]

0.抱怨与其他(此部分与标题没有太多联系):

首先一点想说的是版本问题,为什么标题我会写清楚版本号呢!原因就是版本不对真的很会坑人。

就在写这篇文章的同一天,我还写了另一篇,是

Hadoop2.7.3+Spark2.1.0 完全分布式环境 搭建全过程  http://www.linuxidc.com/Linux/2017-06/144926.htm

坑人的地方在哪里呢,Zeppelin0.6.2不支持Spark2.1.0这个版本

于是我又仔细的查看了官网的教程:

得出的结论是我必须要装老版本的,还好的是支持Spark2.0,于是我又安装了Spark2.0.2

不过呢如果你没有任何的集群环境,上面这篇是值得参考的,只不过你得自己改下版本号,从2.1.0到2.0.2,其他完全一样。

1.下载Zeppelin

wget http://www-eu.apache.org/dist/zeppelin/zeppelin-0.6.2/zeppelin-0.6.2-bin-all.tgz

2.解压并移动到相应的文件夹:

tar -xvf zeppelin-0.6.2-bin-all.tgz
mv zepplin-0.6.2-bin-all /opt

3.安装并修改配置文件:

(1)安装

网络安装版需要运行下面的命令:

./bin/install-interpreter.sh --all

而完整版不需要,直接进入到zeppelin的根目录修改配置文件即可。

cd zepplin-0.6.2-bin-all

(2)/opt/zeppelin-0.6.2-bin-all/conf/zeppelin-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_112/
export MASTER="spark://master:7077"
export SPARK_HOME=/opt/spark-2.0.2-bin-hadoop2.7/
export HADOOP_HOME=/opt/hadoop-2.7.3/ export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

(3)/opt/zeppelin-0.6.2-bin-all/conf/zeppelin-site.xml

为了防止端口冲突我们将8080改为8099,具体情况要看自己的机子决定:

<property>
  <name>zeppelin.server.port</name>
  <value>8099</value>
  <description>Server port.</description>
</property>

4.启动或关闭:

修改之前的启动脚本为:

#!/bin/bash
echo -e "\033[31m ========Start The Cluster======== \033[0m"
echo -e "\033[31m Starting Hadoop Now !!! \033[0m"
/opt/hadoop-2.7.3/sbin/start-all.sh
echo -e "\033[31m Starting Spark Now !!! \033[0m"
/opt/spark-2.0.2-bin-hadoop2.7/sbin/start-all.sh
echo -e "\033[31m Starting Zeppelin Now !!! \033[0m"
/opt/zeppelin-0.6.2-bin-all/bin/zeppelin-daemon.sh start
echo -e "\033[31m The Result Of The Command \"jps\" :  \033[0m"
jps
echo -e "\033[31m ========END======== \033[0m"

修改之前的关闭脚本为:

#!/bin/bash
echo -e "\033[31m ===== Stoping The Cluster ====== \033[0m"
echo -e "\033[31m Stoping Zeppelin Now !!! \033[0m"
/opt/zeppelin-0.6.2-bin-all/bin/zeppelin-daemon.sh stop
echo -e "\033[31m Stoping Spark Now !!! \033[0m"
/opt/spark-2.0.2-bin-hadoop2.7/sbin/stop-all.sh
echo -e "\033[31m Stopting Hadoop Now !!! \033[0m"
/opt/hadoop-2.7.3/sbin/stop-all.sh
echo -e "\033[31m The Result Of The Command \"jps\" :  \033[0m"
jps
echo -e "\033[31m ======END======== \033[0m"

5.运行官网的例子:

在浏览器里输入地址:

z-ip 指代 zepplin所在机子的ip(xxx.xxx.xxx.xxx)

即:http://z-ip:8099/#/

如下图:

然后我们点Notebook->Zeppelin Tutorial

然后点击save

然后在最上面的部分点击如下图所示的位置:

运行结果在截取两张图给大家:

 

 

 

 最后一个要注意的是,这是我自己摸索着搞得,有问题发生是正常的,所以标题加上了初探两个字!

更多Spark相关教程见以下内容

CentOS 7.0下安装并配置Spark  http://www.linuxidc.com/Linux/2015-08/122284.htm

Spark1.0.0部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

Spark2.0安装配置文档  http://www.linuxidc.com/Linux/2016-09/135352.htm

Spark 1.5、Hadoop 2.7 集群环境搭建  http://www.linuxidc.com/Linux/2016-09/135067.htm

Spark官方文档 - 中文翻译  http://www.linuxidc.com/Linux/2016-04/130621.htm

CentOS 6.2(64位)下安装Spark0.8.0详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark2.0.2 Hadoop2.6.4全分布式配置详解 http://www.linuxidc.com/Linux/2016-11/137367.htm

Ubuntu 14.04 LTS 安装 Spark 1.6.0 (伪分布式) http://www.linuxidc.com/Linux/2016-03/129068.htm

Spark 的详细介绍请点这里
Spark 的下载地址请点这里

本文永久更新链接地址http://www.linuxidc.com/Linux/2017-06/144929.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款