手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Ubuntu下Spark开发环境搭建

[日期:2016-01-26] 来源:Linux社区  作者:Linux [字体: ]

配置Ubuntu下使用Python开发Spark应用

Ubuntu 64位基本环境配置

安装JDK,下载jdk-8u45-linux-x64.tar.gz,解压到/opt/jdk1.8.0_45

下载地址:http://www.Oracle.com/technetwork/Java/javase/downloads/index.html

安装scala,下载scala-2.11.6.tgz,解压到/opt/scala-2.11.6

下地地址: http://www.scala-lang.org/

安装Spark,下载spark-1.3.1-bin-Hadoop2.6.tgz,解压到/opt/spark-hadoop

下载地址:http://spark.apache.org/downloads.html,

配置环境变量,编辑/etc/profile,执行以下命令     

python@ubuntu :~$  sudo gedit /etc/profile

                      在文件最增加:

          #Seeting JDK JDK环境变量

            export JAVA_HOME=/opt/jdk1.8.0_45

            export JRE_HOME=${JAVA_HOME}/jre

            export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

            export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH         

         #Seeting Scala Scala环境变量

            export SCALA_HOME=/opt/scala-2.11.6

            export PATH=${SCALA_HOME}/bin:$PATH

         #setting Spark Spark环境变量

           export SPARK_HOME=/opt/spark-hadoop/

        #PythonPathSpark中的pySpark模块增加的Python环境中

         export PYTHONPATH=/opt/spark-hadoop/python

 重启电脑,使/etc/profile永久生效,临时生效,打开命令窗口,执行 source /etc/profile  在当前窗口生效

  • 测试安装结果

    • 打开命令窗口,切换到Spark根目录

      Ubuntu下Spark开发环境搭建

    • 执行 ./bin/spark-shell,打开ScalaSpark的连接窗口   

    Ubuntu下Spark开发环境搭建

    Ubuntu下Spark开发环境搭建

    启动过程中无错误信息,出现scala>,启动成功

    •   执行./bin/pyspark ,打开PythonSpark的连接窗口

    Ubuntu下Spark开发环境搭建

                 Ubuntu下Spark开发环境搭建

 启动过程中无错误,在出现如上所示时,启动成功。

    •    通过浏览器访问:出现如下页面

    Ubuntu下Spark开发环境搭建

   

           测试SPark可用

  • Python安发Spark应用

    • 前面已设置PYTHONPATH,将pyspark加入到Python的搜寻路径中

    • 打开Spark安装目录,将Python-build文件夹下py4j,复至到Python目录下,如图:

        Ubuntu下Spark开发环境搭建

    • 打开命令行窗口,输入python,Python版本为2.7.6,如图所示,注意Spark不支持Python3

        Ubuntu下Spark开发环境搭建 

    • 输入import pyspark,如下图所示,证明开发前工作完成

        Ubuntu下Spark开发环境搭建

    •   使用Pycharm新建项项目,使用红框中的代码测试:

    Ubuntu下Spark开发环境搭建

更多Spark相关教程见以下内容

CentOS 7.0下安装并配置Spark  http://www.linuxidc.com/Linux/2015-08/122284.htm

Spark1.0.0部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

CentOS 6.2(64位)下安装Spark0.8.0详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark简介及其在Ubuntu下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装Spark集群(在CentOS上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

Spark 的详细介绍请点这里
Spark 的下载地址请点这里

本文永久更新链接地址http://www.linuxidc.com/Linux/2016-01/127855.htm

linux
相关资讯       Spark  Spark环境搭建 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款