博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark1.2.0安装
阅读量:6626 次
发布时间:2019-06-25

本文共 806 字,大约阅读时间需要 2 分钟。


standalone


 

安装SCALA

下载、解压、加入环境变量


安装spark1.2.0

下载、解压、加入环境变量

tar zxvf spark-1.2.0-bin-2.2.0.tgz
export SPARK_HOME=/home/hadoop/spark-1.2.0-bin-2.2.0export PATH=$PATH:$SPARK_HOME/binexport SCALA_HOME=/home/hadoop/scala-2.11.4export PATH=$PATH:$SCALA_HOME/bin

在spark目录下的conf目录中

cp spark-env.sh.template spark-env.shvi spark-env.sh

在最下面加入

export SCALA_HOME=/home/hadoop/scala-2.11.4export JAVA_HOME=/home/hadoop/jdk1.7.0_71export SPARK_MASTER_IP=hadoopexport SPARK_WORKER_MEMORY=1000mexport HADOOP_CONF_DIR=/home/hadoop/hadoop2.2.0/etc/hadoop

在spark目录下的conf目录中

cp slaves.template slavesvi slaves

加入集群中的worker机器IP或者名称

启动(可以分开启动,也可以一起启动):

sbin/start-all.sh

测试

bin/run-example SparkPi

关于spark的介绍,我觉得下面这篇文章介绍的很好

http://www.aboutyun.com/thread-11413-1-1.html


 

转载于:https://www.cnblogs.com/admln/p/installSpark1-2-0.html

你可能感兴趣的文章
路由器配置大全
查看>>
JACK——AgentManual3 Agents
查看>>
[转载] 的士速递4
查看>>
基于QT平台的手持媒体播放器项目实战视频教程下载
查看>>
一名奔三的程序猿的困惑
查看>>
嵌入式Linux裸机开发(一)——点亮Led
查看>>
搭建Websocket简易聊天室
查看>>
Oracle技术之flashback table
查看>>
PIE SDK文本元素的绘制
查看>>
asp.net 页面传值
查看>>
解决将/etc/passwd文件中1000改为0后只能guest进入系统的问题 ||ubuntu下将普通用户权限升级为root用户权限的方法;...
查看>>
【Python实战】Scrapy豌豆荚应用市场爬虫
查看>>
Linux 内核中断内幕
查看>>
CSS表示颜色、行间距、缩进、文字修饰
查看>>
echarts 重新渲染时图表重叠现象的问题解决方法
查看>>
学无止境,学习AJAX(一)
查看>>
Appium for window 如何运行inspector?
查看>>
android3D动画,绕y轴旋转
查看>>
ios mac 对照片进行JPEG压缩
查看>>
前端开发中那些不招人“待见”的功能
查看>>