当前位置: 首页 > 数据分析师 > 数据分析师实战技能 > 数据分析师数据分析 > 实例 | Spark本地开发环境搭建

实例 | Spark本地开发环境搭建

发布时间:2020年09月29日 05:46:38 来源: 点击量:594

【摘要】实例|Spark本地开发环境搭建 文|翟志军来源|开源中国我选择的是spark-1 6 0-bin-cdh4 tgz。看到cdh4(Hadoop的一个分发版本),别以为它是要

实例 | Spark本地开发环境搭建

文 | 翟志军   来源 | 开源中国
我选择的是spark-1.6.0-bin-cdh4.tgz 。看到cdh4(Hadoop的一个分发版本),别以为它是要你装Hadoop。其实不然,要看你自己的开发需求。
本文使用Scala2.10.6,sbt。请自行提前装好。
设置SSH,本地免密码登录
因为Spark master需要ssh到Spark worker中执行命令,所以,需要免密码登录。
1.cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
执行ssh localhost确认一下,如果不需要密码登录就说明OK了。
TiPS: Mac下可能ssh不到本地,请检查你sharing设置:

下载Spark
http://spark.apache.org/downloads.html
我选择的是spark-1.6.0-bin-cdh4.tgz 。看到cdh4(Hadoop的一个分发版本),别以为它是要你装Hadoop。其实不然,要看你自己的开发需求。因为我不需要,所以,我只装Spark。
配置你的Spark slave
我很好奇,worker和slave这个名称有什么不同?还是因为历史原因,导致本质上一个东西但是两种叫法?
在你的Spark HOME路径下
1.cp ./conf/slaves.template ./conf/slaves
slaves文件中有一行localhost代表在本地启动一个Spark worker。
启动Spark伪分布式
1.  /sbin/start-all.sh
执行JPS验证Spark启动成功
1. ? jps
2.  83141 Worker
3.  83178 Jps
4.  83020 Master
打开你的Spark界面
http://localhost:8080

下载Spark项目骨架
为方便我自己开发,我自己创建了一个Spark应用开发的项目骨架。
下载项目骨架: http://git.oschina.net/zacker330/spark-skeleton
项目路径中执行:sbt package 编译打包你的spark应用程序。
将你的spark应用程序提交给spark master执行
1.  /bin/spark-submit 
2.  --class "SimpleApp" 
3.  --master spark://Jacks-MBP.workgroup:7077 
4.  target/scala-2.10/spark-skeleton_2.10-1.0.jar
这个“spark://Jacks-MBP.workgroup:7077”是你在 http://localhost:8080 中看到的URL的值
可以看到打印出: hello world
end

 

分享到: 编辑:wangmin

就业培训申请领取
您的姓名
您的电话
意向课程
点击领取

环球青藤

官方QQ

扫描上方二维码或点击一键加群,免费领取大礼包,加群暗号:青藤。 一键加群

绑定手机号

应《中华人民共和国网络安全法》加强实名认证机制要求,同时为更加全面的体验产品服务,烦请您绑定手机号.

预约成功

本直播为付费学员的直播课节

请您购买课程后再预约

环球青藤移动课堂APP 直播、听课。职达未来!

安卓版

下载

iPhone版

下载
环球青藤官方微信服务平台

刷题看课 APP下载

免费直播 一键购课

代报名等人工服务

课程咨询 学员服务 公众号

扫描关注微信公众号

APP

扫描下载APP

返回顶部