准备
1. spark已经安装完毕
2. spark运行在local mode或local-cluster
mode
local-cluster mode
local-cluster模式也称为伪分布式,可以使用如下指令运行
MASTER=local[1,2,1024] bin/spark-shell
[1,2,1024] 分别表示,executor number, core number和内存大小,其中内存大小不应小于默认的512M
Driver Programme的初始化过程分析
初始化过程的涉及的主要源文件
1. SparkContext.scala 整个初始化过程的入口
2. SparkEnv.scala 创建BlockManager,MapOutputTrackerMaster, ConnectionManager, CacheManager
3......
阅读全文