ApacheSpark基础操作指南

1. 执行第一个 Spark 程序

通过 Spark 自带的示例程序来执行一个估算 PI（蒙特卡洛算法）的任务：

$SPARK_HOME/bin/spark-submit 
--class org.apache.spark.examples.SparkPi 
--master spark://hadoop02:7077 
--executor-memory 512m 
--total-executor-cores 2 
$SPARK_HOME/examples/jars/spark-examples_2.11-2.3.0.jar 
100

2. 启动 Spark Shell

启动命令如下：

$SPARK_HOME/bin/spark-shell 
--master spark://hadoop02:7077,hadoop04:7077 
--executor-memory 512M 
--total-executor-cores 2

注意上图中的 cores 参数设置为 0，这会导致在 Spark Shell 中运行的代码无法成功执行。务必确保 CPU 核心数和内存设置合理：

• Executor 内存不能超过虚拟机的总内存。
• CPU 核心数不应超过 Spark 集群提供的总核心数，以避免占用全部资源，影响其他程序的正常运行。

参数说明：

• --master 指定 Master 地址。
• --executor-memory 指定每个 Worker 的可用内存。
• --total-executor-cores 指定整个集群使用的 CPU 核心数。

如果没有指定 master 地址，Spark Shell 将默认以本地模式启动，仅在本机启动一个进程，不与集群建立联系。

在 Spark-2.X 版本中，Spark Shell 已经默认初始化了 SparkContext 对象 sc 和 SparkSession 对象 spark。用户可以直接使用这两个对象进行开发。

在 Spark-1.X 版本中，Spark Shell 默认初始化了 SparkContext 对象 sc 和 SQLContext 对象 sqlContext。

3. 在 Spark Shell 中编写 WordCount 程序

在提交 WordCount 程序之前，需要先准备一个文件用于单词统计：

创建一个名为 words.txt 的文件，内容如下：

hello huangbo
hello xuzheng
hello wangbaoqiang

将该文件上传到 HDFS 文件系统中：

[hadoop@hadoop05 ~]$ hadoop fs -mkdir -p /spark/wc/input
[hadoop@hadoop05 ~]$ hadoop fs -put words.txt /spark/wc/input

在 Spark Shell 中提交 WordCount 程序：

最终结果如下：

sc 是 SparkContext 对象，作为提交 Spark 程序的入口。

textFile("hdfs://myha01/spark/wc/input/words.txt") 从 HDFS 中读取数据。

flatMap(_.split(" ")) 先 map 再压平。

map((_,1)) 将单词和 1 构成元组 (word,1)。

reduceByKey(_+_) 按照 key 进行 reduce，并将 value 累加。

saveAsTextFile("hdfs://myha01/spark/wc/output") 将结果写入到 HDFS 对应输出目录中。