Spark性能优化：重构RDD及RDD持久化

在写 Spark 的应用时&＃xff0c;应该尽量避免这两种情况&＃xff1a;

1&＃xff0c;几个功能明明可以在一个算子操作中完成&＃xff0c;为了代码清晰&＃xff0c;把这个算子拆分成多个算子进行操作。这种操作往往会增加很多的性能开销。

2&＃xff0c;出现公用的 RDD 时候不做持久化操作&＃xff0c;比如&＃xff1a;

RDD2 是会被复用的 RDD&＃xff0c;默认情况下&＃xff0c;第一次使用 RDD2 生成 RDD3 时候会走一遍 HDFS -> RDD1 -> RDD2

然后用 RDD2 生成 RDD4 的时候&＃xff0c;还会走一遍 HDFS -> RDD1 -> RDD2

这样就造成了重复计算。

针对上述的两种情况我们应该这样做&＃xff1a;

1&＃xff0c;能够在一个算子中操作完成的功能不用拆分到多个算子中去操作&＃xff1b;

2&＃xff0c;在要复用 RDD 的时候一定要对复用的那个 RDD 做持久化操作。