第 1 章 Explain 查看执行计划
Spark 3.0 大版本发布&＃xff0c;Spark SQL 的优化占比将近 50%。Spark SQL 取代 Spark Core&＃xff0c;成
为新一代的引擎内核&＃xff0c;所有其他子框架如 Mllib、Streaming 和 Graph&＃xff0c;都可以共享 Spark
SQL 的性能优化&＃xff0c;都能从 Spark 社区对于 Spark SQL 的投入中受益。
要优化 SparkSQL 应用时&＃xff0c;一定是要了解 SparkSQL 执行计划的。发现 SQL 执行慢的根
本原因&＃xff0c;才能知道应该在哪儿进行优化&＃xff0c;是调整 SQL 的编写方式、还是用 Hint、还是调参&＃xff0c;
而不是把优化方案拿来试一遍。
1.1 准备测试用表和数据
1、上传 3 个 log 到 hdfs 新建的 sparkdata 路径
2、hive 中创建 sparktuning 数据库
3、执行
spark-submit --master yarn --deploy-mode client --driver-memory 1g --num
executors 3 --executor-cores 2 --executor-memory 4g --class
com.atguigu.sparktuning.utils.InitUtil spark-tuning-1.0-SNAPSHOT-jar
with-dependencies.jar
1.2 基本语法
.explain(mode&＃61;"xxx")
从 3.0 开始&＃xff0c;explain 方法有一个新的参数 mode&＃xff0c;该参数可以指定执行计划展示格式&＃xff1a;
➢ explain(mode&＃61;"simple")&＃xff1a;只展示物理执行计划。
➢ explain(mode&＃61;"extended")&＃xff1a;展示物理执行计划和逻辑执行计划。
➢ explain(mode&＃61;"codegen") &＃xff1a;展示要 Codegen 生成的可执行 Java 代码。
➢ explain(mode&＃61;"cost")&＃xff1a;展示优化后的逻辑执行计划以及相关的统计。
➢ explain(mode&＃61;"formatted")&＃xff1a;以分隔的方式输出&＃xff0c;它会输出更易读的物理执行计划&＃xff0c;
并展示每个节点的详细信息。
1.3 执行计划处理流程
核心的执行过程一共有 5 个步骤&＃xff1a;
这些操作和计划都是 Spark SQL 自动处理的&＃xff0c;会生成以下计划&＃xff1a;
➢ Unresolved 逻辑执行计划&＃xff1a;&＃61;&＃61; Parsed Logical Plan &＃61;&＃61;
Parser 组件检查 SQL 语法上是否有问题&＃xff0c;然后生成 Unresolved&＃xff08;未决断&＃xff09;的逻辑计划&＃xff0c;
不检查表名、不检查列名。
➢ Resolved 逻辑执行计划&＃xff1a;&＃61;&＃61; Analyzed Logical Plan &＃61;&＃61;
通过访问 Spark 中的 Catalog 存储库来解析验证语义、列名、类型、表名等。
➢ 优化后的逻辑执行计划&＃xff1a;&＃61;&＃61; Optimized Logical Plan &＃61;&＃61;
Catalyst 优化器根据各种规则进行优化。
➢ 物理执行计划&＃xff1a;&＃61;&＃61; Physical Plan &＃61;&＃61;
1&＃xff09;HashAggregate 运算符表示数据聚合&＃xff0c;一般 HashAggregate 是成对出现&＃xff0c;第一个
HashAggregate 是将执行节点本地的数据进行局部聚合&＃xff0c;另一个 HashAggregate 是
将各个分区的数据进一步进行聚合计算。
2&＃xff09;Exchange 运算符其实就是 shuffle&＃xff0c;表示需要在集群上移动数据。很多时候
HashAggregate 会以 Exchange 分隔开来。
3&＃xff09;Project 运算符是 SQL 中的投影操作&＃xff0c;就是选择列&＃xff08;例如&＃xff1a;select name, age…&＃xff09;。
4&＃xff09;BroadcastHashJoin 运算符表示通过基于广播方式进行 HashJoin。
5&＃xff09;LocalTableScan 运算符就是全表扫描本地的表。
1.4 案例实操
将提供的代码打成 jar 包&＃xff0c;提交到 yarn 运行
spark-submit --master yarn --deploy-mode client --driver-memory 1g --num
executors 3 --executor-cores 2 --executor-memory 4g --class
com.atguigu.sparktuning.explain.ExplainDemo spark-tuning-1.0-SNAPSHOT
jar-with-dependencies.jar
![[译]技术公司十年经验的职场生涯回顾](https://img8.php1.cn/3cdc5/24912/711/b6574f3292f9dc00.png)
京公网安备 11010802041100号