精选·Spark2026-07-13
Spark SQL 的 Catalyst 优化器原理是什么？一条 SQL 是怎么变成物理计划的？
考察 Catalyst 的完整流水线：逻辑计划解析、Analyzer 绑定元数据、规则优化（谓词下推/列裁剪/常量折叠）、代价模型选 join 策略、生成物理计划与 code-gen 执行。
91学AI·6 阅读
共 3 篇文章
考察 Catalyst 的完整流水线：逻辑计划解析、Analyzer 绑定元数据、规则优化（谓词下推/列裁剪/常量折叠）、代价模型选 join 策略、生成物理计划与 code-gen 执行。
考察对 Broadcast Hash Join、Shuffled Hash Join、Sort Merge Join 三种实现的原理与适用场景，以及 Catalyst 的 join 选择逻辑和强制广播的 hint 写法。
