精选·Spark2026-07-13
Spark 的统一内存模型怎么讲？Execution 和 Storage 内存是怎么动态共享的？
考察 Spark 1.6+ 统一内存管理：execution 与 storage 区域动态借用、on-heap/off-heap 的划分、OOM 时的逐出与 spill 策略，以及 spark.memory.fraction 等参数的调优逻辑。
91学AI·6 阅读
标签
#Tungsten
共 2 篇文章
精选·Spark2026-07-13
Spark Shuffle 是怎么演进的？Hash、Sort、Tungsten 各自解决了什么问题？
考察对 Spark shuffle 机制演进的理解：HashShuffle 的小文件问题、SortShuffleManager 的排序与归并、unsafe/sort 分支的选择条件，以及 Tungsten 的二进制排序和堆外内存优化。
91学AI·6 阅读