
精选·Spark2026-07-13
cache/persist 和 checkpoint 有什么区别?分别什么时候用?
考察两种物化机制的本质差异:cache 保留血缘、内存/磁盘存储、服务于复用提速;checkpoint 切断血缘、写可靠存储、服务于长链容错,以及 cache 后再 checkpoint 的标准用法。
91学AI·8 阅读
共 2 篇文章

考察两种物化机制的本质差异:cache 保留血缘、内存/磁盘存储、服务于复用提速;checkpoint 切断血缘、写可靠存储、服务于长链容错,以及 cache 后再 checkpoint 的标准用法。

考察对 Spark 计算抽象的理解:RDD 五大特性、immutable 设计的动机、血缘(lineage)如何通过重算实现容错,以及血缘过长时 checkpoint 的兜底作用。