标签

#MapReduce

共 3 篇文章

【字节跳动】MapReduce Shuffle 与 Spark Shuffle 原理对比

字节跳动数仓一面真题。两者都是 map 输出分区落盘、reduce 端拉取归并，但 Spark 用 hash 跳过强制排序，并经历 hash/sort/Tungsten 多代演进。

91学AI·4 阅读

HBase 当中的数据最终都是存储在 HDFS 上面的，HBase 天生的支持 MR 的操作，我们可以通过 MR 直接处理 HBase 当中的数据，并且 MR 可以将处理后的结果直接存储到 HBase 当中去。

园陌·3 阅读

MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想，而不是自己原创。

园陌·2 阅读