#推理优化

KV Cache 是什么？怎么加速推理？显存占用怎么算？

考察对自回归推理瓶颈的理解：KV Cache 用空间换时间避免重复计算，要求能手推显存占用公式并说出优化手段。