#显存优化

长文本生成时显存占用怎么优化？

考察长上下文场景的显存治理手段：KV Cache 是显存大头，从架构、量化、调度、外推四条线分别给出方案。