#吞吐优化

Continuous Batching 是什么？比静态批处理好在哪里？

考察迭代级调度的理解：continuous batching 按 token 粒度进出 batch，消除静态批处理中"短请求陪跑长请求"的空转浪费。