#TPOT

大模型服务的吞吐和延迟怎么权衡？TTFT、TPOT 是什么？

考察推理服务的核心指标体系和 trade-off 判断力：batch size 如何同时影响吞吐与延迟，TTFT/TPOT 分别对应什么用户体验。