#延迟优化

大模型 API 服务响应延迟高，怎么优化？

考察延迟问题的系统性排查能力：先拆 TTFT 与 TPOT 定位瓶颈段，再从排队、prefill、decode、网络四层给出针对性手段。