SemiAnalysis：TTFT被高估？大模型推理瓶颈在于权衡交互性与吞吐

SemiAnalysis 发文指出，大模型推理中常被引用的“首 token 延迟”（TTFT, time-to-first-token）可能被市场过度关注，推理系统的核心维度并非“越快越好”，而是在“单用户交互速度（tok/s/user）”与“整体吞吐效率（tok/s/GPU）”之间的权衡。在多数场景中，TTFT 对体验影响有限，但生成阶段的 Token 速度才是关键变量。SemiAnalysis 总结称，仅约 10%–20%的推理任务真正受限于延迟，其余大部分场景更依赖吞吐与成本效率优化。(Odaily星球日报)