“大多数人认为 LLM 推理速度慢是因为他们需要更大的 GPU。 但实际上，很多时候是因为他们使用了错误的推理引擎。简单的服务方式会为每个请求保留最坏情况下的内存，而仅仅这个假设就会在你处理任何内容之前消耗掉 60% 到 80% 的 GPU 内存。 vLLM 的 PagedAttention 按需以固定页面分配内存，这与操作系统为虚拟内存分配的方式类似。利用率直接跃升到大约 95%。 这篇教程从这个概念开始，直接进入一个兼容 OpenAI 的生产级服务器，负载测试，以及一个真实的监控仪表盘，而不仅仅是理论。”