今天我们宣布对 @inferact 进行了一轮 $150M 的种子融资，这是一家由 vLLM 项目维护者领导的新创公司。Inferact 将通过专门的资金和开发资源支持 vLLM 开源项目，并打造他们认为是下一代的商业推理引擎。 联合创始人 Simon Mo 和 Woosuk Kwon 与 a16z 的 GP Matt Bornstein 一起进行了对话，讨论了 vLLM 的诞生过程、他们从中学到的经验，以及他们现在在 Inferact 的工作。 他们谈到了 vLLM 如何从一个副项目开始，为什么开源对全球 AI 基础设施至关重要，为什么推理变得越来越复杂，以及更多内容。 00:00 引言 11:41 vLLM 的社区与协作 19:19 理解推理引擎 24:27 集群规模与 GPU 部署 31:19 对开源 AI 的信念 35:45 创建 Inferact 40:00 推理规模化的未来 @simon_mo_ @woosuk_k @BornsteinMatt