2022年，伯克利大学的博士生Woosuk Kwon认为他可以在两周内让Meta的新开源模型OPT-175B运行得更快。 四年后，经过3000名贡献者的努力，这个项目变成了@vllm_project——一个最大的开源推理引擎之一，随时运行在约50万块GPU上。 他和研究伙伴Simon Mo、Kaichao You以及Roger Wang从操作系统中借鉴了“虚拟内存”的概念，仅在需要时分配内存，让每块GPU可以处理各种大小不一的请求。（vLLM中的“v”代表虚拟。） 他们的第一个用户是伯克利的邻居@arena，它将GPU需求减少了一半。如今，Google、Amazon和Meta都在生产环境中运行vLLM。 今年1月，核心维护团队成立了@inferact，并筹集了1.5亿美元资金，为vLLM组建了一支全职团队。 他们正在旧金山和新加坡招聘工程、市场营销和开发者关系相关职位：https://a16zjobs.(substack.com)/p/inferact-raised-one-of-the-largest @simon_mo_ @woosuk_k @KaichaoYou @rogerw0108