DeepSeek 宣布全面开源内部推理框架 DeepInfer

10 月 20 日，DeepSeek 表示，将全面开源内部推理框架 DeepInfer，并同步开放生产级 Token 编解码组件 deepseek-recipe，以帮助开发者和企业优化大规模模型推理的吞吐、延迟与部署成本。DeepInfer 集成高性能算子和经过深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，并兼容英伟达与华为昇腾平台。DeepSeek 称，目前已基于 DeepInfer 实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务，未来新模型的推理代码及后续优化也将持续在该框架中更新。此外，deepseek-recipe 将与 DeepSeek 官方 API 的处理逻辑保持一致，以便社区获得接近官方部署的 API 使用体验。(深潮 TechFlow)