OpenAI发布了两个可以本地运行的开源AI模型,能够与高端产品相媲美。

CN
Decrypt
关注
13天前

OpenAI于周二发布了两个开放权重的语言模型,这些模型在消费者硬件上运行时的性能与其商业产品相当——gpt-oss-120b只需一块80GB的GPU,而gpt-oss-20b则可以在仅有16GB内存的设备上运行。

这些模型在Apache 2.0许可下提供, 在推理基准测试中与OpenAI的o4-mini几乎平齐。1200亿参数版本通过其专家混合架构每个token激活仅5.1亿参数,而200亿参数模型激活3.6亿参数。两者都支持最长128,000个token的上下文长度——与GPT-4o相同。

它们在特定许可下发布的事实是一个相当大的事件。这意味着任何人都可以在没有限制的情况下使用、修改和从这些模型中获利。这包括从你到OpenAI的竞争对手,如中国初创公司DeepSeek的任何人。

此次发布正值关于GPT-5即将到来的猜测加剧,以及开源AI领域竞争加剧之际。这些OSS模型是OpenAI自2019年GPT-2以来最新的开放权重语言模型。

目前并没有确切的GPT-5发布日期,但Sam Altman暗示这可能会比预期更早发生。他今天早些时候在推特上表示:“接下来几天我们有很多新东西要给你们,”并承诺“本周晚些时候会有一次重大升级。”

今天发布的开源模型非常强大。“这些模型在推理任务上超越了同等规模的开放模型,展示了强大的工具使用能力,并针对消费者硬件的高效部署进行了优化,”OpenAI在其公告中表示。该公司使用强化学习和来自其o3及其他前沿系统的技术对其进行了训练。

在Codeforces竞赛编程中,gpt-oss-120b在使用工具时获得了2622的Elo评分,而不使用工具时为2463——超越了o4-mini的2719评分,并接近o3的2706。该模型在AIME 2024数学竞赛中达到了96.6%的准确率,而o4-mini为87.3%,在HealthBench评估中达到了57.6%,超越了o3的50.1%得分。


图片:OpenAI

较小的gpt-oss-20b在这些基准测试中与o3-mini相匹配或超越,尽管其规模较小。它在Codeforces上使用工具时得分2516,在AIME 2024中达到了95.2%,在HealthBench中达到了42.5%——所有这些都在适合边缘部署的内存限制内。

这两个模型支持三种推理努力级别——低、中、高——在延迟和性能之间进行权衡。开发者可以通过系统消息中的一句话调整这些设置。模型经过类似于o4-mini的后训练过程,包括监督微调和OpenAI所描述的“高计算RL阶段”。

但不要以为任何人都可以随意修改这些模型,你就会轻松应对。OpenAI在预训练期间过滤掉了与化学、生物、放射和核威胁相关的某些有害数据。后训练阶段使用了深思熟虑的对齐和指令层次结构,以教导拒绝不安全提示和防御提示注入。

换句话说,OpenAI声称其模型的设计使其如此安全,以至于即使经过修改也无法生成有害的响应。

OpenAI的对齐专家Eric Wallace透露,该公司在发布前进行了前所未有的安全测试。“我们对模型进行了微调,以故意最大化其生物和网络能力,”Wallace在X上发布。团队为生物学策划了特定领域的数据,并在编码环境中训练模型以解决夺旗挑战。

经过三组独立专家组的评估,经过对抗性微调的版本表现不佳。“在我们的前沿风险评估中,我们的恶意微调gpt-oss的表现低于OpenAI的o3,这是一个低于高准备能力的模型,”Wallace表示。测试表明,即使使用OpenAI的训练堆栈进行了强有力的微调,这些模型也无法根据公司的准备框架达到危险能力水平。

也就是说,这些模型保持了无监督的思维链推理,OpenAI表示这对于保持对AI的警惕至关重要。“我们没有对任何gpt-oss模型的思维链进行直接监督,”该公司表示。“我们认为这对于监控模型的不当行为、欺骗和误用至关重要。”

OpenAI隐藏了其最佳模型的完整思维链,以防止竞争对手复制其结果——并避免再次发生DeepSeek事件,而这现在变得更加容易。

这些模型可在Hugginface上获取。但正如我们一开始所说,您需要一块至少具有80GB VRAM的巨型GPU(如售价17,000美元的Nvidia A100)来运行具有1200亿参数的版本。

具有200亿参数的较小版本将需要至少16GB的VRAM(如售价3,000美元的Nvidia RTX 4090)的GPU,这虽然很多,但对于消费级硬件来说也并不算疯狂。

免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。

交易100%中奖!送100U+返$5,000
广告
分享至:
APP下载

X

Telegram

Facebook

Reddit

复制链接