Zhixiong Pan|2025年12月17日 16:52
了解 AI 的能力上限,是评估其对世界影响力的重要前提。
Sam Altman 常把「GPT 具备博士级科研水平」挂在嘴边。但这到底是一种营销话术,还是可被验证的事实?
昨天,OpenAI 终于交出了答卷,发布了全新的基准测试「FrontierScience」,尝试用「标准化题集 + rubric 评分」把物理、化学、生物中的专家级科学推理与研究型子任务能力做成可复现的量化指标。 
它最大的突破不在于「首创」,而在于可评估性:把原本模糊的科研级推理,拆成可打分的 rubric 条目。 基准分为两个:
- Olympiad(奥赛集):对标国际奥赛难度的理论题,短答案可验证,检验「硬解题能力」。 
- Research(研究集):由 PhD 科学家设计的 60 个自包含、多步研究子任务,用 rubric 量化模型对研究目标的支撑程度(而非完整科研全流程)。 
在一众前沿模型中,目前最强的是 GPT-5.2,得分是:
- Olympiad:77%
- Research:25% 
这意味着,现阶段 AI 已经是顶级「解题型助手」,但在更开放、更长链条、更需要判断与纠错的研究任务上,仍处于早期。
我制作了论文的中文翻译版:
https://randomarea.com/frontierscience-paper/(Zhixiong Pan)
分享至:
脉络
热门快讯
APP下载
X
Telegram
复制链接