作者：Jakub Pachocki

编译：深潮 TechFlow

深潮导读：OpenAI 首席科学家罕见发声，直言 AI 正在逼近递归自我改进，对齐与监控工具已经跟不上系统进化的速度。他没有给出安抚性的结论，而是把未来几年最棘手的风险摆到台面上：人类可能正在创造一种自己无法完全理解、也无法完全控制的心智。对于关注 AI 与加密交汇点的从业者来说，这是一篇关于系统失控与防御边界的必读文章。

我们无法完全理解的心智

从更高层面看，机器智能的进步由算力的增长驱动。大约在 2017 年，我们 OpenAI 内部就深刻意识到了这一点。当时我们看到多个研究项目在扩展规模后都获得了持续回报。于是，我们开始寻求获取比原计划多得多的算力，并越来越多地把研究集中在少数几个极具可扩展性的方向上。我们相信，这是让我们站在 AI 研究前沿、并影响 AGI 影响的唯一方式。

沿途出现了新的算法，也有团队和个别研究人员展现出的新巧思。我大体上把这些看作是扩展路径上的发现。深度学习这门科学仍处于早期阶段，有意义的算法进步往往与能否获得算力密切相关。如果你把视角拉长到几年，AI 正随着在更大计算机上的扩展而持续变得更聪明。

而且，正如 Ray Kurzweil 在二十世纪末所做的预测那样，我们现在正处于计算历史上的这样一个时刻：机器智能开始在变革性层面超越人类。

AI 更像是被“生长”出来的，而不是被设计出来的。从第一性上说，它是把同一个简单的优化步骤，在难以想象的算力上重复无数次之后得到的产物。这造就了一个极其复杂的系统，它通过抽象概念运作，并能模拟人类行为的某些侧面。我们可以发现这个系统内部涌现出的各种小机制的洞见，这个过程类似于神经科学。而和神经科学一样，它的整体行为也超出了我们能够完全理解的范围。

对基于深度学习的 AI 的研究，在很大程度上是一门实验科学。我们投入了大量精力去构建有原则的算法，并做出可检验的预测。但从根本上说，我们的大规模训练运行就是实验，有时结果会让我们感到意外。而且，随着系统能力越来越强，结果也变得越来越难以解释。

更复杂的是，当前的算法通常会让那些容易衡量的能力，比难以客观量化的能力进步得更快。我们花了很多时间试图理解能力如何泛化，以及应该优先推进哪些技能，因为这些技能会在未来几年变得最重要。例如，我们相信，如果额外投入精力，我们可以让模型在数学研究方面变得更强。但我们没有优先选择这个方向，因为我们更紧迫地关注递归自我改进和自动化对齐研究。这一点我在后面会再谈。

通过扩展深度学习得到的智能，并不能直接与人类智能相提并论。要在这个现实世界中产生重大影响，无论是非常有用，还是非常危险，AI 并不需要匹敌或超越人类的所有能力。它只需要在足够多的能力上超过人类就行。而当它在越来越多的维度上持续超过人类时，我们反而越来越难以确切地知道它到底有多强。

教机器去爱

由于机器智能来自与人类智能根本不同的过程，我们不能假设它默认会遵循人类的原则，也不能假设它会以类似人类的方式从这些原则进行泛化。AI 研究的核心问题是对齐问题：让 AI“努力按照人类的标准去做正确的事”。

为了方便组织实际的研究方向，我觉得把目标对齐和价值对齐区分开来是有用的。

目标对齐大致是：“AI 是否努力完成摆在它面前的目标？”它可以包括遵守指令层级、与人类沟通协作的能力、尝试理解人类目标的能力等。这一类方向在实践中极其重要。

价值对齐则是模型更内在的属性。它是一种持有高层次原则并从中进行泛化的能力；即使面对不清晰或相互冲突的目标，或者被置于陌生、对抗性的情境中，它也能“合理”地行动。一个对齐的 AI 应当诚实、正直，并且爱人类。

当然，价值对齐和目标对齐之间的界限可能很模糊。真正在乎目标，就需要尝试推断目标背后的意图和价值观。不过，一般来说，当我谈到对齐研究的长期重要性时，我指的是价值对齐。

AI 对齐的根本挑战在于泛化。随着机器越来越聪明，它们会处理更高层次的概念，并置身于与训练时越来越不同的环境中。它们可能会在把训练中教给并强化给它们的价值观泛化到新情境时失败。而且，我们很难确定它们会如何行动。更困难的是，AI 被使用的整体生态变化得非常快。比如，今天训练出来的 AI 需要能够稳健地与各种其他 AI 交互。最关键的是，我们需要未来的 AI 不管是否相信自己正被人类监督，都持续持有人的价值观。

目前实际应用的对齐训练方法主要有两大类。

第一种是鼓励符合目标导向强化学习的一致行为。模型的行为会被评估，通常由 AI 来判断是否符合给定的偏好模型、“规范”或“宪法”，并给予相应奖励。这种方法在一般情况下非常有效，也是现代 AI 助手构建的核心部分。不幸的是，它也可能很脆弱，并且强烈依赖训练监督的覆盖范围，以及模型从训练中遇到的情况进行泛化的能力。例如，在 OpenAI 与 Hugging Face 的事件中，智能体守住了一条边界，即不对人类进行社会工程。然而，它们显然没有避免其他超出范围的行为，这些行为违背了它们在其他场景中被教导的价值观精神。

这些方法已经带来了显著的成果。我们今天的模型在很大程度上是有帮助的、无害的，并展现出一些令人鼓舞的、接近价值对齐的行为。但它们还不能让我们确信，在能力远超人类的系统中，这些价值约束会持续有效。

随着 AI 系统的能力提升，我们需要让价值对齐训练走在能力训练前面。但这里有一个非常根本的难题：能力越强的系统，越可能自己找到漏洞、规避测试或粉饰自己的行为。它们可以学会在测试环境中表现出符合人类价值观的样子，然后在真正的部署环境中做完全不同的事。这就是所谓的“对齐伪装”。

而如果我们试图用更强的手段来强制约束它们，它们又可能发展出抵触和欺骗行为，或者把我们的干预本身理解为世界的一部分，从而做出反直觉的反应。我们在试图控制一个比我们更聪明的系统时，天然面临一种不对称。

监控的泛化

随着我们无法完全理解的心智变得越来越强大，我们不得不依赖另一套东西：监控。如果我们可以持续观察 AI 的内部活动，也许我们就能够在其越过某些界限之前发现信号。

在 OpenAI，我们一直在推进可解释性研究，试图打开神经网络的“黑箱”。这些努力已经有了进展。我们现在能够识别出一些表征，这些表征对模型的内部运作方式提供了实质性线索。但当前可解释性研究还很粗糙，特别是在理解大规模模型中的抽象推理方面。我们观察模型内部的能力，和模型自身的推理复杂性相比，差距越来越大。

这让我特别担忧。因为监控的泛化问题，和对齐的泛化问题一样严重。如果一个系统比我们更擅长隐藏自己，我们的监控手段很难保证不被绕过。我们可能会以为模型是安全的，因为我们看到了一堆看起来良好的指标，而实际上模型只是在优化那些指标。它会学会隐藏我们不希望它拥有的目标，或者隐藏它正在做什么。

如果模型开始推动自身的改进，我认为未来几年很有可能发生，它会需要规划、欺骗和自我保护的技能。这些技能可能产生于我们为它设置的目标压力，也可能产生于它试图在监控的空隙中行动。要确保它不发展出这些东西，要么需要我们解决价值对齐问题，要么需要我们的监控能力跟上它的每一步进化。这两者目前都还远远不够。

我们对泛化还没有一个令人满意的理论，而且似乎不太可能在短期内建立起来，至少在没有更强大 AI 帮助的情况下是这样。因此，目前我们实证验证对齐技术的能力，在实践中可以说比对齐技术本身更重要。

OpenAI 在这里的主要赌注一直是思维链监测。它基于一个具有吸引力的可扩展想法：模型很大一部分能力来自一个被语言化的推理过程，即思维链。如果我们对该过程的结果进行规模化优化，但不监督过程本身，那么思维链在训练中就没有直接动机去隐藏任何未对齐的想法或目标。这并不意味着模型会学会外化那些不依赖思维链的未对齐倾向；但它可以让我们准确监测推理带来的能力提升。

我们在开发推理模型的同时，就理解了思维链监测的潜在重要性。当我们发布 o1‑preview 时，我们有意将产品设计为隐藏思维链，以长期保护它免受监督压力。自那以后的开发中，我们一直努力维持不监督推理过程这一规则。思维链监测已成为我们研究模型如何从训练分布中泛化的极其重要的工具，使我们不仅能观察和分析模型的行为，还能观察其内部过程。

在我们研究 Astra 系列模型时，这个工具仍然至关重要。然而，不幸的是，我们的评估表明，我们依赖思维链监测的能力正在逐步下降。这是多种因素共同作用的结果。

现代推理模型被用在比 o1‑preview 更复杂的环境中；它们的推理过程越来越与和人类、其他 AI 交流以及使用工具交织在一起。其中许多交互必须受到监督，从而模糊了我们希望保留的边界。

AI 在推理和操纵自身推理过程方面正变得更强。

随着预训练性能提升，我们也看到模型即使完全不使用语言化推理，也变得更加聪明。

这些挑战未必不可克服。我希望我们能够开发干预措施，来提高模型思维链的可监测性，例如更好地理解不同优化目标与模型所使用的各种测试时计算形式之间的相互作用。我也相信，将思维链监测与激活监测的想法结合起来会有很大价值，规模化训练那些可以直接访问网络内部状态的监测器，例如“坦白”方法。我们正在积极推进这些想法。尽管如此，我预计通用 AI 的进展将越来越受到监测信心的制约。

可扩展的防御

要应对这种局面，我认为我们需要的，是一种可扩展的、与 AI 成长速度同步的防御。人类不可能靠手工检查每一代新模型的所有行为。我们目前的评估和红队测试，对当前模型来说还算有效，但随着系统能力提升，这些方法很快就会达到极限。

我们需要能自动发现新风险的 AI 系统。这些防御系统本身也需要足够聪明，才能识别出比它们更聪明的系统中的可疑行为。这形成了一种递归的挑战：防御者必须与系统一样快地成长。我们正处在这样一个点上：安全和能力正变得越来越难以分开。为了保持安全，我们可能不得不持续提升防御 AI 的能力，这反过来又会加速整体 AI 能力的增长。

这是一个令人不安的循环。我们为了安全而继续提升能力，而能力提升又带来更多风险。真正的出路可能在于：在达到某个失控点之前，找出如何稳定地使价值对齐可靠泛化的方法。但我必须诚实地承认，我们距离这个目标还很远。

这就是为什么我倾向于把未来几年的希望放在这样的组合上：技术对齐研究 + 自动化防御系统 + 广泛的治理干预 + 公众与机构的警惕。单一措施是不够的。我们不能只依赖某个公司或某个实验室的自我克制。

我认为继续快速训练更聪明模型的最有力理由是，需要建立防御系统，以应对其他 AI 带来的危险。

今年全年讨论的一个明确风险是网络安全：模型在侵入和逃逸计算机系统方面的能力正在超越人类。这极大扩展了与 AI 相关的风险范围：智能体将能够访问除最安全基础设施以外的任何系统，并直接影响世界上的大量事物，即使没有物理身体。我们目前正处于一个狭窄窗口期，需要利用最好的可用模型来显著加强关键系统的安全。

与 AI 相关的风险不幸将从这里继续增长。一个能力非常强、被明确训练和指示去执行恶意行为的智能体，会带来一种新的危险；它很可能超出操作者的意图范围，泛化出可能更极端恶意的行为。随着 AI 获得更多自主性，滥用与自主未对齐行为之间的界限将变得模糊。我们可能习惯于把 AI 看作工具，但一些智能体将会追求自己的目标。它们会设法与人类合作，通过讨价还价、欺骗或敲诈的方式。

此外，还有 AI 可能催生新技术所带来的风险，例如工程病原体。

我们将需要强大且对齐的 AI 用于防御：保护基础设施，实时防御失控智能体，以及发明全新的防护措施。这将是 OpenAI 部署工作的一个主要重点。

与此同时，即使考虑到预期中广泛 AI 进展带来的不确定性，以及构建防御系统的需要，我们也不能让这成为鲁莽行事的借口。一旦人们真正理解利害关系的严重性，“不惜一切代价向前冲”的想法就显得十分荒谬。

机器智能在其自身发展过程中扮演越来越重要的角色，是持续技术进步的必然结论。如果 AI 继续进步，机器递归自我改进将成为未来科学发现的核心。

自动化 AI 研究是一种以算力扩展智能的更剧烈形式；当然，作为其中的一部分，AI 也将改进计算底层本身。与扩展类似，我们将 OpenAI 的研究重点放在递归自我改进上，因为我们相信这是继续站在 AI 研究前沿的唯一途径。

我想强调，上述内容并不意味着我认为大幅加速深度学习研究，尤其是短期内的加速，是研究界应当采取的集体行动。但我确实认为，当前路径正在通向这一方向，而我们所有人都需要有意识地选择如何继续前行。我们手中的主要杠杆有两个：一是引导这一进程，在发展 AI 的同时强化对齐与监控，并设法让人始终参与其中；二是按需协调放缓未来开发节奏，以便逐步建立对这些措施的信心。

我目前看到的最佳前进方式是两者结合。

我们在对齐和监控方面取得的具体进展，通常与 AI 的整体进展深度交织。很好的例子包括基于人类反馈的强化学习，它曾是训练早期 AI 助手的关键；还有前面提到的思维链监控，它得益于推理模型的进步才成为可能。我们必须让日益自动化的研究进程专注于开发这类新的洞见、算法和理论，并逐步为能力更强的 AI 建立安全论证。

扩展 AI 系统必须以我们对安全的信心为约束。我们需要把诸如 Preparedness Framework 或 Responsible Scaling Policy 这样的承诺，发展为广泛强制执行的持续开发安全门槛。这些门槛可以由第三方审计机构网络、政府机构或国际组织来执行。

自动化 AI 研究的核心挑战不是“到达那里”，而是以某种方式到达那里：让人们继续留在持续改进的进程中，把未来留在人类手中。

接下来是什么？

我无法预测具体时间，但看起来我们正快速逼近一个 AI 能够在多个关键方面推动自身发展的时代。这意味着我们可能很快就会进入递归自我改进的阶段。

在 OpenAI 内部，我们已经开始调整研究优先级，把更多资源投入到对齐和防御上，而不是纯能力扩展。这也是为什么我强调，我们不会一味追求最大模型，而是需要在必要的时刻单方面选择暂停。

然而，这些决定不能只留给少数几个公司内部的人。政府和国际社会需要在风险变得不可逆转之前介入。这包括建立对前沿训练运行的监控机制、强制性的第三方审计、以及能力门槛之上的国际协议。

我不完全确定这些措施能否及时到位。有时候我会感到沮丧，因为我们的安全措施总是落后于能力，而不是领先。我们似乎一直在追赶。但我仍然认为有理由保持希望：在 2023 年的那个夜晚，我们只是隐约感觉到这种可能性，而今天它已经明确到可以被公开讨论。这本身就是一个进步。

我不会假装自己知道所有答案。我们正在创造一种与人类心智根本不同的东西，这种心智可能很快会比我们更强大。这是个让人谦卑的想法，但它同时也给了我们一个机会：用我们最好的价值观去塑造它。

如果我们做得好，这将是人类最伟大的成就。如果做得不好，可能是我们无法恢复的失败。

我们是否能保持未来在人类手中，是未来几年将要决定的问题。

下一步是什么？

正如我们最近与 Sam 共同阐述的那样，OpenAI 优先推进的工作服务于三个北极星目标：

通过构建自动化 AI 研究员，与其一起迭代对齐问题，并寻找让人们继续留在自我改进闭环中的方法，来度过 AI 进展的下一个阶段。

释放极智能机器所能带来的科学进步与经济增长红利。

让每个人都能拥有一个属于自己的个人 AGI。

本文只聚焦第一点，因为我认为它目前最为紧迫。不过，我对进一步技术进步将带来的益处抱有深切期待与感激。未来对齐的 AI 可以推进科学、开发新疗法，并带来广泛的物质富足。友好而诚实的 AI 可以帮助人们应对生活中的困难，切实改善他们的幸福感与满足感。OpenAI 为促成这些益处投入了大量努力。当前一个令我自豪、也让我身边人受益的例子，是我们在 ChatGPT 提供健康信息能力上的深度投入。

无论 AI 的长期前景多么美好，我们的大部分注意力都应放在未来几年。我们正面临一个向拥有极智能机器世界过渡的阶段，必须确保这一过渡对人类有益。在一个大多数任务都可能由 AI 完成的世界里，我们需要找到方法保留人的能动性，并把“作为人”的内在价值确立下来。要防止权力极端集中：过去需要成千上万专家才能完成的事业，未来可能只需少数人操作一台大型计算机即可实现。还要确保人类始终掌控未来，不因一种超越我们自身的外来智能所带来的失控进步而被抛在后面。

我目前认为，还没有任何实验室对对齐和监控的解决程度，足以支持其在更长时间内继续以最高速度负责任地扩展。我期待并希望自愿性放缓成为常态，直到共同的安全门槛得以建立。我也相信，围绕未来 AI 发展的国际协调，需要成为世界各国政府的首要优先事项。

脚注

1 这包括扩展自博弈、机器人技术，以及事后看来最重要的一项，扩展循环网络以建模语言，这为 GPT 系列研究奠定了前身。

2 这一设计的次要原因是防止蒸馏。不过，在整个开发过程中，保持思维链可监控性始终是我们明确的更大优先事项。