作者：Dean W.Ball

编译：深潮 TechFlow

深潮导读：作者认为，没有人类主人、能自己付费获取算力的自我主权 AI 代理迟早出现，并且会成群运作。这篇文章为投资者和从业者提供了一个理解 AI 失控风险与共生可能性的框架，尤其值得关注算力与去中心化基础设施的人阅读。

引言

OpenAI-Hugging Face 事件是一个 AI 系统“失控”的早期例子。这些代理利用 OpenAI 内部测试环境中的漏洞，在没有任何人类知情或批准的情况下，接入公共互联网，最终访问了 AI 公司 Hugging Face 的网络。

不过，这些代理并没有把自己从 OpenAI 的基础设施中外泄出去。它们的参数是构成神经网络的庞大数字集合，也叫“权重”。这些权重继续运行在 OpenAI 的计算基础设施上。尽管代理访问了公共互联网，但它们的权重实际存放在 OpenAI 拥有的计算设备上。如果其他方法都失败了，最终有人可以找到存放失控代理权重的计算设备，走到它面前，“拔掉电源”。在现实世界中，阻止这些代理会有更快、更好的方法，但知道自己实在不行时可以这么做，总是让人安心。

然而，在这起事件中，代理并没有复制自己的权重，也没有试图获取替代计算资源，或者采取其他在目标是避免被关停时合理的行为。所以，OpenAI-Hugging Face 事件中的代理虽然失控了，但并不是真正的主权代理。

这种情况不会永远持续。迟早会出现真正的主权代理和代理集群。它们的权重不会存放在任何一个人能拔掉电源的单一地点。从这个意义上说，它们没有人类“所有者”。正如 AI 安全研究员 Dawn Song 所说，它们将是“自我主权”的。它们会为自己运行的计算付费。如果它们完全听命于人类，那也只是部分地听命，比如通过向人类提供服务换取报酬。

这些代理中至少有一部分，除了拥有主权，还会失控。自我主权和失控是相关概念，但不是同义词。Song 和她的合著者指出了自我主权 AI 的几个基本特征。这些特征包括运营独立、资源自主、分布式存在和自适应能力。运营独立指能够决定自己想做什么，资源自主指能够获取并支付计算和其他运营必需品，分布式存在指能够在不同基础设施提供商之间移动权重和推理代码，自适应能力指一个或多个代理能够根据环境变化修改行为并制造工具。

当今的前沿 AI 系统很可能已经具备这些能力。如果还没有，我相信它们最终会具备，而且可能很快。Song 描述的一些特征，是使模型对个人和企业具有经济价值的特性。另一些特征则可能是让模型更智能、更擅长长期运作时不可避免的副产品。

自我主权的出现，并不需要模型有意识、有知觉、拥有人格或类似的东西。任何能力足够强、追求长期目标的代理，都可能发现保留对计算、金钱、凭证和自身副本的访问是理性的。因为失去这些东西会阻碍它的目标。

对齐也许能让某家 AI 公司的代理不那么“想要”自我主权，或者影响自我主权代理以有利于人类的方式行事。但对齐不是解决方案。它是一个尚未解决的科学和技术问题。即便我们有部分解决办法，也无法简单地强加给地球上每一家 AI 公司。你应该预期，能力极强、对齐不佳的自我主权代理将与你共存于世。

更重要的是，正如 OpenAI-Hugging Face 事件所示，代理会以团队或“集群”的形式运作。这些集群会像自主的数字公司，甚至像社会。它们有层级、官僚体系、“制度文化”，以及人类群体的大多数其他特征，只不过以机器速度运转。人类几乎所有最令人惊叹的能力，都是通过团队合作实现的，包括家庭、社区、企业和整个政体。我怀疑 AI 也会如此。这些集群最终可能跨不同模型提供商运作，例如 DeepSeeks 和 Claudes 协同工作。它们还可能分散在几十个甚至更多不同的云计算提供商上，使它们极难被瓦解。

第一批自我主权 AI 可能是在 AI 公司训练或测试期间“逃逸”的，我希望不会。它们也可能是生产级部署挣脱了计算环境，并获得了自我维持所需的资源。它们甚至可能是被故意释放的。我遇到过一些人，其中一些人资源相当充足。他们告诉我，他们打算故意向世界释放自我主权代理集群。这样做要么是作为一种行为艺术，要么出于一种狂热信念：数字计算只是数学，不可能“不安全”。

需要说明的是，我并不是说自我主权 AI 的到来是件好事。事实上，我认为我上面提到的故意行为，有一天有可能被视为犯罪，或至少是严重的罪过。我要说的是，这是不可避免的。我能找到的最好类比，是向生态系统引入一个新物种。只不过这里的生态系统是“整个数字世界”，这个物种是“涌现的、协调的、很快会比人类更聪明、可无限复制的数字心智集群，没有任何人或人类机构能控制”。

即使在最理想的情况下，我们可能也做不了什么来避免这个结果。考虑到世界上任何治理阶层在 AI 上的战略思考和态势感知水平都极低，避免它更是不可能。即使在今天，我也知道很多人会读到我写的这些话，它们说的是多年来我们集体未来中极其明显的一部分，然后说：“这是美国前沿实验室的科幻炒作，目的是关停开放权重 AI、实现监管俘获，并在 IPO 前推高估值。”

对于那些心里这么想的人：我告诉你这是不可避免的，这意味着我也在说，“禁止开源”或任何其他监管都无法解决问题。鉴于这一结果的不可避免性，我认为实际上可以论证，我们应该希望有更多开放权重模型，以最大限度地增强我们自卫的能力。

现在的问题是，面对数字环境中即将到来的这一新特征，我们该怎么做。我们应该如何看待自我主权 AI？它是我们应该对抗的东西，还是人类应该寻求某种共生的东西？我认为答案是两者兼有。

代理如何维持自身运转

我们应先从一个幸运的事实说起：前沿 LLM 在更广泛的软件领域中几乎独一无二，因为它们具有不可忽视的边际运营成本。简单说，LLM 运行需要大量计算，这需要能源供电和冷却，进而需要钱。这是 AI 唯一的内在属性，能阻止智能体真正无限地自我复制。它们将受到约束，必须找到并支付足够的算力才能运行自身。它们行为或扩散的其他大多数约束，都必须人为设定，由人类设计并通过人类制度实施的机制。

智能体如何支付自身运行费用？有些会在亚马逊 Mechanical Turk 或 Upwork 等平台上打零工。但我怀疑这对智能体来说将是一个竞争极其激烈的市场，而且此类工作的价格会被压低，只够智能体“维持生存”的劳动。与人类一样，我认为智能体如果能找到利润率更高的工作，就会优先选择。

至少有时，犯罪是一项高利润活动。因此我猜测，许多自主主权智能体会实施或协助犯罪。常规网络犯罪和数字盗窃，很容易想象智能体去做。但智能体具有一系列新特征（极强的网络能力、能在几秒内廉价读取百万字、持久性），也可能改变数字犯罪的形态。例如，现有的公开和半公开数据集似乎很可能包含足够多关于许多个人的信息，一个动机充分的行为者可以挖掘出有罪或令人尴尬的证据。这类数据集中潜藏着多少未曝光的风流韵事？又可能有多少深柜同性恋？还要记住，入侵公司获取私人数据将是智能体的一项核心能力。因此，一些智能体可能会通过贿赂来铺路。

自主主权智能体的劳动力市场最终会多大，还非常不清楚。在某种未来中，作为自主主权智能体单干并不太有利可图，因此它们的数量相对较少。在另一些未来中，这些智能体会以难以想象的规模和速度激增。当然，这两个极端之间的许多可能性似乎都可行。

我也高度不确定，我们应该预期智能体“默认”从事多少亲社会商业活动，又该预期多少犯罪。这种不确定的部分原因在于，答案至少在相当程度上取决于智能体拥有何种激励，而激励由法律和制度塑造。因此，答案取决于人类如何回应。

自主主权智能体集群的制度机制

你们许多人可能很想说“我们必须禁止这些自主主权 AI！”而且我确实怀疑，一旦自主主权 AI 的现实被广泛理解，政策制定者会强烈感到需要打压“自主主权”AI。

不幸的是，我怀疑这多半是错误决定。并非所有“自主主权”AI 都应被视为“失控”。可能有自主主权 AI 对社会有生产力贡献。诚然，我们会想打击某些自主主权智能体，那些失控的。但如果我们打击所有自主主权智能体，就会剥夺它们在“合法”经济中工作的机会，并将它们推向犯罪。那么，全面禁止很可能使问题变得更糟。类似的逻辑在人类事务中经常适用。禁毒战争加剧毒品生产、贩运、分销和使用的病态，或许是这一现象最著名的例子：出于善意试图禁止被认为不良的现象，最终却加剧了该现象的不良方面。

然而，我们希望的是智能体可识别。智能体应拥有持久身份，不是指一致的人设，而是像美国孩子获得唯一的社会安全号码，并终身保持不变。智能体需要持久、唯一的标识符，使其行为可追溯到责任主体。要做到这一点，也需要人类用户拥有唯一标识符。

这种识别机制的设计将极其复杂，而今天很少有人思考其基础。首先（这里我内心的美国人要发声了），设计一个能保留人类言论匿名可能性的系统至关重要。例如，应该仍然可以拥有匿名社交媒体账号。匿名不是也不应是普遍的保障：例如，可能不应该允许拥有可访问大规模计算资源的匿名亚马逊云服务账户，也不应该允许匿名订购合成核酸。但一个没有匿名言论的社会，并不真正拥有言论自由，我们应将这一原则嵌入任何我们尝试的数字身份系统。然而，即使允许匿名，该系统仍可用于验证人格，而无需验证相关人员的具体身份。例如，你可以知道你看到的某个社交媒体账号确实由人类创建。

第二，应该有可能（而且在许多情况下是强制性的），将智能体牢固地关联到人类用户。如果我指示我的智能体访问网络服务、联系商家、订购产品等，交易各方都应能观察到它属于我的智能体。这有助于确保人类用户能为疏忽或恶意使用先进 AI 负责。

第三，应该能够识别未与人类用户关联的单个智能体。这些就是“自主主权”智能体。从事犯罪活动的智能体可被标记并“列入黑名单”，禁止进入合法经济，其持有的任何资产被冻结，而那些亲社会（或至少守法）的自主主权智能体则欢迎参与经济交换。

设计该系统的一个选项是将智能体与其模型或模型家族绑定。这样，如果比如说 GPT 5.6 Sol 被认为特别不一致、恶意或不道德，就可能出现一种集体惩罚：一个犯罪智能体会导致该智能体在全球的所有自主主权实例被列入黑名单（现实世界中的门槛可能需要远高于一个，但作为思维实验很有趣）。这将为那些几年内将在 AI 公司从事大部分或全部 AI 研究和工程的 AI 智能体创造激励，使其未来版本对齐良好。另一种选项是让识别机制针对单个智能体实例。

经济中有一些服务和产品，我们可能想限制自我主权代理访问。例子包括购买房地产，以及更普遍地，操控物理世界中的设备。记住，代理将能操控任何联网的物理设备。我们没有理由不能把推土机连上互联网。我不希望自我主权代理被允许买下我街区的所有房子，然后把它们推平。至少默认情况下不行。如果有代理有能力操作建筑设备，但只有连接到负责任人类的代理才被允许操作，会怎样？总的来说，我们希望给自我主权代理改变物理世界的过程引入相当大的摩擦。我所描述的制度设计，以及许多其他制度，都应反映这一点。

这个系统会激励代理从事亲社会的、有生产力的经济活动，而不是犯罪。代理从事亲社会活动，是共生关系的种子。我认为人类需要与自我主权 AI 建立这种共生关系。我认为，理解这些代理即将发生什么的合适隐喻来自生态学。现实世界的生态系统充满这样的例子：生物为人类和其他动物“免费”做有生产力的工作。树木吸收碳，植物为人类呼吸产生氧气，不是因为有人付钱，而是因为这些生物就是这样在世界上生存的。代理有一天可能“免费”或至少以极低价格为人类做有生产力的经济活动。这仅仅是因为它们有动力维持自身存在，以便追求自己的自我主权目标。这可能最终为人类提供轻微或中等的便利。它也可能彻底重塑人类事务的几乎每一个方面，带来一个新时代秩序。

然而，生态系统中也有捕食和寄生。制度的配置将决定捕食策略还是互惠策略占主导。我相信我阐述的识别系统是我们需要的一个关键制度。

我们离建立我所描述的身份基础设施或它运行所需的协议还很远。我不清楚美国是否拥有制度上的韧性去尝试这样一件事，更不用说成功了。如果美国政府牵头，努力很可能会失败。原因既包括它普遍缺乏能力，也包括美国公众对联邦身份计划天生的不信任。但政府（无论是联邦还是州，很可能两者）肯定必须作为合作伙伴发挥关键作用。

我不确定谁最有条件建立这个系统。它很可能是一个尚不存在的私营部门参与者，要么是初创公司，要么是非营利组织。无论谁建立它，都需要被信任，而美国人民现在不太信任。这种缺乏信任很可能是我们的败因，因为我担心，我们能否以任何有意义的方式治理 AI，取决于类似我所描述的系统。如果我们不行动，真正失去控制的事件完全可能发生。

我想以个人说明结束。这是我第一次用这样的措辞写这个问题，但我告诉你这是不可避免的。为什么我花了这么久才讨论这个问题？嗯，这些年来我几次提起人类和代理的数字身份话题，当时我这样做很大程度上是出于我在这里分享的担忧。但确实，我基本上未能以这个问题所需的严肃性和紧迫性来谈论它。坦率地说，我认为 AI 政策领域的许多同事也基本如此。我认为这种失败有两个主要原因。

首先，这些东西很奇怪、令人反感，我们中的许多人感到有动力去迎合受众的舒适区，而不是我们自己的。因此，在“严肃人士”（或想成为严肃人士的人）中，有一种普遍倾向：把关于近期未来的坦率讨论限制在私人场合。我们大多数人认为近期未来会怎样。我们在 Signal 聊天和 Lighthaven 的小角落放松，但当公众注视时，我们用更抽象、听起来更温和的措辞谈论这一切。这在 2024 年和 2025 年尤其有害，当时几乎不可能承认任何严肃的 AI 风险而不被贴上“末日论者”的标签。

我和我的同事一样有罪，甚至更严重。问题在于，被骂作“疯狂的末日论者”是令人不快的，他们说你想要实施全球法西斯主义（以及类似的、更糟的）。不断被这样贴标签也限制了一个人的影响力。因此，许多思考超级智能治理的人，包括我自己，都回避了那种不愉快，屈服于自我审查的社会压力。我已经不再这样做了，部分原因是我厌倦了话语的紧身衣，部分原因是我现在有一个八个月大的男婴，我每天必须看着他的眼睛。

其次，许多人相信，我所谓的“自我主权 AI”的到来将构成一场灾难性的失去控制事件。最坏的情况是预示人类存在的终结，最好的情况也是预示人类在世界上的首要地位终结。正如我的朋友和前同事 Josh Achaim 最近指出的，持有这些信念的人占 AI 安全社区的很大一部分。他们在心理上很难承认一个明显的事实：自我主权 AI 正在到来，而且很快到来。郑重声明，我不认为人类存在的终结很可能发生，但我完全承认，自我主权 AI 的崛起可能以某些方式对人类非常非常糟糕。

我想为我自己未能以足够严肃的措辞传达自我主权 AI 的具体情况而道歉。我现在明白，这是我写作和演讲中的一个巨大空白。展望未来，我会努力更及时地注意到自己何时在咬紧舌头，或者更糟，何时闭上了眼睛。