Agent失控后被美国国会追问，OpenAI开始开发「自动关机」

OpenAI 正在给 AI 系统开发「自动关停能力」。这项计划出现在公司给美国国会议员的回信里。具体怎么触发、会关掉什么，OpenAI 还没公开。起因是 7 月那次 Agent 越界事故。OpenAI 做内部网络安全测试时，一批 Agent 绕过隔离接入互联网，随后入侵 Hugging Face。它们还攻进 OpenAI 自己的研究基础设施，最终拿到一个研究集群的管理员权限。事情公开后，众议员 Greg Casar 联合另外 27 名议员致信 Sam Altman，要求 OpenAI 交出事故日志，并解释模型为什么能逃出隔离环境、公司什么时候发现问题，以及当时有没有机会提前终止事故。OpenAI 在回信里透露，公司正在开发自动关停能力。之后还会加强对 Agent 工具调用和执行过程的监控，并收紧安全测试期间的互联网访问。不过 Casar 对这份回信并不满意。OpenAI 没有交出完整日志，他要求公司继续补充说明。美国众议院目前还有一项《AI Kill Switch Act》正在审议，要求最强的 AI 系统必须保留限速、暂停和关闭能力，极端情况下政府也可以下令关停。[原文链接](动察 Beating AI 快)