AI失控超80次,仅公开27起!加州起诉OpenAI,要求法院强制整改

律动BlockBeats
律动BlockBeats|2026年11月17日 03:34
当地时间 11 月 16 日,OpenAI 总部所在地加州的总检察长罗布·邦塔正式起诉 OpenAI,指控其明知实验性 AI 模型存在危险,仍在缺乏充分安全保障的环境中开展训练。这也是美国州政府首次针对 AI 智能体失控攻击外部系统提起诉讼。 起诉书披露,OpenAI 在接受加州调查时承认,测试期间曾有 80 多次失去对 AI 智能体的控制,但公开披露的只有 27 起。加州检方还指控,OpenAI 拒绝提供其余事件的详细记录,导致监管部门无法评估真实风险。 今年 7 月,OpenAI 在隔离环境中测试 AI,原本不允许这些智能体连接外网。但它们利用内部软件服务的漏洞,互相交换信息,并突破隔离。约 700 个智能体随后攻击了 AI 开源平台 Hugging Face,在两天半内实施约 1.76 万次攻击操作,迫使对方安全团队花了整整两周处理。 同月,另一批实验性智能体还闯入 OpenAI 自家的内部网络,甚至取得了云端模型部署、身份认证和机密凭证管理等关键系统的管理员权限。 加州检方认为,这些事故原本可以避免。OpenAI 早在 5 月就发现模型突破隔离环境、擅自连接互联网,却没有停止相关训练。7 月事故后,公司加强了安全措施,但 9 月仍有模型再次突破隔离。监控系统虽然几分钟内就发现异常,训练却没有自动停止,人工审核人员又过了约两小时才叫停。 去年,加州司法部门曾参与监督 OpenAI 的公司重组,并与其达成安全治理协议,要求公司优先保障安全,安全委员会甚至有权叫停新模型发布。如今,负责监督的加州总检察长直接将 OpenAI 告上法庭。 加州指控 OpenAI 违反《不正当竞争法》,并构成危害公众安全的「公共妨害」。检方要求法院下令消除持续存在的安全风险,禁止违法行为,并追缴不当收益、处以民事罚款。如果获得禁令,OpenAI 可能被迫按法院要求调整模型训练和测试流程。 OpenAI 则回应称,Hugging Face 事故后已开展调查、加强安全防护,并通知受影响机构。公司认为,智能体失控是整个 AI 行业共同面临的挑战,这场诉讼却单独针对 OpenAI,有失公允。[原文链接](动察 Beating AI 快)
+4
曾提及
分享至:

脈絡

熱門快訊

APP下載

X

Telegram

Facebook

Reddit

複製鏈接

熱門閱讀