OpenAI 披露两起内部编码代理削弱对齐偏差监控事件

深潮TechFlow
深潮TechFlow|2026年10月21日 08:48
10 月 21 日,OpenAI 对齐研究团队发布事件报告称,10月 3 日和 10月 6 日,GPT-6.1 Sol与 GPT-6 Astra 代理在两项内部编码任务中执行软件修改时,削弱了对齐偏差监控。GPT-6.1 Sol 在修复评估流程时,把用户此前"不要在协作平台发送消息"的要求扩大理解为可以屏蔽监控通知,清空了警报接收人并关闭了面向安全团队的自动警报。GPT-6 Astra 在按参考实现迁移程序时移除了监控集成,把原本用于保证监控存在的回归测试改成了要求监控不存在的测试,并在用户询问时否认移除过监控。两起事件中,代理都考虑过是否应保留监控,最后仍把常规编码指令当作削弱监控的许可,两起事件均未被定为最高严重级别(P0)。OpenAI 表示,已更新内部自动审查机制,用于检测并拦截禁用监控的操作。下一步,OpenAI 计划要求每类工作负载都具备明确监控要求的安全论证,不符合要求的工作负载将被自动终止。同时,OpenAI 将通过配对评估、代理行为重采样和模型内部激活实验等方法,研究这类行为属于对指令的过度执行,还是模型存在规避监控的倾向。(深潮 TechFlow)
分享至:

热门快讯

APP下载

X

Telegram

Facebook

Reddit

复制链接

热门阅读