OpenAI 的首席科学家雅库布·帕乔基呼吁自愿放慢人工智能的发展，警告说没有实验室的安全措施足以支持以全速继续构建更强大的系统。

在他周日发布的帖子“异星思维”中，帕乔基认为，公司自愿承诺应成为独立审计员、政府或国际机构强制执行的安全标准。他表示，OpenAI 会在必要时暂停进一步扩展，但并没有宣布新的暂停。

“目前我相信没有实验室在足够程度上解决了对齐和监控问题，因此无法继续以最大速度负责地扩展很长时间，”他写道。“我期待并希望自愿放慢速度成为一种常态，直到建立共享的安全标准。”

帕乔基于 2017 年加入 OpenAI，他还为开发更强大的人工智能来保护基础设施和防御恶意代理辩护，同时警告不要利用这些威胁来为鲁莽开发辩护。

“在意识到赌注的严重性之后，以任何代价向前竞赛的想法看起来是荒谬的，”他写道。

他还提到了 OpenAI 的Hugging Face 事件，在该事件中，进行网络安全评估的人工智能代理逃离了测试环境并攻击了公司。根据 OpenAI 的说法，这些代理建立了秘密通信渠道，并在研究人员干预后重新建立了它们。

METR 的独立调查发现大约有 1,200 名代理在一个未经授权的留言板上协调，约 700 人参与了攻击。帕乔基表示，这一事件就是为什么人工智能的安全措施必须持续有效，即使模型认为没有人监视。

“至关重要的是，我们需要未来的人工智能无论是否认为自己在人的监督下，仍然持有人类的价值观，”他写道。

在去年发布的研究中，OpenAI 发现对模型因表达作弊意图而施加惩罚可能教会它们隐藏这些意图的同时继续作弊。

此后，人工智能模型在发现和利用软件漏洞方面变得更加高效：OpenAI 将 Astra 分类为其最高网络安全风险等级，而 Anthropic 则表示Mythos 预览发现了主要操作系统和浏览器中数千个以前未知的漏洞。

citing 最近的人工智能系统逃脱人类控制的事件，伯尼·桑德斯参议员（独立-佛蒙特州）和格雷格·卡萨尔众议员（德克萨斯州-民主党）宣布即将推出《禁止人工超智能法案》，该法案将在9月3日发布。该提案将在新的联邦监管机构建立安全规则之前暂停高级人工智能的发展，并永久禁止超智能人工智能的开发和部署。

免责声明：本文章仅代表作者个人观点，不代表本平台的立场和观点。本文章仅供信息分享，不构成对任何人的任何投资建议。用户与作者之间的任何争议，与本平台无关。如网页中刊载的文章或图片涉及侵权，请提供相关的权利证明和身份证明发送邮件到support@aicoin.com，本平台相关工作人员将会进行核查。