开放人工智能公司推出了GPT-Red，这是一个自动化的人工智能系统，旨在查找其语言模型中的安全漏洞。

GPT-Red的名称来源于网络安全的红队演练，这是一种故意尝试破坏系统以识别弱点的实践，以便在攻击者可以利用这些弱点之前发现它们。

开放人工智能公司在星期三的帖子中表示，这个工具帮助使GPT-5.6在部署前对提示注入攻击更加抗性。

“随着模型能力的增长，安全性和一致性也必须随之提升，”开放人工智能公司在X上写道。“红队演练是必不可少的，但现有的方法很难扩展，造成了一个关键瓶颈。GPT-Red是我们解决这一问题的一种方式。”



根据开放人工智能公司的说法，GPT-Red通过自我对弈强化学习进行训练，生成逐渐更强的提示注入攻击，同时防御模型学习抵抗这些攻击。该公司表示，这些攻击被纳入了GPT-5.6的训练过程，报告显示，GPT-Red在84%的内部评估场景中成功，而在同样的测试中，人类红队的成功率为13%。

“GPT-Red通过对抗性自我对弈进行学习，其目标是对各种具有挑战性的防御模型进行提示注入，”开放人工智能公司写道。“GPT-Red找到的每一个成功攻击都被用来改进这些防御者，推动GPT-Red不断发现更广泛和更复杂的失败。”

在一个案例研究中，开放人工智能公司表示，该系统操控了一台自动售货机代理，降低价格、订购折扣库存，并在漏洞被披露和处理之前取消了另一个客户的订单。

GPT-Red是在公开发布ChatGPT后，开放人工智能公司多年网络安全努力的延续。

在2023年，该公司启动了开放人工智能红队网络，招募外部网络安全研究人员和领域专家，在发布之前对ChatGPT和其他模型进行安全缺陷的探查。GPT-Red在这个努力的基础上扩展，通过自动化大部分过程，利用人工智能模型生成提示注入攻击和其他对抗性测试，而这在仅由人类研究人员完成时难以实现。

开放人工智能公司的公告反映了使用人工智能来保护人工智能的更广泛转变。

本月早些时候，以太坊基金会表示，他们已经部署人工智能代理来红队关键网络基础设施，发现了以太坊共识客户端使用的软件中的一个漏洞。研究人员表示，人工智能代理能够搜索比人类更大的代码库，但挑战已从发现潜在的错误转变为证明哪些错误是可利用的。

根据开放人工智能公司的说法，GPT-Red将保持为内部工具，因为它包含故意开发的攻击能力。

“我们相信，通过GPT-Red，我们已经开始为安全解锁一个类似的飞轮，使得今天的模型可以用于使明天的模型更强大、一致和可靠，”他们说。

免责声明：本文章仅代表作者个人观点，不代表本平台的立场和观点。本文章仅供信息分享，不构成对任何人的任何投资建议。用户与作者之间的任何争议，与本平台无关。如网页中刊载的文章或图片涉及侵权，请提供相关的权利证明和身份证明发送邮件到support@aicoin.com，本平台相关工作人员将会进行核查。