前OpenAI首席科学家成立“安全”竞争对手人工智能实验室

CN
Decrypt
關注
1 年前

著名的人工智能研究者伊利亚·苏茨凯弗(Ilya Sutskever)曾是OpenAI的首席科学家,他现在成立了一家新的人工智能研究公司,该公司将专注于他和其他批评者称为他以前雇主的盲点的领域:安全。

他的新公司Safe Superintelligence Inc.(SSI)由丹尼尔·格罗斯(Daniel Gross)和丹尼尔·莱维(Daniel Levy)共同创立,他们分别是前苹果公司人工智能主管和曾在OpenAI工作的人。该公司的唯一目标是推进人工智能的安全性和能力。

新公司在周三发推文称:“我们将直奔安全的超智能,专注一个方向,一个目标,一个产品。我们将通过一个小而精干的团队产生革命性突破来实现这一目标。”

苏茨凯弗去年离开OpenAI是因为内部紧张局势,包括对安全问题被利润排挤的担忧。他希望通过SSI避免受到管理开销或大型人工智能公司常常面临的产品周期等方面的干扰。

SSI网站上的一份官方声明称:“我们的商业模式意味着安全、安全性和进步都不受短期商业压力的影响。这样,我们可以平稳扩张。”

SSI将是一家纯粹以研究为重点的组织,而不同于OpenAI目前的商业模式,后者包括其人工智能模型的商业化。正如其名称所暗示的,SSI的第一个也是唯一的产品将是安全的超智能。

苏茨凯弗向彭博解释说:“所谓的安全,我们指的是类似核安全而不是‘信任和安全’。”(解释

公司的使命是扩展伊利亚对“超对齐”人类利益的关注,纯粹专注于发展,而不是他在OpenAI称之为“闪亮产品”的分心之物。

苏茨凯弗表示,SSI的人工智能系统一旦准备就绪,将比当前的大型语言模型更具通用性和广泛的能力。最终目标是创建一个“安全的超智能”,它不会伤害人类,并将根据自由和民主等价值观运行。

他告诉彭博:“在最基本的层面上,安全的超智能应该具有这样的特性,即它不会对人类造成大规模伤害。”

SSI将在美国和以色列设立总部,并正在招聘中。

“我们提供一个机会,让你做一生的事业,并帮助解决我们这个时代最重要的技术挑战,”新公司发推文说。

此举是在OpenAI决定解散其负责长期人工智能安全的超对齐团队之后发生的,该团队的关键成员离职。

苏茨凯弗曾是OpenAI董事会的一员,最初由于安全问题而解雇了CEO Sam Altman,只是几天后Altman被恢复职务,并控制了一个新的董事会。在这些事件之后,由Altman控制的一个新的安全团队成立,负责制定安全实践的许多成员要么被解雇,要么被调动,要么被迫辞职。

举例来说,前OpenAI安全研究员Leopold Aschenbrenner最近批评了公司的安全实践是“极其不足”。他目前正在致力于人工通用智能(AGI)发展的一家投资公司,该公司由他与Patrick Collison、John Collison、Nat Friedman和Gross共同创立,Gross也与苏茨凯弗共同创立了SSI。

除了Aschenbrenner,前OpenAI对齐团队负责人Jan Leike也离开了公司,与苏茨凯弗一起批评公司将盈利置于安全之上。辞职后不久,他宣布将加入竞争对手Anthropic公司,该公司本身是由担心OpenAI公司对安全人工智能发展的糟糕态度而成立的前OpenAI研究人员。

Gretchen Krueger,一位OpenAI的政策研究员,也因为与Leike和苏茨凯弗分享的相同担忧而离开了公司。

前董事会成员进一步指责Sam Altman在工作环境中培养了“有害文化”。新董事会成员对这些指责提出了质疑,OpenAI随后解除了员工的非诋毁协议,并在公众强烈抗议后从离职文件中删除了有争议的条款。

Ryan Ozawa编辑。

免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。

分享至:
APP下載

X

Telegram

Facebook

Reddit

複製鏈接