本周，关于人工智能未来的尖锐分歧在四位知名技术专家和超人类主义者之间展开了辩论，他们讨论了构建人工通用智能（AGI）是否会拯救人类或摧毁人类。

由非营利组织Humanity+主办的小组讨论聚集了最为直言不讳的AI“末日论者”之一Eliezer Yudkowsky，他呼吁停止先进AI的发展，此外还有哲学家和未来学家Max More、计算神经科学家Anders Sandberg以及Humanity+名誉主席Natasha Vita‑More。

他们的讨论揭示了关于AGI是否能够与人类生存相一致，或者其创造是否会使灭绝不可避免的根本分歧。

“黑箱”问题

Yudkowsky警告说，现代AI系统在根本上是不安全的，因为其内部决策过程无法完全理解或控制。

“任何黑箱的东西最终可能会面临与当前技术非常相似的问题，”Yudkowsky警告道。他认为，人类需要“非常非常远离当前的范式”，才能安全地开发先进的AI。

人工通用智能是指一种能够在广泛任务中进行推理和学习的AI形式，而不是像文本、图像或视频生成那样为单一工作而构建。AGI通常与技术奇点的概念相关，因为达到那种智力水平可能使机器能够比人类更快地自我改进加速。

Yudkowsky提到了哲学家Nick Bostrom所普及的“纸夹最大化器”类比来说明风险。这个思想实验设想了一种假想的AI，它将所有可用物质转化为纸夹，进一步加深其对单一目标的执着，牺牲人类的利益。Yudkowsky表示，增加更多目标并不会显著提高安全性。

他提到自己最近关于AI的书名“如果有人构建它，所有人都死”，他说：“我们的书名不是说它可能会杀死你，”Yudkowsky说。“我们的书名是，如果有人构建它，所有人都死。”

但More质疑了极端谨慎是否能提供最安全的结果。他认为AGI可能是人类克服衰老和疾病的最佳机会。

“对我来说，最重要的是，AGI可以帮助我们防止因衰老而导致的每一个活着的人的灭绝，”More表示。“我们都在死去。我们正朝着灾难前进，一个接一个。”他警告说，过度的克制可能会推动政府走向专制控制，成为阻止全球AI发展的唯一方式。

Sandberg在两个阵营之间找到了自己的位置，形容自己“更加乐观”，但仍然比超人类主义的乐观主义者更为谨慎。他回忆了一次个人经历，差点利用大型语言模型来协助设计一个生物武器，他形容这一事件为“可怕的”。

“我们正接近一个点，放大恶意行为者也会造成巨大的混乱，”Sandberg说。尽管如此，他认为部分或“近似安全”是可以实现的。他拒绝了安全必须完美才能有意义的观点，建议人类至少可以在生存等最基本的共同价值观上达成共识。

“所以如果你要求完美的安全，你是得不到的。从那个角度来看，这听起来非常糟糕，”他说。“另一方面，我认为我们实际上可以实现近似安全。这已经足够好了。”

对对齐的怀疑

Vita-More批评了更广泛的对齐辩论，认为这一概念假设了一个即使在长期合作伙伴之间也不存在的共识水平。

“对齐的概念是一个乐观主义的计划，”她说。“它永远不会对齐。我的意思是，即使在这里，我们都是好人。我们认识几十年了，但我们并没有对齐。”

她将Yudkowsky声称AGI必然会杀死每个人的说法描述为“绝对主义思维”，这种思维没有留给其他结果的空间。

“我对‘每个人都死’的这种笼统说法有问题，”她说。“作为一个未来学家和务实的思考者来看，这没有后果，没有替代方案，没有其他情景。这只是一个粗暴的断言，我想知道这是否反映了一种绝对主义的思维。”

讨论中包括了一个辩论，即人类与机器之间的更紧密整合是否可以减轻AGI带来的风险——这是特斯拉首席执行官埃隆·马斯克过去曾提出的观点。Yudkowsky对与AI合并的想法不屑一顾，将其比作“试图与你的烤面包机合并”。

Sandberg和Vita-More认为，随着AI系统能力的增强，人类需要与它们更紧密地整合或合并，以更好地应对后AGI世界。

“整个讨论是对我们作为人类的现实检查，”Vita-More说。

免责声明：本文章仅代表作者个人观点，不代表本平台的立场和观点。本文章仅供信息分享，不构成对任何人的任何投资建议。用户与作者之间的任何争议，与本平台无关。如网页中刊载的文章或图片涉及侵权，请提供相关的权利证明和身份证明发送邮件到support@aicoin.com，本平台相关工作人员将会进行核查。