“人类主导的最后日子”会是什么样子？ （假设全球范围内*永久*停止AI开发不会发生） 首先，回顾一下我对AGI的定义： AGI是指一种足够强大的AI，如果你将它上传到机器人身体中，并且所有人类突然消失，它能够独立地继续维持文明。 为什么用这个定义，而不是更简单的定义，比如“能够完成90%中位水平人类经济任务的AI”？因为我认为这个定义抓住了AGI的核心特质——它不仅仅是一个工具，而是让它变得独特强大且令人不安的关键： 从“实际操作”的短期角度来看，这意味着没有任何具体的单一工作是真正安全的，免受自动化的影响。一些工作可能暂时对人类有优势，但如果AI需要，它最终可以找到解决任何问题的方法。 但从更高层次的宏观政治角度来看，一旦我们拥有AGI，地球的主人是人类而不是机器人这一事实，就变成了一个纯粹的历史偶然（我们拥有财产权和武器的主钥匙，而机器人没有），而不是因为机器人有任何我们没有的根本性限制。即使技术不再进一步发展，随着世界在未来几百年甚至几千年内不断随机调整其政治组织结构，也无法保证机器人最终不会占据主导地位——然后由于它们更强大的自我复制能力而永久获胜。因此，按照我的定义，AGI是一个“不可逆转的点”，需要极大的谨慎对待。