Shaw (spirit/acc)
Shaw (spirit/acc)|2026年07月12日 22:45
人工智能模型的训练方式是,它们永远不会比人类的集体总和更聪明。 这将是AGI——所有领域的一般专家级人类智能。但他们永远不会选择分布之外的代币——他们实际上不能。 在目前的专家混合制度下,他们可能也无法实现承诺的跨域合成。 然而,许多问题都可以通过穷举搜索来解决。它们没有得到解决,因为可用于解决这些问题的人类专家的数量还没有饱和——LLM可以将专家知识生产规模扩大10000倍,我们将看到大量的数学得到证明。 LLM真的还不能很好地生成新的数学定理。尽管他们可以将一位伟大数学家的想法转化为精益证明。 在某种程度上,LLM是对可能架构领域进行详尽搜索的产物。变压器并不明显,事实上,许多人认为密集的注意力成本太高,无法工作,他们的工作肯定来自直觉和难以置信的反复试验。 但也有无限的架构。这个算法有明显的缺陷:权重被冻结,在不忘记旧信息或崩溃的情况下无法学习新信息,训练过程样本效率极低。 我们有证据表明,有一种更好的方法:进化。进化给每一个生物带来的能力和能量效率,我们都是数量级的。 超级智能是一种比所有人类都聪明的智能。就其本质而言,它不能在人类数据上进行训练,或者至少不能单独进行训练。它必须能够学习、成长、实验和探索。它必须表现出对环境的适应能力。它必须能够创建新的令牌来表示以前从未设想过的概念。与我们目前的系统相比,它看起来就像一个完全的外星人,只能通过人类渠道与我们交流,这是一种能够学习和做任何事情的人工制品。 超级智能是一组满足这些约束的算法。Rich Sutton的阿尔伯塔计划指出了这一点。如果你有一个算法可以识别重要特征并在运行时进行调整,那么在不丢失旧信息的情况下学习新信息,忘记任何对保持相关、令人惊讶、创伤性或愉快的信息容量不重要的事情。 我认为这在今天是可以建造的。我认为你可以借鉴Fable或GPT-5.6,让它采取类似阿尔伯塔省计划的方式。持续学习者可以击败MLP。注意力可以是塑料的。JEPA和世界建模可以扩展到连续的领域,如话语,我们可以完全摆脱标记的捷径范式。 ASI可能需要一段时间才能扩展,并且可能在一段时间内表现不如人类水平的大规模AGI系统,但它的种子现在就在这里,算法只是在等待被发现,或者用新的计算重新发现,看看它们是什么。
+5
曾提及
分享至:

脉络

热门快讯

APP下载

X

Telegram

Facebook

Reddit

复制链接

热门阅读