AI除了缺电缺算力，下一步会缺：互联网数据。 晚晚我假期在看「美股新股神」Leopold写的《Situational Awareness》， 里面提到一个AI还有个核心变数：互联网数据正在枯竭。 Llama 3训练用了15万亿tokens。 但整个互联网去重之后， 高质量内容也就30万亿出头。 所以AI前沿模型， 差不多快把人类写过的东西，翻了个遍。 而且这30万亿里，大部分是垃圾。 电商页面、SEO水文、广告落地页， GPT-4级别的算力大半都浪费在喂垃圾上了。 重复喂老数据也没用， 学术研究发现翻来覆去到第16遍，收益基本归零。 现在AI训练的方式， 是让模型极速扫过海量文字， 但研究者们在探索另一条路：让AI自我博弈，从失败中学习。 「合成数据」「自我对弈」「强化学习」就是走这些路， 简单来说，就是让AI换一种学法。 Leopold在里面用AlphaGo打了个比方。 第一阶段AlphaGo学人类棋谱，第二阶段自己跟自己对弈了几百万局， 然后走出了连李世石都看不懂的第37手， 人类棋手几乎不可能走的那步。 所以给语言模型开发「第二阶段」， 是目前最关键的研究问题。 Leopold这段最后说， 如果某个实验室率先找到突破口， 那将是通往AGI乃至超级智能的关键，美国最珍贵的秘密之一。 晚晚我就在想， 过去几年AI的进步高度透明， 比如OpenAI发论文，DeepMind发论文， 他们方法论基本都是公开的， 后来者照着做就能追上。 所以这一轮AI竞争本质上是资本竞争， 是算力竞争，是招人竞争。 但如果，突破数据瓶颈，AI新学习方法的突破， AI竞争会从「大家一起爬坡」变成「赢家通吃」。 又会是另一个时代。(林晚晚的猫)