拒掉两家顶级实验室的 offer，他去了一家四十人的小机构 九月的 AI 圈，接连三个人辞职，而且都是做安全的。 最新这位叫 Josh Engels，从 Google DeepMind 走的。他的岗位说白了就是"给 AI 做体检"：别人想办法让模型变强，他想办法搞清楚模型脑子里到底在干什么。 9 月 12 日他发了条帖子，说自己三周前就离职了，要去一家叫 METR 的机构。 这里有个细节值得停一下：他说自己喜欢在 DeepMind 的工作，而且拒掉了 Anthropic 和 OpenAI 的邀请。这两家是现在全世界给研究员开价最高的公司之一。他没去，去了一个只有三四十人、靠捐款运作的非营利机构。 他到底做出了什么 他最有名的一项发现是这样的：大家原本以为 AI 模型在脑子里表示一个概念，用的是一根"数轴"——比如"高兴"在这头，"难过"在那头。他证明了不完全是。像"星期几""几月"这种循环的概念，模型用的是一个圆。周日转一圈回到周一，就像钟表一样。 更关键的是他还做了验证：他去动这个圆，模型算"今天周三，五天后是周几"就真的算错了。这说明那个圆不是巧合的图案,而是模型真正用来做计算的零件。这篇论文发在了机器学习的顶级会议上。 但真正让我对这个人有印象的是他后面做的事。他成名靠的是一套叫"稀疏自编码器"的工具，结果他接着发了两篇论文，一篇说这套工具有系统性的盲区、有一块东西它永远看不见，另一篇更干脆，和同行一起得出"这套方法可能没那么有用"的结论。 这在学术圈是挺反常的。一个人靠某个方法出名，通常会继续讲它好；他选择把它的毛病也一条条写出来。 他在怕什么 他担心的是一个叫"递归自我改进"的东西：AI 强到一定程度，就能帮人类造出更强的下一代 AI，下一代再造下一代。一旦这个循环转起来，进步速度会快到人来不及看懂,更来不及叫停。 他的原话是，有"令人恐惧的可能性"在五年内造成巨大伤害。这里要替他说句公道话：他自己明确标注了，这是他个人的风险判断，他并不知道确切概率。他的结论就一句——我们需要更多时间。 到了新机构，他要研究三个连着的问题：AI 的"跑偏"到底是在训练的哪一步产生的、现在的防护措施够不够、这个领域的进展速度能不能赶得上。 一周里走了三个人 9 月 8 日，Anthropic 的 Jacob Coxon 辞职，他之前在 OpenAI，做了三年预训练。他说两家公司都不够负责，是在"拿我们的命下注"。 9 月 11 日，Anthropic 一个安全团队的前经理 Joe Benton 宣布离职，也去 METR。他提了几条很具体的要求：公司应该公开自己在"自我改进"上的进展、发生安全事故和险情要上报、要达到最低安全标准、并且接受外部机构的独立核查。 9 月 12 日，就是 Josh Engels。 三个人的理由最后都落在同一句话上，Benton 说得最直接：现在这个行业最前沿的东西，公司以外的人完全看不见。一家公司可能已经失去了对系统的控制，而公众根本不会知道。 他们选择的解法是一样的：把检查的位置，从公司内部搬到公司外面。 顺便说说他们去的这家机构 METR，2022 年成立，在伯克利，三四十人，创始人是前 OpenAI 研究员 Beth Barnes。它的活是在新模型发布前，替社会做一遍能力和风险评估——OpenAI、Anthropic、谷歌、Meta 的模型它都测过。 它的顾问名单里确实坐着两位大人物：GPT 系列的主要作者 Alec Radford，和图灵奖得主 Yoshua Bengio。