头雁
头雁|2026年09月22日 03:11
TypeSafe AI 创始人 Diogo Almeida在发布Jev之前的一次访谈,他应该在openai就意识到模型对齐人类偏好,在自动化任务上是不合理的优化方向。所以这次访谈把他的自动化理念做了很好的阐述。而Jev的对齐方向是RLCD。感兴趣的可以再深入我文章末尾的一篇解读(什么是 RLCD?Jev 背后的秘密)链接。 视频里主要分享了: 1. 他认为当前AI模型是“AI: Overpromise, Underdeliver”(过度承诺、交付不足)来概括这个现象。 2. 存在两类任务的巨大鸿沟 一边是“对人类来说太好了”的能力(聊天、写代码助手、客服话术); 另一边是“对真正自动化来说还不够用”的场景(需要高可靠性、不能幻觉、能直接被代码调用的决策)。 3. 最苦的教训(The Bitterest Lesson) 他借用并延伸 Sutton 的观点:算法、算力、数据都重要,但最关键的是有没有在做正确的任务。当前模型主要在优化“让人类满意”,而不是“让软件能直接用”。 4. RLHF 的副作用 提到 Mode Collapse(模式坍塌):模型为了讨好人类,会丢掉多样性,变得过于“安全”、过于迎合,这在需要精确决策时是致命的。 5. 举例说明问题 比如 Taco Bell 用 AI 做得来速点餐翻车的新闻,用来说明:把 LLM 直接丢进高风险、真实世界流程里,现在还不行。 6. 他们的方向 不要再把 AI 做成“和人聊天的助手”,而是做成给软件用的决策引擎(后来发布的就是 Jev / System One Model): 输入状态 + 结构化问题,直接输出带概率和置信度的选择/分数,而不是生成一段文字。 目标是让 AI 像水电一样,成为代码可以放心调用的基础设施,从而真正推动自动化和经济变革。 我对jev的看法: 为什么现在的聊天模型没法带来真正的自动化革命,以及下一代模型应该优化给计算机用,而不是优化给人类聊天用。如果你只是理解jev是另一个bert,做做分类,标注,或是另一个排序模型,往往会低估他的潜力。他有更好的泛化性和通用性,现在在x上已经能看到很多用法,这不是bert可以代替的。另外他也不是解决所有问题的模型,一些场景搭配LLM也会更好,更节省成本。但是毕竟jev也只是输出的是概率,一些重要不可逆的场景,代码还是要有更多检查和验证,不然只是相信他输出的概率,也容易出巨大风险。而一些LLM应用,我隐约看到可以提高盈利的可能性了,jev会促进应用生态的发展,但他不是万能的,虽然他不生成幻觉,但是他生成的也是概率。 备注: TypeSafe AI 创始人 Diogo Almeida(前 OpenAI 研究员,参与过 RLHF、InstructGPT、ChatGPT 相关工作)的一场发布Jev之前的演讲。 什么是 RLCD?Jev 背后的秘密: https://di-zhang-llm.github.io/blog/what-is-rlcd-the-secret-behind-jev/
分享至:

熱門快訊

APP下載

X

Telegram

Facebook

Reddit

複製鏈接

熱門閱讀