头雁
头雁|2026年05月19日 00:32
cursor 发布了composer2.5,性能接近opus4.7 1/仍然基于kimi2.5基础上训练 2/同时与马斯克的XAI 合作从零开始训练一个规模显著更大的模型,使用 10 倍的总计算资源, 100 万个 H100 等效算力,还在训练中,预计会有更大的提升 3/Composer 2.5 的价格为每百万输入 token 0.50 美金、每百万输出token 2.50美金。此外,还有一个智能水平相同但速度更快的变体,价格为每百万输入 token 3.00 美金、每百万输出token 15.00美金 主要的训练配方: 一 基于文本反馈的定向 RL:(本质上是最近很流行的自蒸馏技术方案) 传统RL的问题: 在像 Composer 这样的大模型训练中,一个完整的 rollout(一次对话或任务执行过程)可能有几十万 token。最终的奖励(reward)是基于整个 rollout 结束后的结果给的(例如任务是否成功、用户是否满意)。这会导致两个严重问题: 1/模型不知道到底是哪一步做对了/做错了。奖励信号太“稀疏”、太“全局”了。 2/即使最终奖励是负的,这个坏行为在几千步里只占了一步,它的信号会被严重稀释,模型很难学到“这一步不该这么做”。想纠正局部坏行为非常困难。比如:一次错误的工具调用 Composer 2.5 的解决方案:文本反馈 + 定向蒸馏: 不再只依赖最终的标量奖励,而是在轨迹中模型本来可以做得更好的具体位置,直接插入人类/规则/更强的模型写的文本反馈,给模型一个局部、清晰的训练信号。具体做法如下: 找到需要改进的位置:(比如出错的工具调用,比如名字生成错了) (例如第 47 轮,模型调用了一个不存在的工具) 构造一条简短的「纠正提示」 例如:“Reminder: Available tools are [list of tools]… 请只调用存在的工具。” 把这条提示插入局部上下文 形成一个修改后的上下文 ,让模型(Teacher)在这个新上下文中重新生成。 Teacher 的概率分布 = 理想目标 插入提示后,Teacher 在那一轮生成时:错误工具的概率大幅下降,正确替代工具的概率上升 Student(当前正在训练的模型) 在原始上下文(没有插入提示)下生成。 添加 KL 散度损失(on-policy distillation) 让 Student 的 token 概率向 Teacher 的概率靠拢。 只在这一轮做这个针对性优化,其他轮还是正常用全局 RL 目标。 合成数据: 采用多种方法来创建基于真实代码库的合成任务。例如,其中一种合成方法是功能删除。在这类任务中,智能体会拿到一个包含大量测试的代码库,并被要求以某种方式删除代码和文件,使代码库在保持可运行的同时移除特定的、可测试的功能。随后,合成任务就是重新实现该功能,而这些测试则被用作可验证的奖励信号。(头雁)
+3
曾提及
分享至:

脈絡

熱門快訊

APP下載

X

Telegram

Facebook

Reddit

複製鏈接

熱門閱讀