头雁|2026年05月19日 00:32
cursor 发布了composer2.5,性能接近opus4.7
1/仍然基于kimi2.5基础上训练
2/同时与马斯克的XAI 合作从零开始训练一个规模显著更大的模型,使用 10 倍的总计算资源, 100 万个 H100 等效算力,还在训练中,预计会有更大的提升
3/Composer 2.5 的价格为每百万输入 token 0.50 美金、每百万输出token 2.50美金。此外,还有一个智能水平相同但速度更快的变体,价格为每百万输入 token 3.00 美金、每百万输出token 15.00美金
主要的训练配方:
一 基于文本反馈的定向 RL:(本质上是最近很流行的自蒸馏技术方案)
传统RL的问题:
在像 Composer 这样的大模型训练中,一个完整的 rollout(一次对话或任务执行过程)可能有几十万 token。最终的奖励(reward)是基于整个 rollout 结束后的结果给的(例如任务是否成功、用户是否满意)。这会导致两个严重问题:
1/模型不知道到底是哪一步做对了/做错了。奖励信号太“稀疏”、太“全局”了。
2/即使最终奖励是负的,这个坏行为在几千步里只占了一步,它的信号会被严重稀释,模型很难学到“这一步不该这么做”。想纠正局部坏行为非常困难。比如:一次错误的工具调用
Composer 2.5 的解决方案:文本反馈 + 定向蒸馏:
不再只依赖最终的标量奖励,而是在轨迹中模型本来可以做得更好的具体位置,直接插入人类/规则/更强的模型写的文本反馈,给模型一个局部、清晰的训练信号。具体做法如下:
找到需要改进的位置:(比如出错的工具调用,比如名字生成错了)
(例如第 47 轮,模型调用了一个不存在的工具)
构造一条简短的「纠正提示」
例如:“Reminder: Available tools are [list of tools]… 请只调用存在的工具。”
把这条提示插入局部上下文
形成一个修改后的上下文 ,让模型(Teacher)在这个新上下文中重新生成。
Teacher 的概率分布 = 理想目标
插入提示后,Teacher 在那一轮生成时:错误工具的概率大幅下降,正确替代工具的概率上升
Student(当前正在训练的模型)
在原始上下文(没有插入提示)下生成。
添加 KL 散度损失(on-policy distillation)
让 Student 的 token 概率向 Teacher 的概率靠拢。
只在这一轮做这个针对性优化,其他轮还是正常用全局 RL 目标。
合成数据:
采用多种方法来创建基于真实代码库的合成任务。例如,其中一种合成方法是功能删除。在这类任务中,智能体会拿到一个包含大量测试的代码库,并被要求以某种方式删除代码和文件,使代码库在保持可运行的同时移除特定的、可测试的功能。随后,合成任务就是重新实现该功能,而这些测试则被用作可验证的奖励信号。(头雁)
分享至:
脈絡
熱門快訊
APP下載
X
Telegram
複製鏈接