头雁
头雁|2026年11月22日 12:07
K2 Horizon (华人团队为主)发布的LLM训练技术报告,主要特色在于极致透明度和系统化的训练细节披露,远超多数开源LLM报告。它遵循LLM360标准,把“怎么做出来的”完整公开,而非只给最终权重。 -极致开放性与可复现性:发布全部训练历史(380个中间检查点、覆盖各阶段)、21.6TB预训练数据、58次训练运行日志、17个代码仓库(含生产级xLLM框架、RL360强化学习栈、Eval360评估等)。不仅给数据,还详细公开生成约10T合成token的完整管道与决策过程,这是多数开源报告最回避的部分。 -架构与推理创新:提出Mixture-of-Value Attention(MoVA,将MoE应用于注意力值投影)和softplus注意力门控,用于增强推理。 -其中有个技术比较有特色,在后训练阶段采用了论文 ISO: An RLVR-Native Optimization Stack里的方法。把同一基础模型上训练出的多个 RL 专家(specialists)在固定谱的帧坐标下合并。无需后合并数据、rollout、梯度或蒸馏,效果优于 Task Arithmetic、TIES、RAM 等常见无数据合并方法。https://iso-rlvr.github.io/ https://arxiv.org/abs/2611.21003
分享至:

熱門快訊

APP下載

X

Telegram

Facebook

Reddit

複製鏈接

熱門閱讀