告别大模型强化学习「跷跷板效应」，小米与北大提出MOPD蒸馏框架

大模型在后训练阶段通过强化学习（RL）提升特定领域能力时，常常面临「跷跷板效应」：集成数学、代码、指令遵循等多种能力时，它们会互相干扰，使得最终模型效果反而不如各领域的专有专家。北京大学与小米大模型团队联合发表论文，提出多导师在线蒸馏框架 MOPD（Multi-Teacher On-Policy Distillation）。该方法首先让不同领域（如数学、代码）的 RL 专家作为「导师」并行独立进行强化学习，然后将这些导师在策略空间（Policy Space）中蒸馏给同一个学生模型。具体而言，学生模型在自己的生成轨迹上采样，并与对应领域的导师在 Token 级别最小化 KL 散度。这带来了多重优势：它通过在线（On-policy）采样消除了传统离线微调中的曝光偏差，并通过 Token 级别的密集监督显著降低了训练方差并提升了样本效率，且允许各领域导师的并行研发与超参调整。在 Qwen3-30B-A3B 模型上的实验显示，MOPD 相比联合强化学习（Mix-RL）等基线在归一化综合得分上提升了 5.5 个点（达到 0.937），几乎完整保留了各导师的垂直能力。该方案已被成功部署于小米工业级大模型 MiMo-V2-Flash（309B）的后训练中。研究还指出，蒸馏的稳定性极度依赖于「同源导师」，即导师和学生必须从同一个 SFT 检查点出发。如果强行引入分布差异过大（KL 散度高）的外部强模型（如用 235B 模型的导师蒸馏 30B 的学生），反而会导致优化过程崩溃。[原文链接](动察 Beating)