Deepseek V4.1 flash 1017版本更新里提到了基于自反馈的强化学习（RL）训练技术。 自反馈强化学习（Reinforcement Learning with Self-Feedback）指的是：在强化学习训练过程中，不完全依赖外部“标准答案”或人工标注的奖励，而是让模型自己对自己的输出进行评估、批判或验证，把这些自我评价当作奖励信号（或奖励的重要组成部分），用来优化模型行为。 官方说明是：通过基于自反馈的强化学习，提升了模型从零开始构建完整项目的能力（游戏开发、3D 建模等“许愿式编程”场景）。 这类任务往往没有非常明确的“标准答案”（不像数学题有唯一解），很难只靠外部测试完全覆盖。自反馈机制让模型学会：在生成过程中自我检查、自我纠错对中间结果和最终效果做质量评估在较少提示和参考素材的情况下，通过短轮次交互直接交付相对完整的项目。 传统只靠外部结果奖励的 RL，在这种场景下信号太稀疏，模型很难学到“怎么把一个项目从头做完”。“许愿式编程”就是用户只给一个高层描述（“做一个故宫3D展示”或“做个网页赛车游戏”），模型需要自己规划、写多文件代码、调视觉/交互、处理各种隐性要求。这种任务：没有明确的 ground-truth 答案，中间步骤很多（长程Agent典型场景），早期错误会累积 最终质量难以用简单规则自动打分。 Reinforcement Learning with Self-Feedback提供更密集的中间奖励，减少对外部标注和人工偏好的依赖。 25-26 年社区有不少这个领域的论文，之前也看过一些，最新26年近期也有不少： 1/Post-Training Large Language Models via Reinforcement Learning from Self-Feedback 用模型自身对答案的置信度作为内在奖励，生成偏好数据后做偏好优化（RLSF） https://arxiv.org/abs/2507.21931 2/RLSR: Reinforcement Learning from Self Reward 模型自己当裁判（self-judging），无需标准答案就能提供奖励信号，实现自我改进 https://arxiv.org/abs/2505.08827 3/Reflect, Retry, Reward 模型答错后生成自我反思，再用第二次尝试成功与否来奖励反思过程（用了 GRPO） https://arxiv.org/abs/2505.24726 4/Self-Rewarding Language Models 模型既生成回答，又用 LLM-as-a-Judge 给自己打分，迭代训练 https://arxiv.org/abs/2401.10020 5/Self-Evolved Reward Learning for LLMs 奖励模型用自己生成的反馈迭代改进自己 https://arxiv.org/abs/2411.00418 6/ReflexiCoder: Teaching LLMs to Self-Reflect on Generated Code and Self-Correct It via RL 用 RL 把“生成 → 反思 → 自我修正”的完整轨迹内化进模型权重，推理时不需要外部执行环境也能自我纠错 https://arxiv.org/abs/2603.05863 7/ICRL: Learning to Internalize Self-Critique with Reinforcement Learning 联合训练 solver 和 critic，让模型把批判带来的提升真正内化成自己的能力，在 agent 任务上有明显增益 https://arxiv.org/abs/2605.15224 8/Self-Credit: Credit Assignment for Long-Horizon Agentic RL via Intra-group Rescaling 针对长程 agent 任务中稀疏奖励的信用分配问题，用模型自己生成的 citation 做密集信用分配 https://arxiv.org/abs/2610.28388 9/Agent-Reflex: Teaching Language Agents to Act Reflectively 系统性训练 agent 的主动反思能力，结合环境反馈和 RL https://arxiv.org/abs/2610.17953 10/ReVeal: Self-Evolving Code Agents via Iterative Generation-Verification 多轮生成-自我验证闭环的 RL，让生成和验证能力共同进化 https://arxiv.org/abs/2506.11442