持续学习不同路线对应的部分相关论文： TTT / Fast Weights： TTT-E2E（《End-to-End Test-Time Training for Long Context》） https://arxiv.org/abs/2512.23675 作者：Arnuv Tandon, Karan Dalal, Yu Sun 等（Stanford、UC Berkeley、NVIDIA 等） 在滑动窗口 Transformer 上做 test-time 更新（next-token prediction），并通过训练时 meta-learning 优化初始化。3B 模型在长上下文上接近全注意力的 scaling，同时保持常数推理延迟（128K 上下文约快 2.7 倍）。 In-Place TTT（《In-Place Test-Time Training》） https://arxiv.org/abs/2604.06169 作者：Guhao Feng, Shengjie Luo 等（ByteDance Seed、北京大学） 把现有 Transformer 的 MLP 输出投影矩阵直接当作 fast weights，做 drop-in 更新，无需额外架构模块。目标与 next-token prediction 对齐，支持 chunk-wise 高效更新。在长上下文（至 128K）上有提升。 REFINE / ReFINE（《Reinforced Fast Weights with Next-Sequence Prediction》） https://arxiv.org/abs/2602.16704 用 next-sequence prediction + 序列级奖励 + RL（GRPO）训练 fast weights，而非单纯 next-token prediction。可应用于 mid-training、post-training 和 test-time training，改善长距离信息保留与 LongBench 等任务。 Falcon（《Fast Weight Attention for Continual Learning》） https://arxiv.org/abs/2608.27763 作者：Yifan Zhang 等（ByteDance Seed、Princeton 等） 从在线持续学习角度设计 fast-weight attention，推导归一化 delta rule 和滑动窗口更新（Falcon-1/2/3 及其 A 变体），提升固定大小关联状态的写入效率。 RoboTTT（《RoboTTT: Context Scaling for Robot Policies》） 作者：Yunfan Jiang 等（NVIDIA、Stanford、UT Austin） https://arxiv.org/abs/2607.15275 把 TTT/fast weights 用到机器人 VLA 策略，将视觉-动作上下文扩展到 8K 时间步（常数延迟），提升长时程操作、单视频适配和在线纠错能力。 Meta-learning（元学习 / 学会如何学习）： Nested Learning / Hope（《Nested Learning: The Illusion of Deep Learning Architectures》） 作者：Ali Behrouz, Vahab Mirrokni 等（Google Research） NeurIPS 2025 / https://arxiv.org/abs/2512.24695 把模型看作多个嵌套、不同更新频率的优化循环：快模块适应当前上下文，慢模块保存更稳定知识。提出 Continuum Memory System + 自修改模块，Hope 架构在语言建模、持续学习和长上下文上表现更好，缓解灾难性遗忘。 SCoL（《Self-Consolidating Language Models: Continual Knowledge Incorporation from Context》） 作者：Zekun Wang 等（Georgia Tech） arXiv: https://arxiv.org/abs/2605.07076 模型根据当前上下文生成自己要更新哪些层的指令，用 meta-RL 训练。在知识纳入和长上下文巩固上改善获取与保留，并倾向于更新 Fisher 信息较高的层。 OPSD（On-Policy Self-Distillation） 文章描述：把 session 经验蒸馏回基座模型（用 token 分布差异 + trajectory 引导，reward-free）。 相关代表性工作包括：Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models（及后续变体，如 SR-OPSD、Purified OPSD 等） 核心是同一模型在不同条件下（学生无特权信息，教师有参考解/轨迹等）做 on-policy 蒸馏，把经验转化为稳定改进。