LeCun等提出H-JEPA分层世界模型 端到端学习视觉规划

10月12日，据arXiv论文，研究者Wancong Zhang、Basile Terver、Michael Rabbat、Yann LeCun、Randall Balestriero提出H-JEPA，一种端到端训练分层动作条件化JEPA世界模型的方案，各层级在自身学得的潜在空间中预测更远的未来。规划自顶向下进行：顶层优化目标推进，各层预测成为下层的子目标。当数据中的因素以分离的时间尺度演化时，更高层会丢弃快速、不可预测的细节，保留较慢的任务相关状态。在四个模拟导航与操作环境中，分层规划的表现在扁平JEPA之上；在Visual AntMaze任务中，三层结构将成功率从18%提升至73%，且规划算力更少。消融实验显示，增益来自时间分解与高层目标表示两方面。在逆动力学监督下，该方法可扩展至DROID的真实机器人视频。(金色财经)