nvda的这篇新论文的突破，堪称机器人智能从AlphaGo 到 AlphaZero 的飞跃时刻！ 论文题为 《AlphaNIST: Emergent Assembly Skills from Binary Task Rewards》，主要围绕机器人精密装配任务中强化学习策略的自主发现展开。 论文的核心挑战，NIST Assembly Task Board #1 是机器人操作领域的经典高难度基准。在短时间尺度上，它要求对微小、紧配合零件进行精密且富接触（contact-rich）的控制；在长时间尺度上，则需要跨长动作序列的协调与容错恢复。 传统方法通常依赖人类专家演示（Demonstrations）、任务分解（Task Decomposition）或人工设计的密集奖励函数（Dense Progress Rewards）来“指导”机器人如何装配。 受 AlphaGo 到 AlphaGo Zero（大规模强化学习可在不预设策略的情况下发现超人策略）的启发，AlphaNIST 探究仅凭稀疏的二元任务成功奖励（Binary Task Reward）与任务多样性，让机器人自主发现并掌握复杂的装配策略。 该策略取得了巨大的成功，覆盖了 NIST Task Board #1 上的全部 20 个装配任务，总体训练成功率达到 98.2%。 框架进一步训练策略在单回合（Episode）内完成 10 对零件的装配。该过程没有预设执行顺序，且仅在所有 10 对零件同时完成装配时才给予稀疏成功奖励。 更牛逼的是，策略涌现出了多种能力--在无显式规则约束的情况下，策略自发学会了多种灵巧操作与类似规划的高级行为： 1、预见性抓取：根据后续装配步骤的需求，提前选择合适的抓握位姿。 2、环境几何重定向：利用周围环境与工件几何特征来调整零件朝向。 3、隐式任务交替与规划：在没有显式规划器（Explicit Planner）的情况下，自主展现出“先准备零件 A、转而去装配零件 B、再返回完成零件 A”的多阶段协调行为。 这意味着接下来的机器人训练，很可能将极大减少对数据和奖励的依赖，在实际环境中将更多的依靠自身的策略涌现而非预设的控制逻辑，而且极大增强容错，从而让具生智能能力提升更快，部署门槛更低，犯错概率更小，而且犯错后能自动修复的机会更高。