📅 本期覆盖 2026-09-24(Thu, 24 Sep 2026) 公告批次。arXiv 网页端 listing 各分类当日条数为 cs.CV 128 / cs.RO 103 / cs.AI 193 / cs.LG 209 / cs.GR 6 / cs.MM 5,去重后 506 篇——与上期(Wed, 23 Sep 批次 571 篇)量级相当,确认新批次正常上线,故出正刊。
经全站 690 个历史 arXiv ID 与 704 条历史标题双重去重,入选的 8 篇与已收录论文 0 重复;自检锚点正常(往期已收录的 QuantWM 2609.26425、PatchWAM 2609.25961、MachEmbodied-U0 2609.25627、TriWorldBench 2609.26314、ForeDrive 2609.26299 全部命中历史集合,去重环节未失效)。8 篇入选论文的 v1 均为 2026-09-23 且为单版本,与公告批次一致;另剔除两篇旧文——AWM-VLA(2609.27753,v1 为 8 月 15 日)与 Task-Prototype Guided Flow Matching(2609.27780,v1 为 8 月 18 日),二者 ID 属 9 月但
Submission history显示是一个多月前投稿重新进入 listing。本期最清晰的一条主线是:世界模型正在从「被验证的对象」变成「被解剖的对象」。同日多篇工作不再满足于证明潜世界模型有效,而是直接追问它到底丢掉了什么。LeWAM 质疑的是整个范式前提——WAM 普遍建立在预训练视频扩散模型之上,性能与训练成本因此被绑死在大规模视频生成预训练上;它用理论与受控实验说明,I-JEPA 的预测式表征比压缩 VAE 潜变量更利于动作生成,于是在同一个预测器里同时做动作生成与未来嵌入预测,完全不依赖视频扩散骨干,仅 0.4B 可训练参数就在 RoboTwin 2.0 上达到 92.28%。DART 的手术刀更细:它指出在冻结自监督潜空间里训练流模型虽然稳定便宜,却会静默丢掉操作最依赖的属性——运动,预训练的流模型根本不移动被操作物体,用纯潜损失重训则只会把「静止」换成「瞬移」;关键洞察是病灶在训练信号而不在表征,锚点稀疏的纯潜监督从未说明变化该发生在时间轴的哪一段。
第二条主线是:时序与记忆的组织方式正在取代单纯的容量扩张。MemBodied 面对的是「历史依赖型操作」这一长期被主流 VLA 忽略的场景——把过去观测塞进上下文当然能找回信息,代价是不断膨胀的上下文与推理延迟;它改用固定尺寸的情节记忆(联想状态 + 情节锚点),在五个需要记忆的 RMBench 任务上达到无状态策略的 7.81 倍,而新增参数比最强记忆基线少 10 倍。LiMA 把同样的「分层」思路用到了时间轴上:慢系统负责稀疏的长程时空意图生成,快系统负责稠密的高频动作精修,用隐式的薛定谔桥耦合把稀疏意图对齐到稠密轨迹,推理延迟较 Cosmos-Policy 降低 45.8%。本期综述《The Past Frames the Future》则从另一头切入同一个问题:自回归视频生成受限于有限的上下文窗口,实体身份、动态状态、干预造成的因果变化往往在相关性消失之前就已被挤出上下文,这本质上是一个记忆问题而非生成质量问题。
第三条主线是:监督信号的语义正在被重新定义。BEE 指出人类纠正并非均匀噪声,而是「某些动作维度上可靠、另一些维度上易变」的约束证据——它不去复现纠正动作,而是预测纠正的一致性并据此逐维设定约束松紧,在三个真机任务上加一个 LIBERO-Pro 任务上平均达 91.2%,远超 RLT 的 57.5% 与 DSRL 的 42.1%。同期 CFM 蒸馏工作则处理另一种错位:多任务策略不能靠简单拼接数据(会增加容量需求或掉点),它把单任务流匹配专家学到的速度场蒸馏进共享策略,在 RLBench 上把朴素多任务的 61.4 提到 79.5。两者共同说明,怎么用信号比有多少信号更关键。
📄 论文精选
Generalizable Robotic Insertion with World Models
链接: https://arxiv.org/abs/2609.28258
作者 / 机构: Nicklas Hansen, Iretiayo Akinola, Yijie Guo, Jie Xu, Bingjie Tang, Hao Su, Xiaolong Wang, Abhishek Gupta, Dieter Fox, Yashraj Narang(NVIDIA;University of California San Diego;University of Southern California)
一句话总结: NVIDIA、UCSD 与 USC 联合提出 InsertionWM(IROS 2026),把最多 90 种几何形状各异的零件的插入装配压缩进单一世界模型,融合腕部相机原始视觉观测与本体感知信息,在几何完全未知的未见物体上取得 56% 零样本成功率,而无模型基线仅 7%;据作者所知,这是首个完全以数据驱动方式装配未见物体的系统。
研究问题: 高混合度(high-mixture)场景下的机器人装配需要能处理多样零件的自适应系统,但现有方法通常为每个插入任务训练专用策略——成功率可以做得很高,代价是每接一个新零件都要重新部署一遍,繁琐且耗时。更根本的困难在于零样本泛化到几何未知的未见物体:没有 CAD 模型、没有先验几何,策略必须纯粹从视觉观测中推断出该怎么插。核心问题是:能否用一个通用模型覆盖大量装配任务,并把这种覆盖真正转化为对未知几何体的泛化能力?
核心方法: ①基于模型的路径替代无模型 RL:作者放弃此前装配任务常用的 model-free 强化学习,转而训练预测式世界模型。直觉是:世界模型能从每一次转移中产生稠密的自监督信号,把表征学习与稀疏奖励解耦,并支持决策时规划。②共享视觉编码器 + 多任务世界模型:当一个高容量视觉编码器被许多任务共享时,model-free 策略梯度既采样低效又容易产生任务间干扰,而模型-based 方法在这两点上都有结构性优势。③大规模并行仿真:为训练多任务世界模型,每个环境实例对应一种独特装配,共 90 个环境实例 × 90 种独特装配并行,场景配置大幅随机化以保证对物体位置与姿态的鲁棒性。④纯视觉消歧:刻意不提供物体 ID 的 one-hot 编码——这类表示无法零样本迁移到新物体,模型只能依赖视觉信息区分物体。
技术亮点:
- 明确论证了为什么装配任务需要走 model-based 路线:稠密自监督信号 + 决策时规划 + 共享编码器下的抗任务干扰,三条理由直指 model-free 策略梯度在多任务视觉装配上的结构性短板。
- 「不加物体 ID」是一个有代价的正确决定:它牺牲了已知物体上的潜在增益,换来的是零样本迁移能力。这种为泛化主动放弃信息的设计,在追求 benchmark 分数的主流做法中并不多见。
- 可扩展性被显式验证:性能随训练数据集中物体数量增加而提升,说明这不是靠调参堆出来的一次性结果,而是一条真实存在的 scaling 曲线。
- 数据效率也是卖点:在留出物体上微调通用模型的效率显著高于从零训练,某些情况下甚至取得更好的渐近性能。
实验结果: 在未见物体、几何未知的条件下,InsertionWM 取得 56% 零样本成功率,而无模型基线仅 7%。性能随训练集中物体数量增加持续改善,展现出强可扩展性。此外,在留出物体上微调通用模型相比从零训练显著提升了数据效率,部分任务上渐近性能更优。
应用场景: 高混合度小批量电子与机械装配、需要频繁换型的柔性产线、没有 CAD 模型的逆向装配、以及任何要求「开箱即用处理新零件」的通用机器人装配系统。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 把「世界模型能否带来真正的零样本泛化」这个问题在装配这个硬骨头上正面回答了。56% vs 7% 的差距不是边际改进,而是范式差异;更重要的是它证明了通用性可以来自数据规模与模型-based 归纳偏置,而不是来自每个任务的人工工程。
MemBodied: Recurrent Associative Memory for Vision-Language-Action Models
链接: https://arxiv.org/abs/2609.28256
项目主页: https://declare-lab.github.io/MemBodied | 代码: https://github.com/declare-lab/MemBodied
作者 / 机构: Tej Deep Pala, Navonil Majumder, Bryce Goh, Raphael Yee, Jianfei Yang, Liming Chen, Soujanya Poria(Nanyang Technological University;Griffin Labs;École Centrale de Lyon)
一句话总结: 南洋理工大学、Griffin Labs 与里昂中央理工学院团队提出 MemBodied,针对绝大多数 VLA 策略不保留 episode 级历史这一缺陷,设计固定尺寸的情节记忆(联想状态记录跨调用交互、情节锚点保存初始场景的紧凑表示),在五个需要记忆的 RMBench 任务上达到无状态策略的 7.81 倍、朴素循环记忆的 2.98 倍,并以少 10 倍的新增参数超过最强记忆增强基线。
研究问题: VLA 模型已成为通用机器人控制的强基座,但绝大多数策略不保留也不利用当前观测之外的 episode 级信息。这在历史依赖型操作任务中是致命的——任务所需的信息只存在于过去的观测里。最直接的补救是把过去观测留在上下文中,但代价是上下文不断膨胀、推理延迟持续上升,在真实机器人上难以接受。核心问题因此变成:能否在不扩大策略上下文的前提下,让策略获得历史依赖能力?
核心方法: ①联想状态(associative state):在多次策略调用之间滚动记录交互信息,形成对 episode 进程的持续追踪。②情节锚点(episode anchor):把初始场景压缩为一个紧凑表示并作为参考保留,为后续判断提供「起点是什么样」的基准。③条件化而非拼接:每次策略调用时,模型以「当前输入 + 两个记忆分量」为条件生成动作,而不是直接使用过去的观测。这一步是延迟不增长的关键——记忆尺寸固定,上下文不会随 episode 变长。
技术亮点:
- 「固定尺寸」是全文最关键的工程判断:它把记忆从「上下文管理问题」重新定义成「状态更新问题」,从而绕开了循环记忆与长上下文方案共同的推理成本陷阱。
- 双分量设计有明确分工:联想状态管「发生过什么」,情节锚点管「起点是什么」——后者让模型能判断「是否已经改变过」,这正是计数、去重、状态校验类任务的核心难点。
- 参数效率极高:以少 10 倍的额外参数超过最强的记忆增强基线,说明收益来自结构设计而非容量堆叠。
- 分析做到了失败归因层面:论文报告 MemBodied 并不改变两种策略共有的早期运动阶段,而是专门消除那些混淆决策上的失败——回到错误的垫板、选错积木、过早宣布交换完成、重复一次不成功的电池朝向、或在测试前就拆掉已摆好的排列。
实验结果: 在五个需要记忆的 RMBench 任务上,MemBodied 的平均成功率达到无状态策略的 7.81 倍、朴素循环记忆的 2.98 倍,并以少 10 倍的新增参数超过最强的记忆增强基线 1.3 倍。在完全可观测的 LIBERO-Long 套件上达到 90.6%,相比无状态的 π₀ 策略提升 5.4%。逐次 rollout 分析显示,增益集中在决策真正需要历史信息的那几步,而非全过程平均摊薄。
应用场景: 需要计数、状态追踪、避免重复尝试的长程操作;多阶段装配与拆卸;物体重排与校验类任务;以及对推理延迟敏感、无法承受上下文无限增长的真机部署。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 它把「VLA 需要记忆」从一个泛泛而谈的方向变成了一个有明确接口、固定成本、可验证收益的模块。7.81× 的差距说明这不是锦上添花,而是当前 VLA 架构一块真实的能力缺口。
LiMA: Bridging Long-term Imagination to Real-time Dexterous Manipulation via Asynchronous Diffusion
链接: https://arxiv.org/abs/2609.28431
项目主页: https://ccdcs.github.io/LiMA_repo/
作者 / 机构: Ning Chen, Yankai Fu, Junkai Zhao, Qianpu Sun, Guocai Yao, Pengwei Wang, Zhongyuan Wang, Shanghang Zhang(Peking University 多媒体信息处理全国重点实验室;Beijing Academy of Artificial Intelligence)
一句话总结: 北京大学与智源研究院提出 LiMA,针对「VLA 缺乏细粒度物理动态理解、WAM 又因迭代生成而延迟过高」的两难,设计异步双系统生成框架:慢系统做稀疏长程时空意图生成、快系统做稠密高频动作精修,并用隐空间薛定谔桥耦合把稀疏意图对齐到稠密轨迹;推理延迟较 Cosmos-Policy 降低 45.8%,六个双臂灵巧操作任务整体成功率 70.8%、子任务成功率 78.9%。
研究问题: 灵巧操作同时要求长程预见与快速反应。VLA 模型擅长高层推理,却缺乏对物理动态与空间感知的细粒度理解;而世界动作模型(WAM)虽然能想象,却因迭代式生成而带来高推理延迟。两者交汇处暴露出一个根本性的时间错位:模型生成的意图跟不上快速变化的物理接触状态——想象还没算完,接触已经变了。核心问题是:如何在保留长程想象能力的同时,把执行频率提到实时?
核心方法: ①异步双系统解耦:把意图规划与反应式执行在时间尺度上系统性地拆开。②多尺度层次结构:慢系统负责稀疏的长程时空意图生成(低频、粗粒度),快系统负责稠密的高频动作精修(高频、细粒度),两者异步运行互不阻塞。③隐式薛定谔桥耦合(Latent Schrödinger Bridge Coupling, I-SB):把从意图到动作的精修过程表述为一个熵正则化的概率输运过程,将 Dreamer 的意图潜变量与目标执行潜变量当作一对边界状态,构造中间边际可解析求解的随机扩散桥。
技术亮点:
- 消融给出了清晰的因果链:去掉未来视觉意图的变体在两项任务上掉点最多,证明想象出的视觉潜变量提供了不可替代的任务级引导;把 I-SB 换成从高斯噪声出发的交叉注意力注入(意图仅作为辅助条件)同样不如 LiMA,说明间接条件化在意图本身还很粗糙时不足够。
- 与 Flow Matching 的对比很有信息量:Flow Matching 同样在分布间输运概率质量,但它学习的是沿预定概率路径的确定性速度场;I-SB 的随机、边界锚定表述更强,说明「把整条精修轨迹锚定到结构化意图先验」比「让网络间接注入意图」更有效。
- 给出了可操作的步数权衡:桥去噪步数为 5 时意图先验过粗、成功率明显下降;增到 15 步略有提升但延迟显著上升;10 步是实时控制下更实用的性能—效率折中。
- 覆盖面较完整:六个跨多个时间尺度的双臂灵巧操作任务,并在未见场景中保持性能。
实验结果: LiMA 通过异步解耦将推理延迟较 Cosmos-Policy 降低 45.8%。在六个双臂灵巧操作任务上,整体成功率 70.8%、平均子任务成功率 78.9%,并在未见场景中保持性能。消融实验验证了 I-SB 相对「高斯初始化 + 交叉注意力」与「同架构 Flow Matching」两种变体的优势。
应用场景: 双臂灵巧操作、接触频繁且需要快速响应的装配与整理任务、需要长程规划但不能牺牲控制频率的实时机器人系统、以及基于想象的世界模型控制框架。
研究价值: ⭐⭐⭐⭐(4/5)— 「异步」这个切入点很务实:它不试图让想象变快,而是承认想象必然慢、执行必须快,然后用概率输运把两者接起来。对任何想在生产环境里用 WAM 的团队,45.8% 的延迟削减都是决定性的。
Latent evolving World Action Model
链接: https://arxiv.org/abs/2609.27455
代码: https://github.com/XuejiFang/LeWAM | 模型: https://huggingface.co/XuejiFang/LeWAM
作者 / 机构: Xueji Fang, Boqiang Duan, Hua Wu, Jingdong Wang, Guo-Jun Qi(Zhejiang University;Westlake University;Baidu Inc.)
一句话总结: 浙江大学、西湖大学与百度联合提出 LeWAM,从理论与实证两方面追问「视觉表征如何影响 WAM 中的动作生成」:结论是 I-JEPA 的预测式嵌入比压缩 VAE 潜变量更支撑动作生成,据此把动作生成条件化在 JEPA 嵌入上、并在同一空间中预测未来嵌入来建模环境演化,完全摆脱视频扩散骨干;仅 0.4B 可训练参数在 RoboTwin 2.0 上取得 92.28% 平均成功率。
研究问题: 世界动作模型(WAM)联合建模动作生成与环境动态,目前大多建立在预训练视频扩散模型(VDM)之上:观测先经 VAE 编码成压缩潜变量,再由大规模视频扩散骨干提取特征供动作生成使用。这一范式把 WAM 的性能与训练成本绑死在大规模视频生成预训练上,限制了 WAM 的效率与可扩展性。核心问题是:动作生成真正需要的到底是哪种视觉表征?VDM 骨干是必需的,还是可以替代的?
核心方法: ①表征层面的受控比较:在相同条件下比较不同冻结编码器,发现 JEPA 类编码器的预测式嵌入优于原始 VAE 潜变量,其中 I-JEPA 表现最好;注意力分析显示策略在操作过程中聚焦于目标物体与区域,表示探测则表明 I-JEPA 让相关几何与物体信息更易于被动作生成访问。②统一预测器:在同一个预测器中同时学习动作策略与表征空间世界模型——冻结的 I-JEPA 编码器抽取多层嵌入,AdaFuse 自适应融合跨层互补信息,预测器结合观测与动作 token 以及未来 query,同时预测动作速度与未来嵌入。③掩码设计:防止干净动作泄漏进动作预测,并将每个未来 query 限制在其随机采样 horizon 对应的动作前缀上。④DemoDPO:利用从演示中导出的偏好进一步优化策略。
技术亮点:
- 质疑的是一个被默认接受的前提:论文指出,虽然有工作证明视频扩散骨干能被复用为强前馈感知模型,但这只说明「视频生成预训练有价值」,并未确立原始 VAE 潜变量作为动作生成直接表征的有效性——这个区分非常锐利。
- 把世界模型从像素/VAE 空间搬进 JEPA 嵌入空间:环境演化建模变成「在同一空间中预测未来嵌入」,既省掉了扩散骨干,也让预测目标与动作目标在表征上天然对齐。
- 0.4B 可训练参数 + 无具身预训练却达到与 SOTA VLA/WAM 可比的水平,这本身就是对「规模即一切」的一次有效反驳。
- 配套可复现性说明与 AI 使用声明,训练与推理代码随补充材料提供。
实验结果: LeWAM 以仅 0.4B 可训练参数在 RoboTwin 2.0 上取得 92.28% 平均成功率,与当前最优的 VLA 与 WAM 相当,并在真实世界操作任务上保持实用效果。受控编码器比较显示 I-JEPA 在冻结编码器对比中表现最好。
应用场景: 资源受限下的通用操作策略训练、无法承担大规模视频生成预训练的研究团队、需要统一感知—预测—控制的具身基座模型、以及对推理与训练成本敏感的工业部署。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 这是一篇「拆地基」的工作。如果 JEPA 表征确实能替代 VDM 骨干,那么整个 WAM 社区的训练成本结构都会被改写;即便结论最终被限定在某些任务族内,它提出的「表征可访问性比信息量更重要」这一判据也值得被反复检验。
Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model
链接: https://arxiv.org/abs/2609.28414
代码: https://github.com/Mangkhut160/icassp2027 | 权重: https://huggingface.co/pzr114514/DART-PT-Flow-LIBERO
作者 / 机构: Xiwen Chen, Rigaudiere Z. Li, Zhiruo Zhou, Xiaojun Zhu, Houde Liu(Tsinghua Shenzhen International Graduate School;Shanghai Jiaotong University;Wuhan University of Technology)
一句话总结: 清华深圳国际研究生院、上海交通大学与武汉理工大学团队指出:在冻结自监督潜空间中训练流模型的潜世界模型虽然训练稳定、成本低,却会静默丢掉操作最依赖的属性——运动;作者把病根定位到训练信号而非表征(锚点稀疏的纯潜监督从未说明变化该发生在 horizon 的哪一段),提出 DART 在保持表征冻结的前提下仅用解码路径监督重训流模型,成功恢复运动的时间结构,并顺带发现一个反直觉的评测问题:仅用像素误差会奖励「冻结的预测」。
研究问题: 潜世界模型不在像素空间而在紧凑表征空间中学习动态,训练稳定、成本低,因而被广泛采用。但作者观察到一个被忽视的失败:模型从未让被操作物体动起来——预训练的流模型根本不移动被操作物体;而用纯潜损失重训它,只会把「静止」换成瞬移式(teleport-like)的运动,而非真正的连续运动。核心问题有两层:这一失败源自哪里(表征还是训练信号)?以及如何在不牺牲「冻结表征」这一成本优势的前提下修复它?
核心方法: ①归因到训练信号:作者明确论证病灶不在表示本身,而在于 anchor-sparse、latent-only 的监督从未指明变化应发生在 horizon 的哪一段——监督里没有时间位置信息,模型自然无法学到「运动沿时间轴如何分布」。②DART(Decode-Augmented Rollout Training):在保持表征冻结的前提下,仅重训流模型,但把监督换成解码路径(decode-path)监督,让像素/解码端的信号告诉流模型「变化该出现在哪里」。③运动的量化评测:不只比像素误差,而是引入能刻画运动结构的指标(如集中程度 concentration、总运动量 total motion、单步最大变化)。
技术亮点:
- 「训练信号 vs 表征」的二分是全文最锋利的一刀:绝大多数遇到类似问题的做法会归咎于表示能力不足并转向端到端微调,本文则证明只需换监督路径、表征照冻,就能解决——这个结论的成本含义很大。
- 「瞬移式运动」是一个极具画面感的失败刻画:它精准描述了纯潜重训的实际效果——有变化,但没有过程。这也解释了为什么只看终帧误差的方法会漏掉它。
- 对评测本身的反直觉发现很值得警惕:像素误差单独使用时会奖励冻结的预测——因为「不动」在像素误差上往往比「动错位置」更低。这对当前大量以重建误差为主指标的潜世界模型评测是一次直接质疑。
- 诚实地区分了「修好了什么、没修好什么」:DART 基本修好了「运动发生在哪里」,但没有修好「运动发生的量级」——因为目标函数中没有任何项奖励变化幅度,这个持续存在的差距是预期的,论文如实报告。
实验结果: 在完整协议上,DART 在两个随机种子上的 L1 均值与中位数均优于其纯潜父模型。运动结构的改善在第一对种子上最清晰:集中程度从 0.236–0.447 降到 0.145(真值 0.093),总运动量从真值的 11% 提升到 29%,且单步最大变化保持在真值量级——说明运动沿时间轴铺开而非聚成新的瞬移。在 hard-5 子集上,全部六个 DART 运行都在 L1 上优于两个父模型运行,族均值集中程度从 0.342 降到 0.228,其中五个优于更强的那个父模型。规模更大时预测质量进一步提升,缩小了与 oracle 插值参考之间近一半的剩余差距。
应用场景: 基于潜世界模型的机器人操作与规划、需要长程 rollout 的想象式控制、低成本潜动态模型的训练流程改进、以及潜世界模型评测协议的设计。
研究价值: ⭐⭐⭐⭐(4/5)— 这类「诊断型」论文的价值往往被低估。它没有提出新架构,却指出了一个会静默污染大量实验结果的系统性缺陷,并顺带质疑了主评测指标本身。任何在做潜世界模型的人都应该读一遍并自查。
Distillation for Efficient Multitask Manipulation Policies via Conditional Flow Matching
链接: https://arxiv.org/abs/2609.28107
作者 / 机构: Shreya Deshmukh, Imen Mahdi, Nick Heppert, Abhinav Valada(Department of Computer Science, University of Freiburg, Germany)
一句话总结: 弗莱堡大学团队研究多任务条件下的流匹配(CFM)策略学习:指出为每任务各训一个模型计算代价过高,而简单拼接演示数据会要么需要更大容量、要么直接掉点;为此把单任务 CFM 专家学到的速度场蒸馏进共享的多任务策略,并与原始 CFM 目标结合以保真演示,在 RLBench 上把朴素多任务的 61.4 提升到 79.5。
研究问题: 生成式建模尤其是条件流匹配(CFM)已在机器人策略学习上超越同类方法,但既有工作主要集中在单任务设定。为每个任务独立训练模型在计算上难以接受。转向多任务又会引入新问题:直接在拼接后的演示数据集上朴素训练,要么需要增加模型容量来容纳新增复杂度,要么性能下降。核心问题是:如何在不扩大模型尺寸的前提下,让一个共享策略同时具备多个单任务专家的能力?
核心方法: ①从单任务 CFM 专家蒸馏:不是蒸馏专家生成的轨迹,而是迁移专家学到的速度场(velocity fields)——这是 CFM 框架下更本质的知识载体。②与原始 CFM 目标结合:把蒸馏信号与原 CFM 目标联合优化,既获得跨任务共享的知识,又保持对演示数据的保真度。③固定模型尺寸:整个方案在固定的模型容量下完成,不依赖扩容来换取多任务能力。
技术亮点:
- 「蒸馏速度场而非轨迹」是方法上的关键选择:论文明确对比了两条路线——蒸馏专家生成的轨迹(Ours: Distilling Learned Target Distribution,平均 70.0)与完整目标(79.5),后者显著更优,说明专家策略引入的噪声会限制最终性能,而直接对齐速度场绕开了这个瓶颈。
- 基线设置诚实:论文指出各个专家策略收敛到的水平差异很大(成功率从 35% 到 99%),且部分任务共享行为但目标物体不同——这种异质性恰恰是研究「差任务如何从好任务获益」的理想条件。
- 知识融合基线(Knowledge Amalgamation)被公平纳入:该方法通过在学习的特征空间中增加探测层来强制共享,结果(73.5)确实超过了单任务专家的平均值,说明它鼓励了跨任务通用行为的学习——本文在此基础上进一步拉开差距。
- 可迁移性强:思路不绑定具体架构,任何以 CFM 为策略参数化的多任务系统都可套用。
实验结果: 在 RLBench 的 8 个任务上(平均成功率):朴素多任务 61.4;Knowledge Amalgamation 73.5;蒸馏专家生成轨迹 70.0;本文完整目标(Eq. 6)79.5。论文指出朴素多任务策略低于单任务专家的平均值——这是预期的,因为任务复杂度上升会降低每个任务实际可用的有效容量;而完整目标取得了最优的整体表现。
应用场景: 需要在单一模型上覆盖多任务的机器人操作系统、计算预算受限无法为每任务训练独立模型的场景、以及基于流匹配的通用操作策略预训练。
研究价值: ⭐⭐⭐⭐(4/5)— 它把「多任务策略怎么训」这个工程问题拆成了一个清晰的知识迁移问题,并给出了 CFM 框架下的正解(迁移速度场)。61.4 → 79.5 的提升在固定容量下达成,含金量高于靠扩容换来的同类提升。
BEE: Intervention-Adaptive Real-World Reinforcement Learning with Vision-Language-Action Models
链接: https://arxiv.org/abs/2609.27450
作者 / 机构: Weihui Zhao, Xiaohan Yan, Zunian Wan, Xuan Du, Zhaozhan Chi, Jianbo Mao, Ruipu Wu, Rushuai Yang, Houlin Li, Shukai Yang, Jing Wu, Yuxiang Yan(South China University of Technology;AgiBot 智元机器人)
一句话总结: 华南理工大学与智元机器人提出 BEE,指出 VLA 长程操作的成败往往系于少数精度关键阶段(毫米级误差会毁掉此前全部进展),而真机上的自由探索代价过高、人类纠正不可或缺;关键在于把人类纠正不当作待复现的动作,而当作关于约束的证据——由纠正模型预测纠正的一致性并据此逐维设定约束松紧,在三个真机任务加一个 LIBERO-Pro 仿真任务上平均达 91.2%,远超 RLT 的 57.5% 与 DSRL 的 42.1%。
研究问题: VLA 模型已能处理长程操作,但成功与否往往取决于少数精度关键阶段——毫米级误差会推翻此前所有进展。在线强化学习恰好能优化这些动作,但真机上自由探索代价过高,人类纠正因此不可或缺。然而现有面向 VLA 的在线 RL 方法要么无法纳入这类纠正,要么把它们混进无差别的监督里。核心洞察是:人类纠正并非均匀噪声,而是在某些动作维度上可靠、在另一些维度上易变。问题因此变成:如何让约束的松紧随纠正的一致性自适应变化?
核心方法: ①纠正模型(Correction Model):预测「给定 VLA 提议的动作,人类会如何纠正」以及该纠正沿每个动作维度的一致性。②逐维约束松紧:用预测出的一致性设定策略优化中逐动作维度的约束紧度——纠正一致的维度上策略贴近人类,纠正易变的维度上约束放松。③冻结 VLA 上的在线 RL:整个框架作用于一个冻结的 VLA,让策略得以 BEyond Expert imitation(超越专家模仿,即 BEE 名字的由来)。④状态依赖乘子:约束的乘子不收敛到单一值——在策略已与纠正动作一致的状态上接近零,在约束真正起作用的状态子集上变大,因此单一全局乘子无法替代这种状态依赖参数化。
技术亮点:
- 「纠正即约束证据」的重新定义是全文支点:一旦不再把纠正当作目标动作去回归,而是当作关于「哪些维度该被信任」的证据,人类干预就从监督噪声变成了结构化的先验。
- 逐维(per-dimension)粒度极其实用:人类在平移上可能很一致、在旋转上却很随意,一个全局松紧度会同时牺牲两者;逐维设定正好匹配真实遥操作的噪声结构。
- 对在线交互动态的分析很扎实:论文指出违反率(violation rate)稳定地高于零而非趋于消失,这恰恰是交互式设定应有的行为——新收集的纠正不断引入策略偏离纠正动作的状态,乘子在这些状态上局部重新收紧。
- 匹配在线数据预算下的公平比较:在与基线相同的在线数据预算上评测,结论更有说服力。
实验结果: 在三个真实世界操作任务与一个 LIBERO-Pro 仿真任务上(匹配在线数据预算),BEE 在每个任务上都取得最高成功率,平均 91.2%,对比 RLT 的 57.5% 与 DSRL 的 42.1%;同时在所有真机任务上取得最低的人类干预率。分析显示状态依赖乘子在训练全程保持双峰行为(一致状态近零、活跃状态变大),且其对动作维度的分配与单张快照读出的结果一致——说明该机制在整个在线训练过程中持续成立,而非只在某个时刻碰巧成立。
应用场景: 真机长程操作的在线改进、人在回路(human-in-the-loop)的机器人策略微调、遥操作数据稀缺或昂贵场景下的样本高效优化、以及任何需要在冻结大模型上做安全在线适配的部署。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 91.2% vs 57.5%/42.1% 是碾压级差距,而且是在同等在线数据预算下取得的。更难得的是它给了「人类干预」一个正确的数学身份:不是标签,是约束。这对整个人在回路 RL 方向都有启发。
The Past Frames the Future: Memory for Autoregressive Video Generation — A Survey
链接: https://arxiv.org/abs/2609.28466
资源: https://github.com/HaroldChen19/Awesome-AR-Video-Memory
作者 / 机构: Harold Haodong Chen, Rongjin Guo, Disen Lan, Wen-Jie Shu, Hongfei Zhang, Hanzhe Hu, Shengtao Yao, Zixin Zhang, Guibin Zhang, Zhefan Rao, Jinxiu Liu, Yexin Liu 等(HKUST;City University of Hong Kong;Fudan University;ZODA;CMU;NYU;HKUST(GZ);National University of Singapore;Georgia Tech;Peking University;MBZUAI;NVIDIA;UCF;UNITN;NTU;UC Merced)
一句话总结: 来自 HKUST、CMU、NVIDIA、MBZUAI 等 16 家机构的联合综述,首次系统地把自回归视频生成中的记忆机制确立为一个独立研究问题:随着生成序列变长,模型必须在严格有界的上下文窗口、存储与算力下运行,导致实体身份、动态状态、干预造成的因果变化等关键历史信息在其相关性消失之前就已被挤出活跃上下文;文章把记忆操作性地定义为「跨外层自回归步骤维持的持久历史信息」,并用形式 / 功能 / 操作 / 学习 / 评测五个互补视角组织全部文献。
研究问题: 生成模型的进步提升了视频保真度,使长程生成、交互式世界建模与持续演化的视觉环境成为可能。自回归(AR)视频生成通过因果 rollout 延展视觉序列,但一个根本瓶颈随之浮现:随着生成序列扩张,实际模型必须在严格有界的上下文窗口、存储与算力限制下运行。结果是,实体身份、动态状态、干预引起的因果变化等关键历史信息,往往远在其相关性衰减之前就已离开活跃上下文。核心问题因此不是「生成得够不够好」,而是:如何维持时间持久性——这本质上是一个记忆问题。
核心方法: 论文(综述框架)把记忆操作性地定义为:跨外层 AR 步骤维持的持久历史信息,即便产生该信息的原始证据已不再局部可访问,它仍能影响未来生成。在此统一框架下,用五个互补视角组织文献:(I) 形式(Forms)——历史的表示载体;(II) 功能(Functions)——需要保存的具体语义与物理信息;(III) 操作(Operations)——写入、读取、更新、管理与整合的生命周期;(IV) 学习(Learning)——闭环 rollout 下记忆行为的优化;(V) 评测(Evaluation)——记忆能力的评测范式。
技术亮点:
- 把「记忆」从工程技巧提升为一个可定义、可分类的研究对象:操作化定义(脱离局部证据仍影响未来)为后续工作提供了共同的判据,避免了「任何缓存历史的做法都叫记忆」的泛化。
- 五视角分类法互相正交且可组合:任何具体方法都能被定位为「某种载体 × 某种功能 × 某组操作 × 某种学习信号 × 某种评测」,这为横向比较此前散落各处的工作提供了统一坐标系。
- 显式列明无记忆 rollout 的失败模式:实体遗忘、外观漂移、空间不一致、动力学退化、语义漂移、因果/状态不一致——这份清单本身就是一张诊断表。
- 把视频生成与世界建模打通:记忆问题在交互式世界建模中同样核心,综述因此在「长视频生成」与「世界模型」两个社区之间架起了桥。
- 配套 Awesome 列表持续维护,便于跟踪该方向快速增长的文献。
实验结果: 本文为综述,不含统一实验。其贡献在于提出操作化定义与五视角分类体系,并在此框架下系统梳理记忆的表示载体(像素空间帧/片段、VAE 空间记忆、隐状态等)、记忆功能、生命周期操作、闭环 rollout 下的学习信号,以及现有评测范式的覆盖与缺口。
应用场景: 长程与无限长视频生成、交互式世界模型与可玩环境、具身智能中的持续视觉记忆、需要跨长时间保持实体与因果一致性的生成系统、以及视频生成记忆能力的基准设计。
研究价值: ⭐⭐⭐⭐(4/5)— 在一个被大量零散工程技巧占据的领域里,这类建立坐标系的综述价值极高。它明确点出:上下文窗口扩大不等于记忆问题被解决,因为记忆的本质是「证据已不可访问时仍能影响未来」——这个定义会持续影响后续工作的问题提法。
📊 今日研究趋势
其一,世界模型进入「自我解剖」阶段。 本期的 LeWAM 与 DART 是这条线上最有代表性的两篇,且解剖的位置截然不同。LeWAM 动的是地基:它追问 WAM 是否必须建立在预训练视频扩散模型之上,用受控编码器比较与表示探测说明 I-JEPA 的预测式嵌入比压缩 VAE 潜变量更支撑动作生成,于是把环境演化建模成「在同一 JEPA 空间中预测未来嵌入」,彻底移除了视频扩散骨干——0.4B 可训练参数、无具身预训练,RoboTwin 2.0 仍有 92.28%。DART 动的是训练信号:它发现冻结潜空间里的流模型会静默丢掉「运动」这一操作最依赖的属性,预训练流模型根本不移动被操作物体,纯潜重训只会把静止换成瞬移;关键在于病灶不在表征而在监督——anchor-sparse 的纯潜监督从未说明变化该出现在 horizon 的哪一段。两篇共同传递的信号是:这个领域不再满足于「世界模型有用」,而开始要求说清楚它为什么有用、以及在哪一环节失效。 值得注意的是 DART 顺带指出的评测问题——像素误差单独使用会奖励冻结的预测——这与 LeWAM 的「表征可访问性比信息量更重要」在精神上是同一个诉求:我们现有的指标测的不是我们真正关心的东西。
其二,时序与记忆的组织方式成为新的性能来源。 MemBodied 与 LiMA 从两个方向说明了同一件事:把不同时间尺度的信息分层,比把更多历史塞进同一个上下文更有效。 MemBodied 面对的是 episode 级历史依赖——多数 VLA 策略根本不保留当前观测之外的信息,而把过去观测留在上下文会让延迟持续膨胀;它用固定尺寸的联想状态加情节锚点,在五个记忆类任务上拿到无状态策略的 7.81 倍,额外参数却比最强基线少 10 倍。LiMA 面对的是控制频率——长程想象必须慢、反应执行必须快,它干脆承认这个错位,用异步双系统加隐式薛定谔桥把稀疏意图输运到稠密轨迹,延迟降 45.8%。而本期综述则把这个问题的边界推到了极限:自回归视频生成中,实体身份与因果变化往往在其相关性衰减之前就被挤出上下文,长程一致性本质上是一个记忆问题而非生成质量问题。三者合起来看,从 episode 内的记忆状态、到控制回路的快慢分层、再到跨数万步的持久记忆,「如何在有限预算下组织时间」正在成为一条贯穿视频生成、世界模型与机器人控制的统一线索。
其三,监督信号的语义被重新定义。 BEE 与 CFM 蒸馏工作表面上毫不相关,实则处理的是同一类错位:给定的监督不等于应该被照抄的目标。 BEE 指出人类纠正不是均匀噪声,而是「某些维度可靠、某些维度易变」的约束证据;它不去回归纠正动作,而是预测纠正的一致性并逐维设定约束松紧,在同等在线数据预算下把平均成功率做到 91.2%,而 RLT 只有 57.5%。CFM 蒸馏则发现,把单任务专家的速度场(而非专家生成的轨迹)蒸馏进共享策略才是正解——后者会被专家策略自身的噪声限制在 70.0,前者达到 79.5。两篇都说明:真正稀缺的不是数据,而是对数据应该施加何种约束的正确理解。 这条线索与第一条是呼应的:当世界模型开始被解剖、记忆开始被显式组织,下一步必然是重新审视「我们拿什么去监督」。
🏆 最值得关注的 3 篇
Generalizable Robotic Insertion with World Models(2609.28258) — 56% vs 7% 不是一个可以靠调参抹平的差距,它直接回答了「世界模型带来的到底是效率还是能力」。更难得的是作者主动放弃了物体 ID 这类能刷已知物体分数的信息,只为换取零样本迁移;加上「性能随物体数量持续提升」的可扩展性验证,这篇几乎具备了定义新基线所需的全部要素。IROS 2026 已接收。
Latent evolving World Action Model / LeWAM(2609.27455) — 如果它的结论成立,整个 WAM 社区的训练成本结构都会被改写:不需要视频扩散骨干、不需要具身预训练,0.4B 参数就能与 SOTA VLA/WAM 打平。即便最终被限定在某些任务族内,它提出的判据——表征的「可访问性」比「信息量」更决定动作生成效果——也值得每个在做具身表征的人反复检验。
BEE: Intervention-Adaptive Real-World RL with VLA(2609.27450) — 91.2% vs 57.5%/42.1%,且在同等在线数据预算下取得。但它最值钱的不是数字,而是给「人类干预」正了名:纠正不是待复现的标签,而是关于约束的证据。逐维设定约束松紧这一设计精准匹配了真实遥操作的噪声结构,对整个人在回路 RL 方向都有直接启发。
数据来源:ArXiv 2026-09-24(Thu, 24 Sep 2026)公告批次 | 分析生成时间:2026-09-25 06:00 (北京时间)