📅 周末补遗。 arXiv 周末不做公告：网页端 listing 最新仍为 Fri, 25 Sep 2026，各分类当日条数为 cs.CV 143 / cs.RO 101 / cs.AI 260 / cs.LG 230 / cs.GR 7 / cs.MM 8，与上一期（2026-09-26 正刊）记录一字不差；ID 前沿探测显示 2609.30264 存在（v1 为 2026-09-24）而 2609.30500 起全部 404，HF daily_papers 在 09-26 返回 []、09-27 直接报「日期不能晚于 09-25」。确认无新公告日，故本期继续从 09-25 公告批次（582 篇）补选，不重复出已发过的日期。

经全站 706 个历史 arXiv ID 与 720 条历史标题双重去重，入选的 8 篇与已收录论文 0 重复；去重命中的 dup_id = 8 恰好等于上一期从同批次收录的 8 篇，自检锚点完全吻合。8 篇入选论文 v1 均为 2026-09-23/24 且为单版本，与公告批次一致；另剔除三篇旧文——Do World Models Make Better Robots?（2609.29669，v1 为 8 月 30 日）、Visual Representation and History Modeling for Navigation World Models（2609.29555，v1 为 8 月 26 日）与 RoboLDA（2609.29490，v1 为 8 月 24 日）。

本期最清晰的一条主线是：世界模型的成本正在被「重新分配」而不是被削减。Rolling-WAM 抓住的是联合 WAM 最要命的部署瓶颈——每个重规划周期都要把整段预测视野从纯噪声重新去噪一遍，而 receding-horizon 控制实际只执行开头一小段。它的解法不是砍掉未来视频预测，而是引入滑动窗口与滚动噪声调度：只对即将执行的动作块做完全去噪，对更远的块只做部分细化，窗口随新观测前移时被保留的块继续各自的去噪进度。4.5× 稳态重规划加速配上 LIBERO 98.1%、RoboTwin 93.3%，意味着「视觉想象有用但太慢」这个两难第一次被真正拆开。Representation World Model 从另一头做了同样的事：它干脆不建显式动力学模型，而是把规划直接写进表征几何——沿由端点表征构造的潜路径施加局部逆动力学监督，推断时在当前与目标表征之间直接连一条潜路径、用逆动力学还原动作，全程无递归 rollout、无动作空间搜索。

第二条主线是：通用 VLM 正在从「给建议」走向「亲自操作」，但需要一层正确的接口。World Action Agent 诊断得很准——现有系统要么让 VLM 间接预测约束或写程序，要么只给 VLM 看一眼场景而非一个可供行动的世界；缺的是三件事：观测不以交互为中心、动作不能先试后发、感知与动作不在同一空间。它用接触视图、动作预演（action rehearsal）与视图内校正补齐这三点，让 VLM 以基础图元在可视化动作工作区里当「机器人飞行员」：LIBERO-Pro 75.6% 平均成功率，超过端到端 VLA、code-as-policy 智能体与同骨干的 visual-harness 基线，且技能库只从 LIBERO-90 演化而来、冻结后直接迁移到 robosuite 不再学习。OCC4M 则在「VLM 该查询什么」上给出答案：不把原始历史塞给 VLM，而是维护一个共享世界坐标系下的对象中心 4D 记忆，显式表示时序、运动与容纳关系——记忆成功率 96.6% 对 FrameSamp 的 54.6%，换视角后 OCC4M 保持 100% 而全历史基线近乎归零。

第三条主线是：后训练与适配的「性价比」成为独立研究对象。ViRDM 直接质疑少步因果视频生成的通行配方：DMD 需要庞大的冻结 score 教师加在线 critic，三套视频扩散网络同时在显存里；它证明教师—critic 栈可以整套去掉，只让生成器对齐一个预先算好的目标表征分布，配随机截断的 clean-exit 监督、轻量 VAE 解码器与分阶段向量—雅可比积。结果是只需 20 次生成器更新、16 A100 GPU 小时，VBench 总分 84.87 反超此前最优少步因果基线 0.36，单卡峰值显存 77.1→48.3 GB、后训练时间 22→2 小时。Res-HIL 与 Self-Adaptive VLA 则把同样的「少花代价换适应性」思路用到机器人上：前者只学冻结模仿策略之上的残差、每次人工干预同时提供残差监督与前序行为的奖励整形，20 条初始示教、10 分钟在线训练后在五个富接触任务上全面超越全策略 HIL-SERL；后者不重训基座，而是加一个把部署期 rollout 压成潜上下文 token 的轻量上下文编码器，在 20 个未标定部署环境下把执行器偏置导致的平均成功率从 7.5% 拉到 45.0%（集成版 72.5%）。

📄 论文精选

Rolling-WAM: World Action Models with Rolling Imagination

链接： https://arxiv.org/abs/2609.30247

项目主页： https://rolling-wam.github.io/

作者 / 机构： Yinghua Zhou, Junjie Ye, Yiqi Zhao, Hao Dong, Celina Shiyu Wang, Ruohai Ge, Tingyi Yang, Basile Van Hoorick, Gaurav Sukhatme, Vitor Guizilini, Yue Wang（University of Southern California；Brown University；Fudan University；Toyota Research Institute）

一句话总结： 南加州大学联合布朗大学、复旦大学与丰田研究院提出 Rolling-WAM，把联合视频—动作去噪摊薄到连续的重规划周期上——维护一个处于错开噪声水平的滑动窗口，每步只把即将执行的动作块完全去噪、对更远的块做部分细化，窗口随新观测前移时被保留的块继续去噪，在 LIBERO 取得 98.1%、RoboTwin 93.3% 的同时带来 4.5× 稳态重规划加速，并在 Unitree G1 人形真机上验证。

研究问题： 世界动作模型（WAM）把动作生成与未来视觉预测耦合起来，为动作生成提供了视觉上下文。但闭环部署要求机器人依据最新观测反复重规划，而联合去噪采样器在每个重规划周期都要把整个预测视野从纯噪声处理到干净数据，每一次去噪步骤都处理完整的视频—动作序列，代价随视野线性增长。由此产生的推理延迟推迟了动作更新，直接限制了闭环响应速度。已有的加速思路是在测试时省略未来视频生成，代价是丢掉本可指导动作生成的显式视觉预测。核心问题是：能否在不牺牲视觉想象的前提下，打破「每次重规划都从头去噪」这一约束？

核心方法： ①滑动窗口 + 滚动噪声调度：维护一个由若干视频—动作块组成的滑动窗口，各块处于错开的（staggered）噪声水平。②只对近端完全去噪：每一步的滚动噪声调度把即将执行的动作块完全去噪以供执行，同时对更远未来的块只做部分细化。③窗口前移时延续去噪进度：随着新相机观测进入，窗口向前滑动，被保留下来的未来块从已有的中间噪声水平继续其去噪过程，而不是被丢弃重来。④跨块边界携带演化的视觉—动作上下文：由于远端块始终以部分去噪状态存在，视觉与动作的联合上下文在块与块之间连续传递，避免了标准 chunk 采样器在每次 replan 时的上下文断裂。⑤训练与推断使用同一注意力掩码，保证行为一致。

技术亮点：

  • 抓住了 receding-horizon 控制的根本浪费：常规 chunk 采样器在每次重规划时完整去噪一个全新预测视野，但机器人实际只执行其中开头的一小段——尾部从未被执行却付了全额计算代价。Rolling-WAM 让这部分「付出了却不执行」的计算在下一周期变成「已经做了一半的工作」。
  • 不牺牲视觉预测：与「测试时干脆不生成未来视频」的加速路线不同，它保留了完整的显式视觉想象，因此动作生成仍能受益于视觉上下文。这是它区别于同类加速方案的关键取舍。
  • 计算在时间维度上摊薄：去噪代价被分布到多个控制周期，而非集中在单个周期形成延迟尖峰——对真机闭环的抖动抑制比单纯的吞吐量提升更有价值。
  • 跨块上下文连续性：演化中的视觉—动作上下文跨越 chunk 边界携带，缓解了块状生成常见的时间不连续问题。
  • 训练/推断注意力掩码一致，避免了训练—推断失配这一常见隐患。

实验结果： 在 LIBERO 与 RoboTwin 仿真基准以及 Unitree G1 人形真机的三个操作任务上评估。Rolling-WAM 在 LIBERO 上取得 98.1% 平均成功率、在 RoboTwin 上取得 93.3%，与当前最优 WAM 相当或更优；相对标准联合 WAM 实现 4.5× 稳态重规划加速。论文指出该方法在保留视觉想象收益的同时显著降低了计算开销。

应用场景： 需要高频闭环重规划的真机操作（动态环境、易受扰动的工作位）、双臂与移动操作等动作块较长因而重规划代价更高的构型，以及任何部署在边缘算力上、被联合 WAM 推理延迟卡住的系统。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 把「联合 WAM 太慢」这个工程抱怨转化成了一个干净的调度问题，且解法不要求放弃视觉想象。4.5× 稳态加速配 98.1% / 93.3% 的成功率，直接削弱了「要视觉预测就必然慢」这一隐含假设，对 WAM 走向真机闭环是实质性的一步。

World Action Agent: Harnessing VLMs for Robot Manipulation via World Action Rehearsal

链接： https://arxiv.org/abs/2609.29964

作者 / 机构： Yehang Zhang, Haojian Huang, Yifan Chang, Jianchong Su, Bohan Zhou, Yingjie Xu, Wosong Chen, Tianhao Zhou, Chenxu Wang, Tianyi Zhang, Yangkai Wei, Wenqian Li, Shiyuan Deng, Yinchuan Li, Ying-Cong Chen, Zexi Li（HKUST(GZ) 香港科技大学（广州）；CUHK 香港中文大学；Knowin AI）

一句话总结： 港科大（广州）联合港中文与 Knowin AI 提出 World Action Agent（WAA），一个让通用 VLM 以基础工具直接「驾驶」机器人的多智能体 harness——通过接触视图、动作预演与视图内校正构成的可视化动作工作区，让 VLM 在动作发出前先预览并修订，在 LIBERO-Pro 上取得 75.6% 平均成功率，超过端到端 VLA、code-as-policy 智能体与同骨干 visual-harness 基线；技能库仅从 LIBERO-90 演化，冻结后零学习迁移到 robosuite。

研究问题： 通用 VLM 具备广博的知识与空间推理能力，但现有机器人系统对它的使用是间接的——要么让它预测约束或编写程序，要么只给它看一眼场景，而不是给它一个可以在其中行动的世界。作者指出由此缺失三件事：其一，观测不以交互为中心，而成功恰恰取决于夹爪、物体与目标之间的局部关系；其二，动作不能被「先试后发」，每个动作一旦发出立即生效，VLM 无从看到后果；其三，感知与动作处于不同空间，图像中观察到的偏移必须先改写成坐标才能被纠正。核心问题是：如何让通用 VLM 用自己的空间理解与基础动作图元，在执行全程中做出并修订决策，充当机器人飞行员？

核心方法： ①接触视图（contact views）：依据场景几何自动选出围绕当前交互位置的视图，把观测中心对齐到真正决定成败的局部关系上。②动作预演（action rehearsal）：把每个动作变成一份可编辑的提案，由主智能体独自或借助 Imagination Agent，在执行前对照规划反馈进行预览与修订。③视图内校正（in-view correction）：在观测、预演与底层执行之间闭环，让智能体在它观察所用的那个视图里直接消除残余偏移，无需跨空间改写坐标。④多智能体 harness：主智能体负责决策，Imagination Agent 负责预演反馈，Skill Agent 负责调用演化而来的技能库。⑤两种知识获取路径：从专家视频与人类示教中在证据化评审下演化多模态技能；用交互轨迹微调更小 VLM 来驾驶同一 harness。

技术亮点：

  • 把 VLM 的角色从「顾问」升级为「飞行员」：不是输出约束或代码，而是在工作区内直接做每一个决策——这是对 VLM 用法的一次定位转变。
  • 「动作预演」是一个很聪明的中间层：把动作从「不可逆的指令」变成「可编辑的提案」，让 VLM 的反思能力第一次能在物理执行前介入，而不是只能在失败后复盘。
  • 视图内校正消除了感知—动作的坐标鸿沟：在观察到偏移的同一个视图里直接修正，省掉了「图像偏移 → 坐标改写」这一易错且易累积误差的环节。
  • 技能库的可迁移性得到硬验证：技能只从 LIBERO-90 演化，且在评估前冻结——不使用任何 LIBERO-Pro 或 robosuite 的 rollout、失败日志或标签更新，同一套技能仍能直接在 robosuite 上生效。
  • 小模型蒸馏路径清晰：用 112 个成功 episode 中的 1,774 次主智能体工具调用微调 Qwen3.5-9B（LoRA rank 8），推断时只替换主智能体，把域外成功率从 1.7% 提到 43.3%。

实验结果： 在 LIBERO-Pro 的六个 split（Object / Goal / Spatial × 初始位置交换 Pos. 与任务扰动 Task，每 split 十个任务）与 robosuite 上评估，骨干为 Gemini 3.7 Flash，每个 split 评估 60 个 episode。WAA 配演化技能库取得 75.6% 平均成功率，对比 OpenVLA 0.0%、π0.5 12.8%、CaP-Agent0（CaP-X）18.2%、CaP-Agent0（Playful）23.2%、RATs（Playful）43.8%、ASPIRE 72.0% 与同骨干 visual-harness 基线 Show-Harness。场景点云可来自仿真器、融合 RGB-D 视图或 VGGT 重建三种来源并均有报告。用交互轨迹微调 Qwen3.5-9B 后，其域外成功率由 1.7% 升至 43.3%。

应用场景： 需要开放词汇空间推理的长程操作、难以收集大量机器人数据因而希望复用通用 VLM 能力的场景、以及希望把大模型能力逐步蒸馏到可本地部署小模型的分层机器人系统。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 在「VLA 微调会削弱 VLM 通用理解」与「WAM 需要机器人数据与动作对齐」之间找到了第三条路：不改动 VLM，而是给它一层正确的工作区。75.6% 的 SOTA 加上技能库冻结后跨基准迁移，说明这条路的可扩展性可能比端到端微调更强。

Representation World Model: Learning States, Transition and Executable Plans in Representation

链接： https://arxiv.org/abs/2609.29171

作者 / 机构： Yijun Yuan, Weicheng Zheng, Weibang Wang, Minghui Qin, Chang Sun, Junhao Huang, Kenan Li, Anmin Liu, Yicheng Yao, Hang Zhao（清华大学 MARS Lab；论文未在 arXiv 页面标注机构，此处据 arXiv comment 中标注的项目主页域名与作者信息推断，项目主页当前不可访问）

一句话总结： 清华团队提出 Representation World Model（RWM），把状态、转移与可执行计划全部学在表征空间里——不训练显式动力学模型，而是沿由端点表征构造的潜路径施加局部逆动力学监督，使表征几何本身保留任务相关的状态与转移信息；推断时在当前与目标表征之间直接构造潜路径，用逆动力学还原动作，无需递归 rollout、无需动作空间搜索。

研究问题： 现有世界模型通常把潜表征学习与显式动力学模型绑在一起，并借助搜索、优化或基于策略的预测来做规划。这条路线有两个隐含负担：一是必须额外学一个动力学模型，二是推断时的规划开销（递归 rollout 或搜索）往往很大。核心问题是：能否把规划能力直接编码进表征本身的几何结构，让「规划」退化为在表征空间里连一条线？

核心方法： ①在表征空间同时学状态、转移与可执行计划：RWM 不再分离「表征学习」「动力学学习」「规划求解」三个模块。②沿潜路径的局部逆动力学监督：由端点表征构造潜路径，并在路径上局部地施加逆动力学监督，要求这些路径保留任务相关的状态与转移信息，从而把规划结构刻进表征几何。③推断时直接构造潜路径：在当前表征与目标表征之间直接连出一条潜路径。④逆动力学还原动作：沿该路径用逆动力学恢复对应动作序列。⑤免除递归 rollout 与动作空间搜索。

技术亮点：

  • 把「规划」从算法问题转化为表征几何问题：这是与主流 latent world model 最本质的分歧——不是学得更好的动力学再配更强的搜索，而是让表征空间本身具有可直接连线的规划结构。
  • 局部逆动力学监督是关键的训练信号设计：监督施加在由端点构造的潜路径上且是局部的，这强制路径上每一点都承载可执行的转移语义，而非只有端点对齐。
  • 推断代价结构性地低：没有递归 rollout、没有动作空间搜索，规划就是一次潜路径构造加逆动力学解码，这对实时控制意义重大。
  • 规划与表征学习共享同一目标：避免了「表征为重建优化、规划为控制优化」这一常见的目标错位。

实验结果： 论文在连续控制基准上验证了 RWM 直接规划的有效性，并在机器人操作任务上进一步展示其扩展到更复杂具身控制任务的潜力。结果表明，直接在表征空间中规划为传统世界模型规划提供了一条有前景的替代路径。

应用场景： 对规划延迟敏感的连续控制与实时机器人操作、算力受限因而无法承担大规模 rollout 或搜索的边缘部署，以及希望用统一表征同时支撑状态估计、转移预测与动作生成的具身系统。

研究价值： ⭐⭐⭐⭐（4/5）— 思路上是一次相当大胆的简化：既然世界模型最终要服务于规划，为什么不直接让表征空间成为可规划的空间？虽然当前实验规模与对比的完备性还有待后续工作补强，但「规划即连线」这一构想在降低世界模型推断成本方面指向明确。（注：该文未提供可访问的 HTML 全文，实验细节以摘要与 arXiv 页面信息为准。）

Underwater C3-JEPA: An Object-Centric Cross-View World Model for ROV Salvage

链接： https://arxiv.org/abs/2609.30214

作者 / 机构： Yuncong Yang, Jinlong Li, Yulong Xue, Feng Wu, Chunwen Zhang, Lei Qiao, Xuyang Wang（Underwater Engineering Institute, Shanghai Jiao Tong University 上海交通大学水下工程研究所）

一句话总结： 上海交通大学水下工程研究所提出 Underwater C³-JEPA（cross-view、control-conditioned、context-extended），一个面向近场重载水下 ROV 打捞的以对象为中心的多视角预测式世界模型——在无接触传感器的条件下，从同步多视角 RGB 观测与载具控制信号出发，在潜空间预测任务对象状态如何在接触交互下、并在载具水动力滞后影响下演化；预测器仅 1.33M 参数，可直接用于 MPC 候选评估与想象 rollout 行为智能体训练。

研究问题： 大型沉没物的深海打捞是时间敏感任务：残骸留在海床上越久，污染扩散越严重。工业实践用工作级 ROV 挂吊索、再用起重机起吊，流程缓慢、需要大量人工干预且易损伤脆弱结构；把夹爪直接装在载具上可以省掉这一环节，但要求 ROV 在最后几米逼近目标——此时目标只有部分可见，且载具对每一次推进指令的响应都有明显延迟。在这一没有接触传感器、目标部分遮挡、控制响应滞后的极端条件下，如何获得一个可用于决策的预测模型？

核心方法： ①以对象为中心的多视角编码：把多相机观测编码为任务对象 token 与上下文 token；编码器采用 6 个 slot——3 个绑定 slot（目标 UUV、夹爪，以及一个仅用于绑定的固定 ROV 机架 slot）加 3 个自由上下文 slot，slot 维度 256。②跨视角证据融合：通过 held-out-view 交叉注意力（CrossViewMerge，8 头）融合跨相机证据，使某个相机丢失目标时其他相机仍能补足。③控制条件化的 JEPA 预测器：直接以控制为条件预测未来状态，给定 4 帧历史（1.0 s）预测 12 帧未来（3.0 s），最小化 token MSE 加余弦距离；完整预测器仅 1.33M 参数，因为预测的是融合后的对象 token 而非像素。④弱绑定（weak binding）以极低标注成本锚定目标与夹爪。⑤SIGReg 锐化几何表征。⑥重建目标为冻结的 DINOv3-L fp16 patch 特征。

技术亮点：

  • 把水动力滞后学进预测器而非外部补偿：仿真中模型由指令而非实测运动驱动，因此从控制到实际载具运动的映射——推力建立、附加质量惯性、交叉耦合——全部被学在预测器内部。这比单独建一个水动力模型再串联要干净得多。
  • 控制接口模态无关：仿真中的推进器与夹爪指令、以及实测中记录的控制信号与 DVL 推导运动，驱动的是同一个自回归 rollout。这让同一套模型能跨越仿真与实海数据。
  • 用于决策的预测状态：学到的预测状态可直接作为决策变量——候选指令序列可以 rollout、打分、再重规划，这是传统自动驾驶仪不具备的能力。
  • 无需新增传感器：训练只使用 ROV 本来就会记录的视频与遥测，对既有作业流程零改造。
  • 容忍单视角丢失：跨相机证据融合使得某一相机丢失目标时系统仍可工作，这对浑浊水下环境尤为关键。

实验结果： 所学表征向下游 probe 传递的任务相关信息显著多于一个无重建的潜空间基线，同时预测器保持轻量（1.33M 参数）。在真实水下视频上的验证表明，同一架构能够恢复被遮蔽相机（held-out camera）中的对象状态并持续优于 persistence 基线，说明该配方可以脱离仿真迁移。论文亦如实说明局限：海上试验为开环，水下精度以相对单位表示，闭环成功率尚待实测。

应用场景： 工作级 ROV 的近场打捞与最后几米逼近、水下检测、连接器对接、工具布放，以及任何必须在目标部分可见条件下对部分可观对象施加接触操作的近底作业。

研究价值： ⭐⭐⭐⭐（4/5）— 这是一个把「世界模型」放回到真实工程约束下的样本：无接触传感器、控制响应滞后、目标常遮挡、不能加装硬件。它的价值不仅在于 JEPA 变体本身，更在于证明了以对象为中心的潜空间预测可以成为水下作业的决策接口，且成本极低（1.33M 参数、无需新传感器）。

OCC4M: Object-Centric 4D Memory for Spatiotemporal Reasoning in Long-Horizon Manipulation

链接： https://arxiv.org/abs/2609.28798

补充材料： https://occ4m-sup.github.io/occ4m-supplementary/

作者 / 机构： Jack B. Jedlicki, Tanguy Dieudonné, Heng Yang（Harvard Computational Robotics Group, Harvard University；ETH Zürich）

一句话总结： 哈佛计算机器人组与苏黎世联邦理工提出 OCC4M（“Occam”），一个在共享世界坐标系下维护持久轨迹、并显式表示时序/运动/容纳关系的对象中心 4D 记忆——VLM 查询这一结构化记忆来为无历史的底层执行挑选可行动目标，在七个条件、350 个 episode 上取得 96.6% 记忆成功率与 88.9% 端到端成功率，远超使用完整观测历史的 FrameSamp 基线（54.6% / 57.7%）；换视角后仍保持 100% / 98%，而全历史基线近乎归零。

研究问题： 长程操作常常需要推理当前视角中并不存在的状态——一个已经消失的物体在哪里、物体的时序身份、或被打乱的容器里装了什么。固定场景描述会随物体被发现、移动或完成而过期；而保留每一次观测又会产生一段充满冗余与冲突状态的、不断膨胀的历史。核心问题是：在「固定描述会过期」与「全量历史会膨胀」之间，是否存在一种既持久又紧凑、且能被 VLM 直接查询的记忆结构？

核心方法： ①共享世界坐标系下的持久轨迹：OCC4M 在统一世界坐标系中维护对象的持久 track，而非保存原始帧序列。②显式的关系表示：显式编码时序关系、运动关系与容纳（containment）关系，把「什么时候、在哪里、在谁里面」变成可查询的结构。③VLM 查询结构化记忆：由 VLM 查询该记忆以选择可行动目标，交由无历史（history-free）的底层执行器执行——底层策略不需要任何历史输入。④记忆决策与端到端解耦评估：在机器人运动前，每个方法先给出一个「记忆决策」（所需对象身份与抓取/放置目标位置），其正确性记为记忆成功率（含 5 cm 几何目标误差阈值与任务相关的身份约束），与端到端成功率分开报告。

技术亮点：

  • 把记忆从「存帧」升级为「维护世界状态」：持久 track 加显式关系，既避免了固定描述的过期问题，也避免了全量历史的冗余膨胀。
  • 底层执行器做到 history-free：历史负担全部由记忆层承担，底层策略只看当前——这让系统模块化且易于替换为更强的执行器。
  • 视角迁移实验极有说服力：在受控的 viewpoint-transfer 测试中，OCC4M 保持 100% 记忆成功率与 98% 端到端成功率，而完整历史的 FrameSamp 掉到近乎零。这说明「记住了什么」比「看到了多少」重要得多。
  • 真机闭环同样成立：在 20 个固定相机 Franka episode 上，OCC4M 取得 85% 联合记忆准确率，而 FrameSamp 在不同上下文长度（K=16/32）下最高仅 30%。
  • 评估协议设计严谨：七个条件用同一组 N=50 评估种子，观测阶段录制一次并对所有方法重放，保证 RGB 历史与目标完全一致，排除了观测差异带来的混淆。

实验结果： 在 ManiSkill3 中的单臂移动 Panda（egocentric 肩部与腕部 RGB 相机）上，跨越六个任务族、共七个条件、350 个 episode 评估：OCC4M 取得 96.6% 记忆成功率与 88.9% 端到端成功率，对比使用 Gemini 3.7 Flash 与完整观测历史的 FrameSamp 基线的 54.6% 与 57.7%（同一执行器）。受控视角迁移测试中，OCC4M 保持 100% 记忆 / 98% 端到端，FrameSamp 降至近乎零。真机固定相机 Franka 上 20 个 episode，OCC4M 取得 85% 联合记忆准确率，FrameSamp 在 K=16/32 下最多 30%。

应用场景： 物体会被移出视野或重新排布的长程家庭与仓储操作、需要回答「刚才那个东西去哪了」的服务机器人、以及底层执行器不便处理长历史但上层具备 VLM 推理能力的分层机器人系统。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 用一组干净的对照实验说明了具身记忆的正确形态：不是更大的上下文窗口，而是结构化、持久化、显式带关系的世界状态。换视角实验里 98% 对近乎零的差距，几乎可以直接终结「把更多帧塞给 VLM」这条技术路线在长程操作上的想象空间。

Self-Adaptive VLA for Robust Robot Deployment

链接： https://arxiv.org/abs/2609.30092

作者 / 机构： Hongxin Zhang, Chunru Lin, Tsun-Hsuan Wang, Zhenjia Xu, Chuang Gan（University of Massachusetts Amherst；Genesis AI）

一句话总结： 马萨诸塞大学阿默斯特分校与 Genesis AI 提出 Self-Adaptive VLA，一套让 VLA 策略在部署期利用自身 rollout 作为上下文、迭代适应硬件漂移的后训练方案——在 20 个未标定的部署环境（每环境一次未见过的硬件漂移）下，把执行器偏置导致的平均成功率从基座的 7.5% 提升到 45.0%（集成版 72.5%），联合编码器偏置下从 5.0% 提升到 46.3%（集成版 75.0%）。

研究问题： VLA 模型在机器人操作上展现了 impressive 的能力，但其无记忆（memoryless）本质使它们在测试时的环境漂移面前十分脆弱，尤其是由磨损或标定不完善引起的硬件漂移。让这些模型在部署过程中自适配、而不需要持续的现场重新标定，是真实世界可扩展性的关键瓶颈。核心问题是：策略能否仅凭自身在漂移环境中的 rollout，就在部署期迭代地适应硬件漂移？

核心方法： ①在人为注入的硬件漂移下收集策略 rollout：先系统性地制造漂移环境并采集策略自身的行为数据。②把基座训练数据转成「漂移条件化」的专家示教：对这些已知漂移做预补偿（pre-compensating）专家动作，从而由原有数据构造出带漂移条件的监督信号。③轻量即插即用的上下文编码器：把漂移环境下的上下文——视觉观测、本体感知与动作——压缩成一个潜上下文 token。④用上下文 token 调制策略：该 token 对策略进行条件化调制，使策略能依据近期 rollout 推断当前硬件状态并自行纠偏。⑤集成变体：在上下文 token 之上做集成，进一步提升鲁棒性。

技术亮点：

  • 把「无记忆」直接指认为病根：VLA 之所以在硬件漂移下崩溃，本质上是它每次推断都从零开始、无法从自身近期行为中读出漂移。这个诊断把问题从「数据不够」转移到「缺乏部署期适配机制」。
  • 预补偿专家动作是一个优雅的数据构造技巧：不需要在漂移环境中重新采集人类示教，只需对已知漂移做数学上的预补偿，就把既有数据变成了漂移条件化的监督——成本极低。
  • 上下文编码器是即插即用的：作为轻量插件存在，不要求改动或重训基座 VLA，对已有部署的改造门槛很低。
  • 评测设计贴近真实：20 个 episode 各自采样一次未见过的硬件漂移，等价于 20 个不同的未标定部署环境，比单一漂移设置的评测更有说服力。

实验结果： 在四个双手与灵巧操作任务（Transport Corn、Insert Tube、Cap Marker 使用 6-DoF Piper / Piper-X 臂配平行夹爪；Assemble Ring 使用两条 7-DoF Marvin Arm 配 20-DoF Wuji Hand，均配置一个自我视角相机与两个腕部相机）上评估，每方法 20 个 episode、每 episode 最多 6 次尝试。名义条件下基座平均成功率 88.8%。执行器偏置下：基座 7.5%，Base + Shift Data 10.0%，Gated Memory Policy 30.0%，Self-Adaptive VLA 45.0%（恢复 46%），Ours + Ensemble 72.5%（恢复 80%）。联合编码器偏置下：基座 5.0%，Base + Shift Data 15.0%，Gated Memory Policy 41.3%，Self-Adaptive VLA 46.3%（恢复 49%），Ours + Ensemble 75.0%（恢复 84%）。

应用场景： 长期运行因而必然发生机械磨损与标定漂移的产线与仓储机器人、同一型号多台机器人间的个体差异适配、以及无法安排现场工程师反复重新标定的远程或家庭部署。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 直面了 VLA 落地中最不性感却最致命的问题：机器人会用坏的。45.0% → 72.5%（集成）的恢复幅度，配合「不重训基座、只加插件」的低成本形态，使它成为本期工程落地价值最高的工作之一。

Res-HIL: Human-Guided Residual Reinforcement Learning for Sample-Efficient Dexterous Manipulation

链接： https://arxiv.org/abs/2609.30023

作者 / 机构： Mariia Iavorskaia, Christian Dietz, Sebastian Albrecht, Majid Khadiv（Siemens AG, Research and Predevelopment, Germany；Technical University of Munich）

一句话总结： 西门子研究院与慕尼黑工业大学提出 Res-HIL，一个只学残差校正的人机闭环强化学习框架——在冻结的模仿策略之上学习修正动作，每次人工干预同时提供两个互补信号（对残差策略的直接监督 + 对前序自主行为的奖励整形），配合残差策略零初始化；仅用 20 条初始示教、10 分钟在线训练，即在五个富接触任务上全面超越最优的全策略人环 RL 与无人指导的残差微调。

研究问题： 模仿学习能让机器人从示教中获得操作技能，但得到的策略在训练分布外可能失效，而采集更多示教需要大量人力。人环强化学习（HIL RL）利用在线训练中的纠正性反馈，但通常学习完整任务策略而非精炼一个已预训练的模仿策略。核心问题是：能否让人环 RL 只学「需要修正的那一部分」，从而同时获得样本效率与稳定性？

核心方法： ①冻结模仿策略之上学残差：Res-HIL 在一个冻结的预训练模仿策略之上学习修正动作，基座能力不被破坏。②一次干预、两个信号：每次人工干预同时提供（a）对残差策略的直接监督，与（b）对干预之前自主行为的奖励整形（reward shaping）。③残差策略零初始化：保证训练初期残差输出为零、行为完全等同于基座策略，从而稳定并加速在线学习。④干预感知的奖励整形：只对干预前的行为做整形，使反馈落在正确的时序位置。

技术亮点：

  • 把「学什么」从整个策略缩小到残差：这是样本效率提升的根源——需要探索的空间被基座策略大幅约束，而不必从零重新发现技能。
  • 一次人工干预榨出两个学习信号：人类的一次纠正既告诉模型「此刻该怎么做」（监督），也隐含地评价了「之前哪里做错了」（奖励整形），信息利用率显著高于只用其一。
  • 零初始化是一个看似平凡却关键的设计：它保证了训练开始时的行为不劣于基座，避免在线 RL 常见的初期灾难性退化。
  • 消融把贡献拆清楚：直接残差监督对性能至关重要，而干预感知的奖励整形则大幅提升训练效率——两者作用不同且都必要。
  • 硬件设置贴近工业现实：UR5 机械臂 + 空间鼠标遥操作 + 两个夹爪相机 + 本体感知，视觉编码用 ImageNet 预训练的 ResNet-10。

实验结果： 在五个富接触操作任务上评估（Peg-in-Hole 简单/困难变体、Vent 插入、Cable 布线插入的两相机/三相机设定），每次在线实验重复三次、在 50 个预定义随机初始配置上评估。在线训练 10 分钟后的成功率：Res-HIL 100 / 64 / 50 / 66 / 92，对比 HIL-SERL 90 / 30 / 10 / 0 / 0、ResFiT（100 示教）0 / 0 / 0 / 0 / 0、Naive Res-HIL 12 / 0 / 0 / 0 / 0。最终成功率：Res-HIL 100 / 96 / 100 / 88 / 100，对比 ACT（20 示教）36 / 28 / 44 / 46 / 70、ACT（100 示教）84 / 60 / 80 / 80 / 92、HIL-SERL 100 / 94 / 84 / 0 / 0。Res-HIL 用 20 条初始示教即超过了用五倍示教训练的模仿策略。训练预算固定为简单 peg-in-hole 20 分钟、其余任务各 45 分钟。跨重复的成功率波动最多 4 个百分点。

应用场景： 示教成本高昂但允许少量在线纠正的工业装配与线束布线、需要严格遵循插入顺序否则损伤零件的精密装配，以及任何已有可用模仿策略、希望以最小代价继续打磨的真实产线任务。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 「用 20 条示教打败 100 条示教」是一个极具说服力的结果，而达成它的手段（残差 + 零初始化 + 双信号）都是低风险、易复用的工程选择。对工业界而言，这篇可能是本期最可直接落地的一篇。

ViRDM: Taming Representation Distribution Matching for Few-Step Causal Video Generation

链接： https://arxiv.org/abs/2609.28923

项目主页： https://neu-vi.github.io/ViRDM/ ｜ 模型： https://huggingface.co/cr8br0ze/ViRDM

作者 / 机构： Zichong Meng, Chongjian Ge, Chun-Hao P. Huang, Yang Zhou, Huaizu Jiang（Northeastern University；Adobe Research）

一句话总结： 东北大学与 Adobe Research 提出 ViRDM，一套无教师、无 critic 的少步因果视频后训练配方——用预先算好的目标表征分布替代 DMD 所需的庞大冻结教师与在线 critic，配合随机截断的 clean-exit 监督、轻量 VAE 解码器与分阶段向量—雅可比积，仅 20 次生成器更新、16 A100 GPU 小时即在官方 VBench 上达到 84.87，超过此前最优少步因果基线 0.36，单卡峰值显存 77.1→48.3 GB、后训练时间 22→2 小时。

研究问题： 少步自回归（AR）视频扩散支持低延迟流式生成，但现有后训练方法主要依赖分布匹配蒸馏（DMD），这要求同时具备一个大型预训练教师和一个在线 critic，通过 diffusion score 估计分布差异。这套「教师—critic」栈资源密集：三套视频扩散网络要同时在显存里。核心问题是：能否省掉这套资源密集的教师—critic 栈，只针对一个预先计算好的目标分布来后训练生成器？

核心方法： ①从 RDM 到视频的迁移研究：受一步图像生成中的表征分布匹配（RDM）启发，系统研究其迁移到少步因果视频生成的可行性，并识别出三个关键障碍：显存不可行的梯度路径、截然不同的视频优化范式、以及对时序动力学约束不足的表征分布。②随机截断的 clean-exit 监督：与 RDM 耦合，解决梯度路径的显存不可行性。③轻量 VAE 解码器：适配视频优化范式。④分阶段向量—雅可比积（staged vector–Jacobian products）：进一步压缩显存与计算。⑤只更新生成器：整个配方不训练教师、不训练 critic。

技术亮点：

  • 直接挑战了少步视频生成的默认配方：DMD 的「教师 + critic + 生成器」三网络配置长期被视为必要开销，ViRDM 证明在预先算好目标分布的前提下它可以被整体移除。
  • 三个障碍的识别本身就是贡献：把「为什么 RDM 不能直接搬到视频」拆成显存梯度路径、优化范式差异、时序欠约束三个可分别攻破的子问题，方法论上很清晰。
  • 成本下降是数量级的：20 次生成器更新、16 A100 GPU 小时、显存 77.1→48.3 GB、时间 22→2 小时——这把少步视频后训练从「大组专属」变成了实验室可承受。
  • 性能不降反升：VBench 84.87，超过此前最优少步因果基线 0.36，说明省掉教师与 critic 没有以质量为代价。
  • 探索性结果覆盖更广设置：论文还报告了同一配方在更低因果采样预算以及一步/两步/四步双向生成上的潜力。

实验结果： 在 8×A100 并行训练设定下，ViRDM 把单卡峰值显存从 77.1 GB 降至 48.3 GB、后训练时间从 22 小时降至 2 小时，同时 VBench 总分从 84.51 提升到 84.87。完整配方仅需 20 次生成器更新，总算力 16 A100 GPU 小时，在官方 VBench 评测上达到 84.87，超过此前最优少步因果基线 0.36。论文另报告了更低因果采样预算与一步/两步/四步双向生成的探索性结果。

应用场景： 实时交互式视频生成与世界模型（AR 视频扩散是交互应用的基础组件）、算力预算有限但又需要少步流式生成的团队、以及需要把大批预训练双向视频模型快速蒸馏为可部署因果学生的产品线。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 这是一篇典型的「把成本打下来」的工作，但它打的是方法论层面的成本而非工程调优：证明教师与 critic 对少步视频后训练并非必需。16 GPU 小时 + 84.87 分的组合，会显著降低该方向的进入门槛，也很可能改变后续工作的基线选择。

📊 今日研究趋势

世界模型正在从「预测机器」转向「决策机器」，而成本结构是新的战场。 Rolling-WAM 与 Representation World Model 看似路线迥异——一个重组去噪调度、一个取消显式动力学——但指向同一个目标：让世界模型的推断代价与其实际用途对齐。Rolling-WAM 的洞察是 receding-horizon 控制只执行视野的开头一小段，却为每个周期的全场去噪付了全额账单；把这部分计算在时间上摊薄后，4.5× 稳态加速与 98.1% / 93.3% 的成功率可以同时成立。RWM 则更进一步：既然规划才是目的，就让表征几何本身承载规划结构，推断时在当前与目标之间连一条潜路径、用逆动力学还原动作，递归 rollout 与动作空间搜索一并取消。Underwater C³-JEPA 从极端工况侧印证了同一判断——在无法加装接触传感器、目标常年部分遮挡的水下环境，一个 1.33M 参数的以对象为中心预测器就能充当 MPC 的决策变量，说明**「够用」的世界模型未必需要很大**。

通用 VLM 的操作化路径正在收敛到「正确的接口层」。 World Action Agent 与 OCC4M 都选择了不改动基础模型、而改造它看到和查询的东西。WAA 的三件套（接触视图、动作预演、视图内校正）分别解决了观测不以交互为中心、动作不可先试后发、感知与动作不同空间这三个被长期默认接受的缺陷，结果是 LIBERO-Pro 上 75.6% 的 SOTA 与技能库冻结后跨基准迁移。OCC4M 则在「查询什么」上给出更锋利的答案：不把原始历史塞进上下文，而是维护一个共享世界坐标系下的对象中心 4D 记忆，显式表示时序、运动与容纳关系——96.6% 对 54.6% 的记忆成功率差距，加上视角迁移后 98% 对近乎零的端到端对比，几乎可以终结「给 VLM 更多帧」这条路线在长程操作上的想象空间。两者的共同立场是：上下文的质量来自结构，不来自数量。

后训练与部署期适配的「性价比」被单独拎出来研究。 ViRDM 是最直接的一例：它质疑少步因果视频生成中 DMD 的教师—critic 栈是否必要，并用「对齐预先算好的目标表征分布」取而代之，把后训练成本压到 20 次生成器更新、16 A100 GPU 小时，而 VBench 反而升到 84.87。Res-HIL 与 Self-Adaptive VLA 把同样的精神用在机器人上：前者只学冻结模仿策略之上的残差、让一次人工干预同时产出监督与奖励整形两个信号，用 20 条示教超过 100 条示教训练的策略；后者不重训基座，只加一个把部署期 rollout 压成潜上下文 token 的插件，就在 20 个未标定部署环境里把成功率从 7.5% 拉到 45.0%（集成 72.5%）。这三篇的共同结论是：当基座模型越来越难改动时，改「包在它外面那层」往往是最高的杠杆——无论是换掉蒸馏目标、加一层残差，还是加一个上下文编码器。

🏆 最值得关注的 3 篇

  1. Rolling-WAM（2609.30247） — 把「联合 WAM 太慢」从一个工程抱怨拆解成了一个干净的调度问题，且不必放弃视觉想象。4.5× 稳态重规划加速配 LIBERO 98.1%、RoboTwin 93.3% 与 Unitree G1 真机验证，直接动摇了「要视觉预测就必然慢」这一隐含假设。

  2. OCC4M（2609.28798） — 视角迁移实验里 98% 对近乎零的对比是本期最有冲击力的一组数字。它用严谨的协议（同种子、观测重放、记忆成功与端到端解耦）证明了具身记忆的正确形态是结构化的世界状态而非更长的上下文，对分层机器人系统设计有直接指导意义。

  3. ViRDM（2609.28923） — 在方法论层面把少步视频后训练的门槛打了下来：无教师、无 critic，20 次生成器更新、16 A100 GPU 小时即达 VBench 84.87，显存 77.1→48.3 GB、时间 22→2 小时。对做实时交互式视频生成与世界模型的团队，这几乎必然会成为新的基线选择。

数据来源：ArXiv 2026-09-25（Fri, 25 Sep 2026）公告批次（周末补遗） | 分析生成时间：2026-09-27 06:00 (北京时间)