📅 本期覆盖 2026-10-07（Wed, 7 Oct 2026） arXiv 公告批次，去重后 788 篇（cs.CV 164 / cs.RO 133 / cs.AI 350 / cs.LG 355 / cs.GR 8 / cs.MM 3），各分类条数与上一期记录的 10-06 批次（285 / 174 / 554 / 600 / 14 / 7）明显不同，属新批次；文件名与标题沿用运行当天日期 2026-10-08（arxiv-daily-2026-10-07.md 已被上一期占用）。

经全站 778 个历史 arXiv ID 与 808 条历史标题双重去重，dup_id = 0、dup_t = 0，即本批次与历史零重叠（八个历史 ID 探针全部命中，去重脚本自检通过）。Top 32 候选逐篇核对 Submission history，剔除 2 篇旧文（2610.06877 v1 = 2026-09-15、2610.06862 v1 = 2026-07-24），其余 v1 全部落在 2026-10-03 ~ 10-06 且均为单版本，与公告批次一致。

本期八篇有一条非常清楚的主线：世界模型的评价标准正在从「生成得像不像」转向「潜状态里到底有没有那个物理世界」。 DepthWorld 把度量深度直接写进训练目标并证明了它会反哺 RGB（PSNR +1.48 dB）；Artemis 用共享的显式 3D 点云地图替换掉隐式 cross-attention；EP-IDM 从控制论给出一个近乎苛刻的判据——编码器必须保留每一个不稳定模态，否则再低的预测误差也无法让控制器稳定；而 Tracking Is Not Permanence 干脆把这个问题做成可测量的实验：V-JEPA 2 的编码器里明明线性可解码出物体存在与否（1.00），预测器却在 0.3 秒内就把它丢了。四篇从不同角度问的是同一件事。两条副线同样值得记：工程可部署性被当成一等目标（CtrlCache 用「控制先到」这个交互场景独有的零代价信号做缓存调度；AutodidactWAM 与 ViDAL 都是不改骨干的插件式迁移方案），以及视频—动作之间的非对称性被两篇同时盯上（前者发现视频渲染合理而协同生成的动作系统性错位，后者索性把动作潜空间锚定到未来视觉动态上）。

📄 论文精选

DepthWorld: 3D World Model for Robot Manipulation

链接： https://arxiv.org/abs/2610.08780

项目主页： https://www.jaibardhan.com/depthworld

作者 / 机构： Jai Bardhan, Josef Sivic, Vladimir Petrik（Czech Technical University in Prague，Czech Institute of Informatics, Robotics and Cybernetics）

一句话总结： 捷克布拉格技术大学团队（CoRL 2026）提出 DepthWorld，先用「学习式立体深度 + 联合因子图」把 DROID 数据集 7 万余条 episode 重新标定成统一的机器人基座坐标系，再训练一个基于 Stable Video Diffusion 的世界模型，通过空间潜变量拼接联合预测多视角 RGB 与深度，在同等训练预算下把 RGB 预测的 PSNR 提升 1.48 dB，同时产出可直接用于几何推理的度量深度。

研究问题： 世界模型被视为传统仿真器的数据驱动替代品，可用于策略评估、改进与规划——但这三件事全都依赖忠实的三维几何。当前的视频世界模型只在 RGB 上训练，逐帧看没问题，但这些帧拼不成一个自洽的三维世界：物体会在不该消失的地方消失，形状会漂移。堵上这个缺口需要两个条件同时成立：一是大规模的操作任务 3D 监督，二是能吸收这些监督又不破坏已有视频先验的架构。前者受限于真实机器人数据的标定质量（多视角外参往往不准且各 episode 不一致），后者受限于预训练 VAE 的结构约束。

核心方法： ① DROID-3D 标定流水线：用学习到的立体深度配合一个联合因子图，把同一套物理装置采集的所有 episode 汇聚（pooling）在一起联合优化，得到放在机器人坐标系下的、内部自洽的多视角外参——好到可以把机器人 URDF 渲染进每个视角并与真实图像匹配。② DepthWorld 模型：以 Stable Video Diffusion 为基座，通过 spatial latent tiling（空间潜变量拼接）联合预测多视角 RGB 与深度，关键约束是预训练 VAE 完全不动。③ 机器人坐标系下的 point-map 监督：一个轻量 point-map 头把预测投影到机器人物理基座坐标系，再与统一的三维点图对齐——这一步显式惩罚「不同视角预测出的深度互相矛盾」的情况，而逐视角深度去噪做不到这一点。

技术亮点：

  • 把「视频世界模型缺 3D」这个笼统批评，拆成了「大规模 3D 监督」与「能吸收 3D 的架构」两个可分别攻克的工程问题，并且两件事都做了。这是全篇最值得学的地方：很多工作只喊前者，然后在架构上妥协。
  • 联合因子图跨 episode 汇聚是个很聪明的选择。单场景逐次优化外参误差会各自漂移，而同一套装置的多条 episode 共享同一套相机刚性关系——把这些约束放进一个因子图里联合求解，等于用数据量换标定精度。
  • spatial latent tiling 保住预训练 VAE。改动 VAE 意味着丢掉视频先验，这篇宁可在潜变量的空间排布上做文章，也要让 RGB 侧的能力原样继承——这与「加个深度头微调」的常规做法拉开了差距。
  • 深度监督反哺 RGB 而不是拖累它（同等预算 PSNR +1.48 dB）是个反直觉但很有说服力的结论：3D 监督不只是额外产物，它是更好的形状正则。

实验结果： 标定质量在约 1000 个评测场景上对比 PointWorld：全部 995 个场景上，对极误差中位数从 5.84 px 降到 0.25 px、外参误差中位数从 13.19 px 降到 1.03 px、机器人坐标系下的深度误差中位数从 111.3 mm 降到 14.0 mm、掩膜 IoU 从 0.440 提升到 0.810；在基线能收敛的 815 个场景子集上趋势一致（0.25 px / 1.02 px / 13.9 mm / 0.819）。世界模型侧：在同等训练预算下，DepthWorld 相比架构与数据完全相同的 RGB-only 基线 PSNR +1.48 dB。论文共 32 页（含附录）、15 图 7 表，已被 CoRL 2026 接收。

应用场景： 需要几何一致性的机器人操作世界模型——策略评估（rollout 里的物体不会凭空消失）、基于模型的规划（可以直接用预测深度做碰撞与可达性判断）、以及把世界模型当仿真器做数据增广。标定流水线本身对任何使用 DROID 类多视角机器人数据的团队都有直接价值。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 少见的「把批评变成可交付成果」的工作：不但指出了 RGB-only 世界模型的三维不自洽，还把标定的底子（7 万 episode 重标定）和架构的约束（不动 VAE）一起做干净了。给社区的信号很清楚——3D 监督不是视频世界模型的附加项，而是它通往规划与控制的前提；而 PSNR +1.48 dB 说明这条路在纯视频指标上也不亏。

Parallel Predictive World Models for Accurate and Efficient Long-Horizon Planning

链接： https://arxiv.org/abs/2610.08627

作者 / 机构： Wanjin Feng, Baobin Zhang, Ao Yu, Shibo Feng, Xi Wang, Xingyu Gao（清华大学；中国科学院微电子研究所；香港科技大学（广州）；南洋理工大学）

一句话总结： 清华、中科院微电子所、港科大（广州）与南洋理工团队提出 PPWM，把长程世界模型规划从「逐状态自回归 rollout」改成并行预测整条有限时域轨迹——每个时域以其因果动作前缀为条件、未来表征在解码之前相互交互，从而在保留时间因果性的同时切断逐状态解码反馈路径；在四个视觉控制任务上取得最低的长程预测误差，并把 CEM 规划延迟从 1235.2 ms 压到 374.5 ms（3.30 倍加速）。

研究问题： 基于世界模型的规划通常靠自回归 rollout：把预测出的状态再喂回模型。这保留了时间结构，但带来两个代价——其一，规划时域有多长， sequential 计算路径就有多长，CEM 这类需要反复 rollout 的规划器被直接卡住；其二，后面的预测暴露在「解码状态反馈」之下，一旦解码出的状态有偏差，误差会沿着递归路径累积。作者提出的追问是：时间因果性与「逐状态输出递归」其实是两件事，能不能只保留前者？

核心方法： PPWM 把自回归 rollout 重新形式化为一个因果的有限时域映射，识别出其中那条 decoded-state feedback 通路，并把它移除：① 并行因果轨迹预测——模型一次性输出整条有限时域的轨迹，而不是逐步产出；② 每个时域以因果动作前缀为条件，保证未来不能偷看未来；③ 未来表征在解码之前先交互，让轨迹内部保持一致性。由此，时间因果性被保留，而「状态 → 解码 → 再输入」的递归被切断。该形式是与骨干无关的（论文给出 PP-LeWM、PP-DINO-WM 两个实例化）。

技术亮点：

  • 把「自回归 rollout」拆解成两个可分离的机制（因果性 vs. 解码状态反馈），是这篇最核心的概念贡献。此前大家默认二者绑定，因此加速的代价总被认为是「牺牲因果性」。
  • 切断反馈通路同时改善了精度与延迟，这一点不显然：通常效率与精度要取舍，而这里因为误差累积路径被移除，两者同向改善（MSE 全时域最低、延迟 3.30 倍下降）。
  • 方法是骨干无关的插件。PP-LeWM 与 PP-DINO-WM 两个版本都成立，说明收益来自「预测的组织方式」而非某个特定架构，迁移成本低。
  • 论文还指出 LeWM 的延迟随 rollout 长度快速增长，而 PP-LeWM 呈分段式（span-wise）增长——这解释了为什么它的加速比在长时域下会更大，对规划器是实打实的利好。

实验结果： 在四个视觉控制任务上：① 长程预测——PP-LeWM 在全部四个任务、全部报告时域上取得最低 MSE；PP-DINO-WM 同样在每个报告时域降低视觉潜变量误差，且相对降幅随时域增大（从 18.x% 起递增）。② 规划延迟——十步模型时域下，PP-LeWM 的平均 CEM 规划延迟为 374.5 ms，对比 LeWM 的 1235.2 ms 与 Fast-LeWM 的 475.8 ms，即相对 LeWM 3.30 倍加速，且在四个任务上延迟均为最低。③ 闭环控制——Two-Room 任务上轨迹精修带来的增益最明显，Anytime 与 Terminal 成功率相对 CEM 提升 2.67 个百分点，并稳定优于仅优化动作的 Adam 基线。

应用场景： 任何用世界模型做模型预测控制（MPC / CEM）的场景——视觉伺服、机器人操作规划、无人机与自动驾驶的轨迹推演；特别是规划时域长、且需要在有限算力下反复 rollout 的场景，收益最大。

研究价值： ⭐⭐⭐⭐（4/5）— 它不是提出新骨干，而是纠正了世界模型规划的一个默认假设：自回归不等于因果。一个形式化拆解换来「精度与延迟同时改善」，并且可以直接套在现有潜变量世界模型上，采用门槛极低。对做规划的人来说，3.30 倍的 CEM 加速意味着原本跑不动的时域长度现在能跑了。

Artemis: Geometry-Grounded Multi-Agent Driving World Models with Shared 3D State and Progressive Memory Update

链接： https://arxiv.org/abs/2610.07031

项目主页： https://liujiuming123.github.io/Artemis/

作者 / 机构： Sitian Shen（University of Oxford）, Jiuming Liu（University of Cambridge）, Mengmeng Liu（University of Twente）, Yian Wang（National University of Singapore）, Michael Ying Yang（University of Bath）, Francesco Nex, Hao Cheng, Daniele De Martini, Ayush Tewari, Per Ola Kristensson（牛津大学；剑桥大学；特温特大学；新加坡国立大学；巴斯大学）

一句话总结： 牛津、剑桥与新国大等团队提出 Artemis，一个几何接地的多智能体驾驶世界模型：用共享的显式三维点云世界地图替代此前主流的隐式 cross-attention 通信，并针对静态背景、非受控动态与智能体位姿设计三种渐进式更新机制；在 MA-CARLA 上把 PSNR 从 13.459／16.015 提升到 17.743，LPIPS 从 0.530／0.414 降到 0.309。

研究问题： 视频世界模型正在从单智能体走向多智能体，因为真实世界的复杂动态与跨智能体交互更有价值。但现有方法有三个硬伤：① 用 cross-attention 做隐式跨智能体通信，缺乏显式几何约束与统一的三维状态，导致多视角一致性差、且难以复原视野外（out-of-sight）的智能体；② 多数方法假设背景静态，无法表达非受控的背景动态；③ 评测场景多为游戏式合成环境，动力学过于简化，难以反映严重遮挡下的泛化能力。

核心方法： ① 共享显式 3D 状态：构建一个基于全局点云的世界地图并保证跨视角一致，智能体之间的关联不再只靠注意力隐式学出，而是落在统一的三维几何上。② 记忆增强的流式世界更新：针对三类不同性质的元素分别设计更新机制——静态背景（持久保留）、非受控动态（如其他车辆与行人的自主运动）、智能体位姿（自身状态演化），从而实现渐进式（progressive）状态更新而非每帧重算。③ 在此之上做多智能体未来演化预测。论文还提及在旋转角空间构造正则单纯形以获得等距的智能体嵌入，并用稀疏 hub attention 降低计算开销。

技术亮点：

  • 「隐式通信不够，得有共享的三维状态」这个判断，直接对应了多智能体世界模型最具体的失效模式——视野外的智能体复原不来。有了全局点云地图，「那个刚才被挡住的车现在应该在哪」就变成几何问题而不是猜。
  • 把世界更新按元素性质拆成三套机制，而不是一个统一的记忆模块。静态、非受控动态、自身位姿的更新频率与守恒性质完全不同，分开处理既省算力也避免相互干扰。
  • 显式几何让「一致性」变成可约束的目标，而不是只能靠训练数据隐式涌现——这与本期 DepthWorld、EP-IDM 的思路在同一个方向上汇合。
  • 在合成游戏场景之外，直面严重遮挡与非受控背景动态，是评测设定上的进步。

实验结果： 在 MA-CARLA 数据集上与多智能体世界模型基线对比：PSNR 17.743（OASIS 13.459、Solaris 10.900、Solaris 微调后 16.015）；SSIM 0.566（0.500 / 0.378 / 0.522）；LPIPS 0.309（0.530 / 0.660 / 0.414）；主体一致性 0.902（0.828 / 0.759 / 0.896）；背景一致性 0.949（0.921 / 0.916 / 0.953，Solaris 微调略高）；美学质量 0.536（0.440 / 0.392 / 0.502）；成像质量 0.568（0.434 / 0.525 / 0.581，Solaris 微调略高）。整体而言在外观类指标与一致性指标上均以较大幅度领先两个基线。

应用场景： 多车协同感知与仿真的自动驾驶世界模型；需要跨视角一致性的城市场景视频生成；车路协同与多智能体轨迹预测的数据增广；以及作为闭环评测里的可交互仿真环境。

研究价值： ⭐⭐⭐⭐（4/5）— 多智能体世界模型是目前最缺「几何锚点」的分支，Artemis 给出了一个直接可复用的答案：共享三维点云 + 分类记忆更新。MA-CARLA 上的领先幅度（PSNR 相对最强基线 +1.73 dB）说明这条路确实有效。稍显可惜的是部分指标（背景一致性、成像质量）仍略低于微调后的 Solaris，说明外观保真度与几何一致性之间尚未完全兼得。

Preserving Unstable Modes Through Inverse Dynamics in JEPA World Models

链接： https://arxiv.org/abs/2610.07540

代码： https://github.com/LeoToso/JEPA_control

作者 / 机构： Leonardo F. Toso（Columbia University）, Yann LeCun（New York University, AMI Labs）, James Anderson（Columbia University）, Oumayma Bounou（New York University）

一句话总结： 哥伦比亚大学与纽约大学团队（LeCun 参与）从控制论出发证明了一件对 JEPA 世界模型相当要紧的事：预测得好并不保证控制得住——编码器必须保留系统的每一个不稳定模态，否则再低的预测误差也无法稳定系统；而常用的防坍缩正则（SIGReg）允许训练损失达到最小的同时把所有不稳定模态丢光。他们提出 EP-IDM（从首尾潜状态重建动作序列的逆动力学目标）修正这一点，把 latent-LQR 成功率从 0 提升到 100%。

研究问题： 机器人系统普遍存在不稳定模态：沿这些方向，微小扰动会无界增长，必须靠反馈持续纠正。从高维视觉观测控制这类系统，要求学到的表征保留这些模态。JEPA 看起来是天然框架——它从视觉数据里学表征与动力学。但作者指出一个致命缝隙：「下一步预测 + 防坍缩正则」并不保证可控的不稳定模态被保留下来；训练损失可以被最小化，而这些模态同时被坍缩掉，于是从学到的表征出发根本无法镇定系统。

核心方法： ① 理论刻画：Lemma 1 给出充要条件——作用在潜状态上的控制器能镇定系统，当且仅当编码器保留了每一个不稳定模态；Lemma 2 证明，在 SIGReg 作为防坍缩正则时，训练目标可以取到最小值而编码器丢弃全部不稳定模态。② EP-IDM（endpoint-conditioned inverse dynamics modeling）：从初始与终止潜状态重建动作序列；Theorem 1 证明，在动作激励充分的条件下，精确重建会保留 H 步内可达的每一个方向，因而保留 H 步内可达的每一个不稳定模态。③ 不稳定子空间恢复：证明随时域 H 增大，有限时域可控性 Gramian 的主导特征空间收敛到不稳定子空间。

技术亮点：

  • 把一个模糊的担忧变成了两个引理加一个定理。「JEPA 的潜空间够不够控制用」此前只能靠实验感觉，现在有了充要条件与反例，讨论终于有了公共基准。
  • 指出防坍缩正则本身可能正是罪魁：SIGReg 只保证表征不坍缩成常数，并不保证保留哪些方向。这个区分极其重要，也是全篇最有冲击力的一点。
  • 用逆动力学而非预测来保模态，思路很巧：预测只需要「看起来对」，而逆动力学要求「动作可从首尾状态反解」，后者强制潜空间保留动作能影响到的方向——恰好就是可控与不稳定的那部分。
  • 实证还发现编码器增益这个可测量的中间量能区分成败：iBOT 的增益接近 1，而 DINOv2 把同样的扰动放大约 22–26 倍。这给后续工作提供了一个便宜的诊断指标。

实验结果： 在潜空间控制实验中，只用预测目标 + SIGReg 的训练取得 0 的 latent-LQR 成功率（且 MFS 指标很低），而加入 EP-IDM 后成功率达到 100%。使用 iBOT 编码器时，MSP + PR-EP-IDM 取得 100% 的 LQR 与 CEM 成功率。作为参照，基于真实状态的规划器在 500 个时间步上取得 3.15 m 的平均前向位移，并在 PointMaze 上表现强劲。消融显示编码器增益（‖Δz‖/‖Δx‖）随初始扰动幅度变化：iBOT 在各档扰动下增益均接近 1，而 DINOv2 将扰动放大约 22–26 倍。

应用场景： 任何把 JEPA / 联合嵌入预测架构用作控制前端的场景——从视觉观测直接做潜空间 LQR 或 MPC 的机器人控制；具身智能体需要在不稳定动力学（倒立摆类、接触丰富操作、飞行）上保持镇定的任务；以及作为评估「世界模型表征是否可控」的理论工具。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 这是一篇会改变后续一批工作训练目标的论文。它证明了预测目标与可控性之间存在真实的、可形式化的缺口，而且这个缺口在常用正则下是默认打开的。EP-IDM 的修正成本低（一个额外重建目标）、理论闭环完整、实证反差强烈（0 → 100%）。对任何相信「自监督表征可以直接拿来控」的人来说，这是一篇必须读的降温之作。

CtrlCache: Accelerating Interactive Video World Models with Control-Aware Caching

链接： https://arxiv.org/abs/2610.08777

项目主页： https://wrecklong.github.io/CtrlCache/

作者 / 机构： Shangye Song, Hong Jia, Yun Sing Koh, Xinyu Zhang（University of Auckland）, Dong Gong（UNSW Sydney）

一句话总结： 奥克兰大学与新南威尔士大学团队提出 CtrlCache，一个免训练的交互式视频世界模型缓存加速方案：抓住交互场景独有的一个事实——一个 chunk 的控制信号在它被去噪之前就已经到达，因此可以零前向代价地由控制信号推导出缓存调度；在 Matrix-Game 2.0 与 LingBot-World v1/v2 上取得最高的 WBench Overall，同时给出 1.21–1.41 倍的 DiT 骨干加速。

研究问题： 交互式视频世界模型要一边高效生成每个视频 chunk，一边忠实响应用户控制。主流做法是分块自回归 + 少步去噪，但每个 chunk 仍需若干次昂贵的去噪迭代。免训练缓存能降低成本，可现有策略主要从模型内部的去噪动力学出发做复用决策，没有显式考虑控制转移（control transitions）——而控制转移恰恰是交互场景里信息量最大、也最容易被忽略的信号。

核心方法： ① 观察到一个免费的信号：交互生成中，一个 chunk 的 controls 在它被去噪之前到达，所以从这些控制推导出的调度不需要任何前向传播。② 控制感知的缓存调度：分析不同控制下相邻 chunk 之间的关系，据此决定哪些去噪步可以复用缓存特征、哪些必须重算。③ 完全免训练，可直接挂在已有的分块自回归世界模型上。论文共 18 页。

技术亮点：

  • 「控制先到」这个观察简单到几乎像作弊，但确实是交互场景独有的免费午餐。非交互的视频生成没有这个信号；而交互生成天然把用户的下一步意图提前暴露给了系统，不用来做调度简直是浪费。
  • 把缓存决策的依据从「内部动力学」扩展到「外部意图」。此前所有免训练缓存都在看去噪过程自身的变化量，这篇第一次把「用户想往哪走」这个因果上在先的量纳入决策。
  • 免训练 + 三个骨干通用（Matrix-Game 2.0、LingBot-World v1/v2），采用成本几乎为零。
  • 质量不降反升：它不只是「更快且略差」，而是在 WBench 五个维度上唯一全部超过原始模型的方法。缓存通常是有损的，这里之所以能反过来，正是因为该重算的地方（控制发生转移处）被精确识别了。

实验结果： 在 WBench navigation track 上评测三个骨干：① 整体上，CtrlCache 在所有参评方法中取得最高的 WBench Overall，同时 DiT 骨干去噪加速比为 1.21×–1.41×；在所有加速方法中，它在每个骨干上都取得最高的 PSNR 与 SSIM、最低的 LPIPS，即与原始输出保真度最接近。② 在 Matrix-Game 2.0 上，CtrlCache 是唯一在 WBench 五个维度上全部优于原始模型的方法，Overall 从 0.6543 提升到 0.6786，超过表现最好的缓存基线 EasyCache（0.6625），同时 PSNR 高出 1.05。③ 在 LingBot-World v1/v2 上取得 Overall、PSNR、SSIM、LPIPS 四项最佳，同时保持 1.26× 与 1.21× 的可比加速。

应用场景： 可交互的开放世界视频生成与游戏式世界模型（用户实时控制相机与移动方向）；具身智能与自动驾驶的实时视觉仿真；需要低延迟响应的世界模型 API 服务。由于免训练，可直接部署到已在运行的系统上。

研究价值： ⭐⭐⭐⭐（4/5）— 在一个被认为「只能做有损加速」的方向上，靠一个被所有人忽略的免费信号同时做到了更快且更好。1.21–1.41 倍的加速倍数本身不算惊人，但它证明了**「利用交互场景的因果结构」**这条思路还有大量空间可挖，这个启示比加速比更重要。

Tracking Is Not Permanence: What Video World Models Keep of a Hidden Object

链接： https://arxiv.org/abs/2610.07355

作者 / 机构： Peng Xie, Amr Alanwar（Technical University of Munich，TUM School of Computation, Information and Technology）

一句话总结： 慕尼黑工业大学团队做了一件罕见的诊断工作：把物体从冻结的 V-JEPA 2 预测器视野中藏起来，然后问——模型还「记得」它吗？答案是几乎不记得：运动物体在 0.3 秒内就被预测器判为不存在（在 V-JEPA 自身的 tube mask 下也只撑到 0.5 秒），静止物体平均只在 13%–41% 的场景中被保留（对照组最多 7%，直接复制最后一帧的参照组为 97%–98%）。而在渲染场景上，缺陷被定位到预测器一侧：冻结编码器的表征里，物体存在与否的线性解码准确率高达 1.00。

研究问题： 视频世界模型能追踪它们看得见的物体；那么对于看不见的物体，它们还保留着什么？这是「物体永存性（object permanence）」在潜空间里的版本，也是长程一致性、遮挡推理与具身规划的共同前提。既往评测要么依赖模型判断、要么依赖参考视频，缺乏对潜状态内容的直接测量，因此「模型到底有没有这个信念」一直说不清。

核心方法： ① 信念探针（belief probe）：对被遮蔽 token 做逐 tubelet 的违反预期测试（violation-of-expectation）——把冻结预测器对遮蔽区域的预测，与编码器对「两个只在该区域内不同的世界」的表征做比较，并配两个严格匹配的对照组。② 系统性拆解：分别考察运动物体、静止物体、被容器带走的物体、以及在片段末尾重新揭示物体的情形。③ 定位缺陷来源：在渲染场景上，分别测试从冻结编码器线性解码「存在性」与「盒子里装了什么」的准确率，与预测器的表现对照，判断信息是丢了还是没被用上。

技术亮点：

  • 把「模型有没有物体永存性」这个哲学味很重的问题，做成了一个可复现、带对照组的量化探针。这个探针本身可能比结论更值钱——后续任何长程记忆工作都可以用它来证明自己真的改善了信念而不是改善了像素。
  • 关键结论是「信息在，但预测器不用」：冻结编码器上「存在性」的线性解码准确率是 1.00、盒子内容 0.91–1.00，且事件后 3.5 秒内都成立。这意味着问题不在表征学习，而在预测器的使用方式——这个定位会直接改变后续工作的发力点。
  • 「复制最后一帧」的对照组达到 97%–98% 是个漂亮的反衬：它说明探针测的不是低层视觉残留，而是真正的信念；同时也说明模型学到的「惯性」远比我们以为的强。
  • 还发现在片段末尾揭示物体只会影响相邻的 tubelet，即预测器是局部填补而非更新全局信念——这是一个非常具体、可检验的失效模式。
  • 论文诚实指出：在这些 checkpoint 上，相关基准的分数并不追踪信念，因为控制课程显示「哪种习惯赢得增益取决于规则」。

实验结果： 对公开的 V-JEPA 2：① 运动物体在主查询下、三个规模上均在 0.3 秒内被判为缺失；在 V-JEPA 自身的 tube 几何下为 0.5 秒（预训练 90% 掩蔽率下，ViT-L 与 ViT-g 仍在 0.3 秒内丢失，ViT-H 可保持到 1.1 秒）。② 静止物体平均在 13%–41% 的场景中被保留（对照组至多 7%，复制最后一帧的参照 97%–98%），投影中仍留有残迹但低于中点，仅为「复制最后一帧」基线保留量的 14%–60%。③ 被容器带走的物体完全不被保留。④ 渲染场景上：冻结编码器线性解码「存在性」达 1.00、「盒子内容」0.91–1.00，覆盖事件后 3.5 秒；缺陷位于预测器侧。

应用场景： 作为世界模型与视频生成模型的诊断工具（尤其用于长程一致性、遮挡推理、记忆机制的效果验证）；具身智能中需要「物体离开视野后仍知道它在哪」的规划与操作任务；自动驾驶中对被遮挡车辆与行人的持续推理。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 本期我最愿意推荐的一篇。它不给方法，只给事实，但给的是能改变研究方向的事实：视频世界模型的永存性缺失不是「再多训一点」能解决的，因为信息明明就在编码器里（线性解码 1.00），是预测器没用上。0.3 秒这个数字会成为后续工作反复被引用的基线。

AutodidactWAM: Cross-Modal Self-Distillation from Generated Video to Robot Actions

链接： https://arxiv.org/abs/2610.08119

作者 / 机构： Sergei Kurchev, Iaroslav Kolomiets, Miguel Altamirano Cabrera, Artem Lykov, Dzmitry Tsetserukou（Skolkovo Institute of Science and Technology (Skoltech)；MWS R&D Center）

一句话总结： 斯科尔科沃科技学院团队发现并正面处理了 world-action model 的「视频—动作非对称」：用轻量 LoRA 把 Cosmos 3 这类 WAM 适配到一台 Unitree G1 人形机器人（配 BrainCo 五指手）后，生成的视频看起来像模像样，但协同生成的动作系统性错位——原生动作在抓取前／抓取／取放三阶段的真机成功率只有约 17% / 10% / 7%。他们提出 AutodidactWAM，用一个手部姿态估计器从模型自己生成的视频里恢复动作、经门控筛选后做跨模态自蒸馏，把三阶段成功率拉到 75% / 47% / 42%，并能在蒸馏中未见过的物体上达到 80%。

研究问题： World-action models（如 Cosmos 3）能从观测与指令同时生成未来视频与机器人动作，看上去是「视频世界模型 + 策略」的完美组合。但把它轻量微调到一个此前未见过的本体（这里是带五指灵巧手的人形）时，会出现一种顽固的非对称：视频分支渲染出看似合理的执行过程，动作分支却系统性地瞄不准。作者在真机上按三个累计阶段（抓取前、抓取、取放）做闭环评测，量化了这个落差，并追问：既然视频分支是对的，能不能让它来教动作分支？

核心方法： ① 量化非对称：在真机上分阶段评测原生协同生成动作的成功率，确认失败确实集中在动作侧而非视觉侧。② AutodidactWAM：引入一个手部姿态估计器，从模型自身生成的视频中恢复出动作序列（recovered action），这相当于让模型「看自己生成的演示」来反推该怎么动。③ 门控机制（gate）：只采纳通过门控的恢复动作，避免把视频里的错误也一起蒸馏进来。④ 跨模态自蒸馏：以恢复出的动作为正样本、原生协同动作为负样本做偏好式训练（论文对比了纯 SFT 的做法，指出起作用的不是对比目标本身，而是各项损失的组合）。论文 8 页，已投稿 ICRA 2027。

技术亮点：

  • 「让模型看自己生成的视频来学动作」是个很自然的自监督闭环，但要让它真的成立，需要一个可靠的中间量——这里选了手部姿态，因为它既是视频里可恢复的、又是动作空间里可执行的，是跨模态的天然桥梁。
  • 门控是这套方法能工作的关键。自蒸馏最怕把噪声当监督，用一个通过率约 75% 的门控先筛一遍，等于给自监督加了一道质量闸。
  • 明确对比了 SFT 基线并指出它会「先变好再单调退化」，这个负面结果对同类工作很有参考价值：简单复用预训练目标去拟合恢复动作，是不够的。
  • 如实报告了天花板：蓝球这类物体上所有训练行都很低，作者把它归因于该 checkpoint 训练过程中的腕部漂移（wrist-drift）上限——DTW/路径指标相对自己第一轮提升 47%，但在第 14 轮后进入平台期，并明显压住了闭环成功率。这种坦白比一个漂亮的平均数有用得多。
  • 完全不改动基座：LoRA 适配 + 自蒸馏，是典型的「不重训大模型也能迁到新本体」路线。

实验结果： 在 Unitree G1 人形 + BrainCo 五指手上的真机闭环试验：① 零样本从生成视频恢复出的动作，经过门控后达到 约 75% 的抓取前成功率（原生动作约 17%），证实门控后的恢复动作足以当监督。② 经过自蒸馏后，三个阶段（抓取前／抓取／取放）的成功率达到 约 75% / 47% / 42%，对比原生动作的 17% / 10% / 7%。③ 泛化到蒸馏中未见过的物体：在该物体上达到 80%；完整取放任务在两个物体上分别为 20% 与 30%，而未训练基线为 0% 与 10%。④ 蒸馏目标上，是各项损失的组合而非单独的对比目标驱动了上述增益（验证集偏好准确率可作为旁证）。

应用场景： 把通用 world-action model 快速迁移到新的机器人本体（尤其是人形与多指灵巧手）；缺少该本体真机动作标注、但有大量视频时的策略适配；以及作为「视频分支监督动作分支」这一自监督范式的范例。

研究价值： ⭐⭐⭐⭐（4/5）— 它把一个很多人私下遇到但没人正面写过的现象（WAM 的视频与动作分支不是同步变好的）变成了可复现的真机数字，并给出了一个成本很低的修正方案。8 页的短文体量、真机数据完整、还如实交代了失败案例（蓝球与腕部漂移），含金量高于篇幅。

ViDAL: A Visual Dynamics-Grounded Action Latent Space for Vision-Language-Action Models

链接： https://arxiv.org/abs/2610.08150

作者 / 机构： Yuan Xu, Yixiang Chen, Qisen Ma, Jiabing Yang, Peiyan Li, Kai Wang, Jianhua Yang, Jianlou Si, Jun Huang, Jing Liu, Nianfeng Liu, Yan Huang, Liang Wang（中国科学院自动化研究所 CASIA；中国科学院大学 UCAS）

一句话总结： 中科院自动化所团队提出 ViDAL，据其所知是第一个把 VLA 的动作潜空间锚定在未来视觉动态上的工作：用一个 Action VAE，在重建动作块的同时把潜变量对齐到未来场景的视觉动态，得到的动作表征作为插件供回归式与流匹配式动作专家使用，完全不需要改动 VLM 骨干；在双臂 RoboTwin 2.0 上把多任务 π0.5 提升 11.2%（Clean）/ 9.9%（Random），真机 Franka 单臂 +20.0%、ARX 双臂 +23.4%。

研究问题： VLA 已成为机器人策略学习的主流范式，其动作预测有三种形态：原始动作块、离散动作 token、连续动作潜变量。但现有动作表征主要建模动作轨迹本身，很少考虑这些动作会引起的视觉动态。作者认为这是个被漏掉的强约束：一个好的动作表征，应该同时编码「做了这个动作之后，世界会变成什么样」。

核心方法： ① Action VAE 联合训练：一个动作变分自编码器，一边重建动作块（保证动作信息不丢失），一边把它的潜变量对齐到未来场景的视觉动态（注入动力学含义）。② 插件式动作潜空间接口：训练完成后，冻结的 Action VAE 直接作为下游 VLA 策略的动作表征，同时适用于回归式与流匹配式动作专家，VLM 骨干一行不改。③ 论文还系统比较了四种冻结视频编码器作为对齐目标的效果，并分析了增益随数据量的变化。

技术亮点：

  • 把「动作表征」的定义从「轨迹」扩展到「轨迹 + 它引起的世界变化」，这个转向非常干净。动作本身是高维冗余的，而它的视觉后果是物理上更本质的量——用后者去约束前者，等于给动作表征加了一层物理正则。
  • 真正的插件式设计：不改 VLM 骨干、不动动作专家类型（回归与流匹配都适用）。这意味着任何已有 VLA 流水线都能试，落地阻力极小。
  • 在四种视频编码器上做了目标选择消融（VAE 最强，CogVideoX、SVD 与自监督 V-JEPA都会缩小增益），说明「用哪种未来动态来对齐」本身是个值得研究的设计维度，而不是随便选一个就行。
  • 同时覆盖仿真与真机、单臂与双臂四个设定（LIBERO、RoboTwin 2.0、Franka、ARX），证据链完整；在高维双臂场景上的增益（+11.2%）明显大于低维单臂（LIBERO 上 +0.3%），这个规律本身就是个有意思的发现——维度越高，动作表征的质量越关键。

实验结果： ① LIBERO：OpenVLA-OFT + ViDAL 平均成功率 97.1%（基线 96.8%，+0.3），并与动作 token 化 VLA（π0-FAST 94.2%、FASTer 97.9%）及引入视觉动态／世界模型的近期 VLA（GR00T-N1.5 93.9%、WorldVLA 81.8%、DreamVLA 92.6%、UniVLA 95.2%、Villa-X 90.1%）同台比较，π0.5 + ViDAL 在对比中取得最高均值，且无需动作离散化、也无需在 VLM 骨干上加辅助监督。② RoboTwin 2.0（更高维的双臂）：多任务 π0.5 在 50 个任务上提升 **11.2%（Clean）**与 9.9%（Random）；在 Random 场景扰动下增益保持，使多任务 π0.5 + ViDAL 在两个 split 上都超过官方的单任务 π0 专家。③ 真机：Franka 单臂绝对增益 +20.0%，ARX 双臂 +23.4%。④ 目标消融：四种冻结视频编码器中 VAE 目标最强，CogVideoX、SVD 与 V-JEPA 均会缩小 +ViDAL 的增益。

应用场景： 所有 VLA 策略的动作表征替换（回归式与流匹配式动作头均适用）；双臂与高自由度操作（增益最大）；需要在少量数据下提升动作表征质量的场景；以及与世界模型／视频预测模型结合时的接口设计。

研究价值： ⭐⭐⭐⭐（4/5）— 在一个已经被做得很密的方向（VLA 动作表征）上，找到了一个此前没人占领的位置：用未来视觉动态给动作潜空间打底。它的价值不只是涨点，而在于提出了一个可迁移的设计原则——动作表征应该由它的物理后果来定义。真机双臂 +23.4% 说明这个原则在高维场景下尤其有效。LIBERO 上 +0.3% 的边际收益也提示：在已经饱和的低维基准上，这条路的空间有限。

📊 今日研究趋势

一、世界模型的评价标准正在换轴：从「像不像」到「潜状态里有没有那个世界」。 本期四篇从不同角度指向同一件事。DepthWorld 最直接——把度量深度写进训练目标，证明 3D 监督不仅不拖累 RGB，反而让 PSNR 涨了 1.48 dB，说明「几何自洽」与「视觉保真」并非对立。Artemis 走的是另一条路：当多智能体世界模型用隐式 cross-attention 做通信时，跨视角一致性与视野外智能体的复原都做不好；换成共享的显式三维点云地图后，这些变成几何问题而非学习问题。EP-IDM 则从控制论给出最苛刻的一条判据：编码器必须保留每一个不稳定模态，否则控制器根本镇定不住——而常用的防坍缩正则允许损失取到最小的同时把这些模态全丢掉。Tracking Is Not Permanence 干脆把「潜状态里有没有物体」做成了可测量的实验。四条路径的共同结论是：光看生成结果的评测已经不够用了。

二、「能预测」与「能控制」之间的裂缝被正式摆上台面。 这是本期最具理论冲击的一条线。EP-IDM 给出充要条件（Lemma 1）与反例（Lemma 2），把「自监督表征能不能直接拿来控」从一个经验问题变成一个有定论的问题。Tracking 那篇则从实证侧呼应：V-JEPA 2 的编码器里，物体存在性的线性解码准确率高达 1.00、事件后 3.5 秒都成立——信息是有的，只是预测器不用。这两篇合起来说明，表征学习与控制器之间的接口，可能是当前世界模型最薄弱的一环。PPWM 是这条线上的第三个注脚：自回归 rollout 的 decoded-state feedback 既是误差累积的通道，也是延迟的来源，而它与「因果性」其实可以解耦。

三、工程可部署性被当成一等研究目标，而不是事后优化。 CtrlCache 是这一趋势最聪明的例子：它没有去改模型，而是抓住了交互场景的一个结构性事实——控制信号在去噪之前就到达，于是调度可以零前向代价地推导出来。结果不只是更快（1.21–1.41×），而是在 WBench 五个维度上唯一全部超过原始模型的方法。AutodidactWAM 与 ViDAL 则代表了另一种务实：不动基座、只替换或蒸馏出更好的中间量。前者用 LoRA 适配 + 自蒸馏把一个通用 WAM 迁到带五指手的人形上，后者把动作潜空间做成可插拔的接口，回归式与流匹配式动作头都能用。三篇都在回答同一个工程问题：在基础模型已经很贵的前提下，怎么让新本体、新场景用得上它。

四、视频与动作之间的非对称性，正在成为视频动作模型的显学。 AutodidactWAM 给出的是最刺眼的证据：视频分支渲染出看似合理的执行过程，而协同生成的动作在真机上只有 17% / 10% / 7% 的成功率。它的解法是让视频分支去教动作分支——用可恢复的手部姿态做跨模态桥梁，配一道门控筛掉噪声。ViDAL 则在更基础的层面处理同一问题：既然动作与视觉后果本来就该对齐，那就在定义动作表征时就把未来视觉动态锚进去，而不是等模型自己学。两条路一个有事后纠偏的味道，一个是事前设计，但都承认了同一件事：视频与动作不是同一个模态的两个头，它们需要显式的桥。

🏆 最值得关注的 3 篇

  1. Preserving Unstable Modes Through Inverse Dynamics in JEPA World Models（2610.07540） — 一篇会改变后续训练目标的论文。它把「预测目标与可控性之间存在缺口」从担忧变成定理，并指出这个缺口在常用的防坍缩正则下是默认打开的；实证反差是 0 → 100% 的 latent-LQR 成功率。任何用 JEPA 做控制的人都不能绕开它。
  2. DepthWorld: 3D World Model for Robot Manipulation（2610.08780） — 少见的「把批评做成基础设施」的工作：7 万余 episode 的重标定流水线 + 不动 VAE 的联合 RGB-深度预测，并用一个反直觉的结论（深度监督让 RGB 的 PSNR +1.48 dB）证明 3D 不是负担。CoRL 2026，32 页，工程与科学都站得住。
  3. Tracking Is Not Permanence: What Video World Models Keep of a Hidden Object（2610.07355） — 没有提出任何方法，却给出了本期最硬的一个事实：运动物体在 0.3 秒内就被预测器遗忘，而编码器里的存在性线性解码准确率是 1.00。这个反差把「长程一致性」的讨论从架构层面拉到了信念层面，其探针本身也会成为后续工作的标配工具。

数据来源：ArXiv 2026-10-07（Wed, 7 Oct 2026）公告批次 | 覆盖去重后 788 篇 | 分析生成时间：2026-10-08 06:00（北京时间）