📅 本期覆盖 2026-10-09(Fri, 9 Oct 2026) arXiv 公告批次,去重后 739 篇(cs.CV 207 / cs.RO 105 / cs.AI 302 / cs.LG 324 / cs.GR 17 / cs.MM 12),各分类条数与上一期记录的 10-07 批次(164 / 133 / 350 / 355 / 8 / 3)明显不同,属新批次;文件名与标题沿用运行当天日期 2026-10-10。

经全站 786 个历史 arXiv ID 与 800 条历史标题双重去重,dup_id = 0、dup_t = 0,即本批次与历史零重叠(三个已知历史 ID 探针全部命中,去重脚本自检通过)。Top 32 候选逐篇核对 Submission history,剔除 1 篇旧文(2610.02660 SpectralCache,v1 = 2026-10-02 且单版本,属旧文重新进入 listing),其余 v1 全部落在 2026-10-07 ~ 10-08 且均为单版本,与公告批次一致。

本期八篇有一条贯穿的主线:世界模型正在从「预测未来长什么样」转向「被策略真正消费掉」。 PLaW-VLA 拿预测出的未来潜状态直接当动作生成的条件;WorldGuide 让生成出来的视频片段反过来决定下一步动作与何时终止;DreamTrue 用反事实生成的失败样本去修世界模型「只见过成功」的系统性偏差;UNITAS 则干脆换掉表示——它指出图像只是公制三维空间的视角相关投影,像素距离根本不等于物理距离。四篇从不同切口问的是同一件事:生成的未来如果不能支撑决策,它就还只是一段视频。 两条副线同样清晰:一是记忆从外挂走向内化,Learning-to-Retrieve 把显式检索通路换成模型内部状态加检索门与检索触发器,并用三维重可见性信号监督「什么时候该回头看」,WorldGuide 则用分层视觉记忆在 token 预算受限下维持长程状态;二是参数化比骨干更值得改,PathTime-VLA 把经典运动规划的 path-time 解耦搬进 VLA 动作表示,PTD 让学生用多项式去参数化教师轨迹段的曲率,WARP-VLA 用 MoE 专家吸收视角差异——三者都没有碰骨干,改的是「状态用什么坐标写出来」。


📄 论文精选

PLaW-VLA: Predictive Latent World Modeling for Vision-Language-Action Policies

链接: https://arxiv.org/abs/2610.12285

项目主页: https://rainyrobo.github.io/PLaW-VLA

作者 / 机构: Yu Liu、Hetian Guo、Tianlv Huang、Ziyi Cai、Wudi Chen、Hantang Wang、Qiutong Liu、Yingzhi Peng、Wei Han、Peijun Tang、Jianan Wang、Zipei Fan、Zhiyuan Zha、Xuan Song(吉林大学、Astribot、哈尔滨工业大学(深圳)、香港理工大学、东京大学)

一句话总结: 吉林大学与 Astribot 等提出 PLaW-VLA,在一个预训练的「面向预测」表示空间里建模任务相关的未来状态,并把它作为条件接入动作生成,从而用轻量潜世界模型换来长程控制与分布外泛化的双重提升。

研究问题: 让 VLA 策略学会预测世界如何演化,确实能为长程控制提供前瞻性上下文,但效果高度依赖两件事:一是预测什么样的未来表示,二是这个未来表示如何条件化动作生成。多数现有做法预测的是面向重建的视觉潜变量——模型被迫去还原与控制无关的低层视觉细节,既浪费容量,也让世界模型变得又大又慢。

核心方法: PLaW-VLA 的关键选择是在一个预训练好的、面向预测(prediction-oriented)的表示空间中建模任务相关的未来状态,而不是在像素或重建导向的潜空间里做预测。整体架在 Mixture-of-Transformers 之上,通过结构化的因果注意力,把动作生成同时条件化于三路信息:观测历史、当前任务语义、以及预测出的未来状态。因为是并行预测未来,且不做低层视觉重建,整个潜世界模型可以做得非常轻。

技术亮点:

  • 用「面向预测」而非「面向重建」的表示空间作为预测目标,从源头卸掉还原无关视觉细节的负担。
  • Mixture-of-Transformers 架构 + 结构化因果注意力,让观测历史、任务语义、预测未来三种条件各就各位。
  • 未来状态并行预测,避免自回归展开带来的延迟累积。
  • 与生成式 world-action modeling 相比,在策略性能相当的前提下推理延迟约降到 1/19。

实验结果: LIBERO 上平均成功率 97.4%,比其 π0.5 骨干高 0.5 个百分点,提升最明显的是 LIBERO-Long(92.4% → 94.6%),与「预测未来主要为长程任务服务」的设计动机一致;在七类扰动的 LIBERO-Plus 上零样本平均 72.7%,超过 OpenVLA-OFT 的 69.6%,其中 Robot Layout 一项达到 73.5%(π0 仅 6.0);RoboTwin Hard Horizon III 上相对反应式策略 +11.8 个百分点;零样本 LIBERO-Plus 上相对面向重建的潜预测再 +1.77 个百分点。

应用场景: 需要持续状态追踪与多阶段执行的操作任务;部署算力受限、无法承受生成式世界模型推理开销的机器人平台;以及训练与部署之间存在相机、光照、语言指令等分布偏移的场景。

研究价值: ⭐⭐⭐⭐⭐(5/5)— 已被 CoRL 2026 接收。它把一个长期被含糊处理的问题讲清楚了:世界模型该预测的不是「未来看起来是什么样」,而是「未来中与控制有关的那部分」。1/19 的延迟比意味着这条路线有现实部署价值,而不只是榜单上的增益。


UNITAS: A 3D-Native World Action Model for Embodied Manipulation

链接: https://arxiv.org/abs/2610.12099

项目主页: https://github.com/DexForce/UNITAS

作者 / 机构: Ruixiang Wang、Yongyi Su、Wenlve Zhou、Bo Yue、Hengyan Liu、Dekun Lu、Yuxin Tian、Yihan Fang、Zerui Wu、Xing Hu、Jietao Chen、Yong Guo、Ziyan He、Junbin Yuan 等(香港中文大学(深圳)、DexForce Technology、佛山大学、中山大学、华南理工大学)

一句话总结: 香港中文大学(深圳)与 DexForce 等提出 UNITAS,首个把观测、动作与场景动力学统一在同一公制三维坐标系中的 3D 原生世界动作模型,用三维点轨迹同时表示人手、夹爪与场景位移。

研究问题: 世界动作模型要回答一个耦合的物理问题:给定任务指令,机器人该执行什么动作,这个动作又会让周围世界怎么变。现有 WAM 大多建立在预训练视频生成器之上,用图像或视觉潜变量表示世界演化。但机器人交互发生在公制三维空间里,而图像只是这个空间的一个视角相关投影——同样的机器人运动、物体位移或接触事件,换个视角会产生完全不同的像素变化;相等的像素位移也未必对应相等的物理距离。再加上相机内参与相机—机器人位姿在不同本体间各不相同,这个映射还会随本体漂移。结果是:一段 photorealistic 的预测仍然可能误报物体位移、把刚性几何画变形,或让静止区域整体漂移。

核心方法: UNITAS 在同一轮交互内把观测、动作与场景动力学统一到一个共享的公制三维坐标系中,并使用跨机器人本体与人手通用的表示。Action flow 把人手与机器人夹爪都表示为三维点轨迹,scene flow 则描述以这些轨迹为条件的场景点位移。配套的 world-aligned 三维位置编码在有没有深度输入的情况下都能把视觉 token 锚定到物理空间;physical-time trajectory tokenizer 把每条点轨迹编码成单个 token,并锚定在其当前三维位置上。这套接口同时支持直接动作执行与动作条件化的场景预测。

技术亮点:

  • 首个 3D 原生(3D-native)世界动作模型,用公制三维坐标而非图像/视觉潜变量作为世界演化的公共表示。
  • Action flow 与 scene flow 统一参数化,人手与异构夹爪共用一套表示,天然支持跨本体与人手演示迁移。
  • World-aligned 三维位置编码让视觉 token 在无深度输入时也能获得物理 grounding。
  • Physical-time trajectory tokenizer 把整条点轨迹压成 1 个 token,既省序列长度又保留物理时间锚点。
  • 仅 1.7B 参数,已开源代码。

实验结果: 在 RoboTwin 上取得所比较方法中最好的动作条件化场景预测,位移误差比 PointWorld 低最多 49%;操作成功率达到当前最优,LIBERO 上 99.8%,真机任务平均 85%。

应用场景: 对度量精度敏感的操作任务(插孔、装配等需要真实物理距离判断的场景);需要跨本体复用、或希望直接利用人类手部演示数据的机器人学习流水线;以及需要同时输出动作与场景预测的统一模型部署。

研究价值: ⭐⭐⭐⭐⭐(5/5)— 这篇的意义在于它把问题重新表述了一遍:图像不是世界,只是世界的投影。当整个 WAM 社区都建在视频生成器上时,这个提醒十分必要。1.7B 参数做到 LIBERO 99.8% 加上位移误差减半,说明换表示带来的收益可能比堆骨干更大,而代码已开源让这条路线可被直接验证。


WorldGuide: Goal-Directed Video World Model for Procedural Task Execution

链接: https://arxiv.org/abs/2610.12459

项目主页: https://mbzuai-oryx.github.io/WorldGuide | 代码: https://github.com/mbzuai-oryx/WorldGuide

作者 / 机构: Ankan Deria、Komal Kumar、Hisham Cholakkal、Fahad Shahbaz Khan、Salman Khan(穆罕默德·本·扎耶德人工智能大学 MBZUAI)

一句话总结: MBZUAI 提出 WorldGuide,把程序性视频生成形式化为「视觉世界空间中的闭环任务执行」,并配套发布含约 5.9 万段步级标注视频的 WorldGuide Bench。

研究问题: 视频生成器与基于视频的世界模型能合成看起来合理的视觉轨迹,但长程程序性任务(折纸、装配、烹饪)要求生成过程能适应实际已经生成出来的东西:模型必须从当前生成状态决定下一个动作、执行它,并判断任务何时完成。开环生成在展开前就把指令或动作序列定死,既看不到中间进度、也无法修正某一步的错误,甚至可能在任务早已完成后继续生成。已有的闭环系统则往往依赖预训练的执行器或间接验证,在「决定一个动作」与「真正把它执行出来」之间留有缺口。

核心方法: WorldGuide 只接收初始图像与任务目标,然后循环执行三步:预测一个原子动作、生成该动作对应的视频片段、用生成结果选择下一个动作或终止。其中 ContextPlanner 由 Qwen2.5-VL-7B-Instruct 微调而来,学习从视觉进度预测下一个原子动作或任务完成;Executor 由 HunyuanVideo-1.5 微调而来,直接学习把预测出的动作实现为视频。两者在同一批步级程序性演示上联合训练。分层视觉记忆(hierarchical visual memory)在历史 token 成本有界的前提下维护长程执行状态。针对「缺乏步级 action-video 监督」这一空白,作者构建了 WorldGuide Bench:约 59K 段步级标注视频,覆盖 245 个任务、27 个程序性类别。

技术亮点:

  • 把程序性视频生成重新定义为闭环任务执行,规划器与执行器在同一批步级演示上共同训练,而不是「预训练规划器 + 冻结视频模型」的拼装。
  • 生成结果直接作为下一步规划的输入,「执行是否成功」成为可观测信号。
  • 分层视觉记忆以更粗的空间分辨率压缩远期历史,让 token 成本不随 rollout 长度线性膨胀。
  • WorldGuide Bench 填补了步级 action-video 联合监督数据的空缺,245 任务 / 27 类别 / 59K 视频的规模足以支撑后续研究。

实验结果: 在 WorldGuide Bench 上 Task Success 33.33%,超过强视频模型 MiniMax-H3 的 29.90%——且 MiniMax-H3 是拿到了参考动作计划的;在 Video-CraftBench 上 47.69%,对 MiniMax-H3 的 32.73%(同样只在 goal-only 条件下)。消融显示:闭环相对开环带来 +21.62% Task Success;视觉反馈单独贡献 +18.61% Task Success、Plan Success +5.34%,并把 Repeat/Skip 降低 4.46%;记忆机制分别在 WorldGuide Bench 与 Video-CraftBench 上贡献 +5.77% 与 +17.91%。视觉质量上,WorldGuide 在 WorldGuide Bench 上取得最高的 Aesthetic Quality 与 Overall Consistency。

应用场景: 折纸、装配、烹饪这类「一步错、步步错」的长程程序性任务;需要从视觉进度自动判断终止时机的生成式任务执行;以及作为程序性视频生成的标准化评测床。

研究价值: ⭐⭐⭐⭐⭐(5/5)— 论文 34 页、14 图、15 表,工作相当完整。它同时做了两件稀缺的事:给出闭环范式的清晰形式化,以及造出支撑这个范式的数据基础。在 MiniMax-H3 拿到参考动作计划仍被反超这一点上,闭环执行与联合训练的价值被相当有力地证明了。


Learning to Retrieve: Internalizing Memory Retrieval for Video World Models

链接: https://arxiv.org/abs/2610.11444

项目主页: https://jkhu29.github.io/l2r

作者 / 机构: JiaKui Hu、Tailai Chen、Yuqi Pan、Xuerui Qiu、Jialun Liu、Xiao Cao、Zhenxin Zhu、Guang Chen、Hangjun Ye、Bing Wang、Yanye Lu(北京大学、小米汽车、中国科学院自动化所、昆士兰大学、新加坡国立大学)

一句话总结: 北京大学与小米汽车等提出 Learning-to-Retrieve(L2R),把长程视频世界模型依赖的外部记忆系统换成模型内部状态上的检索门与检索触发器,让「何时检索、检索什么」成为生成过程内生的行为。

研究问题: 视频世界模型希望生成可探索、三维一致、以相机轨迹为条件的场景视频。为缓解长程生成中的场景漂移,现有方法普遍外挂一个显式记忆系统,去检索此前观察到过的内容。但这条辅助记忆通路运行在模型内部生成动力学之外——模型并没有真正学会什么时候该检索、该检索什么,只是在外部被喂了一份历史。

核心方法: L2R 的核心主张是把检索内化(internalize)进生成过程。它把模型自身的持久内部状态(persistent internal state)当作历史上下文的记忆体,再用两个可学习组件接管原本由外部系统承担的判断:相机条件化的检索门(camera-conditioned retrieval gate)从这个状态里选择性地读取相关信息,决定「检索什么」;检索触发器(retrieval trigger)决定「何时检索」。触发器用三维重可见性信号(3D re-visibility)监督——当此前观察过的内容重新进入当前视野时激活检索,否则保持既有上下文不变。整套机制不依赖独立的检索通路。

技术亮点:

  • 用模型内部状态替代外部记忆库,检索从「外挂模块」变成「生成行为」。
  • 检索门与触发器把「检索什么」与「何时检索」解耦为两个可分别监督的组件。
  • 用三维重可见性信号作为触发器的监督源,物理含义明确:只有真的「又看见了」才回头取。
  • 即插即用,作者在 Wan2.1-T2V-1.3B、Wan2.2-TI2V-5B 与 SANA-WM-2.6B 等多种骨干上验证,并给出 GLA 与 GDN 两种状态转移机制下的实例。

实验结果: 记忆容量三分支评测(Replay / Loop closure / Open-domain return)中,L2R-GLA 在全部 replay 指标及 loop closure 与 open-domain return 的 SSIM、O-V 上均列第一:replay PSNR 从最强基线 VMem 的 13.71 提升到 14.74(+1.03 dB);相对 Context as Memory(K = 20)PSNR 12.54 → 14.74(+2.20 dB)、SSIM 0.449 → 0.513、LPIPS 0.496 → 0.430;loop closure SSIM 以 0.375 居首;开放域返回 O-V 72.57,对比 VMem 的 64.73 与 Context as Memory 的 58.63。视频质量与相机可控性上,以 Wan2.2 为骨干时两个 L2R 变体在六个视觉质量维度上包揽第一或第二(L2R-GLA 六项全第一),相机可控性相比 CaR 把旋转误差从 12.98 降到 6.29、平移误差从 0.354 降到 0.300;以 SANA-WM 为骨干时,L2R-GDN 把重访一致性 PSNR 从 15.52 提到 17.29、SSIM 从 0.5076 提到 0.5597,平移误差从 0.383 降到 0.246。

应用场景: 需要长程三维一致性的可探索场景生成(虚拟漫游、数字孪生);相机轨迹可控的世界模型;以及作为现有视频世界模型的即插即用记忆增强模块。

研究价值: ⭐⭐⭐⭐⭐(5/5)— 这篇的诊断很准:外挂记忆让模型「有记忆」却没让它「会用记忆」。三维重可见性作为触发监督是一个既简洁又能讲清物理意义的设计。更关键的是它证明了记忆能力与生成质量、相机可控性并不必然互斥——六项视觉质量全第一的同时把旋转误差砍半,这在此前的记忆类方法里并不常见。


WARP-VLA: Wrist-Camera Adaptation for View-Robust Policy Execution in Vision-Language-Action Models

链接: https://arxiv.org/abs/2610.11508

作者 / 机构: Junmyeong Lee、Dongmin Shin、Min-Gyu Park、Wooseok Jeon、Inho Chang、Hae-Gon Jeon(延世大学、韩国电子技术研究院 KETI)

一句话总结: 延世大学与 KETI 提出 WARP-VLA,用 MoE 让不同专家学习视角特定的特征变换、再由路由依据隐式视角信息组合,使 VLA 在腕部相机安装存在偏差时依然稳健。

研究问题: VLA 在操作任务上进展迅速,但性能对相机配置变化极为敏感,跨装置部署时问题尤甚——要精确复现训练时的相机位姿几乎不可能。相比固定的外部视角,腕部视角更棘手:相机随机械臂一起运动,安装上哪怕很小的差异都会改变精细的几何线索,而恰恰是这些线索决定了抓取精度。

核心方法: WARP-VLA 采用 Mixture-of-Experts 架构,让各个专家分别学习视角特定的特征变换,再由一个 router 依据隐式视角信息把这些专家组合起来。值得注意的是,这套设计不需要把相机外参作为额外输入——视角信息是从观测里隐式推断的,因此部署时不必先做精确标定。作者同时发布了腕部视角鲁棒性基准与一套 plug-and-play 实现。

技术亮点:

  • MoE 专家分工吸收视角差异,router 依据隐式视角信息动态组合。
  • 无需相机外参输入,绕开了部署侧最麻烦的标定依赖。
  • 特征层面的适配在仿真中习得后可迁移到多样化的真实部署设置。
  • 配套发布腕部视角鲁棒性基准与即插即用实现,便于复现与横向比较。

实验结果: 在 LIBERO 基准的腕部视角扰动设置下,WARP-VLA 把 π0.5 的平均成功率从 39.2% 提升到 78.3%。真机实验进一步表明,仿真中学到的特征级适配能够成功迁移到多种不同的部署设置。评测协议覆盖 canonical / small / medium / large 四档腕部相机条件,其中三档非零扰动每档含 14 种相机配置(7 个方位角 × 2 个倾角),LIBERO 上每个扰动级别 560 个 episode、LIBERO-Plus 上每级别 1 万 episode,规模可观。

应用场景: 腕部相机安装无法做到与训练集严格一致的真实部署;需要跨多台机器人、多次拆装复用同一策略的场景;以及标定条件受限的低成本机器人平台。

研究价值: ⭐⭐⭐⭐(4/5)— 论文只有 9 页,属精悍型工作,但抓住了一个被低估的工程痛点:腕部相机是 VLA 部署中最不稳定的一环。39.2% → 78.3% 的落差说明这个痛点不是边角问题,而是能把性能砍半的主因。不需要外参这一点对落地尤其友好。


PathTime-VLA: Path-Time Decoupling for Factorized Post-Training of Vision-Language-Action Policies

链接: https://arxiv.org/abs/2610.11771

作者 / 机构: Qing Huang、Yifei Yang、Ziqing Zou、Anzhe Chen、Zhenjie Zhu、Yufei Wei、Rong Xiong、Yue Wang(浙江大学)

一句话总结: 浙江大学提出 PathTime-VLA,把经典运动规划中的 path-time 参数化引入 VLA 的动作表示,让几何路径与执行节奏解耦,从而支持分阶段的后训练。

研究问题: VLA 策略通常以固定时间间隔预测动作,这把「机器人走哪条路」与「走多快」耦合在了一起。这种耦合给从遥操作数据中学习带来了具体麻烦:演示里有用的几何信息,往往混着由接口延迟与操作者习惯塑造出来的一套时间节奏。直接模仿这套节奏,等于把人的操作延迟一起学了进去。

核心方法: 作者的切入点是把经典运动规划的 path-time 参数化搬进 VLA 的动作表示中。具体来说,运动被表示为以进度为索引的交互路径 X(s) 加上一个正的间隔时间剖面,后者定义一个单调的时间律 t(s),进而产出控制器命令 X(s(t))。对同一条路径,不同的执行方式只需要改时间剖面就能表达,几何预测目标保持不变——这让分块的速度选择不再干扰几何学习。基于这个表示,作者设计了分阶段后训练流程:演示与 DAgger 干预先建立目标域先验,Speed-DQN 从机器人交互中学习执行倍率,Path-AWR 则利用 rollout 结果精调 diffusion 路径生成器。一个 path-conditioned action expert 负责最终实现运动,同时为路径生成与执行节奏保持各自独立的学习接口。

技术亮点:

  • 把 path-time 解耦从经典运动规划移植到学习式动作表示,直指「遥操作节奏污染几何监督」这一具体病症。
  • 同一条路径可用不同时间剖面表达,使速度选择成为与几何预测正交的自由度。
  • 三阶段后训练(BC/DAgger → Speed-DQN → Path-AWR)各自对应清晰的学习信号来源。
  • Path-conditioned action expert 让路径生成与执行节奏拥有互不干扰的学习接口。

实验结果: 在 Franka Panda 真机上评测三个任务——插孔(peg insertion)、开微波炉(microwave opening)、放胶带并关抽屉(tape placement and drawer closing),覆盖精密接触、铰接物体交互与长程多阶段三类难点,每个方法每个任务 20 组随机初始条件、60 秒时长上限。完整方法取得 58/60 次成功,而 BC + DAgger 在固定 1× 速度下为 57/60;更重要的是,在成功 trial 上平均完成时间缩短约 39%–52%。分任务看,BC + DAgger 下 PathTime-VLA 为 57/60,明显优于耦合表示的 51/60。

应用场景: 从人类遥操作数据学习但希望摆脱操作者节奏的策略训练;需要在不改变任务成功率前提下显著提速的部署场景;以及铰接物体、精密插装等接触丰富的操作任务。

研究价值: ⭐⭐⭐⭐(4/5)— 8 页短文,思路却相当老练。它没有去卷骨干或数据量,而是重新审视「动作到底该用什么坐标表示」这个基础问题,并把经典运动规划里早已成熟的答案搬了进来。成功率基本持平而完成时间缩短四到五成,正说明被解耦出来的那个自由度原本是被白白浪费的。


DreamTrue: Action-Faithful Robot World Model with Counterfactual Post-Training

链接: https://arxiv.org/abs/2610.12468

项目主页: https://brave-eai.github.io/DreamTrue | 代码: https://github.com/brave-eai/DreamTrue

作者 / 机构: Junyan Li、Ruizhi Li、Yu Liu、Xiangshuo Liu、Mingchao Sun、Hongyu Pan、Mu Xu、Lue Fan、Zhaoxiang Zhang(中国科学院自动化研究所 NLPR、阿里巴巴集团高德)

一句话总结: 中科院自动化所 NLPR 与高德提出 DreamTrue,一个多视角、跨本体的机器人世界模型,通过动作轨迹的图像空间渲染加几何标定提升动作跟随,并用反事实后训练与缺陷奖励模型修掉「只见过成功」的预测偏差。

研究问题: 要训练一个动作忠实、物理合理的机器人世界模型,现有机器人数据集有两个绕不开的障碍。其一是标定不精确会损害动作跟随:跨本体时,动作条件与视频之间的对应关系本身就不可靠。其二是失败交互覆盖不足会让预测偏向成功结局:机器人数据集里绝大多数是成功演示,模型于是学会「无论什么动作,结果都会成功」——这恰恰让它作为世界模型最有价值的用途(想象失败)失效了。

核心方法: 针对第一个问题,DreamTrue 把动作轨迹渲染成图像空间的条件,并引入离线几何标定把这些条件与目标视频对齐,从而跨本体改善动作跟随。针对第二个问题,作者提出反事实后训练(counterfactual post-training):修改已记录的动作轨迹,在更宽的动作与接触配置下生成未来视频,主动扩宽交互覆盖。由于这些反事实未来没有配对真值,作者构造了一个覆盖机器人本体缺陷、物体缺陷与交互缺陷的人工标注视频数据集,用它训练一个 embodied video reward model,再以该奖励模型的分数引导强化学习后训练,把预测推向物理上更合理的交互结果。

技术亮点:

  • 动作轨迹的图像空间渲染 + 离线几何标定,把「动作条件与画面对不上」这个跨本体老问题显式建模并校正。
  • 反事实后训练通过扰动已记录轨迹主动制造失败样本,直接针对数据集的成功偏差。
  • 用人工标注的缺陷数据集训练 embodied video reward model,在没有配对真值未来的情况下为反事实生成提供反馈。
  • 奖励引导的 RL 后训练把「物理合理性」变成可优化目标,而非只靠像素重建损失隐式约束。
  • 多视角、跨本体设计,训练数据涵盖五种机械臂。

实验结果: 联合训练于 AgiBotWorld-Beta、DROID、RoboMIND 2.0 与 RoboTwin 2.0,过滤后共 2232 小时多视角轨迹、覆盖五种机械臂的真实与仿真环境;在 AgiBot 上额外构造了 54 个任务、160 个反事实测试条件。对比 DreamDojo、GE-Sim 2.0、Genie Envisioner 与 EnerVerse-AC,DreamTrue 在 AgiBot 上取得当前最优的动作跟随;人工评估的交互缺陷率从 48.12% 降到 6.25%(标注一致性 Fleiss’ κ = 0.7817);模型在 AgiBot World Challenge 2026 世界模型赛道排名第一。

应用场景: 作为策略评估与规划的想象引擎(尤其是需要想象失败分支的场景);跨本体、多视角的机器人视频预测;以及为机器人数据增广生成反事实轨迹。

研究价值: ⭐⭐⭐⭐⭐(5/5)— 这篇抓住了机器人世界模型最隐蔽的一个病灶:数据里几乎只有成功,模型于是学不会失败。反事实后训练加缺陷奖励模型是一套完整且可复用的解法,而缺陷率 48.12% → 6.25% 的幅度说明这个偏差原本有多严重。项目页与代码均已公开。


Parametric Trajectory Distillation for Few-Step Video Generation

链接: https://arxiv.org/abs/2610.11498

项目主页: https://alan-lanfeng.github.io/PTD/

作者 / 机构: Lan Feng、Peter Karkus、Maximilian Igl、Julius Berner、Yuxiao Chen、Shuhan Tan、Alexandre Alahi、Boris Ivanovic、Marco Pavone(洛桑联邦理工学院 EPFL、NVIDIA、斯坦福大学)

一句话总结: EPFL 与 NVIDIA 等提出参数化轨迹蒸馏 PTD,让学生用多项式参数化教师轨迹段、并沿自己预测的路径向教师 guidance 学习,在四步生成下同时保住运动、多样性与自然度。

研究问题: 视频扩散与流模型需要大量串行的网络求值,生成成本高昂。少步蒸馏能压缩开销,但它本质是一个容量分配问题:学生要用远少于教师的串行计算量去匹配教师的迭代生成过程。已有的轨迹类方法让学生去复现教师轨迹,而这些轨迹在高噪声区高度弯曲,往往超出学生的表达能力——回归于是把预测拉向目标分布的均值,细节被抹平。与此同时,分布匹配类方法(如 DMD)虽然静态质量好,却容易牺牲运动与多样性。

核心方法: PTD 让学生把教师轨迹段参数化为多项式,并沿自己预测出来的路径从教师 guidance 中学习。这样学到的曲率会自动适配骨干的预测能力,而不是被强行要求复现教师那条弯度过大的轨迹。曲率头(curvature head)只在训练时使用,推理阶段完全保持原始骨干架构,不引入任何额外开销。

技术亮点:

  • 用多项式参数化替代逐点轨迹回归,让可学习的曲率适配学生有限的串行计算容量。
  • 沿学生自身预测路径取教师 guidance,监督信号与学生的实际分布对齐,而非与教师的理想轨迹对齐。
  • 曲率头仅存在于训练期,推理零额外成本、零架构改动。
  • 在 Wan2.1-14B 与 33B 音视频模型 MiniMax-H3 两种尺度、两种范式(全参数与 LoRA)上均验证有效。

实验结果: 在 Wan2.1-14B 上,四步 PTD 在轨迹蒸馏中取得当前最优,在相同训练设置下动态质量与自然度显著优于此前该模型上最好的纯轨迹方法 PDD;在 33B 音视频模型 MiniMax-H3 上,LoRA 训练的 PTD 相对当前最优的 LightX2V Turbo 显著改善多样性与自然度。盲评人类投票给出 PTD 相对 PDD 的 55.1%、相对 LightX2V Turbo 的 63.4% 偏好份额;GPT-6 Astra 的多样性评分从 1.55 提升到 2.81。评测采用 100 个固定 prompt(50 个 ViMix 真人类别描述 + 50 个 Claude 生成的动作 prompt),每个模型每个 prompt 生成三个共享种子的视频,模型身份对评分者隐藏、行位平衡。

应用场景: 需要实时或低成本推理的视频生成服务;四步加速器的落地部署;以及音视频联合生成模型的少步压缩。

研究价值: ⭐⭐⭐⭐(4/5)— 把少步蒸馏重新表述为「让学生自己决定能弯多少」是一个很漂亮的视角转换,而且曲率头只活在训练期使之具备即插即用的工程价值。在 33B 模型上用 LoRA 就能压过 LightX2V Turbo,对实际部署尤其有吸引力。


📊 今日研究趋势

第一条主线是世界模型与策略之间的接口被重新设计。 过去一年,机器人世界模型的主流叙事是「先有一个会预测未来的模型,再想办法把它接到策略上」。本期四篇论文不约而同地认为接口本身才是瓶颈,而且各自的诊断指向同一个结论:问题不在于预测得准不准,而在于预测出来的东西是不是策略能用得上的形式。 PLaW-VLA 的答案是换预测目标——不要重建像素,在面向预测的表示空间里只预测与控制有关的部分,代价是推理延迟降到生成式 world-action modeling 的 1/19;UNITAS 的答案是换坐标系——图像只是公制三维空间的视角相关投影,像素距离不等于物理距离,于是它把观测、动作、场景动力学全部写进同一个三维坐标里,用 action flow 与 scene flow 统一表示人手、夹爪与场景点位移;WorldGuide 的答案是换控制结构——不再开环生成完再评估,而是让生成的视频片段直接决定下一个原子动作与何时终止,规划器与执行器在同一批步级演示上联合训练;DreamTrue 的答案是修数据分布——机器人数据集里几乎只有成功,模型于是学不会失败,它用反事实后训练主动制造失败分支,再用人工标注的缺陷奖励模型把「物理合理」变成可优化目标。四篇从表示、坐标、结构、数据四个不同角度切入,问的其实是同一个问题。

第二条主线是记忆从外挂模块走向模型内生的行为。 Learning-to-Retrieve 给出了本期最锋利的一个诊断:现有视频世界模型的记忆是外挂的,模型「有记忆」却从未学会「什么时候该用记忆」,因为检索判断发生在生成动力学之外。它的解法是把模型自身的持久内部状态当记忆体,用相机条件化的检索门决定检索什么、用检索触发器决定何时检索,并用三维重可见性信号监督触发器——只有真的「又看见了」才回头取。这个设计的物理含义清晰得几乎不需要解释。WorldGuide 则从另一侧处理同一件事:它的分层视觉记忆以更粗的空间分辨率压缩远期历史,让 token 成本不随 rollout 长度线性膨胀,消融显示记忆在两个基准上分别带来 +5.77% 与 +17.91% 的增益。有意思的是,两条路都通向一个与直觉相反的工程结论:一致性的提升来自更聪明地管理一个更小的记忆,而不是把记忆撑得更大。

第三条主线是「换参数化」正在取代「换骨干」成为性价比最高的改进路径。 本期有三分之一的工作没有触碰模型骨干,却拿到了显著的收益。PathTime-VLA 把经典运动规划的 path-time 参数化搬进 VLA 动作表示,用「以进度为索引的路径 + 正的间隔时间剖面」把几何与节奏解开,结果成功率基本持平而完成时间缩短 39%–52%——被解耦出来的那个自由度原本是被白白浪费的。PTD 让学生用多项式参数化教师轨迹段的曲率,而不是逐点复现教师那条弯度过大的轨迹,曲率头只活在训练期,推理零成本。WARP-VLA 用 MoE 专家吸收腕部相机的视角差异,在不需要相机外参的前提下把成功率从 39.2% 拉回 78.3%。三者的共同点是:瓶颈不在容量,而在状态被写在了不合适的坐标里。

第四条支线是评测与数据基础设施的同步推进。 WorldGuide Bench 用约 5.9 万段步级标注视频、245 个任务、27 个程序性类别,填补了「步级 action-video 联合监督」这一空白;WARP-VLA 发布了腕部视角鲁棒性基准;DreamTrue 构造了覆盖本体、物体、交互三类缺陷的人工标注数据集(Fleiss’ κ = 0.7817)。当方法层面的改进越来越依赖细粒度监督与细粒度判据时,谁先把评测床造出来,谁就定义了接下来一两年的比较方式。

🏆 最值得关注的 3 篇

  1. UNITAS — 它是本期唯一一篇挑战「世界该用什么表示」这一前提的工作。当整个 WAM 社区都建在预训练视频生成器之上时,它指出图像只是公制三维空间的视角相关投影,像素距离根本不编码物理距离,并据此把观测、动作、场景动力学统一到同一个三维坐标系里。1.7B 参数做到 LIBERO 99.8%、位移误差比 PointWorld 低最多 49%,且代码已开源,这条路线可被直接验证。

  2. WorldGuide — 它同时解决了「闭环怎么做」和「拿什么训练」两件事。把程序性视频生成形式化为视觉世界空间中的闭环任务执行,只是故事的一半;另一半是 WorldGuide Bench 这个 245 任务 / 27 类别 / 59K 步级标注的数据基础。最有力的证据是:MiniMax-H3 拿到了参考动作计划,Task Success 仍只有 29.90%,低于只给初始图像与目标的 WorldGuide 的 33.33%。

  3. DreamTrue — 它指出了一个所有人都知道却没人动手修的问题:机器人数据集里几乎只有成功,世界模型因此学不会失败,而「想象失败」恰恰是它作为规划工具最有价值的用途。反事实后训练加缺陷奖励模型的组合把人工评估的交互缺陷率从 48.12% 压到 6.25%,并在 AgiBot World Challenge 2026 世界模型赛道排名第一——这个幅度本身就说明了偏差有多深。


数据来源:ArXiv 2026-10-09(Fri, 9 Oct 2026)公告批次 | 分析生成时间:2026-10-10 06:00 (北京时间)