📅 今天是 2026-10-05(周一),arXiv 周末不做公告,且周五批次的公告约在周五 18:00 UTC(北京时间周六凌晨)才上线,所以周一清晨看到的仍是上一批次。网页端 listing 各分类最新仍为 Fri, 2 Oct 2026,当日条数 cs.CV 215 / cs.RO 107 / cs.AI 381 / cs.LG 430 / cs.GR 14 / cs.MM 8,与前三期一字不差;ID 前沿探测显示 2610.02205 存在(v1 为 10-01),而 2610.02500 / 2610.03000 / 2610.03500 / 2610.04000 / 2610.04500 全部 404 —— 多方取证确认无新公告批次,因此本期继续从 10-02 批次(去重后 886 篇)取稿,为该批次的第 4 次取稿。

经全站 754 个历史 arXiv ID 与 784 条历史标题双重去重,dup_id = 24 —— 恰好等于前三期从该批次收录的 8 + 8 + 8 篇,自检锚点完全吻合;标题去重零命中。Top 30 候选逐篇核对 Submission history,v1 均为 2026-09-29 ~ 10-01、且全部单版本,与公告批次一致,无旧文需剔除。核心方向候选仍然充足(world model 10 / video gen 9 / VLA 8 / distill 10 / embodied 36)。

本期八篇有一条很清晰的主线:视频世界模型正在被追问「你到底渲染了什么」而不是「你渲染得像不像」。ROWBench 与 PhysicsLENS 是这条主线上最锋利的两把尺子——前者拿可重放的程序执行记录去核对视频里是否真的出现了时间戳对应的事件,后者把只写在提示里、画面上根本看不出来的物理属性(重量、黏度、摩擦)单独抽出来做匹配对评测。结论都不客气:MAGI 4.5B Distill 生成的所有 21 段「看起来合理」的视频,没有一段遵守了指定属性。而 World Observer 与 SemanTok 则在补这条主线暴露出的窟窿——前者让离开视野的物体继续在观察者里演化,后者让 AR 模型的前几个 token 先扛起语义、后段再补像素。


📄 论文精选

World Observer: Joint Actor-Observer Generation for Persistent World Modeling

链接: https://arxiv.org/abs/2610.02162

项目主页: https://cvlab-kaist.github.io/world-observer

作者 / 机构: Hyunwook Choi, Dahyun Chung, Hyunsung Kim, Siyoon Jin, Jinhyeok Choi, Junyoung Seo, Seungryong Kim(KAIST AI 韩国科学技术院人工智能研究院)

一句话总结: KAIST AI 团队提出 World Observer,把世界模型里的「观察」与「行动」解耦:**在生成智能体中心视角(actor)的同时,联合生成一个或多个全景观察者(observer)**去盯住被选中的世界区域。物体一旦离开 actor 视野,就在 observer 里继续演化,等它重新入画时带回的是更新过而不是被冻结或凭空重建的状态。2B 模型在 Real / Synthetic 两套 OOV-Bench 上 FID 29.30 / 19.65(最好的 28B LingBot-World 为 39.87 / 28.75)、FVD 291.7 / 196.2,而出画动力学指标 OOV-D_gt 0.426 / 0.531、OOV-D_self 0.408 / 0.526 全面领先被比较的全部模型。

研究问题: 视频世界模型模拟「环境如何随智能体动作演化」,但它们是以行动者为中心的。一旦某个物体移出当前视野,模型就失去了关于它如何演化的直接证据,重新入画时往往保不住它的状态与动力学——要么丢失、要么冻结、要么不一致地重建。现有的持续性世界建模工作基本都在 actor 这一条视角上做文章,而这恰恰是问题的根源:只有一条视角,就没有「出画之后会怎样」的信息来源。

核心方法: ① Actor–Observer 联合生成:一次前向里同时生成智能体中心视角的 perspective actor,与一个或多个观看指定世界区域的全景 observer。② 共享全景源的几何对应:actor 与各 observer 都从同一份全景源做 warping 得到,从而具备显式的几何对应关系,而不是各生成各的。③ Observer Sink:维护一组高分辨率的透视参考,物体重新入画时用它们恢复精细外观。④ 观察者可自由配置:因为与 actor 解耦,observer 可以放在场景任意位置、扩展到多个地点以获得更大覆盖,也可以被控制信号驱动,从而主动操控出画区域的演化。⑤ 世界空间度量:用分割模型与度量尺度深度估计把物体提升到 3D,定义 OOV-F(有效离场并返回的频度)、OOV-D_gt(出画运动与真值动力学是否一致)、OOV-D_self(生成动力学在整段出画区间是否自洽)。真实全景视频之外,还用 CARLA 合成数据补足现实中难以采集的多观察者配置。

技术亮点:

  • 把「观察」从「行动」里拆出来,是一个结构性而非工程性的改动。以往所有出画失效都发生在同一条视角流内部,无论怎么加记忆、加检索,信息源本身是缺失的;observer 提供的是一条并行的、始终在场的证据流。
  • 度量设计把三类失败模式分开了:低 OOV-F 说明物体被锁在画面里或干脆丢失,从未有效离场返回;高 OOV-F 但两个 OOV-D 都低,说明物体回来了但既不符真值也不自洽(被冻结或乱动);高 OOV-D_gt 却低 OOV-D_self 则是「冒牌动力学」——跟着提示走,却脱离了物体自己的轨迹。这三类的修复方向完全不同。
  • 2B 打 28B:在视觉保真度(FID / FVD)、相机跟随(RotErr / TransErr)与 3D 一致性(mPSNR / mLPIPS)上都不输甚至领先体量大一个数量级的 LingBot-World、HY-World 1.5、FantasyWorld,说明收益来自结构而不是参数量。
  • 多观察者可以进一步外推:合成集上 Multi 配置 FID 降到 16.06、FVD 147.0、OOV-F 升到 0.722,验证了「覆盖更多不可见区域」这条路是可扩的。

实验结果: 在 Real-OOV-Bench / Synthetic-OOV-Bench 上与 OmniRoam、PanoWorld、HyDRA、HY-World 1.5、Dream-X、FantasyWorld、LingBot-World、Matrix-Game-3 等比较。World Observer(Single,2B)取得 FID 29.30 / 19.65、FVD 291.7 / 196.2、mPSNR 18.574 / 18.893、mLPIPS 0.278 / 0.276、RotErr 0.125 / 0.022、TransErr 0.372 / 0.029;出画指标 OOV-F 0.492 / 0.580、OOV-D_gt 0.426 / 0.531、OOV-D_self 0.408 / 0.526。作为对照,表现最好的基线 FantasyWorld(14B)两个 OOV-D_gt 仅 0.382 / 0.338,LingBot-World(28B)为 0.337 / 0.340。Multi 配置在合成集上进一步做到 FID 16.06、FVD 147.0、OOV-F 0.722。定性上,现有模型普遍会丢失、冻结或不一致地重建目标物体,而 World Observer 在出画区间里保持了物体身份与状态演化。

应用场景: 长程具身导航与操作中的持续世界建模;需要物体恒存性(object permanence)的游戏与仿真引擎;以及任何「出画—返回」必须保持状态一致的第一人称视频生成场景。

研究价值: ⭐⭐⭐⭐⭐(5/5)— 出画区域的状态演化是持续世界建模最硬的一块骨头,而这篇给出的解法不是更强的记忆模块,而是多给世界模型一双眼睛。配套的三个度量还把「回不来」「回来了但错」「回来了但假」三种失效区分开了,对后续所有做 persistent world modeling 的工作都是现成的尺子。


ROWBench: Do Video Models Render What the Program Specifies?

链接: https://arxiv.org/abs/2610.02205

项目主页: https://alaya-lab.github.io/PROWBench | 代码: https://github.com/AlayaLab/PROWBench

作者 / 机构: Zheng-Hui Huang, Guixu Lin, Yu-Ju Tsai, Jian-Kai Zhu, Fengbo Lan, Yu-Lun Liu, Yung-Yu Chuang, Kaipeng Zhang, Zhixiang Wang(Alaya Lab)

一句话总结: Alaya Lab(论文与项目页内部写作 PROWBench)推出 ROWBench,针对「可编程世界模型」提出一个此前几乎无人测的维度——生成的视频是否忠实渲染了程序所指定的细粒度世界事件。基准含 170 个程序化构建的 episode 与 600 段代理视频,把实体状态与带时间戳的事件(包括在相机视野之外发生的)记录为可重放的世界记录,据此渲染同步视角与代理表示。横评 10 个前沿模型后发现:即便给了密集深度与分割,Cosmos 2.5 在两个设置下的 Interaction Success Rate 与 Logic-Render Alignment 都是最低的;而 LingBot 2.0 以第三低的 BBox IoU 拿到了最高的 ISR(0.733)。

研究问题: 可编程世界模型把「可执行的动力学」与「视觉生成」分开:由编码智能体与可执行程序维护状态与交互规则,由视频模型负责渲染观察。这个分工很美,但它带来一个此前没有被认真问过的问题——程序正确执行,不等于视频忠实呈现。一段视频可以看起来完全合理,却在违反某条规则、或者干脆没画出某次被指定的交互。现有基准评画质、评可控性、评指令与物理遵循,却极少测试对细粒度、程序指定世界事件的忠实度;因为没有可重放的实体状态与时间戳记录,一段生成视频只能被评判「像不像」,无法被对照「程序到底执行了什么」。

核心方法: ① 世界记录(world records):每个 episode 都记录实体状态与带时间戳的事件,包含相机视野之外的部分,可重放;从这份记录渲染同步的多视角与代理表示(coarse 3D、彩色 OBB、类别级分割、深度),使生成视频能被逐事件核对。② 两条主赛道:Verified-FF(40 对,首帧已对照记录状态校验)与 Unverified-FF(90 对,首帧直接用 MiniMax-H3 同场景输出,未校验),两组使用不同场景。③ 两个 VLM 度量:Logic-Render Alignment(LRA,是否按规定的时间线呈现事件)与 Interaction Success Rate(ISR,指定交互是否被真正执行);再乘以逐样本 BBox IoU 得到 gLRA / gISR,即「由摆放正确的实体完成的事件」。④ 可扩展构建框架:负责搭场景、控行为,并能为每个相机视角渲染不同表示。⑤ 覆盖第一人称与第三人称,部分 episode 提供同步多视角观测。

技术亮点:

  • 用「可重放记录」把评测从主观 plausibility 拉回客观对照。这是整个基准成立的前提:没有这份记录,就只能问人类「这段视频合不合理」,而人类恰恰会被视觉合理性骗过(本期 PhysicsLENS 独立地证明了这一点)。
  • gISR / gLRA 的设计很关键:只算 ISR / LRA 会奖励「画出了事件但实体位置不对」的样本;乘上 BBox IoU 之后,排序立刻变化——Verified-FF 下 MiniMax-H3 的 gISR(0.334)反超 LynnReal-Omni(0.324),说明后者事件画对了但实体摆得没那么准。
  • 两条首帧设置的对比直接量化了「首帧泄漏」:Unverified-FF 用同场景同相机的 MiniMax-H3 输出首帧,虽不是规定参考,却可能传递外观分配,因此论文单独分析外观身份的继承效应,这个设计相当严谨。
  • 代理条件 vs 相机条件的分层结论清晰:代理条件模型在实体控制上遥遥领先(Verified-FF 下 BBox IoU 0.457–0.518 vs 相机条件世界模型 0.303–0.351),说明实体轨迹条件本身就是实体控制的主要来源。

实验结果: 十款被评模型为 EchoWM、SANA-WM、LingBot 2.0、AlayaWorld v1.1、Cosmos 2.5、C2R、CWM、LynnReal-Omni、Seedance 2.5、MiniMax-H3。实体控制上,代理条件模型领先:Verified-FF 下 LynnReal-Omni BBox IoU 0.518、MiniMax-H3 0.494、CWM 0.454,而只给相机轨迹的四个世界模型仅 0.303–0.351;Unverified-FF 下则是 0.457 / 0.409 对 0.204–0.255。逻辑与状态方面,LingBot 2.0 以第三低的 IoU(0.327)取得最高 ISR 0.733,而接入密集深度与分割的 Cosmos 2.5 虽然 IoU 排到第 4 / 第 3,却在两个设置下 ISR 与 LRA 双双垫底;LRA 最高的是 LynnReal-Omni(0.832 / 0.852)与 Seedance 2.5(0.817 / 0.829)。按实体摆放加权后,Verified-FF 下 gISR 最高为 MiniMax-H3 0.334、次为 LynnReal-Omni 0.324,gLRA 最高为 LynnReal-Omni 0.429。

应用场景: 可编程世界模型 / 代码世界模型的渲染层验收;下一代游戏引擎里「规则—画面」一致性的回归测试;以及为视频模型的长程记忆与实体控制提供带真值的评测环境。

研究价值: ⭐⭐⭐⭐⭐(5/5)— 它问的是一个被整个方向默认忽略的问题:程序跑对了,画面跟上没有? 170 个 episode 的规模不算大,但可重放世界记录 + 双 VLM 度量 + IoU 加权的组合,构成了一套可以直接被后续工作沿用的方法论。需要说明:arXiv 元数据里的标题写作 ROWBench,论文正文与项目主页统一使用 PROWBench,本文沿用 arXiv 记录标题。目前仓库已开放项目页与论文 PDF,基准数据与评测代码尚在路线图中。


PhysicsLENS: Diagnosing Physical Property Blindness in Video Generation Models

链接: https://arxiv.org/abs/2610.01162

代码: https://github.com/Isaiah-Milkey/PhysicsLENS-benchmark

作者 / 机构: Isaiah Milkey, Som Sagar, Aditya Taparia, Xinyuan Liu, Jiqing Wen, Ransalu Senanayake(Arizona State University 亚利桑那州立大学,School of Computing and Augmented Intelligence 计算与增强智能学院)

一句话总结: 亚利桑那州立大学团队提出 PhysicsLENS,专门评测视频生成模型是否遵守只写在提示里、画面上看不出来的物理属性(重量、黏度、摩擦等)。它用匹配场景对——条件帧与任务完全相同,只改变场景描述里的底层物理——来隔离变量,覆盖碰撞、重力、动量、摩擦、形变、流体、因果七个域。四个生成器共 439 段视频、400 余条人工标注的结果相当扎心:119 段含隐藏属性的视频里有 47 段被评为「看起来合理」,其中 34 段(72%)根本没有遵守指定属性;MAGI 4.5B Distill 更是 21 段「合理」视频全部不合格。

研究问题: 可靠的视频世界模型本可以为机器人学习、规划与评测提供可扩展的预测环境。但生成的机器人视频可能违反物理原理、以物理上不合理的方式完成任务。问题在于,现有视频生成基准排除了那些本质上被视觉隐藏的物理量——重量、黏度、摩擦——于是模型被评的是「物理的逼真度」,而不是「物理的准确性」。一段视频可以看起来完全可信,却在用一个错误的摩擦系数运动。

核心方法: ① 匹配场景对:保持条件帧与任务一致,只改变场景描述中的底层物理,从而把「属性接地」与「物理合理性」两条轴分开评。② 七个物理域标注:碰撞、重力、动量、摩擦、形变、流体、因果。③ 双轴人工标注: plausibility P(看起来合不合理,1–4)与 adherence H(是否遵守所述属性,1–4)分别打分,两者可以独立崩塌。④ 可观测 vs 不可观测条件的区分:把「首帧里就看得见的性质」与「只写在提示里的性质」分开,使高分无法靠「照着画面猜」刷出来。⑤ 同时对十个开源 VLM 做「物理评论家」横评,检验自动评判能否替代人类。

技术亮点:

  • 把「看起来合理」与「真的遵守了」拆成两个独立轴,是这篇最关键的设计。二者一旦分开,那个反直觉的结论才浮出水面:它们是近乎解耦的——遵守了属性的 28 段里,有 15 段被评为不合理;看起来合理的 47 段里,34 段没遵守。
  • MAGI 是这条结论最极端的样本:平均 plausibility 最高(3.10),平均 adherence 最低(1.10),21 段「合理」视频 100% 不接地。漂亮与正确在这里完全脱钩。而且去掉 MAGI 后结论依然成立(其余 26 段「合理」视频里 13 段、即 50% 忽略属性),说明不是单模型的偶然。
  • 完成率与接地率也是两回事:HunyuanVideo 1.5 完成率 72.4% 最高,但其 13 段「合理」视频里仍有 5 段(38.5%)不接地;MAGI 完成率只有 6.7%,却靠画面好看拿到了最高的 plausibility。
  • VLM 评论家存在系统性上偏:在隐藏属性条件下,Qwen3-VL-32B 的判分从标准条件的 0.55 抬到 0.75 / 0.76(可观测 / 不可观测),即自动评判在需要凭提示而非画面判断时会给出虚高分——这与本期 ROWBench 用可重放记录做客观对照的思路恰成对照。

实验结果: 四个被评生成器为 HunyuanVideo 1.5、MAGI 4.5B Distill、Wan 2.2、Cosmos 3 Nano,各约 30 段。在 119 段含不可观测属性的视频中,人类标注 47 段为 plausible(P ≥ 3),其中 34 段(72%)adherence 不达标(H ≤ 2)。分模型看:HunyuanVideo 1.5(n=29)P 2.24 / H 2.24、完成率 72.4%、5/13(38.5%)合理但不接地;MAGI 4.5B Distill(n=30)P 3.10 / H 1.10、完成率 6.7%、21/21(100%);Wan 2.2(n=30)P 1.53 / H 1.90、完成率 40.0%、2/5(40.0%);Cosmos 3 Nano(n=30)P 2.07 / H 1.87、完成率 66.7%、6/8(75.0%)。反向统计同样成立:遵守了属性的 28 段中,15 段被评为不合理。论文还报告,显式声明属性只让 plausibility 略微下降且不显著。

应用场景: 在把生成视频用作机器人学习的数据源、世界模型的 rollout 环境或策略评测环境之前,先做一次物理接地准入检查;也为「视频模型物理合理性」这一含混指标提供一个可对拍的失败清单。

研究价值: ⭐⭐⭐⭐⭐(5/5)— 对做视频世界模型与具身智能的人,这是一篇必须读的体检报告。它证明了一件很多人心里怀疑但没有数据的事:画面越漂亮,未必越遵守你写进去的物理。匹配场景对的设计成本不高、可复制性强,七个物理域的分类也足够后续工作直接沿用。仓库已开放。


SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation

链接: https://arxiv.org/abs/2610.00686

项目主页: https://semantoken.github.io

作者 / 机构: Mikhail Dereviannykh, Vikram Voleti, Simon Donné, Mallikarjun Byrasandra Ramalinga Reddy, Shimon Vainer, Mark Boss(Stability AI;Karlsruhe Institute of Technology 卡尔斯鲁厄理工学院)

一句话总结: Stability AI 与 KIT 团队提出 SemanTok,一个面向自回归视频世界模型的可变长度视频 tokenizer:把冻结 DINO 特征喂进编码器,并加轻量级头要求每一段被保留的 token 前缀都能单独重建出这些语义特征。效果是前几个粗 token 真正扛起整段的全局语义、后段再补像素细节:201M 的 SemanTok AR 模型即可打平或超过 3.4 倍大小(约 683M)的 VideoFlexTok AR 模型,且在全部 AR 规模上 gFVD 更低、重建到生成的「实现落差」更小。全文 29 页 22 图(正文 9 页)。

研究问题: 近期的视频世界模型把自回归预测的可扩展性与扩散模型的视觉质量结合起来,而场景 tokenizer 的选择对两者都是决定性的。可变长度、由粗到细的 tokenizer 正好契合这个需求:前几个粗 token 承载整段的全局语义,后续 token 再逐步指定细节。但现有可变 tokenizer 只在解码器早期隐藏状态上加表示对齐(REPA)损失——而解码器可以部分地从它那个带噪输入里满足这个目标,也就是说,REPA 对齐度高并不代表 token 里真的装了语义。

核心方法: ① 编码端注入冻结 DINO 特征:把预训练 DINO 特征直接送入 encoder,让语义从编码阶段就进入 token。② 前缀级语义重建头:加轻量头,要求仅从每一段被保留的 token 前缀(而不必用到全部 token)就能重建出 DINO 特征——这直接把「语义必须集中在前几个 token」写进了训练目标。③ 由粗到细的伸缩长度:短前缀更便宜、生成保真度更好,像素细节推迟到后面的 token 去补。④ 同时评测重建与生成两条通路,并用「实现落差(realization gap)」衡量二者之间的损失。

技术亮点:

  • 把 REPA 的漏洞指出来并换了个加约束的位置,是这篇最实在的贡献。加在解码器早期隐藏状态上,解码器可以靠带噪潜变量「作弊」;改成从 token 前缀重建冻结 DINO 特征,语义就必须真的落在 token 序列的前段。
  • 语义与保真度被分配到 token 序列的不同区段:短前缀便宜且更好预测,像素细节交给后段——这与自回归「先定大局、再补细节」的生成顺序天然契合,也是 201M 能打 683M 的直接原因。
  • 纯噪声下的解码器读出仍然高:在 uCO3D 上 k=32 时,SemanTok 从纯噪声出发的读出相似度达到 0.721,而 VideoFlexTok 需要 75% 干净的潜变量才达到 0.716;k=256 时潜变量几乎不再给 SemanTok 增加信息,却给 VideoFlexTok 增加约 11 倍——语义确实住在 token 里,不在潜变量的噪声里。
  • 增益被定位到最前面那几个 token:201M 下不做任何 teacher forcing 时 SemanTok 领先 23% 的 gFVD,但只要强制喂入前 16–64 个真值 token,领先就被抹平——说明后续 token 的预测难度两者接近,差距全在前段。
  • 分布外仍保持语义对齐:在未见过的 uCO3D 类别上,201M AR 模型在 k=16 时把生成类别准确率相对 VideoFlexTok 提高 29%(分布内为 24%)。

实验结果: 在 uCO3D 与 Kinetics-600 上评测。重建端,k=16 时 SemanTok 的 ClipV 与类别准确率高于 VideoFlexTok,但 PSNR 低约 2.7 dB(语义换保真度的预期权衡)。生成端,201M AR 模型在 k=16 下把生成类别准确率提高 24%(分布内)/ 29%(分布外),ClipV 亦有改善;k=4 / 16 / 256 的类别准确率分别为 0.27 / 0.34 / 0.27(分布内,VideoFlexTok 为 0.23 / 0.27 / 0.24)。在全部 AR 规模、k=64 与 k=128 两种预算下,SemanTok 的 gFVD 都更低,实现落差更小;201M 下不做 teacher forcing 时领先 23%。纯噪声读出在 k=32 上为 0.721 vs VideoFlexTok 需要 75% 干净潜变量才达 0.716。

应用场景: 自回归视频世界模型与视频生成系统的 tokenizer 替换件;需要在极低 token 预算下先锁定语义(如快速预览、分层生成、长程规划)的场景;以及把语义对齐从解码器侧搬回编码侧的一类 tokenizer 设计。

研究价值: ⭐⭐⭐⭐(4/5)— 不追新架构,而是把「tokenizer 的语义到底装在哪」这个基础问题讲清楚了,并给出了一个 3.4 倍参数效率的直接证据。对做自回归视频生成的读者,前缀级语义重建这条约束几乎可以直接搬到自己的 tokenizer 上。稍显可惜的是正文只有 9 页、大量结果在附录;另外 k=16 下 PSNR 低 2.7 dB 说明这条路线并非没有代价。


TOAST: Stochastic Robot Action Tokenization for Autoregressive Vision-Language-Action Models

链接: https://arxiv.org/abs/2610.00899

项目主页: https://kskshr.github.io/toast/

作者 / 机构: Keisuke Shirai, Tomohiro Motoda, Hanbit Oh, Ryoichi Nakajo, Roman Mykhailyshyn, Ryo Hanai, Shotaro Miwa, Yukiyasu Domae(AIST 日本产业技术综合研究所)

一句话总结: 日本 AIST 团队提出 TOAST(TOkenization of Action Sequences with STochastic sampling),把自回归 VLA 的动作 token 化从确定性改成随机采样:同一段量化后的动作序列其实存在多种等价 token 化,TOAST 在训练时随机采样其中若干种,在不增加任何示教数据的前提下把离散监督多样化。LIBERO 上随训练数据减少增益单调变大,仅用 1/16 数据时成功率 +6.8 分(42.8 vs 确定性的 36.0);四个真机任务上平均成功率 50.8%,相对确定性版本 +15.8 分、相对公开 FAST+ +20.0 分。

研究问题: 自回归 VLA 把连续动作离散成 token 序列,用标准的下一 token 目标预测动作。FAST 通过把含多种时间频率的动作紧凑编码进较少的 token 显著改进了这一表示。但这种压缩减少的是预测所需的 token 数,并不必然提升从有限示教中学策略的效率。关键在于:FAST 通常为每段量化动作序列分配唯一一种确定性 token 化,而事实上多种 token 序列可以表示并解码出同一个机器人动作——这份表示冗余一直被浪费掉了。

核心方法: ① 随机动作 token 化:对同一段量化动作序列,在训练时从 n=64 个候选 token 序列里按温度采样(LIBERO α=0.1、真机 α=0.5),底层机器人动作保持不变,只是离散监督被多样化。② tokenizer 配置:DCT 量化(缩放因子 10)、维度主序展开、SentencePiece 训练的 512 词表 unigram tokenizer;词表由 100 万条 DROID 动作块构建,从而在所有数据规模上保持固定。③ 公平对照:与 Binning、FAST+、FAST(重建,与 TOAST 同量化、同构建语料、同词表大小)、VQ-VLA、BEAST 比较;TOAST(deterministic)只把随机采样换成确定性选择,用于隔离随机化本身的效应。④ 统一训练管线:全部策略以 PaliGemma-3B 为骨干,从视觉语言预训练权重微调(不做动作预训练初始化,避免偏向某个 tokenizer),基于 OpenPI 的自回归 VLA 管线;动作块 horizon 在 LIBERO 为 10、真机为 20(均预测 1 秒动作块),训练 30,000 步、batch 32、AdamW。

技术亮点:

  • 把「等价表示的冗余」当成免费的数据增强,是本文最漂亮的一点:不采集新示教、不改模型、不加参数,只改离散监督的采样方式。代价几乎为零,而在数据稀缺时收益最大——这正好命中机器人学习最痛的地方。
  • 收益随数据减少单调放大,且统计显著:在 1/2 及更少数据时,TOAST 相对确定性版本的差异通过分层 bootstrap(以 seed 为簇、10,000 次重采样)的 95% 置信区间检验。
  • 对照设计排除了混淆因素:FAST(重建)与 TOAST 确定性版本在全部数据规模上相差不超过 1.6 分,说明差异不是来自量化、词表或构建语料,而确实来自随机 token 化;词表用外部 DROID 语料固定,保证跨数据规模只有策略训练数据在变。
  • 真机验证规模扎实:四个任务(桌面清理、装袋、早餐摆放、抽屉收纳)各 30 次 rollout × 3 个随机种子,Franka Research 3、20 Hz;真机数据集平均 episode 时长 38–41 秒,属于长程操作而非短平快动作。

实验结果: LIBERO 上按 1/1、1/2、1/4、1/8、1/16 数据量评测,每 seed 2,000 次 rollout。TOAST 为 91.4 / 84.9 / 75.3 / 60.2 / 42.8,TOAST(确定性)为 90.9 / 82.7 / 69.8 / 55.0 / 36.0;1/16 时的基线为 Binning 37.8、FAST+ 17.8、FAST(重建)34.4、BEAST 37.1、VQ-VLA 31.6。可见在 1/4 及更少数据时 TOAST 为全部被评方法中最高。真机四任务上,TOAST 平均成功率 50.8%,相对确定性版本 +15.8 分、相对 FAST+ +20.0 分。

应用场景: 示教数据稀缺的机器人操作场景(新本体、新任务冷启动);所有使用离散动作 token 的自回归 VLA;以及作为一套与具体 tokenizer 正交、可插拔的训练期正则手段。

研究价值: ⭐⭐⭐⭐(4/5)— 想法极简、成本极低、结论干净,且真机与仿真双侧都验证了。它把动作 token 化从「压缩得更好」重新导向「同一动作可以有很多种写法」——后者是一条此前几乎无人走的路。稍显局限的是实验集中在单一骨干(PaliGemma-3B)与单一管线(OpenPI),且 α 的取值依赖初步试验(论文称两个值都落在平台上)。


eRLT: Efficient VLA Reinforcement Learning via Action-Relevant Token Routing

链接: https://arxiv.org/abs/2610.00913

作者 / 机构: Dehao Huang, Jianbang Liu, Jianpan Gao, Chao Tang, Zilang Cen, Zedong Dan, Jiaheng Wang, Tingguang Li, Yue Wang, Hong Zhang(Southern University of Science and Technology 南方科技大学;Beijing Zhongguancun Academy 北京中关村学院;Samsung Robotics eXperience;Wuhan University 武汉大学;Sun Yat-sen University 中山大学)

一句话总结: 南方科技大学、北京中关村学院、Samsung Robotics eXperience、武汉大学与中山大学团队提出 eRLT,针对「冻结 VLA + 在线强化学习」这一主流适配范式,指出样本效率的瓶颈在于给 actor 与 critic 用的状态表示:现有做法要么用与 VLA 无关的视觉编码器,要么对 VLA 内部表示做固定压缩,二者都没有显式抽取与任务动作相关的特征。eRLT 用可学习路由 token 在冻结 VLA 的多个 token 与多个层之间聚合信息,再由轻量层路由器汇总成固定维度的 RL token。七个仿真任务上平均归一化学习曲线 AUC 相对代表性基线提升最高 23.7%;真机的 USB 接插与主板排线插入任务上,AUC 相对最强基线分别提升 108.9% 与 46.7%。21 页、9 图、8 表。

研究问题: VLA 为机器人操作提供了很强的行为先验,但如何高效适配到下游任务仍是难题。近来的做法是冻结 VLA、用在线 RL 做适配,而这类方法的样本效率高度依赖 actor 与 critic 使用的状态表示质量。现有方案只有两类:一类用与 VLA 无关的视觉编码器构造状态(丢掉了 VLA 内部已有的丰富特征),另一类对 VLA 内部表示做固定压缩(压缩方式与任务无关)。两者都没有显式地抽取对下游动作细化与动作价值估计最有用的、任务特定的动作相关 VLA 特征。

核心方法: ① token 与层双向路由:一组可学习路由 token 在冻结 VLA 的多个深度上动态聚合视觉—语言特征,再由轻量层路由器把这些摘要组合成一个固定维度的 RL token。② 两阶段初始化:路由模块先用专家示教初始化,以捕捉能预测专家动作的特征;再用在线交互中 critic 的反馈细化,以服务动作价值估计。③ 严格对照:所有变体共享同一个 VLA 与同一套在线 RL 流程,因此增益可被干净地归因到状态表示本身。实验基于开源 RLinf 项目实现。

技术亮点:

  • 把「状态表示」从固定压缩改成可学习路由,抓住了冻结 VLA 适配里的一个真实痛点:VLA 不同层携带的信息粒度不同,与任务相关的部分因任务而异,固定压缩必然在某个任务上浪费容量。
  • 离线示教初始化 + 在线 critic 细化的两段式设计很实用:示教先告诉路由模块「哪些特征能预测专家动作」,交互再告诉它「哪些特征能预测价值」,两个目标并不重合,分阶段注入比一次性学更稳。
  • 对照设计让结论可信:共享 VLA 与 RL 流程意味着方法间唯一的差别就是状态表示,所以论文敢直接把增益归因到表示上。
  • 真机增益远大于仿真:USB 接插 +108.9%、主板排线 +46.7%,这类高精度插入任务正是样本效率最吃紧的地方,也说明路由出的动作相关特征在真实接触场景下价值更大。

实验结果: 四个 LIBERO 任务(Drawer Opening、Bowl-to-Plate、Cabinet-Bowl to-Plate、Two-Moka Pots)与三个 RoboTwin 任务(Adjust Bottle、Move Can–Pot、Place Container Plate)。在线适配前,冻结 VLA 在四个 LIBERO 任务上的成功率为 74% / 78% / 12% / 14%,三个 RoboTwin 任务为 60% / 12% / 72%(每任务 50 次试验)。在线 RL 适配后,eRLT 在全部七个任务上大幅超过冻结 VLA;平均归一化 AUC 上,DSRL 为 0.585、RLT 为 0.506,eRLT 取得最强聚合表现,在全部七个任务上优于 RLT、在七个中的六个上优于 DSRL。真机上,USB 接插与主板排线插入的 AUC 相对最强基线分别提升 108.9% 与 46.7%。

应用场景: 冻结大模型的在线 RL 适配(不想承担全参数微调成本时);高精度插入类装配任务;以及作为一套与具体 VLA、具体 RL 算法正交的「状态表示插件」。

研究价值: ⭐⭐⭐⭐(4/5)— 定位准、对照干净、真机增益突出。它回答的是一个很实际的问题:VLA 已经冻结了,还能从它身上挤出什么?答案是「挤出与动作相关的那部分特征」,而且挤出方式要可学习、要跨层。需要注意论文未公开独立代码仓库,实现依附于开源的 RLinf 框架。


Towards a General Humanoid Loco-Manipulation Model via Egocentric Whole-Body Human Data Pretraining

链接: https://arxiv.org/abs/2610.00438

作者 / 机构: Chongyang Xu, Zhao Wu, Jin Chen, Yiming Jiang, Jinhui Ye, Yuming Jiang, Shifeng Zhang, Ziliang Feng, Mu Xu, Yilun Chen, Li Lu, Steven C. H. Hoi(Alibaba Group 阿里巴巴集团;Sichuan University 四川大学;Shanghai Innovation Institute 上海创智学院;Beihang University 北京航空航天大学;Hong Kong University of Science and Technology 香港科技大学)

一句话总结: 阿里巴巴、四川大学、上海创智学院、北航与港科大团队探索「人类经验能否支撑人形全身操作的可扩展学习」。他们先用轻量级可穿戴系统采集了 HumanVerse-500——开放世界中 500 小时全身人类 loco-manipulation 行为数据集,同步第一人称视频与身体、手部运动;再据此训练 λ₀ 全身人形视觉—语言—动作策略,走三阶段训练:先从多样化第一人称数据集学交互,再用 HumanVerse-500 协调身体与手部运动,最后适配到下游任务与本体。在 SIMPLE 基准上达到 90.0% 成功率,四个真机全身任务上成功率 62.5%、任务进度 80.4%;消融显示去掉人类数据预训练后真机成功率从 62.5% 掉到 15.0%。

研究问题: 人形全身操作进展很快,策略已经能协同移动、姿态、双臂交互与灵巧手部动作。与此同时,第一人称人类视频提供了大量日常交互样本,无需操作机器人即可获得可扩展监督。但现有来自这类视频的监督对全身运动、以及全身与手部交互的协同覆盖有限,而通过人形遥操作获取这类监督又昂贵且难以规模化。于是问题变成:人类经验要怎样组织,才能真正支撑人形 loco-manipulation 的可扩展学习?

核心方法: ① HumanVerse-500:用轻量级可穿戴系统采集,同步第一人称视频与身体、手部运动,500 小时、开放世界中的多样化 loco-manipulation 行为。② λ₀ 三阶段训练:阶段 I 从多样化第一人称数据集学习交互先验;阶段 II 用 HumanVerse-500 做中期训练,学习身体与手部运动的协同;阶段 III 适配到下游任务与具体本体。③ 共享表示空间 + 领域特定接口:跨阶段学习一个人类经验可迁移的共享表示空间,同时用领域特定接口处理人与机器人在状态与动作上的差异。④ 论文承诺开源代码、模型与数据。

技术亮点:

  • 把「第一人称人类数据」从中手/腕轨迹监督提升到全身运动 + 手物交互协同,这是与既有工作(多只恢复腕部或手部轨迹)最实质的区别。全身 loco-manipulation 的难点恰恰在协同,而不在单点轨迹。
  • 消融给出了各阶段各自贡献多少:去掉人类数据预训练,SIMPLE 从 90.0% 掉到 79.4%、真机成功率从 62.5% 掉到 15.0%;只去掉阶段 II 中期训练,真机成功率掉到 22.5%;只去掉阶段 I,掉到 50.0%。去掉阶段 II 比去掉阶段 I 损失更大(40.0 vs 12.5 个百分点),说明全身中期训练的分量超过从手部数据学到的交互先验。
  • 数据规模的缩放曲线被量出来了:在固定初始化、模型容量、机器人示教与阶段 III 更新预算的前提下,阶段 II 数据取 0% / 5% / 10% / 25% / 50% / 100% 时,下游任务进度为 59.9% / 64.2% / 67.3% / 72.1% / 76.4% / 80.4%——单调、平滑,且早期边际收益最大(前 5% 的数据就换来 4.3 个百分点)。
  • 采集范式本身是「无机器人」的:不需要人形遥操作,成本结构完全不同,这是可扩展性主张的地基。

实验结果: 在 SIMPLE 仿真基准与四个真机全身 loco-manipulation 任务上评测。完整配方下 SIMPLE 成功率为 L0 90.0% / L1 93.3% / L2 86.7%、整体 90.0%,真机成功率 62.5%、任务进度 80.4%。SIMPLE 上被比较的方法整体表现分别为 H-RDT 2.2、InternVLA-M1 13.9、EgoVLA 38.3、Diffusion Policy 38.9、GR00T N1.6 48.9、π₀.₅ 51.1。真机四任务上 λ₀ 为 25/40 成功、平均进度 80.4,而 Ψ₀ 为 4/40、GR00T N1.6 为 3/40、StarVLA 为 11/40。训练阶段消融见上。论文亦报告了对机器人未见物体的泛化(低于已见设置但仍有迁移),并说明评测集中在 Unitree G1 上、全尺寸人形的迁移尚未测试。

应用场景: 人形全身 loco-manipulation 的基础策略预训练;缺少遥操作预算时的可扩展数据方案;以及「人类视频 → 机器人动作」这条迁移路线在全身层面的落地。

研究价值: ⭐⭐⭐⭐(4/5)— 500 小时、可穿戴同步采集、三阶段配方、完整的缩放曲线与阶段消融,工程完整度很高,且承诺开源。真机成功率从 15.0% 到 62.5% 这个跨度足够有说服力。局限也写得坦白:只在 G1 上评测,人体与机器人在体型比例、视角与可行运动上的对齐仍不完美。另需说明,论文未给出独立项目主页,arXiv 正文中出现的 dyn-hamr.github.io 系被引用的另一工作(Dyn-HaMR),并非本文项目页。


LEGO-OPD: Factorized Teacher Composition for Multimodal On-Policy Distillation

链接: https://arxiv.org/abs/2610.00333

作者 / 机构: Jaeyun Shin, Hangeol Chang, Jong Chul Ye(Korea Advanced Institute of Science and Technology, KAIST 韩国科学技术院)

一句话总结: KAIST 团队提出 LEGO-OPD,处理多模态在策蒸馏(on-policy distillation)里一个两难:直接用 VLM 的完整预测分布,会把它的视觉接地信号与自身的语言先验纠缠在一起,接地信息无法被独立迁移;而单纯加大视觉监督强度,又会过度强调视觉证据、损伤语言推理。LEGO-OPD 在广义贝叶斯形式化下把教师拆成两个因子:语言专家提供候选 token 的先验,接地专家提供视觉似然去更新这个先验,并用自适应校准按前缀决定似然更新先验的强度。以 Qwen3-VL-4B 为教师、Qwen3-VL-2B 为学生,多模态推理均值从初始的 40.11 提到 46.28(H-OPD 43.47),文本推理均值从 51.89 提到 56.68(H-OPD 55.57),且视觉感知改善的同时文本推理不降反升。

研究问题: 多模态在策蒸馏的目标是在保住语言模型强推理能力的同时改善视觉接地。近来的多教师方法把 LLM 教师与 VLM 教师结合起来提供互补监督,但存在一个结构性缺陷:直接使用 VLM 的完整预测分布,会把它的视觉接地信号与它自己的语言先验纠缠在一起,接地信息因此无法被独立地迁移出来。反过来,加大视觉监督强度虽然改善感知,却可能过度强调视觉证据、损害语言推理。这是一个此消彼长的权衡,而不是调参能解决的。

核心方法: ① 因式化教师组合:在广义贝叶斯形式化下,语言专家提供候选 token 的先验,接地专家贡献一个视觉似然去更新这个先验——而不是把它的完整预测分布搬过来。② 两个维度可独立控制:语言推理与视觉接地因此可以被分别调节,不再互相绑架。③ 自适应校准:用接地专家「图像引起的预测偏移」作为依赖前缀的参考,决定视觉似然在每一段解码前缀上应以多强更新语言先验,从而同时避免监督不足与监督过度。④ top-16 OPD 设置,温度 1.0、不做 top-p / top-k 截断;与 standard OPD、VA-OPD、M-OPD、H-OPD 在对齐模型规模、优化设置与响应预算下比较。

技术亮点:

  • 把「教师组合」从加权求和改成贝叶斯更新,是本文最有解释力的一步:先验 × 似然的形式天然把语言先验与视觉证据分成两个可独立控制的因子,纠缠问题从结构上被解除,而不是靠调权重缓解。
  • 自适应校准解决了「固定系数无法跨基准通用」的真问题:论文明确指出,最优固定系数在不同基准上不一样,只能靠经验试;而自适应校准在 ρ=1 下就能在两个推理均值上超过全部被测试的固定系数,且不需要试系数。
  • 它给出了「过度视觉化」的量化证据:固定系数下增大 α 会改善感知但降低文本推理,α 从 2 增到 4 还会让多模态推理均值明显下滑。也就是说,那个此消彼长的权衡是真实存在的,而自适应校准正是靠「在源 KL 小的地方限制对语言先验的改动」来绕开它。
  • 同时提升感知与文本推理:这与固定系数路线的行为相反,是因式化 + 自适应校准最直接的价值证明。

实验结果: 教师为 Qwen3-VL-4B-Instruct,初始学生为 Qwen3-VL-2B-Instruct。多模态推理(MATH-Vision、MathVerse、MathVista、MMMU-Pro、RBench-M、OlympiadBench-MM)均值:教师 54.83、初始学生 40.11、Standard OPD 40.37、VA-OPD 38.93、M-OPD 38.23、H-OPD 43.47、LEGO-OPD(ρ=1)45.84、(ρ=2)46.28。文本推理(MATH-500、MathVerse-Text Only、MMLU-Pro、RBench-T、OlympiadBench-Text)均值:教师 68.81、初始 51.89、Standard 51.72、VA 51.94、M 51.56、H-OPD 55.57、LEGO(ρ=1)56.01、(ρ=2)56.68。感知上 BLINK 从 51.34 提到 52.55、QBench1,2 从 69.18 提到 69.62。两个 ρ 设置都在全部六个多模态推理基准上优于使用同一专家对的 H-OPD;ρ 从 1 增到 2 时推理与感知同步改善。贪心解码下结论同样成立。

应用场景: 多模态大模型的在策蒸馏与小模型适配;需要同时保住文本推理与改善视觉接地的蒸馏任务;以及一切「多教师监督如何组合」的场景。

研究价值: ⭐⭐⭐⭐(4/5)— 把一个长期靠试系数的问题变成了一个有形式化依据的组合规则,且在 Qwen3 上的增益是「感知与文本推理同时涨」这种此前不易拿到的结果。局限在于实验集中在 Qwen3 系列与单一专家对,跨模型族的普适性尚待验证;论文亦未公开代码仓库。


📊 今日研究趋势

视频世界模型的评测重心,正从「像不像」转向「你到底渲染了什么」。 ROWBench 与 PhysicsLENS 是本期最锋利的两把尺子,而且它们切的是同一个病灶的两个面。ROWBench 走的是客观对照路线:把实体状态与带时间戳的事件(含视野外发生的)记成可重放的世界记录,再据此渲染同步视角与代理表示,于是生成视频可以逐事件地被核对。它立刻抓到了一个反直觉的事实——接入密集深度与分割的 Cosmos 2.5,其实体摆放(BBox IoU)排到第 4 / 第 3,却在两个设置下 ISR 与 LRA 双双垫底;而 LingBot 2.0 以第三低的 IoU 拿到最高 ISR。PhysicsLENS 走的是主观双轴路线,把 plausibility 与 adherence 拆开评,结果更不留情面:119 段含隐藏属性的视频里 47 段看起来合理,其中 34 段(72%)根本没遵守指定属性;MAGI 4.5B Distill 的 21 段「合理」视频 100% 不接地,去掉 MAGI 后仍有 50%。两篇合起来给出的警告是一致的:画面的可信度与语义/物理的正确性近乎解耦,漂亮不是正确的证据。

「出画之后会怎样」正在成为持续世界建模的核心指标,解法开始跳出单视角框架。 World Observer 是本期结构上最有想法的一篇:它不再在 actor 这一条视角流里加记忆、加检索,而是联合生成一个或多个全景观察者,让离开视野的物体在 observer 里继续演化,重新入画时带回更新过的状态。几何上所有视角从同一全景源 warp 出来以保证显式对应,再用 Observer Sink 恢复精细外观。效果是 2B 模型在 FID / FVD / 相机跟随 / 3D 一致性上都不输 28B 的 LingBot-World,而出画动力学指标(OOV-D_gt 0.426 / 0.531 vs 最好的基线 0.382 / 0.338)全面领先。更值得记住的是它配套的三类失效划分:低 OOV-F 是回不来,高 OOV-F 低 OOV-D 是回来了但错,高 OOV-D_gt 低 OOV-D_self 是「冒牌动力学」——这三种的修复方向完全不同,而此前它们都被笼统计入「一致性不好」。

自回归视频生成的 tokenizer,正在把语义从解码器侧搬回编码侧与前段 token。 SemanTok 指出一个很具体的漏洞:现有可变长度 tokenizer 只在解码器早期隐藏状态上加 REPA 损失,而解码器可以部分地从它那个带噪输入里满足这个目标——对齐度高不代表 token 里真装了语义。它的补法是把冻结 DINO 特征喂进编码器,并要求每一段被保留的 token 前缀都能单独重建这些特征。收益是可量化的:201M AR 打平 3.4 倍大小的 VideoFlexTok AR,纯噪声下 k=32 的解码器读出已达 0.721(VideoFlexTok 需要 75% 干净潜变量才到 0.716),而 teacher forcing 前 16–64 个真值 token 就能抹平 23% 的 gFVD 领先——增益确实集中在最前面那几个 token。这条思路与本期 World Observer 有内在呼应:都在重新划分「哪部分信息该由哪一段表示负责」。

VLA 侧的改进正在集中到「表示层手术」:不动主干、不加数据、只改信息怎么进出。 TOAST 与 eRLT 是这一路的两个代表,且都把对照做得极干净。TOAST 发现同一段量化动作序列存在多种等价 token 化,于是训练时从 n=64 个候选中随机采样,不增加任何示教数据就把离散监督多样化;增益随数据减少单调放大(1/16 数据下 +6.8 分,真机 +15.8 分),而 FAST(重建)与确定性版本在全部规模上相差不超过 1.6 分,把增益干净地归因到随机化本身。eRLT 则是在冻结 VLA 内部用可学习路由 token 跨 token、跨层聚合出与任务动作相关的特征作 RL 状态,替代「与 VLA 无关的视觉编码器」或「固定压缩」两种旧做法;共享同一 VLA 与同一 RL 流程的对照下,七任务平均 AUC 领先,真机 USB 接插 AUC +108.9%。两者的共同点是:改进发生在接口与表示上,而不是在骨干或数据上。

人形全身操作的规模化瓶颈,正从算法转向数据获取范式。 λ₀ 给出的答案是「无机器人」:用轻量级可穿戴系统同步第一人称视频与身体、手部运动,采集 500 小时开放世界人类 loco-manipulation 数据(HumanVerse-500),再走三阶段训练迁移到本体。消融与缩放曲线是本文最有说服力的部分——去掉人类数据预训练,真机成功率从 62.5% 掉到 15.0%;只去掉全身中期训练(阶段 II)掉到 22.5%,损失(40.0 个百分点)远大于只去掉阶段 I(12.5 个百分点),说明全身协同的中期训练比手部交互先验更关键;而阶段 II 数据量从 0% 增到 100% 时,下游任务进度从 59.9% 单调爬到 80.4%,前 5% 的数据就换来 4.3 个百分点。这条曲线为「人类数据到底值多少」提供了一个难得的量化参照。

🏆 最值得关注的 3 篇

  1. World Observer(2610.02162) — 持续世界建模最硬的一块骨头是「物体出画之后还演不演化」,而这篇给出的解法不是更强的记忆模块,而是多给世界模型一双眼睛:把观察与行动解耦,联合生成全景观察者。2B 模型在出画动力学上全面压过 14B–28B 的基线,且配套的三个度量把「回不来 / 回来了但错 / 回来了但假」三种失效分得清清楚楚。做视频世界模型与具身长程任务的人,这篇几乎必读。

  2. ROWBench(2610.02205) — 它问的是可编程世界模型领域一直默认忽略的问题:程序跑对了,画面跟上没有? 170 个程序化 episode 配合可重放的世界记录,让生成视频第一次能被逐事件地客观核对;两个 VLM 度量(LRA / ISR)再乘 BBox IoU 得到 gLRA / gISR,直接改变了模型排序。十款前沿模型横评的结论相当有信息量:代理条件模型主导实体控制,而密集几何条件并不保证逻辑与状态正确。

  3. PhysicsLENS(2610.01162) — 用匹配场景对(条件帧与任务相同、只改提示里的隐藏物理属性)把「看起来合理」与「真的遵守了」拆成两轴,439 段人工标注给出了这个领域最直言不讳的一份体检报告:34/47(72%)看起来合理的视频没遵守指定属性,MAGI 4.5B Distill 更是 21/21 全不接地。对任何打算把生成视频当作机器人学习数据源或世界模型 rollout 环境的工作,这都是一份必须先看的准入清单。


数据来源:ArXiv Fri, 2 Oct 2026 公告批次(周末补遗三,出刊日 2026-10-05)|分析生成时间:2026-10-05 06:40 (北京时间)