📅 本期覆盖 2026-10-05(Mon, 5 Oct 2026) arXiv 公告批次,去重后 608 篇(cs.CV 128 / cs.RO 80 / cs.AI 266 / cs.LG 297 / cs.GR 9 / cs.MM 5),各分类条数与上一期记录的 10-02 批次明显不同,属新批次;文件名与标题沿用运行当天日期 2026-10-06(
arxiv-daily-2026-10-05.md已被周末补遗三期占用)。经全站 762 个历史 arXiv ID 与 776 条历史标题双重去重,
dup_id = 0,即本批次与历史零重叠(候选池与上一期 10-02 池的交集仅 1 篇跨列表条目,可视为全新批次);标题去重零命中。Top 34 候选逐篇核对Submission history,v1 全部为 2026-10-01 / 10-02 且均为单版本,与公告批次一致,无旧文需剔除。本期八篇有一条很清晰的主线:视频生成与世界模型正在同时被「降本」和「加约束」,而这两件事其实指向同一个瓶颈——监督信号的粒度。 VDOT++ 与 FastOPD 分别在视频扩散与 VLA 上做少步蒸馏,但它们的共同敌人不是步数,而是「教师分布与学生分布重叠不足时,粗粒度监督会给出错误方向」;LoGo 与 SymRegFlow 则从两端给生成过程加粒度——前者把整段视频的单个标量奖励拆成空间局部奖励,后者用跨锚点一致性在无新视角真值的情况下约束连续位姿生成。剩下的四篇不约而同地把「表示」选成了突破口:PointWAM 用三维点轨迹、ProWAM 用稀疏视觉子目标、SimpleTouch 用冻结触觉编码器的全部 token、VISTA 用球面谐波。它们都不改骨干,只改「世界状态用什么表示」。
📄 论文精选
VDOT++: Unified Few-Step Video Generation via Unbalanced Optimal Transport Distillation
链接: https://arxiv.org/abs/2610.03221
作者 / 机构: Yutong Wang, Xingtong Ge, Enhuai Liu, Yunke Wang, Tianfan Xue, Yu Qiao, Yaohui Wang, Xinyuan Chen, Chang Xu(悉尼大学 The University of Sydney;上海人工智能实验室 Shanghai AI Laboratory;香港科技大学;香港中文大学)
一句话总结: 悉尼大学与上海人工智能实验室等团队提出 VDOT++,用非平衡最优传输改造分布匹配蒸馏,把同一套训练配方统一用于文生视频(T2V)、图生视频(I2V)与条件生成三类任务,得到的四步生成器在 UVCBench、VBench、VBench-I2V 与 VACE 上都能与多步教师及强少步基线竞争。
研究问题: 视频扩散模型推理昂贵,因为采样时要反复评估庞大的骨干。分布匹配蒸馏(DMD)能把多步教师压成少步学生,但它用的是近似逆 KL 梯度:一旦教师与学生的分布重叠不好,这个信号要么漏掉教师的某些模式,要么在学生不支持的样本上变得不稳定。此前的工作 VDOT 补上了最优传输蒸馏(OTD),用显式耦合为条件生成提供几何方向——但平衡 OTD 要求每一对师生帧的空间 token 做全质量匹配。这个假设在条件生成(深度、位姿这类密集条件)下成立,到了 T2V 与 I2V 就塌了:同一个条件对应大量合法输出,不同实现之间的空间内容根本不需要对齐。
核心方法: ① 非平衡(unbalanced)OTD:允许不可靠的学生 token 携带更少的质量,同时保持对教师 token 的覆盖——解决「该匹配谁」的问题。② ℓ₁ 地面代价:用更保模态的加权中位数替代基于均值的聚合,抑制远处传输目标的影响——解决「被选中的目标该怎么聚合」的问题。③ 分布匹配与对抗细化的顺序反向传播:把两种目标在一次训练里串起来。④ 跨尺度蒸馏:利用解耦的打分网络,让更大的辅助打分网络去提升一个更紧凑的生成器。⑤ 配套可扩展的多任务数据流水线与 UVCBench 基准,用于跨异质条件的评测。
技术亮点:
- 把「平衡 vs 非平衡」这个选择,正确地归因到任务的输出歧义度上。条件生成的输出被条件钉死了大半,所以全质量匹配是合理先验;T2V / I2V 一个提示对应无穷多种合法画面,强制全质量匹配等于强迫学生同时去够教师的每一个模式。这个诊断比「换一个更好的 OT 求解器」要根本得多。
- 两个改动分别对应传输问题的两个自由度:非平衡决定「谁参与匹配」,ℓ₁ 加权中位数决定「匹配结果怎么合成为梯度」。前者治覆盖不足,后者治模态塌缩,分工清楚,消融也就能做干净。
- 统一配方而非三套配方:同一套训练流程分别用于三类任务的生成器,而不是为每类任务单独调一套蒸馏目标。这对工程落地意义很大——少步视频模型的部署成本往往就花在「每个任务一套蒸馏超参」上。
- 跨尺度蒸馏是个便宜的杠杆:既然打分网络已经从生成器里解耦了,就可以让大打分网络带小生成器,等于把计算预算重新分配到「评判」而不是「生成」上。
实验结果: 在 UVCBench、VBench、VBench-I2V 与 VACE 四个基准上评测。论文报告所得四步生成器在三类任务家族(T2V / I2V / 条件生成)上均可与多步教师以及强少步基线竞争。论文自述其主要比较对象是 DMD 系列与 VDOT,并给出 UVCBench 作为跨异质条件的统一评测口径。写作时未从正文抓到可直接引用的分项表格数值,因此此处按论文摘要的表述给出定性结论,不做数值估算。
应用场景: 需要低延迟的交互式视频创作与编辑;把统一视频模型(VACE、UNIC 一类)部署到端侧或高并发服务;以及任何需要在同一骨干上同时支持文生、图生与条件生成的生产管线。
研究价值: ⭐⭐⭐⭐(4/5)— 少步视频蒸馏的痛点已经从「能不能压到四步」转移到「压到四步之后监督还靠不靠谱」,VDOT++ 正面回答了后者。非平衡 OT + ℓ₁ 地面代价是一组可以迁移到其它蒸馏目标上的通用件;统一的跨任务配方也让它的工程价值高于单纯的指标提升。扣分在于论文在 arXiv 页面未标注页数与会议信息,且正文表格未给出便于直接引用的分项数值。
LoGo: Local-Global Rewards for Consistent Long-Horizon Video Generation
链接: https://arxiv.org/abs/2610.03636
项目主页: https://ziqi-ma.github.io/logo-website/
作者 / 机构: Ziqi Ma, Shreya Sharma, Mohamed El Banani, Katja Schwarz, Chongjie Ye, Chao-Yuan Wu, Li Fei-Fei, Ben Mildenhall, Georgia Gkioxari, Justin Johnson, Gowthami Somepalli(加州理工学院 California Institute of Technology;World Labs,部分工作为在 World Labs 实习期间完成)
一句话总结: 加州理工与 World Labs 团队提出 LoGo,为相机可控视频模型设计全局 + 空间局部的混合奖励:局部奖励提供细粒度信用分配,显著改善三维一致性;全局奖励保住相机跟随与画面质量。方法在 Lingbot2、Lyra2、UniWorld 三个基座模型与 DiffusionNFT、Flow-GRPO、DRaFT 三种后训练算法上一致有效,并发布了长程复杂相机轨迹基准 TrajectoryBench。
研究问题: 相机可控视频模型正快速迈向更长生成视野与更复杂相机控制,但一个关键失效模式是三维不一致——相机一动,物体就失去恒存性,场景结构也随之漂移。现有后训练方法给整段生成打一个标量奖励,这种做法在长视野下极不适合修正不一致:一个标量无法告诉模型「是画面左上角那个杯子在第 60 帧漂了」。更麻烦的是评测侧——现有基准多是短视野(80 帧)配「向前推」这类简单相机指令,根本暴露不出长程复杂轨迹下的失效。
核心方法: ① 三维奖励结构:不再给整段视频一个标量,而是构造空间局部化的奖励,把信用分配到具体区域,同时保留全局奖励以维持相机跟随与整体画质。② 即插即用的奖励框架:不绑定特定后训练算法,可与 DiffusionNFT、Flow-GRPO、DRaFT 组合。③ TrajectoryBench:一个以复杂相机轨迹为中心的新基准,要求模型生成远超初始视野之外的空间,并从新角度回访同一区域——正是这两件事会暴露长程条件下的一致性失效。
技术亮点:
- 把「奖励粒度」而不是「奖励函数」作为改进对象。这是本文最值得记住的一点:以往做三维一致性的后训练都在设计更好的奖励(重投影误差、深度一致性等),LoGo 指出的是同样的奖励、不同的空间粒度,效果完全不同。局部奖励的价值在于它让信用分配变得可行。
- TrajectoryBench 的「回访」设计切中了要害。让相机走远再绕回来看同一个物体,是检验物体恒存性最自然的压力测试——比单纯拉长视频长度更能区分模型。此前基准普遍只做「向前推」,测的其实是短程外推。
- 跨三基座 + 三算法的鲁棒性验证很有分量。奖励类方法最容易被质疑「只对某个模型 / 某套算法有效」,这里两个维度各取三种,等于把「收益来自奖励结构而非调参」这件事证得比较扎实。
- 局部与全局的分工是互补而非折中:局部奖励修一致性,全局奖励防止相机跟随与画质退化,两者不是简单加权,而是各管一段失效模式。
实验结果: 在 DL3DV 与新提出的 TrajectoryBench 上评测。论文报告在三个基座视频模型上,LoGo 相较于使用全局奖励结构的基线方法展现出明显优势,且该优势在三种不同后训练算法下持续存在。定性上,LoGo 有效减少了局部物体漂移、伪影与全局场景变化。论文未在摘要中给出统一的分项表格数值,因此此处按原文表述给出结论,不补估数字。
应用场景: 相机可控的长程视频生成(影视预演、虚拟勘景);以生成视频充当具身智能体 rollout 环境的世界模型(三维一致性直接决定下游策略能否学到正确的空间关系);以及三维重建与新视角合成的数据增强。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 相机可控视频生成正处在这篇工作所描述的正中间:基座模型已经能跟镜头,但一走远就散。LoGo 给出的解法便宜且通用(改奖励粒度而非改模型),TrajectoryBench 又补上了评测侧的空白,两件事合起来对做可控视频生成与视频世界模型的人都是直接可用的。作者阵容(含 Fei-Fei Li、Ben Mildenhall)也说明这个方向正被认真对待。
SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models
链接: https://arxiv.org/abs/2610.02726
作者 / 机构: Xi Ye, Yuzhu Wang, Xiaoyang Liu, Jiayi Wang, Yangyang Xu, Ruyu Wang, Wenlin Chen, Duo Su, Jun Zhu(清华大学计算机科学与技术系、清华—博世联合机器学习中心;博世人工智能中心 BCAI;罗伯特·博世有限公司 Robert Bosch GmbH;博世(中国)投资有限公司;中国科学院大学)
一句话总结: 清华与博世团队提出 SymRegFlow,一个对称性正则化的流匹配框架,让多视角视频世界模型在没有新视角 RGB 真值监督的情况下,跨连续相机位姿生成多视角一致的视频。在 nuScenes 上取得所评基线中最低的 FVD 与 FVMD,FVD 相对最优基线降低 31% 以上,源视角条件下的推理同时取得最优 FID 与实例保持。
研究问题: 基于流匹配的多视角世界模型已经能生成相当真实的视频,但它们基本被局限在固定的相机阵列上——模型只见过训练集里那几个离散视角。要把它们推广到连续变化的相机位姿,按常规做法需要成对的「位姿—视频」观测且位姿覆盖要足够密,而这种数据采集成本高得离谱。换个角度看,这里缺的其实是一种先验:作者把想要的性质称为视频 SE(3) 对称性——在刚体位姿变换 g ∈ SE(3) 下,场景内容与动力学不变,而生成的 RGB 视频应当按照在共视区域上诱导出的重投影一致地变换。因为 SE(3) 是连续的,这种一致性本该跨越所有位姿成立;现有模型做不到,只因为它们只支持训练阵列里的有限视角。
核心方法: ① 源视角几何 warp 成噪声锚点:对每个目标位姿,把源视角几何地 warp 到目标位姿下,作为带噪的锚点(anchor)。② 掩码双锚点监督:用两个锚点并加掩码,避免单个锚点的系统性误差主导训练。③ 跨锚点去噪输出一致性:约束不同锚点上的去噪输出互相一致,从而抑制锚点特有的错误。④ 理论保证:在仿射高斯代理模型下,论文证明适当的 consistency 正则化能在固定噪声水平上恢复「干净参考」的最优解,并严格优于单锚点与合并锚点两种基线。
技术亮点:
- 用「对称性」把缺失的监督换成了可用的约束。这是全篇最关键的一步:没有新视角真值,就没有直接的重建损失可算;但刚体变换下的等变性是一条不需要额外标注就能写出来的约束。把先验写成正则项,比硬造数据便宜得多。
- 双锚点 + 跨锚点一致性是一个自洽的误差对冲机制。单锚点的 warp 误差会直接变成监督噪声;两个锚点各自的误差不同,要求它们的去噪输出一致,等于让误差互相暴露、互相抵消。掩码则防止 warp 不可靠的区域污染梯度。
- 给出了理论证明而非只给经验结果。在仿射高斯代理下证明一致性正则能恢复干净参考最优、并严格优于单锚点与合并锚点,这在以实验为主的视频生成论文里并不常见,也让「为什么是两个锚点」有了答案。
- 落点是自动驾驶的环视生成,这是一个对多视角一致性要求最苛刻、也最容易验证的场景——环视相机之间的几何关系是硬约束,做不好会立刻体现在 FVD / FVMD 上。
实验结果: 在 Cosmos-Drive-Dreams 与 nuScenes 上实验。在 nuScenes 上,SymRegFlow 在所评基线中取得最低的 FVD 与 FVMD,FVD 相对最好的基线降低 31% 以上;采用源视角条件的推理还取得了最优的 FID 与实例保持(instance preservation)。论文展示了高质量的、多视角一致的自动驾驶视频生成结果。
应用场景: 自动驾驶的传感器仿真与闭环评测(可生成训练阵列之外的任意位姿视角);训练数据增强;以及电影级的相机控制生成。
研究价值: ⭐⭐⭐⭐(4/5)— 把 SE(3) 等变先验引入流匹配世界模型,用理论证明支撑了「双锚点 + 一致性」这一具体设计,解决的又是一个真实痛点(连续位姿 vs 固定阵列)。31% 的 FVD 降幅也说明收益不是纸面上的。扣分点在于 arXiv 页面未标注页数与会议信息,且实验集中在自动驾驶场景,通用性尚待在其它多视角数据上验证。
PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation
链接: https://arxiv.org/abs/2610.02840
项目主页: https://chrockey.github.io/PointWAM
作者 / 机构: Chunghyun Park, Beomjun Kim, Seungcheol Park, Heeseung Kwon, Yashu Shukla, Seunghoon Sim, Jinwoo Shin, Minsu Cho(POSTECH 浦项工科大学;KAIST 韩国科学技术院;汉阳大学 Hanyang University;RLWRLD)
一句话总结: POSTECH、KAIST 等团队提出 PointWAM,一个三维世界动作模型:把世界拆成场景(环境)与手(行动者),在共享的时空坐标系里联合预测两者的三维点轨迹,再把预测出的手部运动重定向为机器人动作。在 115 万条人类演示 episode 上预训练后,DexJoCo 平均成功率提升 56.9 个百分点,场景轨迹监督在只预测手的基础上再加 10.9 个百分点;两者合用,在十个 DexJoCo 任务上超过此前最优 11.7 个百分点,并在真机上超过强 VLA。
研究问题: 世界动作模型(WAM)的思路是联合预测世界动力学与机器人动作,让学到的内部世界动力学去指导动作。但现有做法通常把世界表示为 RGB 帧或其潜变量对应物,把动作表示为末端位姿或关节角。这套表示在抓取、放置这类任务上够用,一到灵巧操作(dexterous manipulation)就露馅:灵巧操作的核心恰恰是三维空间结构与接触几何,而 RGB 潜变量不显式编码三维结构,末端位姿也不刻画多指与物体表面的相对关系。另一个现实困难是数据——机器人灵巧演示极其昂贵,而人类演示视频量大得多,但两者之间存在巨大的形态鸿沟。
核心方法: ① 场景—手解耦的三维点轨迹表示:把世界分解为 scene(环境)与 hands(行动者),两者都表示为同一时空坐标系下的三维点轨迹并联合预测。② 无需任务特定对象或关键点选择:因为这个表示是显式且解耦的,可以直接在大规模人类演示视频上预训练,不必为每类任务手工挑对象或关键点。③ 人类视频预训练 + 机器人演示微调:两段数据都表达为三维点轨迹,从而跨越形态鸿沟。④ 重定向:给定彩色点云与语言指令,预测场景与手在三维空间中如何共同演化,再把预测的手部运动重定向为机器人动作。
技术亮点:
- 把「世界状态表示」从 RGB 换成三维点轨迹,是这篇真正的贡献。RGB 潜变量的毛病不是信息量不够,而是三维结构被隐式地塞进了通道维,模型得自己重新学一遍几何;点轨迹把几何摆在明面上,接触关系(手指第几节碰到物体哪个位置)也就变得可读。
- 场景与手的解耦,让「无动作人类视频」第一次能被直接用于预训练。以往用人类视频预训练只能学视觉表征,之后还得再适配到控制;这里因为场景与手是分开的两条轨迹,人类视频里的手部运动可以直接当监督,且不需要挑对象或关键点——这一条把数据管线的成本砍掉了大半。
- 消融设计把收益拆得很干净:人类视频预训练 +56.9 个百分点,场景轨迹监督再 +10.9 个百分点。后者尤其说明问题——只预测手是不够的,场景怎么动本身就是有用的监督信号,这与「世界模型应当预测环境而非只预测自己」的主张一致。
- 115 万条人类演示 episode 的规模,说明这条预训练路线在数据量上是可扩的,而不是只能小规模验证。
实验结果: 在 DexJoCo 灵巧操作基准的十个任务上评测。大规模人类演示视频预训练使平均成功率提升 56.9 个百分点;在只预测手部的基础上加入场景轨迹监督,再提升 10.9 个百分点。两者合用后,PointWAM 在十个 DexJoCo 任务上超过此前最优方法 11.7 个百分点,并在真实机器人上表现优于强 VLA 基线。论文图 1 展示了在 1.15M 人类演示 episode 上的预训练及其向灵巧机器人操作的迁移。
应用场景: 多指灵巧手的精细操作(装配、插拔、工具使用);任何接触几何决定成败的操作任务;以及希望用大规模人类视频替代昂贵机器人遥操作数据的场景。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 灵巧操作一直受限于两件事:表示不编码三维接触几何、数据太贵。PointWAM 用一个改动同时撬动两者——三维点轨迹既把几何摆到明面,又让人类视频能被直接预训练。56.9 个百分点的预训练收益是本期八篇里最亮眼的数字之一,且消融把来源交代得很清楚。
World Action Modeling with Progressive Visual Planning
链接: https://arxiv.org/abs/2610.02508
项目主页: https://sii-ferenas.github.io/ProWAM-page
作者 / 机构: Fei Zhang, Zhaochong An, Duncan Frost, Yikai Wang, Pengfei Liu, Ya Zhang, Michal Drozdzal, Amir Bar(上海交通大学 Shanghai Jiao Tong University;上海人工智能研究院 SII;Meta;帝国理工学院 Imperial College London)
一句话总结: 上海交通大学、SII 与 Meta 团队提出 ProWAM,一个渐进式世界动作模型:不再生成稠密视频 rollout,而是联合预测动作与一串有序的稀疏视觉子目标,为动作生成提供贯穿全程的显式视觉指引。仿真上在 LIBERO-Plus 取得 85.8%、随机化 RoboTwin 取得 75.7%,相对最强基线最高 +35.9%;真机零样本达到 70.0%,比最强基线高 15.0 个百分点。
研究问题: 世界动作模型(WAM)通过联合预测未来视觉动力学与动作来做机器人控制,是一条很有前景的路线。但它有个绕不开的效率问题:生成稠密视频 rollout 极其昂贵,这让 WAM 在长程预测上举步维艰。近期的一些 WAM 改用「只预测单个未来帧」来规避这个成本,但这又走向另一个极端——单帧告诉不了模型该如何朝目标推进,等于把规划问题退化成了识别问题。于是这里有一个明显的空档:既不想付稠密视频的代价,又不能丢掉「朝目标推进」的进度信息。
核心方法: ① 有序稀疏视觉子目标:联合预测动作与一串有序的稀疏视觉子目标(sub-goals),在整个任务执行过程中为动作生成提供显式视觉锚点。② 子目标可从无动作视频中学习:这个设计天然可扩展——子目标预测可以在大规模无动作视频上训练,从而让视频骨干把复杂的视觉规划从动作策略里卸下来。③ 单次前向 + 缓存:动作生成时只需对视频骨干做一次前向来缓存稀疏子目标特征,既消除了迭代式全视频生成,重规划时也只需轻量的动作去噪。④ 进度索引的视觉先见:子目标是按进度排好序的,因此天然携带「离目标还有多远」的信息。
技术亮点:
- 「稀疏但有序」这个组合是解题关键。稠密视频太贵,单帧又没进度信息;一串有序的稀疏子目标正好卡在中间——token 数量少(便宜),但顺序本身编码了进度(有用)。这是一个很干净的取舍。
- 把视觉规划从动作策略里卸下来,是一个架构层面的分工。以往 WAM 里动作策略既要规划又要执行;这里视频骨干负责「接下来大概长什么样」,动作策略只管「这一小步怎么走」。分工之后,视频骨干可以用无动作视频规模化预训练,不再受机器人数据规模限制——这是本方法能吃到大规模视频红利的前提。
- 单次前向缓存的工程价值被低估了。原文强调重规划时「只需轻量级动作去噪」,这意味着闭环控制的延迟瓶颈从视频骨干掉到了一个小得多的动作头上,对真机部署是实打实的收益。
- 真机零样本 +15.0 个百分点是最有说服力的一条:在新场景下不用任何目标域数据就能拉开差距,说明学到的不是场景记忆而是可迁移的规划能力。
实验结果: 在多个基准上做大规模评测。仿真方面,ProWAM 在 LIBERO-Plus 上取得 85.8%、在随机化 RoboTwin 上取得 75.7%,均为新的最优结果,相对最强基线的增益最高达 +35.9%;在 RoboCasa365 上取得 48.1% 成功率,在难度最高的 Composite-Unseen 划分上为 18.2%,总排名第 4。真机方面,在零样本设置下取得 70.0% 成功率,相比最强基线的 55.0% 提升 15.0 个百分点(相对提升 +27.3%),且是在新场景中取得。论文自述这些方法在分布外鲁棒性上表现更优。
应用场景: 需要长程规划的家庭与服务机器人操作;希望用大规模无动作视频预训练来降低机器人数据依赖的控制框架;以及对闭环延迟敏感的实机部署。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 在「稠密视频太贵、单帧又太弱」之间找到「有序稀疏子目标」这个中间地带,并把视觉规划与动作执行在架构上分开,是本年度 WAM 线上少见的清晰进展。LIBERO-Plus 85.8% 与真机零样本 +15.0 个百分点都是硬指标,而且后者是在新场景下取得的,泛化含义明确。
SimpleTouch: Can Vision-Language-Action Models Master Contact-Rich Manipulation Without Tactile Policy Pretraining?
链接: https://arxiv.org/abs/2610.02784
作者 / 机构: Chen Yang, Linzhe Shi, Changjie Wu, Hang Zhang, Ronghan Chen, Lingjun Zhang, Xu Hu, Mu Xu, Jiansheng Fan, Chen Wang(清华大学 Tsinghua University;阿里巴巴高德 Amap, Alibaba Group;香港理工大学 Hong Kong Polytechnic University)
一句话总结: 清华、高德与香港理工大学团队提出 SimpleTouch,一个给 π₀.₅ 加触觉专家的极简 VLA 扩展,用来正面检验一个常见假设:把触觉接进预训练 VLA,真的必须先做大规模触觉策略预训练吗? 答案是不需要——单阶段训练、只用任务演示,每任务 50 条演示下在 UniVTAC 六个任务上全部取得最高成功率,均值 77.5%(FTP-π₀.₅ 为 45.2%、FTP-1 为 66.7%),四个真机任务均值 71.3%,超过 FTP-1 8.8 个百分点。
研究问题: 触觉能为机器人操作提供接触信息,但把它接进预训练 VLA 一直不顺利。领域里一个普遍的担忧是:只在任务微调阶段引入触觉,跨模态鸿沟未必能被填上,收益可能很有限甚至反而下降。出于这个担忧,现有方法往往要么依赖大规模触觉策略预训练,要么单独做一步视触觉对齐——两者都额外增加数据需求与训练阶段。但这篇论文指出:这个担忧很少被直接检验过。既然预训练的 VLA 表征与预训练的触觉表征都已经存在,那么额外的触觉策略预训练到底是不是必需的?这是一个值得先问清楚、再堆流程的问题。
核心方法: ① 触觉专家(tactile expert):为 π₀.₅ 增加一个触觉专家模块,直接利用冻结的预训练触觉编码器的全部 token,而不是从中挑部分特征或另训对齐器。② 动作监督 + 多视野未来触觉潜变量预测:专家同时从动作监督与「预测多视野(multi-horizon)未来触觉潜变量」这两个目标中学习。后者是关键——它强迫触觉表征去编码「接下来会碰到什么」,而不只是「现在碰到了什么」。③ 单阶段训练:只用任务演示,没有额外的触觉策略预训练,也没有单独的对齐阶段。
技术亮点:
- 它做的是一次干净的「必要性检验」,而不是又一个更复杂的流程。在大家都在往管线里加阶段的时候,把问题反过来问「这个阶段是不是必需的」,结论又是否定的——这类工作的价值在于给领域省下大量无谓的算力与数据成本。
- 用冻结触觉编码器的全部 token 是个反直觉但有效的选择。常规做法倾向于压缩成一个全局向量以省算力,而这里保留全部 token,等于把触觉当作与视觉 patch 同级的序列输入,让 VLA 自己决定关注哪里。
- 多视野未来触觉潜变量预测,把触觉从「反馈」升级为「前瞻」。只预测当前接触状态,触觉就只是被动传感器;预测未来多个视野的触觉,它就成了可供规划用的信号。这大概是这套极简方案能打过重型流程的真正原因。
- 50 条演示这个量级很有说服力。在如此少的任务数据下仍能全面超过需要预训练的对手,说明瓶颈并不在任务数据量,而在触觉信息有没有被正确接入。
实验结果: 在 UniVTAC 六个任务与四个真机任务上评测,每任务仅用 50 条演示。SimpleTouch 在全部六个 UniVTAC 任务上取得所评方法中的最高成功率,平均成功率 77.5%,对比 FTP-π₀.₅ 的 45.2% 与 FTP-1 的 66.7%,分别高出 32.3 与 10.8 个百分点。在四个真实世界任务上平均 71.3%,超过 FTP-1 8.8 个百分点。论文结论是:在已有预训练 VLA 与触觉表征的前提下,额外的触觉策略预训练不是在这些任务上取得强性能的先决条件。
应用场景: 富接触的操作任务(插拔、旋拧、易碎物抓取、装配);希望在已有的通用 VLA 上低成本加装触觉模态的团队;以及数据预算有限、无法承担大规模触觉预训练的场景。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 对一个被默认接受的前提做了正面检验并给出了否定答案,且结论建立在六任务全项第一、真机 +8.8 个百分点的实证上。多视野未来触觉预测这一设计也很可能被后续工作沿用。唯一遗憾是论文在 arXiv 列出的项目主页(simpletouch-robot.github.io)目前尚不可访问(404),此处已不引用。
FastOPD: On-Policy Distillation for Lightweight VLA Deployment
链接: https://arxiv.org/abs/2610.02832
项目主页: https://fastopd.github.io/
作者 / 机构: Yoojin Oh, Jeongsol Kim, Yeonwoo Seo, Jangho Park, Seonghyun Jin, Sunwoo Park, Youngmin Kim, Youngjun Jun, Kyumin Choi, Jong Chul Ye(KAIST 韩国科学技术院;成均馆大学 Sungkyunkwan University)
一句话总结: KAIST 与成均馆大学团队提出 FastOPD,一个从基础模型到轻量级模型的 VLA 框架,用高效的在策略蒸馏让大规模 VLA 真正可部署:把 flow map 适配为单状态教师监督,并与自一致性目标结合,学到一个紧凑的学生。在 LIBERO 上,仅两步推理即可保留 π₀.₅ 性能的 84%,推理延迟降低 78.1%,同时平均成功率优于现有少步蒸馏基线;以 LingBot-VLA 为教师时,RoboTwin 2.0 上单步成功率比基础学生提升 15.9 个百分点。
研究问题: VLA 基础模型的规模扩张带来了操作性能与泛化能力的提升,但代价是高昂的计算开销,实机部署越来越困难。现有缓解思路大致两条:一是设计更小的架构(等于放弃基础模型的既有能力,重新训练),二是减少基于流的策略中的迭代去噪步数(即少步蒸馏)。第二条路更省,但直接套用会碰到一个具体障碍:在策略蒸馏要求教师提供监督,而 VLA 的教师本身是一个多步流策略,如何在只给单状态监督的条件下把教师动力学传给学生,并不是现成的。此外,少步蒸馏还缺一个理论上的说法——学生在少步之后到底学到了什么分布?
核心方法: ① Flow map 适配为单状态教师监督:把 flow map 改造成能给出单状态(single-state)教师监督的形式,从而适配在策略蒸馏的设置。② 自一致性目标:与上述监督结合,构造学习教师动力学的紧凑学生。③ 理论结果:论文从理论上证明,最小化该目标可让蒸馏出的学生恢复一个与「理想少步教师模型」所诱导分布相当的分布。④ 跨载体验证:不只做 VLA,还验证了该框架对**世界动作模型(WAM)**的适用性,并把从 MolmoAct2 蒸馏出的紧凑学生部署到了真实机器人上。
技术亮点:
- 「基础到轻量」的定位很务实:不去和基础模型比绝对性能,而是明确回答「我能在多大程度上保住它」。84% 性能 + 延迟降 78.1% 这个交换比,对部署方来说是可以算账的。
- 补上了理论缺口。少步蒸馏长期被当作工程技巧,本文证明最小化其目标能让学生的分布追平理想少步教师所诱导的分布——这给了「少步到底损失了什么」一个可陈述的答案,而不是只能用实验说话。
- 在策略(on-policy)是关键选择。用学生自己产生的状态去问教师,监督分布与部署分布才一致;离策略蒸馏在长程操作上常见的分布偏移问题,在这里被从设置层面规避了。
- 验证了可向 WAM 迁移,并落到真机。从 MolmoAct2 蒸馏出紧凑学生部署到真实机器人,说明这套方法不是只在 LIBERO 这类仿真基准上成立。
实验结果: 在多种基础策略上做仿真与真机评测。在 LIBERO 上,FastOPD 仅用两步推理就保留了 π₀.₅ 性能的 84%,推理延迟降低 78.1%,且平均成功率优于现有的少步蒸馏基线。以 LingBot-VLA 为教师时,在 RoboTwin 2.0 上单步成功率比基础学生提升 15.9 个百分点。论文还展示了该方法对世界动作模型(WAM)的适用性,并将从 MolmoAct2 蒸馏出的紧凑学生部署于真实机器人。
应用场景: 边缘设备或算力受限平台上的 VLA 部署;对控制频率有硬要求的实时操作;以及希望把大规模基础 VLA 的能力迁移到小模型上、又不想从零重训的团队。
研究价值: ⭐⭐⭐⭐(4/5)— 把在策略蒸馏从语言模型后训练搬到了 VLA 部署这个更硬的场景中,并补了理论、验了 WAM、上了真机,完整度不错。84% 保真率与 78.1% 延迟下降是能直接用于工程决策的数字。扣分在于「保留 84%」意味着仍有 16% 的性能损失,在安全敏感的操作任务上这个缺口需要额外论证。
Equivariant Visual-Tactile Diffusion Policy for Contact-Rich Manipulation
链接: https://arxiv.org/abs/2610.03333
项目主页: https://vista-paper.github.io/
作者 / 机构: Lik Hang Kenny Wong, Yiyao Ma, Xiu-Shen Wei, Zelong Tan, Zhuheng Song, Dongsheng Xie, Kai Chen, Qi Dou(香港中文大学计算机科学与工程学系 The Chinese University of Hong Kong;东南大学计算机科学与工程学院 Southeast University)
一句话总结: 香港中文大学与东南大学团队提出 VISTA,一个工作空间层面的等变视触觉扩散策略:把视觉与触觉观测投影为球面 token,通过置换等变的球面融合把触觉接触线索注入视觉球面方向,再用末端朝向旋转融合后的谐表示,最后以此条件驱动等变扩散策略预测空间一致的动作。每任务仅 50 条演示,仿真平均成功率 80.9%,比 ManiFeel、VITAL、UniVTAC 分别高出 32.1 / 37.1 / 59.6 个百分点,比最强基线 EquiDiff + Tac 高出 15.9 个百分点。已被 CoRL 2026 接收。
研究问题: 富接触操作的模仿学习需要高质量的专家数据,而这类数据极其昂贵(要遥操作真机、还要装触觉传感器),因此样本效率就成了核心问题。现有视触觉模仿学习方法有一个共同的盲点:它们大多把视觉与触觉当作普通的输入特征来处理,没有注入几何约束。结果是:在只有 50 条演示的情况下,模型必须从数据里重新学会「末端转 30 度之后动作该怎么变」——而这个规律本来是可以直接写进模型结构里的。插 HDMI、插孔、提瓶、提罐这类对几何极其敏感的任务,恰恰是这种浪费最先暴露的地方。
核心方法: ① 球面 token 化:把视觉与触觉观测都投影到球面 token上,而不是当作无结构的特征向量。② 置换等变的球面融合:把触觉的接触线索注入到视觉的球面方向上,融合过程保持置换等变性——触觉不再是一个并排拼接的向量,而是直接调制视觉的方向性表示。③ 按末端朝向旋转:用末端执行器的朝向去旋转融合后的谐(harmonic)表示。④ 等变扩散策略:以上述表示为条件,预测空间一致的动作。整个链路把「工作空间的旋转结构」编码进了策略类本身。
技术亮点:
- 把触觉「抬升」为球面 token,是这篇最独特的设计。绝大多数视触觉工作做的是 late fusion 或简单拼接,触觉信息在特征层面与视觉平起平坐却互不影响;VISTA 让触觉去调制视觉的球面方向,使两者在几何上真正发生关系。这也解释了为什么它在插拔类任务上的优势最明显。
- 等变性直接换算成样本效率。这是全文的因果链:把旋转结构写进策略类 → 模型不必从演示里学旋转不变性 → 需要的演示覆盖面积骤减 → 50 条演示就能打平。作者的论述也很清楚——「编码工作空间的旋转结构,减少了演示必须提供的空间覆盖」。
- 与 EquiDiff + Tac 的对照设计得很干净。后者已经用了等变扩散解码器 + 触觉输入,只差球面抬升与球面融合这一步;VISTA 仍高出 15.9 个百分点,等于把增益干净地归因到「触觉该怎么表示」而不是「要不要用等变性或触觉」。
- 覆盖抓取、分类、插 HDMI、插孔、提瓶、提罐等任务,且仿真与真机两套都做了,结论不只停留在仿真表格上。
实验结果: 仿真实验涵盖插入、拔出、提起、放置与基于接触的分类任务,所有方法均以每任务 50 条演示训练、40 次 rollout 评测。VISTA 取得最高平均成功率 80.9%。相比同样使用视触觉观测但把信号当通用特征的 ManiFeel、VITAL、UniVTAC,分别高出 32.1 / 37.1 / 59.6 个百分点——后三者尤其在插 HDMI、插孔、提瓶、提罐这类几何敏感任务上表现较弱。与最强的等变基线 EquiDiff + Tac(有等变扩散解码器与触觉输入,但没有球面抬升与球面融合)相比,VISTA 仍高出 15.9 个百分点。论文还在真实机器人环境做了评测,显示数据效率相对强视触觉基线有大幅提升。论文已被 CoRL 2026(第十届机器人学习会议)接收,正文 21 页、6 图。
应用场景: 数据获取昂贵的富接触装配与插拔任务;需要在少量示教下达到空间泛化的产线操作;以及任何末端朝向与接触几何共同决定动作成败的场景。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 50 条演示打 80.9%、比最强等变基线还高 15.9 个百分点,且对照设计把收益精确归因到「触觉的球面表示」。在触觉数据天然稀少的现实约束下,用结构换数据是一条非常值得走的路。CoRL 2026 接收也说明这个方向得到了同行认可。
📊 今日研究趋势
少步蒸馏的瓶颈已经从「步数」转移到「监督的粒度与可靠性」。 VDOT++ 与 FastOPD 分处视频生成与 VLA 两端,诊断却惊人地一致。VDOT++ 指出的是:DMD 用近似逆 KL 梯度,一旦师生分布重叠不足,信号就会漏模式或在不支持的样本上失稳;而此前补救用的平衡 OTD 又要求每对师生帧的空间 token 全质量匹配——这个假设在「一个条件对应大量合法输出」的 T2V / I2V 下根本不成立。它的两处改动(非平衡 OT 决定「匹配谁」,ℓ₁ 加权中位数决定「怎么聚合」)恰好对应传输问题的两个自由度。FastOPD 面对的是同一类问题在 VLA 上的版本:教师本身是多步流策略,如何在单状态监督下把教师动力学传给学生?它用 flow map 适配加自一致性目标作答,并补了一个此前少步蒸馏普遍缺失的理论缺口——最小化该目标可让学生恢复与理想少步教师相当的分布。两篇合起来给出的方法论是:当蒸馏失效时,先检查监督的粒度是否比任务的歧义度更粗。
约束的来源正在从「更多标注」转向「更多结构」。 LoGo、SymRegFlow 与 VISTA 是三种截然不同但气质相近的做法。LoGo 不换奖励函数,只把整段视频的单个标量奖励拆成空间局部奖励,让信用分配第一次变得可行——同样的奖励、不同的空间粒度,效果完全不同;它同时发布 TrajectoryBench,用「走远再从新角度回访」这一动作去逼出物体恒存性的失效。SymRegFlow 面对的是「想做连续位姿但没有任何新视角真值」的死局,它的解法是把SE(3) 等变性这一条不需要标注就能写出的先验,变成双锚点上的跨锚点一致性约束,还在仿射高斯代理下证明了这能恢复干净参考最优、严格优于单锚点与合并锚点。VISTA 则把工作空间的旋转结构直接编码进策略类,换来的是每任务仅 50 条演示就能达到 80.9%。三者的共同点是:不再问「还能标注什么」,而是问「什么东西本来就是已知的、却没被写进模型」。
世界动作模型(WAM)正在集体寻找 RGB 之外的世界状态表示。 本期 PointWAM 与 ProWAM 是这一趋势的两个清晰样本,且它们的取舍很有代表性。PointWAM 换的是表示本身:把世界拆成场景与手,统一表示为共享时空坐标系下的三维点轨迹。这个改动一箭双雕——三维接触几何被摆到明面上,且因为场景与手解耦,115 万条无动作人类演示可以直接用于预训练,不必为每类任务挑对象或关键点,最终带来 56.9 个百分点的提升。ProWAM 换的是预测的目标:不再生成稠密视频 rollout(太贵),也不退化到单帧(没有进度信息),而是预测一串有序的稀疏视觉子目标。顺序本身编码了进度,稀疏本身压住了成本,而且子目标可以从无动作视频中学——于是视觉规划被从动作策略里卸下来、交给视频骨干,重规划时只需轻量动作去噪。两篇都指向同一个判断:WAM 的下一步不在于把视频生成得更真,而在于为「世界状态」挑一个既便宜又能承载规划的表示。
触觉正在从「需要专门预训练的额外模态」回归为「能被通用表征直接吸收的通道」。 SimpleTouch 与 VISTA 是本期四篇具身论文里的两条触觉路线,且都给出了反直觉的答案。SimpleTouch 正面检验了一个被广泛默认却很少被验证的前提——「只在微调时加触觉填不上跨模态鸿沟,所以必须先做触觉策略预训练」——结论是不需要:单阶段、只用 50 条任务演示,UniVTAC 六任务全项第一、均值 77.5%(对比 FTP-π₀.₅ 的 45.2%),真机 71.3%。它真正奏效的设计是多视野未来触觉潜变量预测,这把触觉从被动反馈升级成了可供规划的前瞻信号。VISTA 走的是另一条路:不增加训练阶段,而是把触觉抬升为球面 token,通过置换等变融合去调制视觉的球面方向,用结构换数据。两篇合起来说明:触觉接入 VLA 的成本,正在被预训练表征与几何结构这两件事同时压低——这对触觉数据天然稀少的领域是个不小的好消息。
🏆 最值得关注的 3 篇
PointWAM(2610.02840) — 灵巧操作的两大瓶颈(表示不编码三维接触几何、数据太贵)被一个改动同时撬动:把世界拆成场景与手、统一表示为共享时空坐标系下的三维点轨迹。显式且解耦的表示让 115 万条无动作人类演示可以直接预训练,无需为任务挑对象或关键点,换来 56.9 个百分点的提升,并在十个 DexJoCo 任务上超过此前最优 11.7 个百分点。做具身世界模型与灵巧操作的人,这篇的表示选择值得反复咀嚼。
LoGo(2610.03636) — 它指出的不是「奖励函数不够好」,而是「奖励的粒度不够细」:给整段视频打一个标量,模型永远学不会「是左上角那个杯子在第 60 帧漂了」。改成空间局部奖励 + 全局奖励的混合结构后,在三个基座模型(Lingbot2 / Lyra2 / UniWorld)与三种后训练算法(DiffusionNFT / Flow-GRPO / DRaFT)上一致有效。配套的 TrajectoryBench 用「走远再回访」逼出物体恒存性失效,补上了评测侧的空白。做相机可控视频生成的人几乎必读。
SimpleTouch(2610.02784) — 对一个被领域默认接受的前提做了正面检验并给出了否定答案:把触觉接进预训练 VLA,不需要额外的触觉策略预训练。单阶段、每任务仅 50 条演示,就在 UniVTAC 六个任务上全部取得最高成功率(均值 77.5% vs FTP-π₀.₅ 的 45.2%),真机四任务均值 71.3%。真正奏效的是「多视野未来触觉潜变量预测」——它把触觉从被动反馈变成了前瞻信号。任何打算给 VLA 加触觉的团队,都应该先看这篇再决定要不要堆流程。
数据来源:ArXiv Mon, 5 Oct 2026 公告批次(去重后 608 篇;出刊日 2026-10-06)|分析生成时间:2026-10-06 06:00 (北京时间)