📅 本期覆盖 2026-09-22（Tue, 22 Sep 2026） 公告批次。arXiv 网页端 listing 各分类当日条数为 cs.CV 272 / cs.RO 210 / cs.AI 384 / cs.LG 426 / cs.GR 11 / cs.MM 11，去重后 1030 篇——约为上期（Mon, 21 Sep 批次 408 篇）的 2.5 倍，属合并补发的大批次，确认新批次已上线，故出正刊而非补遗。

经全站 674 个历史 arXiv ID 与 700 条历史标题双重去重，入选的 8 篇与已收录论文 0 重复；自检锚点正常（往期已收录的 FOCAL-VLA 2609.21228、ForeTac-VLA 2609.20980、Cal-OPD 2609.21619 等全部命中历史集合，去重环节未失效）。8 篇入选论文的 v1 均为 2026-09-19~21，与公告批次一致；另剔除了一篇 v1 为 09-13 的旧文（Rethinking Streaming Video Diffusion Model 2609.22283），避免旧文冒充新稿。

本期最醒目的一条主线是：世界模型正在把「生成未来」与「理解世界」这两件事拆开卖。过去两年大家默认二者绑定——要拿到世界模型的物理接地，就得忍受逐帧 rollout 的秒级延迟。Think Like a World Model 直接质疑了这一点：世界模型对物理场景的知识其实住在它的内部特征里，生成未来不过是当初训练出这些特征的目标函数，因此接地可以被继承、代价可以被丢弃。它只做一次离线对齐，把紧凑策略的特征空间拉到冻结世界模型的视觉特征上，训完就丢掉投影器——部署的网络与未蒸馏的基线完全相同，0.8B 策略在 LIBERO 上 97.9%、比未蒸馏的自己高 2.6 个点，在消费级 RTX 5090 上 32 ms / 1.86 GB，而作为教师的 DreamZero 需要 3 秒 / 45.9 GB（这张卡根本装不下）。增益不大但异常一致，跨学生规模、骨干网络、对齐层与教师都成立——这正是表征先验而非两个网络偶然契合的样子。

第二条主线是：触觉与力从「外挂传感器」升级为模型要预测的世界状态本身。同日涌现的四篇工作给出了两条互补路线。DexTacWAM 把触觉纳入预测目标：每个指尖独立编码，经 finger- 与 pose-aware 压缩器注入视频扩散世界模型，消融显示去掉触觉世界建模后四任务均值从 74.7 掉到 26.6——在触觉特征与动作专家完全不变的情况下，说明收益来自「预测接触演化」而非「多给一路输入」。HapticWAM 则走反方向：教师用触觉、学生靠师生蒸馏把「想象出的触觉」内化，部署时不需要指尖传感器，学生反而以 77% 对 57% 反超教师（DAgger 式纠偏让学生只在自己真正到达的状态上被纠正）。力的一侧，CompVLA 让 VLA 直接输出时变刚度矩阵与虚拟位移，Opt2VLA 则用力条件化加上力矩优化导出的未来力矩监督，把关节成功率从简单状态拼接的 27.8% 推到 82.2%。

第三条主线是：机器人控制的瓶颈正从「机器人数据不够」转向「上层智能不够」。RoboDawn 用一个极简接口（离散的平移、旋转、夹爪命令）把机械臂暴露给智能体式 VLM，零样本就在 RoboTwin 2.0 C2R 上拿到 53.2%，超过用机器人数据后训练的 π0.5（46.0%）与 LingBot-VLA（50.4%）；只给一条上下文演示就跳到 73.6%。更关键的是它的消融：换更强的 VLM 比加数据更管用——同一设置下 GPT-5.6-Luna 14.4% → GPT-5.6-Sol 43.2% → Gemini-3.8-Flash 62.2% → GPT-6 Astra 73.6%；而演示数量从 1 增到 4 只带来 3.2 个点、增到 8 反而回落到 62.7%。

📄 论文精选

WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory

链接： https://arxiv.org/abs/2609.24984

项目主页： https://drexubery.github.io/WorldCrafter ｜ 代码： https://github.com/TencentARC/WorldCrafter ｜ 模型： https://huggingface.co/TencentARC/WorldCrafter-Fast

作者 / 机构： Wangbo Yu, Kunhao Liu, Wenbo Hu, Shenghai Yuan, Chaoran Feng, Haiyang Zhou, Yukun Huang, Yiran Wang, Wang Zhao, Yingmin Luo, Ying Shan（Peking University；ARC Lab, Tencent IEG）

一句话总结： 北京大学与腾讯 IEG ARC Lab 提出 WorldCrafter，让请求的视角反过来决定历史多视证据如何被压缩进视频生成器有限的 token 预算：一个记忆编码器与位姿条件化读出模块把历史观测整合成一组「目标视角专属」的 token，与视频生成器联合训练，在长程回访一致性上相对最强基线提升 47.6%。

研究问题： 视频世界模型已经能支持对动态环境的交互式探索，但在长时程与跨视角下很难尊重先前观测——走过的场景回看时内容会漂移、变形甚至完全改变。现有做法（几何点云记忆、深度 warp 记忆、滑窗上下文、Gated DeltaNet 记忆等）都是先把历史压成某种与视角无关的表征，再在生成时取用，而生成器能分配给历史的 token 预算是固定的，二者之间存在结构性错配。核心问题是：如何让有限的历史 token 恰好承载「当前这个视角真正需要看到的」那部分证据？

核心方法： ①相机可查询（camera-queryable）的隐式 3D 感知记忆：不再维护显式的几何记忆，而是学一个连续的、隐式 3D-aware 的记忆表征。②位姿条件化读出：关键设计在于让被请求的目标视角参与决定多视证据如何被压缩——同一个记忆在不同目标相机下读出不同的 token 内容，从而把 token 预算花在该视角真正可见的区域上。③与视频生成器联合训练：记忆编码器、读出模块与相机可控的自回归视频生成器端到端联合优化，避免记忆表征与生成器的归纳偏置脱节。④金字塔蒸馏：为实时交互蒸馏出 WorldCrafter-fast，在 4 卡机器上达到 16 FPS。

技术亮点：

  • 把「视角」作为压缩的约束条件而非生成后的取用条件，这是与 DreamX-World / HY-WorldPlay（按相机相似度检索历史）、SANA-WM（Gated DeltaNet 记忆 + Plücker-ray 条件化）、Alaya-EVOKE / Lyra 2.0（Depth Anything 3 估深度后几何 warp）、Matrix-Game 3.5（几何 patch 记忆 + Warped PRoPE）等八条路线最本质的区别。
  • 评测基准专为「回访」设计：145 张图（83 个动态物体中心场景 + 62 个静态场景，来自 HappyOyster、Project Genie、网络素材与 GPT-Image2 生成），每张图配 5 条公制相机轨迹，共 725 个视频/方法，轨迹长 528–1648 帧且包含闭环回访，专门用于检验先前观测是否被保留。
  • 指标组合有针对性：用 MEt3R、LPIPS、PSNR、SSIM 衡量配对观测（首次访问 vs 回访）之间的一致性，而非只看单帧画质。
  • 蒸馏后仍保持可用：WorldCrafter-fast 牺牲少量一致性换取 16 FPS 交互，且取得最佳 Temporal Flickering 分数，说明记忆机制与蒸馏不冲突。

实验结果： 在自建基准上与 8 个相机可控视频世界模型对比，WorldCrafter 取得最高总分 81.910，回访一致性相对最强基线提升 47.6%；与 Lyra 2.0 相比，LPIPS 从 0.487 降到 0.255、PSNR 从 14.050 dB 提升到 18.016 dB。蒸馏版 WorldCrafter-fast 在 4 GPU 机器上达到 16 FPS，并取得最佳时序闪烁分数。

应用场景： 可交互的世界探索与游戏引擎替代、具身智能体的长程视觉想象与规划、相机可控的长视频生成与虚拟漫游、数字孪生场景的连续导航预演。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 长程一致性是当前世界模型最硬的短板之一，而这篇给出的「用目标视角约束记忆压缩」是一个与具体记忆结构正交的思路：无论显式点云还是隐式记忆，都可以套用这一读出机制。加上完整基准、八条基线对比与开源代码权重，是本期最值得复现的工作。

NeuIDO: Neural Intrinsic Dynamics Operator for Physics-Informed 4D World Models

链接： https://arxiv.org/abs/2609.24313

项目主页： https://github.com/JiajingLin/NeuIDO

作者 / 机构： Jiajing Lin, Xin Zhang, Jianhua Sun（School of Artificial Intelligence, Shanghai Jiao Tong University；School of Informatics, Xiamen University）

一句话总结： 上海交大与厦门大学团队（ECCV 2026）提出 NeuIDO，不再给 4D 生成手工施加动力学假设，而是从跨场景的视觉观测中学出一个统一的内禀动力学表征：DeepONet 式的 branch–trunk 算子把动力学索引成 128 维潜变量，few-shot 适配后平均 Chamfer Distance 从 1.643 降到 1.216，超过全部基线。

研究问题： 世界模型的目标是捕捉环境动力学、预测未来轨迹，而「物理信息 4D 生成」近年被视为通往世界模型的一条可行路径——把物理仿真整合进来预测 3D 物体交互。但这条范式有个根本缺陷：动力学规律是人为外挂的（弹性/塑性/沙土等本构模型由人指定），模型并没有真正内化世界动力学，因此离「真正的世界模型」仍有距离。核心问题是：能否让模型从视觉观测中自己学出可复用、可跨场景迁移的动力学表征，而不是被人手工写明？

核心方法： ①内禀动力学算子：采用 DeepONet 风格的 branch–trunk 架构，把「动力学」参数化为一个可学习的算子，动力学潜变量维度设为 128。②两阶段训练：阶段 I 为每条材质轨迹分配一个从 𝒩(0,1) 初始化的可学习动力学潜变量，与 trunk 网络联合优化 10 个 epoch（batch size 10⁴）；阶段 II 把每个视觉场景当作一个训练实例，冻结算子、只优化 branch 中的投影器，在所有 N 个场景上交替训练 N×100 个 epoch。③few-shot 适配：在 trunk 中插入 LoRA（r=16, α=16），联合优化适配器参数与场景专属潜变量 100 个 epoch。④仿真 rollout：所有动力学推演都在 [0,1]³ 域内、重力 9.8 m/s² 下用 MPM 模拟器完成，合成数据网格分辨率 32³、真实数据 70³；用 NeuMA 从首帧重建 3DGS 初始化，合成场景用 2 视角视频、真实场景用 3 视角视频做对齐监督。

技术亮点：

  • 把「本构模型选择」变成一个可学习的连续潜变量索引，跨场景共享一个算子，新场景只需优化一个 128 维向量 + LoRA，避免了为每种材质重新拟合解析本构。
  • 零样本已具竞争力：不做任何适配时平均 CD 为 1.643，与 PAC-NeRF（114.80）、NCLaw（12.860）、NeuMA（1.329）、VisionLaw（1.620）等已在同一量级；few-shot 后降到 1.216，全面超过基线。
  • 诚实指出了「动力学准 ≠ 画面好」：论文明确观察到 VisionLaw 在 Bottle 场景上 CD 最低，但视觉重建质量并非最好——准确的动力学建模并不自动转化为优越的视觉重建，这一区分对后续工作很有价值。
  • 视角监督存在明显收益递减：视角数从 4 增到 10 仅有边际改善，作者据此判断进一步提升需要更强的物理约束而非更多视觉观测。

实验结果： 在合成数据集上，零样本设置下 Chamfer Distance 平均 1.643，few-shot 适配后降至 1.216，优于 PAC-NeRF（114.80）、NCLaw（12.860）、NeuMA（1.329）、VisionLaw（1.620）全部基线；在新视角的 PSNR/SSIM/LPIPS 与真实场景上，NeuIDO 的重建最接近真实观测，并在所有真实场景上取得最高 PSNR；在未见过场景的零样本测试中显著优于随机基线。全部实验在单张 NVIDIA H100（80 GB）上完成。

应用场景： 具身智能体的物理直觉预训练、机器人操作前的可交互动力学预演、4D 场景重建与编辑、材质与物体交互的数字内容创作。

研究价值： ⭐⭐⭐⭐（4/5）— 切中了「物理信息 4D 生成仍然靠人写动力学」这一真实痛点，用算子学习把本构模型变成可学习潜变量是干净的一步。增益在真实场景与零样本设置下偏温和，但作为 ECCV 2026 工作其问题定位比数值更值得关注。

Think Like a World Model, Act Like a VLA: Distilling World-Model Representations into Compact Robot Policies

链接： https://arxiv.org/abs/2609.24682

作者 / 机构： Trung Dao, Sankalp Yamsani, Jaden Park, Joohyung Kim, Yong Jae Lee（University of Wisconsin–Madison；University of Illinois Urbana-Champaign）

一句话总结： UW-Madison 与 UIUC 团队论证了世界模型的「接地」可以与其「生成代价」分离：世界模型对物理场景的知识住在它的内部特征里，生成未来只是当初产出这些特征的目标函数；据此只做一次离线特征对齐，把一个 0.8B 紧凑策略拉向冻结世界模型的视觉特征，训完丢弃投影器——部署的网络与未蒸馏基线完全相同，LIBERO 97.9%（+2.6）、RoboCasa-GR1 48.2%→50.5%，在 RTX 5090 上 32 ms / 1.86 GB。

研究问题： VLA 模型把观测直接映射为动作，训练目标里没有任何一项解释「世界会如何响应」，因此其鲁棒性上限基本被数据覆盖范围锁死。世界模型恰恰拥有这个缺失的目标、接地也更好，但推演一次未来要花几秒钟，直接被排除在控制回路之外。核心问题是：能否只继承世界模型的接地，而不继承它的推演代价？

核心方法： ①特征即接地：主张世界模型学到的关于物理场景的知识存储在其内部特征中，逐帧生成未来只是训练出这些特征的目标函数——因此接地是可继承的、生成是可丢弃的。②一次性离线对齐：从统一的教师检查点中抽出 Qwen3-VL-8B reasoner（丢掉其他 tower），取第 24 层的 image-token 隐状态、按视角做 mean pooling，得到每视角 D_t=4096 的目标特征；训练一个轻量投影器把学生策略的特征拉向这些目标。③训练后丢弃投影器：教师不参与训练前向（特征已缓存），投影器训完即弃，部署的策略与未蒸馏的基线逐参数一致。④跨设置验证：在 LIBERO、RoboCasa-GR1 与真实单臂/双臂平台上评估，并交叉两个评估种子与两张 GPU（A100-80GB 与 RTX 5090）共 4 次取均值。

技术亮点：

  • 零推理期开销是硬约束而非附带好处：作者明确把「部署网络不变」作为设计前提，因此所有增益都可归因于表征本身，而非额外容量或测试时计算——这在方法学上比数值提升更重要。
  • 与体量的对照极具说服力：0.8B 学生在 LIBERO 上 97.9%，而表中所有 4B 以下的其他策略都在 78.7%–95.3% 之间；RoboCasa-GR1 上超过 QwenFAST / QwenPI / QwenOFT 与两个 Isaac-GR00T 版本，仅比 4B 的 QwenGR00T（54.8%）低 4.3 个点，而学生是其五分之一的体量。
  • 延迟/显存对比直观：DreamZero 在 H100 上单次推理需 3 秒（即便经过缓存、算子融合、量化、蒸馏多层优化），π0.5 在消费级 RTX 5090 上 65 ms，本方法 0.8B 策略在同卡上 32 ms / 1.86 GB，而 DreamZero 的 45.9 GB 这张卡根本装不下。
  • 对评估噪声的处理诚实：明确指出 RoboCasa-GR1 上同一检查点换 GPU 会有数个点的波动（LIBERO 上只有 1–1.5 点），因此报告四次运行的均值与标准差。

实验结果： 0.8B 学生在 LIBERO 上取得 97.9% 平均成功率，比完全相同的未蒸馏学生高 2.6 个百分点；在 RoboCasa-GR1 人形操作上从 48.2% 提升到 50.5%；同一目标迁移到真实硬件（单臂与双臂平台）同样有效。增益在仿真与真机上均幅度不大但方向一致，且跨学生规模、骨干网络、对齐层与教师选择都成立。

应用场景： 资源受限平台上的高性能机器人策略、无法承担世界模型推演开销的闭环控制、把大模型接地迁移到小模型的通用范式、边缘设备上的具身智能部署。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 这是本期方法论上最锋利的一篇。它没有提出新架构，而是重新划分了「表征」与「目标函数」的边界：世界模型的价值可以被拆成两半卖。对任何想用世界模型却付不起推演成本的场景，这都是一个立刻可用的方案。

DexTacWAM: A Visuo-Tactile World-Action Model for Dexterous Manipulation

链接： https://arxiv.org/abs/2609.24976

项目主页： https://dextacwam.github.io/

作者 / 机构： Haoran Yuan, Zekai Wang, Boning Shao, Haoran Lu, Trevor Darrell, Ismini Lourentzou, Wei Zhan（University of Illinois Urbana-Champaign；University of California, Berkeley；Northwestern University）

一句话总结： UIUC、UC Berkeley 与 Northwestern 联合提出 DexTacWAM，把触觉作为被预测的世界状态而非下游策略的额外输入：每个指尖独立编码，经 finger- 与 pose-aware 触觉压缩器注入视频扩散世界模型做联合视触觉世界建模，在六个接触丰富的灵巧操作任务上均值 70.6 对最强基线 38.0，并把 DiT 参与视图从 11 压到 3、端到端延迟从 363.0 ms 降到 281.6 ms。

研究问题： 灵巧操作高度依赖接触动力学，而这些信息从视觉上往往只能部分观测。近期的 World-Action Models（WAMs）把预测式视频世界建模与动作生成耦合起来，但基本仍是以视觉为中心的——它们能建模「可见场景如何演化」，却无法直接建模「手指与物体之间发生了什么」。核心问题是：如何让 WAM 真正把多指接触动力学纳入它要预测的世界状态，而不是把触觉读数当作一路额外的策略输入？

核心方法： ①逐指尖独立编码：每个指尖的触觉信号单独编码，避免多指信号被过早混叠。②finger- 与 pose-aware 触觉压缩器：在知道「是哪根手指、处于什么姿态」的条件下聚合各指尖特征，把触觉压成紧凑 latent。③注入视频扩散世界模型：触觉 latent 被注入预训练的视频世界模型，使其预测的未来同时包含可见场景演化与接触演化。④预测式视触觉特征直通动作专家：世界模型产出的特征直接暴露给动作专家，而非绕道下游策略。⑤持续视觉到触觉学习：从任务规模的数据中获得触觉预测能力，同时保持视觉预测质量。

技术亮点：

  • 消融设计极干净：在保留相同触觉特征与动作专家的前提下移除触觉世界建模，四任务均值从 74.7 暴跌到 26.6——这几乎排除了「收益来自多一路输入」的解释，把功劳精确归给「把接触演化当作要预测的世界状态」。
  • 与 RDP 的对比是全文关键：RDP 接收完全相同的指尖力矩，但把它当下游策略输入消费，只拿到 38.0；同一份信号、不同用法，差距 32.6 分。
  • 统计检验规范：20 次真机试验/方法/任务，DexTacWAM 成功 55/80（68.8%）对最强基线 RDP 的 24/80（30.0%），95% Wilson 置信区间分别为 [57.9, 77.8] 与 [21.1, 40.8]，Fisher 精确检验 p = 1.59×10⁻⁶。
  • 压缩带来真金白银的工程收益：触觉压缩把 DiT 参与视图从 11（头部 + 10 指尖）降到 3（头部 + 2 手），视图 token 从 3168 降到 864（3.67×），端到端延迟从 363.0 ms 降到 281.6 ms（1.29×），已低于 1.8 s 的动作块执行时间；训练侧迭代时间从 3.87 s/iter 降到 1.71 s/iter（2.26× 加速）。
  • 硬件规模罕见：双臂灵巧操作平台，配备多指 22-DoF Sharpa 触觉传感器，可在手指表面提供密集接触观测（局部接触激活、压力变化、接触移动与脱离）。

实验结果： 在 Cube Place w/ Occlusion（立方体被手臂遮挡）、Cube Handover（双手交接，仅凭相机难以判断抓取稳定性）、Two-Hand Wipe（长时程持续接触与稳定压力）、Tongs（用工具转移圣女果，需要精确力控）、Bowl（拇指-食指摩擦分离叠放碗）、Bottle Cap（拇指-食指摩擦加扭矩拧盖）六个接触丰富任务上，DexTacWAM 在每一项都取得最高分，平均 70.6，最强基线 RDP 为 38.0；整体成功率 68.8% 对 30.0%（p = 1.59×10⁻⁶）。消融移除触觉世界建模后四任务均值从 74.7 降至 26.6。

应用场景： 多指灵巧手的接触丰富操作、被遮挡条件下的抓取与交接、需要持续压力控制的长时程擦拭与装配、工具中介的精细力控任务。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 为「触觉到底该怎么用」提供了一个近乎决定性的实验答案：当作要预测的世界状态，而不是额外的输入通道。3.67× 的 token 压缩还顺带解决了多指触觉在工程上不可扩展的问题，是本期最完整的触觉工作。

HapticWAM: Distilling Imagined Touch into a World–Action Model without Inference-Time Tactile Sensing

链接： https://arxiv.org/abs/2609.23888

项目主页： https://advanced-robotic-manipulation.github.io/websites/hapticwam/ ｜ 代码： https://github.com/Advanced-Robotic-Manipulation/HapticWAM ｜ 模型： https://huggingface.co/armteam/hapticwam-student

作者 / 机构： Mikhail Sannikov, Ilya Mikhalchuk, Konstantin Gubernatorov, Petr Kovalev, Ogunwoye Faith Oluwatobi, Dzmitry Tsetserukou（Intelligent Space Robotics Laboratory, Skolkovo Institute of Science and Technology）

一句话总结： Skolkovo 智能空间机器人实验室（投稿 IEEE ICRA 2027）提出 HapticWAM，让触觉只在训练期存在：教师（基于 Cosmos-Predict2.5-2B）接收光学触觉传感、预测结构化接触事件，学生通过师生蒸馏把「想象出的触觉」内化，部署时不需要指尖传感器，反而在三个接触丰富抓取放置任务上以 77% 对 57% 反超教师。

研究问题： 接触丰富操作需要估计力、滑移与接触几何，而这些在场景图像中往往是模糊的。光学触觉传感器既能给出接触表面的视觉观测、也能给出力学测量，但从中学有两个难题：一是如何把接触表征成超越外观的东西，二是如何把这些好处转移到一个部署时不需要指尖观测的策略上。大多数触觉工作止步于第一个问题，默认传感器会一直挂在机器人手上——这大幅限制了可扩展性。

核心方法： ①异质触觉编码：同时处理光学触觉给出的视觉观测与力学测量两类异质信号。②结构化接触预测：教师不是重建触觉图像，而是预测结构化的接触事件（如下夹取、接触脱离、蛋壳破损等可判定的事件），把接触变成可监督的离散结构。③师生蒸馏：教师基于 Cosmos-Predict2.5-2B，先在 20,000 条演示更新上训练，再做 2,000 条仿真与 rollout 更新；学生从已部署教师初始化，在 1,000 条 HID 更新（演示与混合 rollout）上完成蒸馏。④不确定性加权的事件监督：蒸馏目标强调教师预测中不确定性较低的事件（式 21），不假设置信度已被经验校准。⑤DAgger 式专家查询：以教师为专家，学生只在自己部署时真正到达的状态上被纠正；而教师没有可比专家，其 rollout 只能按结果重新标注。

技术亮点：

  • 学生反超教师是全文最强信号：每任务均值 77%（50 次起始中成功 41 次，合并 82%）对教师 57%（合并 60%）。这直接支持作者的论断——学生被纠正于「它真正会遇到的状态分布」，而教师的 rollout 只能靠结果重标，纠偏信号更弱。
  • 消融定位到具体通道：把接触帧全部置零后，学生成绩从 22.31 mm 退化到 28.31 mm（与不动无异）；而只置零 ACC 输入则仍保持 22.35 mm——说明起作用的是接触帧的想象，而非本体感受通道的额外信息。
  • 与强基线的差距悬殊：在 876 段基线数据上，π0.5 为 20%/30%/0%，Diffusion Policy 为 10%/15%/40%，而学生为 95%（华夫饼，19/20）/ 85%（纸盒，17/20）/ 50%（鸡蛋，5/10）。
  • 评测标准面向真实损伤：鸡蛋任务按蛋壳是否破裂计分，而不仅仅是抓起来没有——力控失败在这种标准下无所遁形。
  • 数据与权重全部开源：GitHub 提供代码，HF 上放出教师/学生/消融模型与遥操作、rig、rollout 数据集。

实验结果： 真实世界的三个接触丰富抓取放置任务上，HapticWAM 学生取得 77% 的每任务平均成功率（50 次起始成功 41 次，合并 82%），单个任务最高 95%；教师为 57%（合并 60%）。分任务：华夫饼学生 95% 对教师 70%、π0.5 20%、Diffusion Policy 10%；纸盒学生 85% 对教师 60%、π0.5 30%、Diffusion Policy 15%；鸡蛋学生 50% 对教师 40%、π0.5 0%、Diffusion Policy 40%。

应用场景： 没有（或无法长期维护）指尖触觉传感器的机械臂、易碎品抓取与包装、需要力控但不愿为每个末端增加传感与布线的产线、把触觉能力「下沉」到廉价末端执行器。

研究价值： ⭐⭐⭐⭐（4/5）— 与 DexTacWAM 恰好构成一组对照实验：一个把触觉纳入预测世界状态、一个把触觉从部署端彻底蒸馏掉。两条路线同日出现，说明触觉这个方向正在从「加传感器」走向「决定触觉该待在模型的哪个阶段」。

CompVLA: A Variable Compliance Vision-Language-Action Model for Contact-rich Manipulation

链接： https://arxiv.org/abs/2609.23614

作者 / 机构： Jongmin Kim, Junsu Ha, Che-Sang Park, Minchang Song, Hyeokju Jeong, Himchan Hwang, Jianlong Fu, Frank C. Park（Seoul National University；Microsoft Research Asia）

一句话总结： 首尔大学与微软亚洲研究院（CoRL 2026）提出 CompVLA，让 VLA 不再只输出运动学指令，而是联合预测运动与时变刚度矩阵：新增的 Compliance Expert 输出时变刚度与虚拟位移剖面，在三个接触丰富任务上平均成功率 67.1%，超过最强基线 12.7 个百分点，并开源了整套接触丰富演示数据集。

研究问题： 接触丰富操作要求机器人不仅调节运动、还要调节它如何对外力让步，这已成为 VLA 的下一个前沿。但现有 VLA 只输出纯运动学指令（位置/轨迹），把这些指令交给一个只关心轨迹跟踪的底层控制器，在真实接触任务上性能会显著退化——因为几何上相似的运动可能需要截然不同的柔顺行为。核心问题是：能否让 VLA 在输出动作的同时，直接输出「该有多软、往哪让」？

核心方法： ①统一框架联合预测运动与刚度矩阵：从 RGB 与语言输入同时解码动作与完整的刚度矩阵，而非只给位置目标。②Compliance Expert：在常规架构上增设专用专家模块，输出时变的刚度与虚拟位移剖面——柔顺需求在任务过程中是变化的（如擦拭时方向与压力随表面变化）。③任务空间柔顺控制器执行：由底层任务空间柔顺控制器把刚度与虚拟位移转化为关节力矩。④数据集与硬件全公开：构建了力感知的主从遥操作数据采集系统并发布数据集。

技术亮点：

  • 指出了一个被普遍忽略的建模断层：现有 VLA 的输出只是抽象的笛卡尔目标，而真实机械臂在 SE(3) 上运动、必须由关节力矩驱动——中间这一层「怎么让步」此前完全交给了通用控制器。
  • 硬件配置规范且有说服力：双 7-DoF Franka Research 3（FR3）力感知主从遥操作， follower 由任务空间柔顺控制器驱动，配三个 Intel RealSense D435i（前、侧、腕）提供互补视角；腕部装 ATI Axia 力/力矩传感器（仅采集时记录，评估时策略不使用）；默认手指替换为 UMI 指尖设计以改善抓取。
  • 任务设计覆盖三种柔顺机制：Erase Whiteboard（姿态不确定下的表面跟踪）、Pivot（柔顺方向连续变化）、Cup Dispense（力调节压到精确深度），外加 Pick and Place 检验标准操作能力未受损。
  • 消融极陡：移除柔顺模块的各组件后，成功率从 96% 分别掉到 7.0% 与 15.3%，说明两个组件缺一不可。
  • 诚实地说明了基线缺口：因缺少触觉传感器且对方代码未开源，无法纳入 VTLA 与 ForceVLA2 作为基线。

实验结果： 每个任务采集 100 条演示训练，每任务每轮 20 个 episode、在三轮运行中报告均值与标准差。在接触丰富任务上 CompVLA 平均成功率 67.1%，超过最强基线 12.7 个百分点；对比基线为 π0 及其两个面向接触丰富操作的变体 ForceVLA 与 TA-VLA（ForceVLA 已改为接受三路相机以匹配设置）。消融移除柔顺模块组件后成功率从 96% 降至 7.0% 与 15.3%。擦白板任务按成功擦除的字母比例计分，其余任务为二值成功。

应用场景： 需要表面跟踪与力调节的擦拭、装配与插入、姿态不确定下的接触操作、纸杯/易碎品的分发与压装、服务机器人中的柔顺人机交互。

研究价值： ⭐⭐⭐⭐（4/5）— 把「柔顺」从控制器参数提升为 VLA 的输出变量，是一个干净且可立即嫁接的扩展点。开源数据集与完整硬件说明也让这条路线容易被跟进。

Opt2VLA: Force-Aware Vision-Language-Action for Contact-Rich Humanoid Whole-Body Manipulation

链接： https://arxiv.org/abs/2609.23968

作者 / 机构： Fukang Liu, Yipu Chen, Jaehwi Jang, Danfei Xu, Zsolt Kira, Ye Zhao（Institute for Robotics and Intelligent Machines, Georgia Institute of Technology）

一句话总结： Georgia Tech 团队提出 Opt2VLA，直面人形全身操作中被忽略的一环——现有系统用几何运动目标表示动作、底层控制器只做轨迹跟踪，对交互力既没有显式推理也没有显式控制；它通过力条件化训练加上力矩优化（TO）导出的未来力矩监督，把关节成功率从简单状态拼接的 27.8% 推到 82.2%，抓取力误差降到 0.9 ± 1.0 N。

研究问题： 人形机器人被期待在日常环境中完成人类级别的任务，其中很多需要精确调节交互力。近期的 VLA 在语义规划与视动控制上表现不俗，但现有人形系统主要用几何运动目标表示动作、依赖专注轨迹跟踪的全身控制器，对交互力的显式推理与控制都很有限。这在接触丰富任务中尤其致命——几何上相似的运动可能需要完全不同的力。核心问题是：如何让 VLA 真正「理解并控制」力，而不只是走出正确的轨迹？

核心方法： ①力条件化（Force Conditioning）：把语言指定的力等级作为条件输入 VLA，使动作生成显式依赖期望交互力。②专用力矩编码器：对比发现，把实测关节力矩经 GR00T 原生状态编码器拼进去效果很差，改为独立力矩编码器、把力矩作为一个额外 token 送入动作解码器。③TO 导出的未来力矩监督：用力矩优化（Torque Optimization）产生的未来力矩序列作为辅助监督，让策略不仅拟合当前力矩、还预见到维持该力所需的上游力矩演化。④域随机化：沿用既有方案，随机化动力学、观测噪声、控制延迟与外部扰动。

技术亮点：

  • 消融链条清晰且幅度惊人：同样的观测历史、无辅助损失时，专用力矩编码器（C6）关节成功率 74.4%，而原生状态拼接（C4）只有 27.8%；再加入未来力矩监督（C7）升至 82.2%，其中拾取子任务从 53.3% 提升到 76.7%，另两个任务保持不变。
  • 力的实现精度可量化：FCT 取得最一致的力实现，平均抓取力误差 0.9 ± 1.0 N。
  • 评测标准把「语言—力—结果」三者绑定：prompt-band 一致性要求每只被评估手的平均指令力落在指令对应的训练区间内（每侧 2 N 容差），均值一致性要求指令与实测的合并均值差不超过 5 N/手；Opt2VLA（C7）在任务完成 + prompt-band 一致性上取得 90.0%，整体关节成功率 82.2%，说明任务执行、语言指定的力等级与真实产生的交互力三者高度吻合。
  • 也诚实报告了底层控制器的力跟踪误差：在参考力跨度 5.0–20.0 N 时，控制器平均绝对误差为 7.0 N（95% bootstrap CI：6.5–7.4 N），说明全身力控本身仍有明显改进空间。

实验结果： 在三个接触丰富的人形任务上，Opt2VLA 的显式力条件化比纯运动控制实现更准确、更一致的力调节；TO 导出的关节力矩监督进一步改善力跟踪精度与稳定性。关节成功率：原生状态拼接 27.8% → 专用力矩编码器 74.4% → 加未来力矩监督 82.2%（拾取 53.3%→76.7%）；任务完成 + prompt-band 一致性 90.0%；FCT 平均抓取力误差 0.9 ± 1.0 N；底层控制器在 5.0–20.0 N 参考力跨度下 MAE 为 7.0 N。

应用场景： 人形机器人的接触丰富全身操作（搬运、开合、擦拭）、需要按语言指定「轻拿/用力按」的服务场景、假肢与可穿戴机器人的力交互、仿真到真实的力控迁移。

研究价值： ⭐⭐⭐⭐（4/5）— 抓住了人形 VLA 里一个被系统性忽略的缺口（动作表示只有几何、没有力），并用一组幅度极大的消融证明了「怎么把力矩喂进去」比「要不要喂」更重要。

Transferring the Intelligence of VLMs to Robotic Control

链接： https://arxiv.org/abs/2609.22966

项目主页： https://robodawn.top/

作者 / 机构： Meng-Hao Guo, Zhe-Han Mo, Jia-Jun Wang, Yi Zhang, Kejin Wang, Yi-Xuan Deng, Jia-Peng Zhang, Yongming Rao, Shi-Min Hu（Tsinghua University；Tencent Hunyuan）

一句话总结： 清华与腾讯混元团队提出 RoboDawn，用一个符合人类直觉的极简接口（离散的平移、旋转、夹爪命令）把机器人控制暴露给智能体式 VLM，验证「数字世界的智能能否迁移到物理世界」：在 RoboTwin 2.0 C2R 上零样本取得 53.2%（超过 π0.5 的 46.0% 与 LingBot-VLA 的 50.4%），只给一条上下文演示即跃升至 73.6%。

研究问题： 人类能无缝适应数字世界与物理世界，说明尽管在 embodiment、环境与任务上存在「数字到现实的鸿沟」，智能本身或许可以跨越这道鸿沟。这自然引出一个基本问题：VLM 的智能能否同样从数字世界泛化到物理世界、用于机器人控制？ 现有做法通常要大量机器人数据做后训练，等于默认智能不能迁移。

核心方法： ①RoboDawn 接口：一个人类直觉的接口，通过一组紧凑的离散命令（平移、旋转、夹爪）把机器人控制暴露给智能体式 VLM——不是让 VLM 直接输出连续动作，而是让它在熟悉的操作原语上做决策。②上下文演示（in-context demonstration）：用一条演示作为上下文即可大幅提点，无需梯度更新。③推理 + 网格定位：VLM 侧的推理链与基于网格的定位共同支撑命令生成。④模型能力即上限：框架的效果随底层 VLM 能力单调提升，作者系统比较了多个前沿模型。

技术亮点：

  • 零样本就超过机器人数据训练的策略，这是全文最反直觉的结果：RoboTwin 2.0 C2R 上 53.2% 对 π0.5（46.0%）与 LingBot-VLA（50.4%）——而后者是按官方 C2R 协议在每任务 50 条干净演示上联合后训练、并在域随机化环境中评估的。
  • 单样本增益 +20.4 个点，且超过 SOTA 的智能体式 VLA 方法 HarnessVLA（Claude Code）15.2 个百分点。
  • 消融显示「换模型」比「加数据」更划算：同一单样本设置下，成功率从 GPT-5.6-Luna 的 14.4% → GPT-5.6-Sol 的 43.2% → Gemini-3.8-Flash 的 62.2% → GPT-6 Astra 的 73.6%；而演示数量从 0 到 1 带来最大跃升（47.0%→62.2%），4 条只再加 3.2 个点（65.4%），8 条反而回落到 62.7%——过长的上下文可能干扰 VLM 的有效推理。
  • 两个组件都不可省：移除推理使成功率从 47.0% 降到 34.8%；移除基于网格的定位造成更大跌幅，降到 32.4%。
  • 跨基准一致：RoboDojo 上从零样本 35.67% 提升到单样本 47.17%，并给出每 episode 命令预算下的成功率曲线。

实验结果： RoboTwin 2.0 C2R：零样本 53.2% → 单样本 73.6%（超过 π0.5 46.0%、LingBot-VLA 50.4%，以及 HarnessVLA 15.2 个百分点）；RoboDojo：零样本 35.67% → 单样本 47.17%。模型能力消融（单样本）：14.4% / 43.2% / 62.2% / 73.6%；演示数量消融（Gemini-3.8-Flash）：0-shot 47.0% → 1-shot 62.2% → 4-shot 65.4% → 8-shot 62.7%；组件消融：移除推理 34.8%、移除网格定位 32.4%。

应用场景： 零数据冷启动的机器人部署、把前沿 VLM 能力快速接入既有机械臂、长程任务的语义分解与命令生成、跨本体与跨任务的通用控制接口。

研究价值： ⭐⭐⭐⭐（4/5）— 结果本身（零样本超机器人训练策略）足够有冲击力，但更重要的是它给出的** scaling 信号**：在这条路线上，提升来自底层 VLM 而非机器人数据。8-shot 回落的现象也提醒我们，长上下文对 VLM 推理的干扰是这条路线当前的现实瓶颈。

📊 今日研究趋势

世界模型正在被「拆件出售」。 今天最值得记住的一句话来自 Think Like a World Model：世界模型的接地住在它的内部特征里，生成未来只是当初训练出这些特征的目标函数。如果这个判断成立，那么过去两年「要么忍受世界模型的推演延迟、要么放弃它的接地」这一二选一就被打破了——离线对齐一次、训完丢掉投影器，0.8B 策略就能以 32 ms / 1.86 GB 的代价拿到一部分接地收益。有意思的是，同一批次的 NeuIDO 与 WorldCrafter 其实在做同一件事的不同侧面：NeuIDO 想把「人写的动力学」换成可学习的潜变量索引，WorldCrafter 想把「与视角无关的历史压缩」换成视角决定的读出一—三者共同指向一个判断：世界模型正在从「一个会生成未来的大模型」分化为一组可单独取用的能力件。

触觉与力从「通道」变成「状态」。 同日四篇工作（DexTacWAM、HapticWAM、CompVLA、Opt2VLA）密集触及接触，且几乎都给出了「怎么用」比「要不要用」更重要的证据。DexTacWAM 的消融最为锋利：在触觉特征与动作专家完全不变的前提下移除触觉世界建模，四任务均值从 74.7 崩到 26.6，而接收完全相同指尖力矩、却把它当策略输入的 RDP 只拿到 38.0。HapticWAM 则从另一端逼近：教师用触觉、学生把「想象出的触觉」蒸馏进自身，部署时不需要传感器，还以 77% 对 57% 反超教师。力的侧翼上，CompVLA 让 VLA 直接输出时变刚度矩阵，Opt2VLA 用专用力矩编码器 + 未来力矩监督把关节成功率从 27.8% 拉到 82.2%——「怎么把力喂进网络」比「要不要喂」重要得多。

柔顺正在成为 VLA 的一等输出。 CompVLA 点破了一个长期被忽视的建模断层：现有 VLA 输出的只是抽象的笛卡尔目标，而真实机械臂在 SE(3) 上运动、由关节力矩驱动，中间「怎么让步」这一层被完全交给了通用控制器。它把刚度矩阵与虚拟位移变成 VLA 的解码目标后，接触丰富任务平均 67.1%、超最强基线 12.7 个百分点，而消融掉柔顺组件的成功率会从 96% 掉到 7.0% / 15.3%。Opt2VLA 在人形侧给出了同样的结论：动作表示里只有几何、没有力，是这类系统在接触任务上失手的根因之一。

机器人控制的瓶颈可能在上层，不在数据。 RoboDawn 的结果很难被忽视：一个只暴露离散平移/旋转/夹爪命令的极简接口，零样本就在 RoboTwin 2.0 C2R 上拿到 53.2%，超过用机器人数据后训练的 π0.5（46.0%）与 LingBot-VLA（50.4%）；单样本即达 73.6%。更关键的是它的消融曲线——换更强的 VLM 带来 14.4% → 73.6% 的跃升，而增加演示从 1 到 8 条反而让成功率从 62.2% 回落到 62.7%。如果这条曲线在更多基准上成立，那么机器人学习接下来一段时间的投入重点可能需要重新排序。

🏆 最值得关注的 3 篇

  1. Think Like a World Model, Act Like a VLA（2609.24682）— 本期方法论上最锋利的一篇。它不提新架构，而是重新划分了「表征」与「目标函数」的边界：世界模型的接地可以继承、推演代价可以丢弃。0.8B 学生在 LIBERO 上 97.9%、在 RTX 5090 上 32 ms / 1.86 GB，而教师 DreamZero 需要 3 秒 / 45.9 GB。任何想用世界模型却付不起推演成本的场景，这都是立刻可用的方案。

  2. DexTacWAM（2609.24976）— 为「触觉该怎么用」给出了近乎决定性的答案。逐指尖编码 + finger/pose-aware 压缩器把触觉注入视频扩散世界模型，六项接触丰富任务全部第一、均值 70.6 对最强基线 38.0（68.8% vs 30.0%，p = 1.59×10⁻⁶）；消融证明收益来自「预测接触演化」而非「多一路输入」；顺带把 DiT 视图 token 压缩 3.67×、延迟降到 281.6 ms。

  3. WorldCrafter（2609.24984）— 长程一致性是当前世界模型最硬的短板，而这篇给出的「让目标视角决定历史证据如何压缩」是一个与具体记忆结构正交的思路。自建 725 视频基准含闭环回访，相对最强基线回访一致性 +47.6%、总分 81.910 最高，对比 Lyra 2.0 的 LPIPS 0.487→0.255、PSNR 14.050→18.016 dB；代码与权重已开源在 TencentARC。

数据来源：ArXiv 2026-09-22（Tue, 22 Sep 2026）公告批次，共 1030 篇去重候选 | 分析生成时间：2026-09-23 06:00 (北京时间)