📅 本期覆盖 2026-09-15(Tue, 15 Sep 2026) arXiv 公告批次。各分类当日条数:cs.CV 233 / cs.RO 129 / cs.AI 408 / cs.LG 366 / cs.GR 20 / cs.MM 7,去重后 917 篇候选(抓取条数与 listing 声明完全吻合;cs.MM 的
?show=请求返回 406,已回退默认 recent 端点)。经全站 618 个历史 arXiv ID 与 632 条历史标题双重去重后,与已收录论文 0 重复(自检 probe 全部命中历史集合,去重环节工作正常)。本期主线是**「具身智能的『统一表示』之争,从 2D 特征层面下沉到了 3D 几何与世界潜动作层面」**。GeomVLA 把 VLM 特征抬升到机器人中心的 3D 场景 token,再用 3D 场景轨迹去噪器的中间运动 token 条件化 3D flow 动作头,明确给出「未来运动推理本身不够,真正增益来自场景表示—运动预测—动作三者几何一致」这一结论;WLA³ 则从数据侧切入,用「世界潜动作」把人类第一人称视频与机器人轨迹统一到同一套过渡表示上,让人视频第一次既能提供可扩展监督、又能完成人到机器人的迁移。
另一条清晰的线是**「世界模型与视频模型的工程化降本」**:AlayaVista 把「全景世界演化」与「视角观测合成」解耦,只在被请求的视口上花高保真算力;DIDO 观察到去噪过程中「静态背景先收敛、交互物体后收敛」,据此把多步世界动作模型蒸馏成单步,把闭环控制真正拉到可用延迟;CrossDistill 则把少步蒸馏的目标按噪声区间拆分,高噪段保多样性、低噪段提质量。
触觉与跨本体继续兑现:Touch2Trace 用 32×32 压阻阵列 + 自监督编码器,把线缆捋线从 0% 成功率推到 93%;X-WBC 用九个本体联合训练一个共享运动 Transformer,指向「人形全身控制基座模型」这一具体目标。
📄 论文精选
PhysBrain 1.5: From Vision-Language Models to Physical Foundation Models
链接: https://arxiv.org/abs/2609.14973
项目主页: https://deepcybo-physai.github.io/PhysBrain-1.5 | 模型: https://huggingface.co/collections/DeepCybo/physbrain-15 | 评测套件: https://github.com/DeepCybo-PhysAI/PhysBrainEvalKit
作者 / 机构: DeepCybo Team(Yichao Du、Yu Bin、Haipeng Cao 等 50 余位作者,PhysBrain 1.5 技术报告署名团队)
一句话总结: DeepCybo 团队提出 PhysBrain 1.5,从通用视觉—语言模型出发,把语言回答、末端执行器运动、稠密视觉目标统一编码为离散 token 并用自回归下一 token 预测联合优化,预训练的具身监督完全来自人类交互视频,在 28 项具身理解基准上以 8B 模型取得平均 72.5 分,刷新开源 SOTA 并与 GPT-6-Astra、Gemini 3.6 Flash 等闭源模型持平。
研究问题: 物理世界的基础模型需要同时具备三件事:理解当前环境、产出可执行动作、预测动作之后的状态变化。现有路线要么把这些能力拆成互相独立的模块(VLM 理解 + 单独策略头 + 单独世界模型),导致表示割裂、无法互相增强;要么依赖昂贵且规模有限的机器人真机数据,难以 scaling。核心难题是:如何只用人类交互视频这一可扩展数据源,就在同一套序列建模框架内同时学会「说什么、怎么动、之后会变成什么样」。
核心方法: ①统一离散序列建模:以通用 VLM 为起点,把语言回答、末端执行器(EEF)轨迹、稠密视觉目标(RGB / depth / mask)全部离散化为 token,用同一个自回归目标联合训练,理解与生成共用一套参数。②物理感知预训练(Physical-aware pre-training):从 Xperience-10M、Egocentric-10K、Ego4D、EgoVerse、EgoDex、EgoLife、Ego-Exo4D 以及两个内部语料(PhysBrain-Human 含同步外视角、PhysBrain-Ego360 含全景 + 全身姿态 + 手部运动)中,按任务与动作边界切分出「以任务为中心」的片段,把语义、空间上下文与恢复出的运动及后续观测配对,由此得到 3120 万条人类动作 EEF 轨迹与 2680 万条未来状态(RGB / depth / 人体 mask)样本。③具身 SFT:在精选的人类演示 + 机器人轨迹 + 仿真经验混合数据上微调(动作 540 万、未来状态 120 万),并保留通用多模态指令数据(1490 万 / 100 万)以维持通用能力。
技术亮点:
- 把「三件事」压进同一个 next-token 目标,而不是三个 head:理解、动作、未来状态预测共享梯度与表示,这是「物理基础模型」而非「VLM + 插件」的关键设计。
- 具身监督 100% 来自人类视频(预训练阶段),避开了机器人数据的规模天花板;任务级切分而非随机帧采样,保证了「动作—状态变化」的因果配对质量。
- 稠密视觉目标作为预测对象:未来状态不是一句话描述,而是空间对齐的 RGB、depth 与机器人/人体 mask,天然具备可监督的几何结构。
- 评测即开源:同时放出模型权重集合与 PhysBrainEvalKit 评测套件,28 项基准的成绩可被第三方复现。
实验结果: 在 28 项具身理解基准上,8B 模型平均得分 72.5,为开源最佳,并与 GPT-6-Astra、Gemini 3.6 Flash 等领先闭源模型相当;其中 14 项基准取得开源第一,同时保留了通用多模态能力。除理解类评测外,定性示例显示模型能够产出末端执行器轨迹,并通过空间对齐的 RGB、depth 与机器人 mask 预测未来场景。
应用场景: 通用机器人操作与移动操作的高层语义理解与任务规划;从人类视频中低成本习得动作先验;未来状态预测驱动的闭环重规划;具身智能体的统一评测基线。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 在「VLM 能否直接演化为物理世界基础模型」这一核心问题上给出了迄今最完整的开源答案:统一 token 化 + 纯人类视频具身预训练 + 可复现评测三者齐备。其真正的启发在于——具身监督的规模化瓶颈可能不在机器人数据,而在我们是否把「动作」和「未来状态」写进了同一个自回归序列里。
AlayaVista: Streaming World Modeling from Panoramic States to Perspective Video
链接: https://arxiv.org/abs/2609.14462
项目主页: https://alaya-lab.github.io/AlayaVista | 代码: https://github.com/AlayaLab/AlayaVista
作者 / 机构: Jiaming Tan, Mingliang Zhai, Zhen Li, Yuwei Wu, Chuanhao Li, Kaipeng Zhang(Alaya Lab;北京理工大学;东京大学)
一句话总结: Alaya Lab 与北理工、东京大学提出 AlayaVista,一个相机可控的流式视频世界模型:把「全景世界演化」与「视角观测合成」显式解耦——先用预训练全景展开模型从单张视角图构建 360° 场景先验,再把场景作为相机条件下的全景潜状态演化,最后由潜视口渲染器映射出所请求视角的视频潜表示并做细节精修,配套构建了 1318 小时、4K 以上分辨率的真实全景视频数据集 MUGEN。
研究问题: 交互式视频世界模型必须同时做到四件互相拉扯的事:在相机运动时保持画面外的场景上下文、跟上长程相机轨迹、输出高保真观测、保持低延迟可流式。现有路线存在根本的表示权衡:视角(perspective)模型只在局部视野上操作,离开画面的内容必须靠长上下文注意力、landmark bank 或显式空间记忆来「记住」,合成与记忆被紧紧耦合;而用全球面视频合成或显式 3D 表示来换取空间覆盖,则要么算力浪费在用户根本看不到的区域,要么牺牲照片级质量。
核心方法: ①全景先验构建:给定单张视角图,用预训练的全景展开模型生成 360° 场景先验。②相机条件下的全景潜状态演化:世界演化发生在全景潜空间而非视角帧序列,从根本上避免了「离屏内容需要被记住」的问题。③潜视口渲染器(Latent viewport renderer):把全景状态映射到请求视角的视频潜表示,只在被请求的视口上投入高保真算力。④视角精修器:恢复细节、抑制伪影并执行空间超分。⑤流式化改造:把全景生成器改造为 chunk 自回归生成(每个 chunk 含 4 个潜切片,约对应 16 FPS 下的 16 帧 RGB),并将全景生成与视角精修同时蒸馏到少步过程(推理每 chunk 仅 4 步去噪),前一个已精修 chunk 作为干净前缀拼在当前 chunk 之前,注意力在 chunk 内双向、跨 chunk 因果。⑥MUGEN 数据集:从 YouTube 人工筛选 9544 个候选全景视频源,经过格式过滤(≥4K、≥30 FPS、码率达标)得到 2893 小时原始素材,再用 TransNetV2 切镜头、切成 60 秒片段并做质量感知分层采样,最终得到 1318 小时 MUGEN-HQ 及丰富的语义与几何标注。
技术亮点:
- 「全景状态 + 视角观测」的解耦是本作最漂亮的结构设计:它把世界模型长期以来的两难(空间覆盖 vs. 合成成本)变成了一个可分配的算力预算问题——全局演化在便宜的全景空间进行,昂贵的高保真合成只服务于当前视口。
- 灵感来自视觉感知本身(Gibson 的「视场有边界,视觉世界无边界」),把「用户当前看到的」与「环境要表示的」显式区分开,而不是继续在视角帧上堆记忆机制。
- 流式工程完整:chunk 自回归 + 少步蒸馏 + 干净前缀拼接三者组合,长视频由精修后的 chunk 直接级联得到。
- 数据先行的诚意:MUGEN 是少见的 4K 级真实全景视频数据集,补齐了全景世界模型缺乏高质量监督这一地基性缺口。
实验结果: 从 MUGEN-HQ 中选取 200 个评测样本,将原始 ERP 序列投影为视角参考视频,统一在 81 帧、1024×576 分辨率下与 MoVerse、HY-World 2.0(渲染其 3DGS 场景的最终视角视频)对比。AlayaVista 在参考一致性上取得最优 SSIM、LPIPS(0.5321)与 PSNR(14.108);在 VBench++ 感知与时序质量上取得最高 Consistency(0.9240)与小幅领先的 Quality(0.5579);相机控制方面取得最低旋转误差(2.132),说明对目标相机朝向的跟随最准。Dynamic 分数略低(0.9200),作者分析可能源于潜渲染过程中局部运动的衰减。
应用场景: 相机可控的交互式世界漫游与虚拟勘景;具身智能体的「想象式」视觉预演(需要保持离屏上下文的长程 rollout);从单张图出发的沉浸式内容生成;VR / 全景视频的视角重合成。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 对「交互式世界模型该用什么作为内部世界表示」给出了一个与主流视角帧路线正面不同的答案,并且用一整套数据集 + 蒸馏流式方案把它落到了可运行的系统上。对做长程一致性与离屏记忆的研究者而言,这是一个值得认真对待的替代范式。
DIDO: Distilling Interaction-Centric Dynamics into One-Step Denoising for World Action Models
链接: https://arxiv.org/abs/2609.15570
项目主页: https://loveju1y.github.io/DIDO/ | 代码: https://github.com/LoveJu1y/DIDO-WAM
作者 / 机构: Jing Lyu, Shuanghao Bai, Runze Xiao, Zhenyu Liao, Wenxing Tan, Zihan Tang, Ruochuan Shi, Cheng Peng, Yuheng Ji, Yihao Wang, Badong Chen, Pengwei Wang, Zhongyuan Wang, Xiaoguang Zhao(中国科学院自动化研究所;中国科学院大学人工智能学院;北京智源人工智能研究院 BAAI;西安交通大学人工智能与机器人研究所;清华大学;Amazon)
一句话总结: 针对世界动作模型(WAM)迭代去噪带来的闭环延迟,自动化所、智源与西安交大等团队提出 DIDO——先实证发现去噪过程中视觉内容的收敛并不同步(静态背景结构早期成形,夹爪与被操作物体在第一步后仍模糊,交互动力学要后续去噪才浮现),据此把多步视频模型已收敛的动力学蒸馏进单步去噪,并用交互中心的表示引导保证单步不丢交互,LIBERO 99.0% / LIBERO-Plus 76.6% / RoboTwin 92.0%,H100 batch 1 下单个动作 chunk 384 ms。
研究问题: WAM 借视频生成模型预测未来视觉动力学来驱动机器人操作,但迭代去噪为闭环控制引入了额外延迟。一个直觉的加速做法是「把多步视频模型直接截断到一步」,但作者发现这条路走不通:不同视觉内容的收敛速度不同——静态背景结构在最早的步骤就已成形,而夹爪与被操作物体在第一步之后依然模糊,真正对操作至关重要的「交互动力学」恰恰是在后续去噪中才逐步浮现的。因此朴素截断会保住场景结构、丢掉交互。核心问题变成:如何在单步内既压住延迟,又保住夹爪—物体—交互这三类关键实体及其未来演化。
核心方法: ①分布匹配蒸馏(DMD)骨架:把多步视频模型已收敛的动力学压缩进一次前向传播。②交互中心的表示引导(Interaction-centric representation guidance):显式用有监督的边界框视觉推理 token 对夹爪、被操作物体及其交互关系建模,让蒸馏过程不能「只学背景」。③跨层 DINOv3 特征对齐:把目标物体在模型多个层上的表示与预训练 DINOv3 编码器的特征对齐,为「实体是否还在、位置对不对」提供稠密的语义—几何监督。二者合力使蒸馏后的单步模型既保留相关实体,也保留它们的未来动力学。
技术亮点:
- 「去噪收敛不同步」这一观察本身就是贡献:它把一个工程加速问题转化成了「哪一类视觉内容需要先收敛」的科学问题,也解释了为什么朴素少步化在操作任务上会失效。
- 用边界框视觉推理 token 做交互建模,是一种很务实的选择——不引入额外的检测器推理开销,却把「交互」这一抽象概念变成了可监督的 token 预测目标。
- DINOv3 跨层对齐提供了不依赖像素重建的语义一致性约束,非常适合蒸馏这种「怕模式坍塌、怕丢细节」的场景。
- 同时给出延迟数字(384 ms / chunk),让「单步 WAM 是否真的可用于闭环」有了可核对的量化依据。
实验结果: 平均成功率 LIBERO 99.0%、LIBERO-Plus 76.6%、RoboTwin 92.0%;在 H100、batch size 1 的条件下,生成一个动作 chunk 耗时 384 ms。此外在真机长程操作与泛化任务上展示了有效迁移,验证了单步 WAM 在真实闭环中的可用性。
应用场景: 对延迟敏感的真机闭环操作(抓取、放置、长程多步任务);把大规模预训练视频模型低成本转成可部署的策略骨干;仿真中的快速 rollout 与候选动作筛选。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 在「世界模型怎么从『预测得准』走向『控制得住』」这条路上,DIDO 抓住了最要害的一环:延迟。它给出的不仅是加速方案,更是一条可推广的方法论——少步化之前先搞清楚不同语义内容在去噪轴上的收敛顺序。
GeomVLA: Unifying Scene, Motion, and Action in 3D
链接: https://arxiv.org/abs/2609.13812
项目主页: https://ziyin-xiong.github.io/geomvla.io/
作者 / 机构: Ziyin Xiong, Nikos Gkanatsios, Moritz Reuss, Katerina Fragkiadaki(Carnegie Mellon University;NVIDIA)— CoRL 2026 已接收
一句话总结: CMU 与 NVIDIA 提出 GeomVLA,在统一的机器人中心 3D 坐标系内打通感知、潜场景运动预测与动作生成:把预训练 VLM 特征用深度与相机标定抬升为空间接地的 3D 场景 token,引入3D 场景轨迹去噪器学习场景点将如何运动,再取其中间运动 token 通过几何感知注意力条件化一个 3D flow 动作去噪器;无需机器人动作预训练即在 CALVIN 4.624、LIBERO 98.4%、RoboTwin2.0 84.8%、八项真机任务平均 62.5% 上取得领先。
研究问题: 主流 VLA 把 2D 视觉特征直接映射到 3D 动作,二者之间存在几何错配;而新兴的「运动引导」策略虽然预测未来,却是在与动作空间脱钩的空间里预测(如 2D 图像帧或独立的潜空间),预测到的未来并不能自然回流到控制。作者追问:如果把感知、未来场景运动与机器人控制放进同一个度量空间(metric space),仅有「未来运动推理」是否就足够?增益究竟来自预测本身,还是来自三者的几何一致性?
核心方法: ①3D 接地的 VLM 特征:用深度与相机标定把预训练 VLM 的语义特征提升为空间接地的 3D 场景 token,保留 VLM 预训练学到的语义表示而不破坏它。②3D 场景轨迹去噪器(3D Scene Trajectory Denoiser):任务条件化地学习「场景点在 3D 中预期如何运动」的潜表示。③不做开环执行:关键设计是不把预测出的轨迹当开环计划直接执行,而是从轨迹去噪器中抽取中间运动 token,通过几何感知注意力条件化一个 3D flow-based 动作去噪器——让运动推理以「特征条件」而非「硬计划」的方式参与动作生成。④全流程共享机器人中心的 3D 坐标系,保证场景表示、运动预测与机器人动作三者几何一致。
技术亮点:
- **「中间运动 token 作为条件,而非轨迹作为计划」**是本作最值得记住的一点:它同时规避了开环执行的误差累积与「预测—控制脱钩」的老问题。
- 消融给出了一个反直觉的否定性结论:未来运动推理本身并不足够,主要增益来自场景表示、运动预测与动作在整条感知—动作链路上的几何一致性。这对当前大量「给 VLA 加个未来预测头」的工作是一记冷静的提醒。
- 完全不依赖机器人动作预训练,却能在 CALVIN / LIBERO / RoboTwin2.0 上竞争甚至领先,说明 3D 结构先验可以部分替代大规模动作预训练。
- 与 2D VLA(π0.5、Flower、X-VLA 等)、3D 策略与 VLA(3D-VLA、SpatialVLA、4D-VLA、PoseVLA 等)、运动引导 VLA(TraceVLA、WorldVLA、CoT-VLA、LaMP 等)三类方法做了系统对比。
实验结果: CALVIN 上无需额外机器人动作预训练即从 FLOWER 的 4.480、X-VLA 的 4.430 提升到 4.624;LIBERO 98.4%;RoboTwin2.0 代表性任务 84.8%,全部 50 任务上 Easy/Hard 设置为 78.6% / 76.2%,超过对比方法的 75.9% / 75.7%;八项真机任务平均 62.5%。作者指出增益在长程与富接触、需要精确空间推理与延迟交互效应的任务上最明显。
应用场景: 需要精确空间推理的长程操作(堆叠、插入、交接);富接触任务的策略训练;多视角/深度可用场景下的通用机器人控制;作为「3D 化 VLA」的通用架构模板。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 一篇把「VLA 该不该 3D 化」这个争论推进到可验证层面的工作:不仅给出了统一 3D 表示下的具体实现与 SOTA 数字,更重要的是用消融明确了增益来源是几何一致性而非未来预测本身。对正在设计下一代 VLA 架构的研究者,这是一篇必读的参照系。
WLA³: World Latent Action Modeling for Semantics, Dynamics, and Kinematics
链接: https://arxiv.org/abs/2609.15870
项目主页: https://wla-3.github.io/
作者 / 机构: Peidong Liu, Zhiyuan Xiang, Mingyang Li, Wenhao Li, Jiale Zhang, Jiahao Sun, Jiawei Li(Joy Future Academy, JD Group)
一句话总结: 京东 Joy Future Academy 提出 WLA³,围绕世界潜动作模型(WLAM)学到的表示构建统一的通用策略模型框架:WLAM 先把同步的多相机视角与可得的本体状态变化编码为紧凑的局部潜动作与更丰富的过渡特征,再在语义、动力学、运动学三个层面复用;32 维潜动作在 LARYBench 上达到 67.89% 平均分类准确率,六项真机任务平均成功率 81.9%,显著优于 π₀.₅ 的 66.2%。
研究问题: 用异构数据 scale 通用策略模型的最大瓶颈是缺少统一、低噪声的动作监督:人类第一人称视频极其丰富,但只有极小部分带有高质量手部动作标注;机器人轨迹虽然有精确动作,规模却有限。作者观察到的机会是——被观测到的世界状态转移(world transition)本身,就是跨数据源共有的动作相关监督信号。核心问题因此变成:如何学一套既可由人类视频规模化供给、又能落地到具体本体可执行控制的过渡表示,并在语义理解、动力学建模与运动学控制三处同时复用它。
核心方法: ①世界潜动作模型(WLAM):学习多模态世界状态在局部时间窗内如何变化,把同步的相机视角与可得的本体状态变化编码为一个紧凑的局部潜动作,外加一个更丰富的过渡特征。②鲁棒性约束:用部分模态重建(reconstruction from partial modalities)与重叠窗口一致性(consistency across overlapping windows)促使过渡表示稳健。③三路复用:局部潜动作支撑对动作敏感的物理动力学建模;段级特征通过 Semantic Latent Aggregate(SLA) 直接监督 VLM 的语义侧;动作专家联合预测潜动作与本体相关的机器人控制量。④数据配比:人类第一人称视频(EgoLive、Egocentric-100K、EgoVerse、Xperience-10M、Ego4D、Ego-Exo4D、EgoDex、EPIC-KITCHENS-100 等)提供可扩展的转移监督;机器人轨迹(AgiBot World、ABC-130K、Galaxea Open-World、RoboCOIN、RoboMIND 及内部 AgiBot G1 多任务数据)把共享表示接地到可执行的原生控制。
技术亮点:
- 把「世界转移」当作跨数据源的通用动作监督,是对「潜动作(latent action)」路线的一次重要升级:不再只是无标签的动作抽象,而是显式建模「世界在这一段里发生了什么」。
- 一份表示三处复用(语义 / 动力学 / 运动学),避免了多套表示各训各的、互不增强的常见浪费。
- SLA 机制让 VLM 的语义侧也吃到了来自物理转移的监督,是「语义接地到物理」的一次具体落地。
- 明确报告了 scaling 行为:通用策略模型中训数据规模越大性能越好,且人类视频确实支撑了人到机器人的迁移——这是该路线最需要被验证的一点。
实验结果: 在 LARYBench 上,最终的 32 维潜动作取得 67.89% 平均分类准确率。在 AgiBot G1 平台六项桌面操作任务(橡皮/充电器/笔袋/订书机上架、书本入架、丢弃垃圾)上,平均成功率 81.9%,对比 π₀.₅ 的 66.2%;评测还覆盖空间泛化、光照泛化、背景泛化三类未见设置,指令与成功判据保持不变。此外观察到随通用策略模型中训数据规模提升性能持续改善,人类视频支持人机迁移。
应用场景: 大规模异构数据(人视频 + 多本体机器人轨迹)的通用策略预训练;跨本体策略迁移;对动作标注稀缺场景(UMI、单目人视频)的策略学习。
研究价值: ⭐⭐⭐⭐(4/5)— 在「人类视频到底能不能喂出更好的机器人策略」这一长期争议上,WLA³ 给出了结构清晰、有真机数字支撑的正向证据。其「世界潜动作」作为跨源统一监督的设计,是潜动作路线向实用化迈出的扎实一步。
X-WBC: A Cross-Embodiment Foundation Model for Humanoid Whole-Body Control
链接: https://arxiv.org/abs/2609.15213
项目主页: https://logosroboticsgroup.github.io/x-wbc/ | 代码: https://github.com/LogosRoboticsGroup/x-wbc
作者 / 机构: Juntong Zhang, Chun Gu, Li Zhang(同济大学;复旦大学数据科学学院;上海创智学院)— CoRL 2026 已接收
一句话总结: 同济、复旦与上海创智学院提出 X-WBC,一个跨本体的人形全身控制基座框架:把可共享的人体运动语义与本体相关的物理执行显式解耦——用以人为中心的 command token 对齐全身人体运动、机器人参考运动与稀疏 VR 观测,一个因果 Transformer 从混合多机器人 rollout 中学习可复用的时序结构,轻量本体专属模块再把共享表示映射到各自本体感受与动作空间;覆盖 9 个仿真本体与 4 台真机,G1 上跟踪成功率 98.60%。
研究问题: 人形全身控制(WBC)要走向通用部署,需要大规模人体运动语料与跨本体共享的训练经验。但现有方法基本是「一个机器人训一套策略」:每个平台各自做运动重定向、各自训策略,不同本体之间的运动经验完全隔离。核心问题是:多个本体能不能共享同一个 WBC 框架,同时保留各自的执行特异性? 与之配套的两个子问题是:如何统一不同来源的控制指令(全身人体运动 / 机器人参考运动 / 稀疏 VR 观测),以及如何让联合训练真的带来增益而不是互相干扰。
核心方法: ①Human-centered command token:把全身人体运动、机器人参考运动与稀疏 VR 观测三种指令源对齐到同一 token 语义空间,使跨指令源控制成为可能。②共享因果 Transformer:从混合的多机器人 rollout 中学习可复用的时序结构——训练单位从「单个机器人的数据」变成「多个本体共同的 rollout 批次」。③轻量本体专属模块:把共享表示映射到每个机器人的本体感受与动作空间,承担无法共享的物理执行部分。④训练配置:在 Isaac Lab 中对 Unitree G1 系列、H1、H1-2、R1、H2 以及 Fourier GR3、Booster T1、Adam Lite 共 9 个本体联合训练,使用约 200 小时 BONES-SEED 运动(重采样至 50 Hz),PPO 优化,每个机器人 1024 个并行环境、8 张 H100,训练约两天,策略运行于 50 Hz、使用 32 步历史。
技术亮点:
- 把「训练单位」从单个机器人换成多本体联合批次,是对人形 WBC 组织方式的一次结构性调整,而不是又一个新的网络模块。
- 指令源统一解决了实际部署中的痛点:同一套策略权重既能吃稀疏 VR 上肢姿态,也能吃机器人参考运动。
- 共享 vs. 专属的切分位置选得准:时序运动语义共享,本体感受与动作空间专属——这正好对应「什么能迁移、什么不能迁移」的物理边界。
- 本体覆盖广(9 仿真 + 4 真机),且用 100STYLE 外部运动语料(800 个 clip、133.02 分钟)做权重冻结的外部评测,避免只在训练分布上自证。
实验结果: 在 BONES-SEED 训练运动上(Unitree G1 29DoF / H2),X-WBC 成功率 98.60% / 93.22%,优于同架构单机器人训练的 97.69% / 92.22% 与 MLP 版共享骨干的 97.70% / 91.33%,并取得最低的身体速度误差。在 800 clip 的 100STYLE 完整网格外部评测上(G1,权重冻结),X-WBC 成功率 91.13%、完成度 91.66%,与 SONIC(93.00% / 93.35%)、TWIST(75.62% / 78.18%)同量级竞争。消融还报告了跨本体、跨指令源的 command-token 检索 Recall@1(随机基线 0.17% 与 1.04%),以及四台不同尺寸人形真机的部署(稀疏 VR 上肢控制、踢球与草地奔跑)。
应用场景: 人形机器人的通用运动跟踪与全身遥操作;新本体的快速冷启动(复用共享骨干 + 小体量专属模块);从 VR / 人体运动直接驱动异构人形;人形运动基座模型的预训练范式。
研究价值: ⭐⭐⭐⭐(4/5)— 把「跨本体」这一 VLA 领域的成熟叙事,系统性地搬到了人形全身控制上,并用 9 个仿真本体 + 4 台真机给出了可核对的规模证据。它指向的问题很实在:人形数据永远稀缺,唯一可行的规模化路径就是把异构本体当成同一份数据的不同视图。
Touch2Trace: Tactile-Driven Imitation Learning for Dexterous Cable Tracing
链接: https://arxiv.org/abs/2609.15921
作者 / 机构: Matteo Grimaldi, David Klee, Ziling Chen, Tong Jian, Wonju Lee, Wenjie Lu, Tao Yu, Saleh Nabi(Dexterous AI Group, Analog Devices, Inc.)— CoRL 2026 已接收
一句话总结: Analog Devices 的 Dexterous AI Group 提出 Touch2Trace,针对「用拇指与食指反复捏—卷把线缆在手中传送」这一极具挑战的可变形物体操作任务,给出首个系统性的真机实证研究,刻画编码器预训练、控制频率、时序上下文与空间分辨率四项因素如何各自影响策略表现;最优组合把平均捋线距离从 0.2 cm 提升到 20.1 cm、成功率从 0% 提升到 93%,并能零样本迁移到未见过的线缆与走线条件。
研究问题: 可变形物体的灵巧操作要求指尖层面持续调节压力、摩擦与初始滑移,而线缆捋线(cable tracing)把这一要求推到极致:线缆没有刚性姿态可供估计,接触状态在每一次捏合间快速变化。现有工作往往把视觉与触觉一起用上,却很少回答一个更基本的问题——在完全没有视觉、也不显式估计线缆状态的条件下,纯触觉反馈到底能贡献多少? 以及,触觉驱动系统里那些工程选择(编码器怎么预训练、跑多快、看多长的历史、用多高的空间分辨率)各自值多少性能。
核心方法: ①定制触觉传感:使用自研 TacV5 传感器,含 32×32 压阻阵列(240 Hz)与三轴 MEMS 加速度计(8 kHz),前者捕捉空间压力分布,后者捕捉摩擦诱发的振动,二者提供互补的滑移线索。②自监督触觉编码器:针对该 32×32 压阻阵列专门做自监督预训练,得到对接触状态敏感的紧凑表示。③轻量 Transformer 策略:在遥操作演示上用行为克隆训练。④真机部署:在 Tesollo DG-5F 灵巧手上以 60 Hz 闭环运行。⑤系统性消融:逐一量化编码器预训练、控制频率、时序上下文长度与空间分辨率的影响。
技术亮点:
- 「不靠视觉、不估线缆状态」这一设定极其干净:它把触觉的贡献从多模态系统的混杂增益中分离出来,0% → 93% 的跃升因此具有强因果说服力。
- 首次给出触觉驱动系统四项工程参数的系统性真机刻画,实用价值高于单纯的性能刷点——对要做触觉灵巧操作的团队,这基本是一份调参手册。
- 压阻阵列 + 加速度计的双模态互补(空间压力 vs. 摩擦振动)抓住了滑移检测的物理本质。
- 零样本迁移到未见线缆与走线条件,说明学到的不是对特定线缆的过拟合。
实验结果: 相对仅用本体感受的基线,加入触觉反馈(无视觉、无显式线缆状态估计)后,平均捋线距离从 0.2 cm 提升到 20.1 cm,成功率从 0% 提升到 93%,并可零样本迁移到未见过的线缆与走线条件。论文同时报告了编码器预训练、控制频率、时序上下文与空间分辨率各自的影响曲线。
应用场景: 线缆装配与线束整理(消费电子制造、汽车线束);可变形物体(布料、软管、绳索)的灵巧操作;需要检测初始滑移的精密抓取;触觉传感硬件与算法的联合设计参考。
研究价值: ⭐⭐⭐⭐(4/5)— 在触觉智能这一仍显冷清的方向上,这是一篇难得的「把问题问干净、把答案量化」的工作。它证明了一件事:对于某些接触主导的任务,触觉不是视觉的补充,而是唯一充分的信息源——这对「视觉优先」的具身智能主流叙事是一个有价值的修正。
CrossDistill: Balancing Quality and Diversity via Trajectory-Level Hybrid Few-Step Distillation
链接: https://arxiv.org/abs/2609.14725
作者 / 机构: Yuxi Liu, Haoyu Li, Yixiang Cai, Tengxu Sun, Zekun Zhang, Baole Ai, Ang Wang, Jiamang Wang, Lin Qu, Kun Yuan, Kai Zhang(北京大学 Melon Group;清华大学;阿里巴巴集团)
一句话总结: 北大、清华与阿里提出 CrossDistill,一个轨迹层面的混合少步蒸馏框架:观察到高噪步主要决定全局模式、低噪步主要精修局部细节,据此在采样轨迹上取一个交叉点(crossover),高噪区间用保轨迹(trajectory-preserving)目标、低噪区间用分布匹配(distribution-matching)目标,两段通过交叉点状态耦合;在 Wan2.1-T2V 上,四步学生中取得最优语义分与总分,1.3B 规模总分超过全步教师,并恢复教师约 86% 的种子级多样性(DMD 57%、AnyFlow 66%)。
研究问题: 少步蒸馏必须在多样性与保真度之间取舍:基于轨迹的蒸馏(TD)保住了模式覆盖与种子级多样性,但步数一少,回归出的轨迹往往落不准数据流形,样本发虚过平滑;分布匹配(DM)类方法用分数或对抗目标对齐学生与教师的分布,样本更锐利,却以牺牲多样性为代价。以往的处理是在损失层面做加权混合,或者是训练期的两阶段配方。作者追问:既然两类目标的优势分布在噪声轴的不同区间,能不能直接按噪声区间分配互补目标,让全局分支先被保留、局部统计再被锐化?
核心方法: ①噪声区间划分:在采样轨迹上选定一个交叉点 τ*,把去噪过程切成高噪段与低噪段。②分段异质目标:高噪区间施加保轨迹目标(守住全局模式与种子级多样性),低噪区间施加分布匹配目标(锐化局部细节)。③交叉点耦合(crossover coupling):两段不是各自独立训练,而是通过交叉点处的状态耦合,保证前段输出正好是后段的正确输入。④定位为噪声层调度策略:PCM 与 DMD 都可以作为即插即用的实例化组件(默认实例化为 PCM 高噪 + DMD 低噪),真正的设计要素是噪声划分、交叉点耦合与目标排序三件事,而非具体损失形式。
技术亮点:
- 把「损失混合」升级为「沿噪声轴的目标分配」,是思路上的一个干净推进:同一个权衡,在正确的坐标轴上切分比在损失权重上调和更有效。
- 与 loss-level 混合的正面对照实验做得扎实:扫描 λ_DMD 会让基线沿一条质量—多样性曲线滑动(λ 大则质量升、多样性降),而 CrossDistill 把整条前沿向右上推进,τ* = 0.94 附近给出较优平衡。
- 即插即用:不绑定特定蒸馏算法,PCM / DMD 都可作为组件,工程迁移成本低。
- 强调「锚定教师多样性」而非最大化多样性:把教师的种子级多样性归一化为 1.0 作为参照,这个评价口径比单纯报多样性分数更诚实。
实验结果: 在 Wan2.1-T2V 的 VBench 评测上,CrossDistill(默认 PCM^H + DMD^L)在 1.3B 与 14B 两个尺度的四步学生中均取得最优语义分与总分;1.3B 上总分超过全步教师。单体 DMD 虽取得最高原始质量分,但语义分显著下滑。多样性以教师为锚(归一化 1.0):1.3B 规模下 CrossDistill 恢复约 86%,对比 DMD 57%、AnyFlow 66%。在更严苛的 NFE = 2 预算下,总分仍具竞争力,仅有轻微质量退化。论文另给出图像到视频的定性结果。
应用场景: 文本到视频 / 图像到视频模型的推理加速与部署;需要保留种子级多样性的创意生成(同一 prompt 出多版方案);扩散蒸馏目标设计的通用调度框架。
研究价值: ⭐⭐⭐⭐(4/5)— 一篇把少步蒸馏的老权衡讲出新结构的工作。价值不在提出新损失,而在于指出**「在哪个噪声区间用哪个目标」本身就是核心设计维度**;配套的多样性锚定口径也值得后续蒸馏工作采纳。
📊 今日研究趋势
一、统一表示的下沉:从 2D 特征到 3D 几何与世界潜动作。 GeomVLA 与 WLA³ 是本期最能代表这一趋势的两篇,却走了互补的两条路。GeomVLA 选择在空间维度统一——把 VLM 特征抬升进机器人中心的 3D 坐标系,让场景表示、未来运动预测与动作生成落在同一个度量空间里;它最有力的结论恰恰是否定性的:仅有未来运动推理并不够,增益来自三者的几何一致性。WLA³ 选择在数据与监督维度统一——用「世界潜动作」把人类第一人称视频与机器人轨迹压到同一套过渡表示上,让语义、动力学、运动学三路复用同一份表示。两条路的共同判断是:具身智能的下一阶段瓶颈,已经不在「模型够不够大」,而在不同能力之间是否共享同一个可直接互操作的表示。
二、世界模型的工程化降本进入「结构化」阶段。 AlayaVista 与 DIDO 都在做同一件事——把原本「整体很贵」的生成过程拆开,只在关键处花钱。AlayaVista 拆的是空间:世界演化在便宜的全景潜空间进行,昂贵的高保真合成只服务于被请求的视口;DIDO 拆的是时间(去噪轴):发现静态背景早期收敛、交互动力学后期才浮现,于是把「交互」单独拎出来用边界框推理 token 与 DINOv3 跨层对齐加以保护,再把多步动力学蒸馏进单步。CrossDistill 同样是在去噪轴上做切分——高噪段保多样性、低噪段提质量。三者共享的方法论值得记下:当生成模型太贵时,先找出「哪里贵得没必要」或「哪里省不得」,再把它结构化地拆开,而不是整体压缩步数。
三、跨本体与触觉:两条被低估的规模化路径。 X-WBC 把 VLA 领域已成共识的「跨本体联合训练」搬进了人形全身控制,用 9 个仿真本体 + 4 台真机证明异构本体可以当作同一份数据的不同视图;在数据永远稀缺的人形领域,这可能是唯一可行的规模化路径。Touch2Trace 则从另一端给出提醒:对于接触主导的任务,触觉可能不是视觉的补充,而是唯一充分的信息源——在完全没有视觉、也不估计线缆状态的条件下,成功率从 0% 跳到 93%。在「视觉优先」几乎成为默认的今天,这是一次有价值的反向证据。
四、物理基础模型的开源形态正在成形。 PhysBrain 1.5 用 8B 模型在 28 项具身理解基准上平均 72.5 分追平闭源前沿,关键在于它把理解、动作与未来状态预测压进了同一个自回归序列,且具身预训练监督完全来自人类交互视频。配合公开的权重集合与评测套件,它让「开源物理基础模型」第一次有了可复现、可对标的完整形态。这条路线若能持续,机器人学习对昂贵真机数据的依赖有望被显著稀释。
🏆 最值得关注的 3 篇
- GeomVLA — 不只给了统一 3D 表示下的 SOTA 数字,更用消融明确了「未来运动推理本身不够,增益来自几何一致性」。任何正在给 VLA 加未来预测头的工作,都应该先读这篇的消融部分。
- AlayaVista — 把「全景世界演化 / 视角观测合成」解耦,是对主流视角帧 + 记忆机制路线的一次正面替代;配合 1318 小时 4K 的 MUGEN 数据集与完整的少步流式方案,是本期最具范式意味的工作。
- DIDO — 「去噪收敛不同步」这一观察把世界动作模型的延迟问题从工程加速提升为科学问题;384 ms / chunk 与 LIBERO 99.0% 让它同时具备论文价值与落地价值。
数据来源:ArXiv 2026-09-15(Tue, 15 Sep 2026)公告批次 | 分析生成时间:2026-09-16 06:00 (北京时间)