📅 本期覆盖 2026-09-14（Mon, 14 Sep 2026） arXiv 公告批次。各分类当日条数：cs.CV 90 / cs.RO 59 / cs.AI 167 / cs.LG 158 / cs.GR 4 / cs.MM 2，去重后 390 篇候选（抓取条数与 listing 声明完全吻合）。经全站 610 个历史 arXiv ID 与 624 条历史标题双重去重后，与已收录论文 0 重复（自检 probe 全部命中历史集合，去重环节工作正常）。
本期主线是**「世界模型与 VLA 的评估口径，正在从『生成得像不像』转向『能不能真的被用起来』」。Pelican-Sim 1.0 不再只报 FVD/PSNR，而是把生成的 rollout 直接喂给策略训练与 VLM 评估器，跑通「数据生成 → 策略评估排序 → 动作选择 → 策略改进」的完整闭环；Dynin-Robotics 把世界建模、目标预测与动作生成压进同一个 masked-diffusion 轨迹序列，让「预测到的未来」在推理期真正参与动作打分。另一侧是对「数据越多越好」这一默认假设的定点爆破**：DATAFARM 用一个漂亮的阴性结果证明，规划器生成的成功轨迹即使任务完成了，也可能几乎无法微调 VLA（1.7% → 仅 8.3%），真正起作用的是与预训练分布的行为对齐；LIT 则指出分布偏移下的失败来自视觉—动作捷径，而非能力不足。
具身侧的触觉与部件级理解同步升温：STAR 用 200 小时真机双臂数据把触觉的「三重稀疏性」摆上台面；UniPart 把操作粒度从「物体」推进到「部件」。视频侧虽然本期新作不多，但 VideoTok4D 从 tokenizer 这一地基入手，用静态/动态 token 解耦把 4D 世界表征的存储压低 4 个数量级。
📄 论文精选
Pelican-Sim 1.0: A General World Model Simulator for Embodied Intelligence
链接： https://arxiv.org/abs/2609.12036
项目主页： https://zoushilong1024.github.io/Pelican-Sim1.0/ ｜ 代码： https://github.com/ZouShilong1024/Pelican-Sim1.0
作者 / 机构： Shilong Zou, Shilin Zhang, Yingji Zhang, Yuhang Huang, Yi Zhang, Zeyuan Ding, Han Dong, Junwei Liao, Yong Dai, Jian Tang, Xiaozhu Ju（北京人形机器人创新中心 / 北京具身智能机器人创新中心 X-Humanoid，WFM System Group）
一句话总结： X-Humanoid 提出 Pelican-Sim 1.0，一个跨本体的通用世界模型仿真器：用 28 维统一动作空间 + URDF/相机渲染的动作视频双路条件注入 Video DiT，配以稀疏 MoE 吸收异构动力学，在约 100 万条真实与仿真轨迹上训练，AgiBotWorld Beta / RoboMIND / RoboTwin 三项 held-out 测试上五项视频质量指标全部最优。
研究问题： 世界模型要成为具身智能的「通用仿真器」，必须同时跨过三道坎：动作接口不统一（不同本体关节数与量纲各异，一个模型难以通用）、动作到像素的控制性太弱（纯数值动作条件往往「说了不算」）、异构动力学互相打架（不同机器人、场景的 dynamics 差异会让单一骨干互相干扰）。此外，采样步数太多导致 rollout 成本过高，也让世界模型难以真正用在数据生成与策略评估上。
核心方法： ①统一动作表示：设计 28 维动作值空间覆盖主流本体，一套模型跨异构设备有效。②动作—视觉注入（Action-visual injection）：用 URDF 与相机渲染出的「动作视频」把动作显式画成图像空间的运动，与数值动作形成互补条件通路（相比其他融合方式 PSNR +0.904）。③稀疏 MoE 层：为异构动力学增加容量、吸收动作模态并降低模态间冲突（FVD −6.530 vs. 稠密骨干）。④多阶段因果蒸馏：把 rollout 采样从 35 步压到 4 步，直接服务于需要大量 rollout 的下游应用。
技术亮点：
- 把「动作条件怎么给」做成了核心研究对象：数值动作 + 渲染动作视频的双路互补，是对「动作条件弱可控」这一老问题相当工程化也相当有效的回答。
- 稀疏 MoE 的用途被重新定义：不只是扩容量，而是用它隔离异构本体动力学、抑制跨模态冲突——这一设计对「一个世界模型服务所有机器人」的路线是关键。
- 蒸馏到 4 步让「世界模型当仿真器用」从论文演示走向可负担的工程实践。
- 下游闭环完整：不止做未来预测，还接上微调后的 VLM 评估器，支撑策略评估与排序、动作选择、策略改进三类应用，评估器输出任务条件分数，再转化为成功估计、选择效用与奖励。
实验结果： 在 AgiBotWorld Beta、RoboMIND、RoboTwin 三个数据集的 held-out 测试划分上，Pelican-Sim 1.0 在全部五项视频质量指标上取得最优，并在每个数据集上取得最高的适配 EWMBench 总分（对比方法有可用结果者）。以 RoboTwin 为例，相对该指标上最强基线 Ctrl-World，FVD 从 26.60 降到 4.98。消融验证了混合域训练、互补动作条件与 MoE 架构各自的贡献。定性实验还考察了在轨迹、场景外观、本体、物体、视角五类变化下的泛化。
应用场景： 机器人策略的离线数据增广、策略评估与自动排序、推理期动作候选选择、闭环想象交互下的策略改进；也可作为跨本体统一的可视化「预演」后端。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 少见的把世界模型当作完整基础设施来做的工作：统一动作空间解决了跨本体，动作视频解决了可控性，MoE 解决了动力学冲突，蒸馏解决了成本，最后还把下游四类应用跑通。对「世界模型能否真正替代/补充仿真器」这一核心疑问，给出了目前最完整的正面证据。
Dynin-Robotics: Omnimodal Unified Diffusion Vision-Language-Action Model
链接： https://arxiv.org/abs/2609.13053
代码： https://github.com/AIDASLab/Dynin-Robotics ｜ 模型： https://huggingface.co/snu-aidas/Dynin-Robotics
作者 / 机构： AIDAS Lab，Seoul National University（首尔大学）
一句话总结： 首尔大学 AIDAS Lab 提出 Dynin-Robotics，在 Dynin-Omni 这一 omnimodal masked-diffusion 骨干上，把策略、世界建模、任务理解、目标状态预测统一为同一轨迹序列上的条件去噪查询，在约 133 万条轨迹（48 个 Open-X 数据集）上持续预训练，LIBERO 98.1%、零样本 LIBERO-Plus 73.0%、Franka Research 3 真机四条件平均 78.4%，块并行解码带来最高 29.2× 动作解码加速。
研究问题： 视觉目标预测与动力学预测本可以为策略提供「终点在哪」和「动作会如何改变场景」两类互补信息，但现有 VLA 往往把二者割裂：要么只做动作预测，要么把生成式未来预测当作独立的辅助任务，预测结果在推理时并不参与动作决策。如何让同一套模型、同一套表示同时承担四类任务，并让预测到的未来真正回流到动作生成与选择中，是统一 VLA 建模的核心难题。
核心方法： ①把语言、视觉观测、目标、动作统一表示为离散 token 的共享轨迹序列。②通过改变条件跨度与目标跨度，同一模型学会四类接口：动作预测、动作条件下的下一观测预测、终局目标状态预测、轨迹到指令的重建。③这些接口天然支持测试时扩展（test-time scaling）：目标预测引导、动作候选评估、动作与未来状态的联合精修。④块并行解码 + 上下文复用压缩序列动作生成成本。
技术亮点：
- 用一个「条件/目标跨度」的自由度换来了四个任务，架构上极其干净——不需要为世界模型单独加一套头或单独训练。
- 测试时扩展被真正用起来：论文给出了受控结论——在 checkpoint 固定的前提下，「目标引导 + 动作—下一状态联合去噪」的组合优于纯动作解码，而任一组件单独使用反而不如纯动作解码。这是对「生成式未来预测到底有没有用」这一争议非常诚实且有价值的诊断。
- 29.2× 的动作解码加速对真机部署是硬指标级贡献。
- 论文规模扎实（36 页、13 图、15 表），并对统一 VLA 建模做了系统的诊断性评测。
实验结果： 策略基准上 LIBERO 平均成功率 98.1%、零样本 LIBERO-Plus 73.0%、Franka Research 3 平台四个操作条件平均 78.4%。在 VLABench 两项任务上，机器人持续预训练在固定 Stage-2 step 预算内改善适配，完整目标混合优于同等耦合解码器下的 Policy-only 后训练。Stage-1 checkpoint 还在 DROID 上直接评测了动作条件视觉预测、目标状态生成、动作预测与轨迹到指令生成（无需 DROID 专属后训练）。论文也诚实指出：在整图指标上，frame copying 仍是相邻未来预测更强的方法，提示需要直接评估「动作依赖的场景变化」而非整图相似度。
应用场景： 通用机器人操作策略、需要「先想清楚终点再动手」的长程任务、推理预算可调的部署场景（用测试时扩展换取成功率）。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 统一 VLA 建模方向上目前最系统的一篇：既有规模（133 万轨迹 / 48 数据集），又有受控诊断（回答了「视觉预测什么时候有用」），还有工程加速（29.2×）。那句「预测的好处取决于推理时如何组合」值得每个做生成式策略的人记住。
DWMP: Leveraging Dual World Models for Humanoid Obstacle Traversal
链接： https://arxiv.org/abs/2609.12347
作者 / 机构： Rongjun Jin, Jianming Ma, Yue Gao（arXiv 版本未标注机构）
一句话总结： 作者提出 DWMP（Dual World Model Policy），为人形越障任务提供两个互补的世界模型：基于 Koopman 的动力学世界模型把本体感受提升到近似线性演化的潜空间，基于 RSSM 的视觉世界模型把第一人称深度压缩为紧凑随机状态；二者融合后交给学生策略，仿真中越障成功率相对强 teacher-student 基线提升约 10%，并在 Unitree G1 上完成随机布局真机部署。
研究问题： 人形机器人穿越杂乱障碍场时，必须同时利用两类性质截然不同的观测：本体感受维度低但受高度非线性动力学支配，**第一人称视觉（深度）**维度高、噪声大且高度冗余。现有 teacher-student 蒸馏方案要么压缩视觉却把原始本体感受直接喂给 actor，要么直接拼接多模态特征而不做预测式表示学习，导致学生策略退化成「反应式动作模仿器」，学不到描述「机器人状态与障碍布局如何演化」的结构化特征。
核心方法： ①Koopman 动力学世界模型：用 Koopman 算子理论把非线性系统提升到可观测量空间，使本体感受的时间演化近似线性，为 actor 提供更平滑、更易学习的动力学特征。②RSSM 视觉世界模型：把深度序列压缩为紧凑随机隐状态并预测未来视觉观测，剥离无关纹理、保留障碍几何。③两阶段训练：先用 teacher 探索阶段的轨迹预训练双世界模型，再在学生策略学习过程中继续适配编码器以匹配学生自身的观测分布。④融合后的潜表示驱动学生 actor 生成动作。
技术亮点：
- 动机非常干净：不为多模态融合而融合，而是先指出「两类观测的统计性质根本不同，塞进同一个编码器本身就是错的设计」，再按性质分别选型——Koopman 配动力学、RSSM 配视觉。
- 复用了 teacher-student 流水线已有的交互数据做世界模型预训练，几乎不增加数据采集成本。
- 两阶段训练有实证支撑：消融显示，经 Phase 1 预热初始化的视觉世界模型在学生阶段微调后，验证重建损失明显低于不预热的设置，且在未见地形上重建更好。
- 真机在随机化障碍布局上验证（Ceil / Mceilbar / Narrow），考验的是零样本泛化而非记忆固定配置。
实验结果： 仿真中 DWMP 相对强 teacher-student 基线把越障成功率提升约 10%，并在未见地形上产出更好的视觉重建。真机在 Unitree G1 人形机器人上成功穿越随机化的 Ceil、Mceilbar 与 Narrow 三类障碍布局，支持真实世界部署。
应用场景： 人形/足式机器人在杂乱环境中的通行，如仓储巡检、灾后搜索、建筑工地等非结构化地形；也可推广到需要「动力学 + 视觉」双路世界模型的移动操作任务。
研究价值： ⭐⭐⭐⭐（4/5）— 思路干净、验证扎实（仿真 + G1 真机随机布局），对「多模态要按性质分别建模而非统一编码」这一观点提供了可复现的证据。不足是论文未标注机构、未报告推理延迟与动态障碍/可变形地形的表现，且「约 10%」是相对自实现基线的提升，跨论文可比性有限。
STAR: Sparse Tactile Representation Learning in Vision-Tactile-Language-Action Models for Dexterous Manipulation
链接： https://arxiv.org/abs/2609.12549
项目主页： https://stardex-web.github.io/Star/
作者 / 机构： 上海创智学院（Shanghai Innovation Institute）与智元机器人（AgiBot）联合团队
一句话总结： 团队搭建真机平台与遥操作系统，采集了 200 小时双臂灵巧操作数据集（10,576 条轨迹 / 65 个任务，其中 69.5% 需要多指灵巧操作），并提出 STAR 训练方案，通过视觉—触觉联合预训练、稀疏全局触觉 token 表示与稀疏未来触觉预测，系统应对触觉信号的空间、时间与信息三重稀疏性，四项真机任务上平均成功率 0.61 / TCR 0.79，显著超过 π₀.₅-Dex（0.44 / 0.61）与 π₀.₅（0.28 / 0.44）。
研究问题： 灵巧操作需要多指协调与有效触觉反馈，但学习这些能力长期受制于两点：缺少大规模真机数据，以及难以从稀疏触觉信号中提取有效表征。触觉的稀疏性是三重的——空间上只有指尖少数点位有读数、时间上接触事件稀疏、信息上单次读数携带的语义有限，直接把触觉塞进 VLA 往往收效甚微甚至有害。
核心方法： ①真机平台与遥操作系统：自建硬件并做 C++ 实现与多进程流水线优化以提升遥操作响应性，采集 200 小时双臂数据，包含左右腕相机、顶视相机、左右手触觉、机器人状态、动作与人工标注的语言指令，全部按时间戳同步到 30 Hz。②视觉—触觉联合预训练，让触觉表征与视觉语义对齐。③稀疏全局触觉 token 表示，用少量 token 承载全局触觉信息而非逐点位铺开。④稀疏未来触觉预测，把「预测未来接触」作为表征学习的监督信号。
技术亮点：
- 数据集本身是主要贡献之一：200 小时、1 万+ 轨迹、65 任务，且 69.5% 需要多指灵巧操作（另有 20% 为抓取放置/插入等基础技能、10% 为长程组合任务），这在真机灵巧操作领域是稀缺规模。
- 把触觉稀疏性拆成空间/时间/信息三个维度分别下药，比「加个触觉编码器」这种粗放做法有针对性得多。
- 系统级打磨：触觉接入灵巧手本身会加剧精细手指控制的难度，作者为此做了 C++ 与多进程优化，属于真机工作里容易被低估但决定成败的部分。
- 评测同时报告 SR 与 TCR（子任务完成率），后者能更细粒度地区分「差一点成功」与「完全失败」。
实验结果： 四个真机灵巧任务（耳机翻转、叠放书籍抽取、明信片抽取、多物体抓取），每任务 20 次试验、初始场景随机但跨方法一致。结果：Ours 平均 SR 0.61 / TCR 0.79，对比 π₀.₅-Dex w/o STAR（0.44 / 0.61）、π₀.₅（0.28 / 0.44）、LDA-1B-Dex（0.18 / 0.23）、GR00T N1.7-Dex（0.08 / 0.15）、LDA-1B（0.05 / 0.09）。逐任务上，耳机翻转 SR 从 0.25 提升到 0.65，明信片抽取达到 0.85。值得注意的是 GR00T N1.7 报零成功率——从官方预训练权重出发、使用与其他基线相同的后训练步数时策略收敛很差，评估中出现严重手臂振荡导致不安全动作，试验被安全终止。
应用场景： 多指灵巧手的可接触密集型操作——插拔、翻面、从紧密堆叠中抽取、薄片类物体处理；触觉反馈对并行夹爪难以胜任的任务尤为关键。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 真机规模与任务难度都足以成为灵巧操作触觉方向的参考基线，且对「触觉为什么难学」给出了可操作的分解。附带的一个信号很有价值：通用大模型（GR00T N1.7、LDA-1B）在灵巧手上并不天然占优，数据与Embodiment 的匹配度仍是决定性因素。
Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models
链接： https://arxiv.org/abs/2609.12641
项目主页： https://magiclab-nus.github.io/LIT ｜ 代码： https://github.com/MAGICLAB-NUS/LIT
作者 / 机构： Jianman Lin（华南理工大学未来技术学院）；Shailesh Shailesh、Jiafei Duan（新加坡国立大学 NUS）；Zhongyi Luo（南洋理工大学 NTU）等
一句话总结： NUS / 华南理工 / NTU 联合团队指出机器人基础模型在视觉分布偏移下退化的一大来源是视觉—动作捷径（vision–action shortcut），并提出框架无关的 LIT（Latent Interface Training） 两阶段策略：先在无图像条件下建立空间目标条件的动作先验，再用位姿监督的潜接口约束视觉条件；在 π₀.₅、MolmoAct2、FAST-WAM、ImageWAM 四类架构上把 LIBERO-Plus 提升 3.87–10.70 个百分点，真机三项任务聚合提升 13.30–16.70 个百分点。
研究问题： 机器人基础模型从预训练视觉表征生成动作时，很可能利用训练分布内与演示动作相关但任务无关的视觉线索（例如背景纹理、固定的相机视角噪声模式）。这类捷径在分布内不露破绽，一旦相关性在分布偏移下改变就会崩塌。难点在于：既要约束视觉信息如何被用于动作生成，又必须保留任务相关的空间信息——简单地扔掉视觉或者盲目增强视觉都会走向另一个极端。
核心方法： ①Stage 1：在完全不使用图像的条件下训练动作专家，基于空间目标生成动作块，建立「goal-conditioned 动作先验」。②Stage 2：引入位姿监督的潜接口（pose-supervised latent interface），把视觉条件严格限制在这个接口上，并要求接口能重建 Stage 1 中条件所用的终端位姿，从而保证保留目标相关的空间信息。③整体框架无关，可直接套到 VLA 与 WAM 两类架构上。
技术亮点：
- 把「泛化失败」归因到一个具体、可干预的机制（视觉—动作捷径），而不是笼统地说「分布偏移」。
- 两阶段设计分工清晰：Stage 1 先在无视觉噪声的环境下把「动作应有的结构」学对，Stage 2 再决定「允许视觉影响多少」——这比端到端加正则要可控得多。
- 位姿监督是关键的粘合剂：它确保潜接口不会因为被约束而丢掉任务相关的空间信息，避免了「为了去捷径而把有用信息一起砍掉」。
- 评测维度设计得很全面：分布内性能、零样本分布偏移（相机视角、传感器噪声、光照、背景纹理、机器人初始状态、物体布局、语言指令）、真机迁移（光照/相机/无关干扰物）、捷径依赖度分析（视觉注意力、视觉与目标干预响应）、学习动力学与组件消融。
实验结果： 在 LIBERO 与 LIBERO-Plus（40 个任务，以任务成功率为指标）上，跨 π₀.₅、MolmoAct2、FAST-WAM、ImageWAM 四种视觉—语言—动作与世界—动作架构，LIT 把 LIBERO-Plus 整体成功率提升 3.87–10.70 个百分点，同时保持或改善 LIBERO 平均成功率。真机评测中，在未见相机配置、光照变化与干扰物下，三个任务的聚合成功率提升 13.30–16.70 个百分点。论文同时被 Hugging Face Daily Papers 收录（当日 63 票）。
应用场景： 需要在光照、背景、相机安装位置与真实环境不一致的条件下部署的通用操作策略；尤其是从实验室数据迁移到工厂/家庭场景时的稳健性提升。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 对机器人基础模型泛化问题给出了机制层面的解释与框架无关的解法，且真机收益（+13.30~16.70 pp）远超仿真收益，说明它抓到的是真实痛点。跨四种架构一致的提升也说明这不是某一架构的调参技巧。
DATAFARM: Distribution-Aligned Task and Motion Planning for Fine-Tuning Vision-Language-Action Models
链接： https://arxiv.org/abs/2609.12316
作者 / 机构： Stanford University（斯坦福大学）与 Princeton University（普林斯顿大学）联合团队
一句话总结： 斯坦福与普林斯顿团队揭示了一个反直觉的阴性结果：规划器生成的成功轨迹，对预训练 VLA 来说可能是很差的微调数据——用原始 TAMP 演示微调 π₀.₅-DROID，平均成功率只从 1.7% 提到 8.3%；而提出 DATAFARM 把规划轨迹与预训练分布在关节配置、运动风格、执行时序三方面对齐后，成功率跃升至 56.7%，几乎追平人类演示的 61.7%。
研究问题： 采集高质量机器人数据是训练机器人基础模型的根本瓶颈，任务与运动规划（TAMP）看起来是规模化生成演示的现成方案。但作者的实验显示：即使 TAMP 轨迹成功完成了目标任务，用它微调预训练 VLA 也几乎不带来收益。他们假设根因在于规划器生成轨迹与 VLA 预训练数据之间的行为分布不匹配：轨迹虽「能做对」，但运动方式、关节位形与执行节奏都落在预训练模型从未见过的区域。
核心方法： ①提出 DATAFARM（Distribution-Aligned Task And motion planning for Fine-tuning A Robot foundation Model），把预训练分布直接引入 TAMP 轨迹生成过程。②三个对齐维度：机器人关节配置、运动风格、执行时序，均以 VLA 预训练数据（本文用 DROID 演示）作为参考分布。③在生成阶段而非后处理阶段完成对齐，使规划器产出的数据从一开始就落在预训练模型的「熟悉区」。
技术亮点：
- 这篇论文最有价值的是那个阴性结果本身：它给「用规划器批量造数据」这条被广泛默认可行的路线踩了一脚急刹车，并给出了可验证的解释。
- 对齐的三个维度选得很准——关节配置对应本体可行性、运动风格对应动作分布形态、执行时序对应节奏与停顿，三者恰好覆盖了「行为分布」的主要自由度。
- 消融结论极具冲击力：去掉任一对齐组件都会降低目标任务成功率，而去掉时序对齐会直接导致 0% 成功率——说明节奏不匹配是致命的，而不是次要因素。
- 未训练过的任务也不被灾难性遗忘：虽然 TiPToP 规划器根本无法执行可变形物体操作、微调数据中也没有相关演示，微调后的策略在该类任务上仍保留 85% 的平均成功率（预训练策略为 90%）。
实验结果： 三个目标任务上，用原始 TiPToP 演示微调 π₀.₅-DROID 只能把平均成功率从 1.7% 提高到 8.3%；使用 DATAFARM 对齐后的演示，微调策略达到 56.7% 平均成功率，接近人类演示的 61.7%。可变形物体操作上保留 85%（预训练策略 90%）。消融显示移除任何对齐组件都会掉点，移除时序对齐则为 0%。据作者所知，这是首个用来自 VLA 预训练数据的参考分布来指导 TAMP 演示生成的系统。论文也说明局限：实现聚焦准静态 pick-and-place，向接触丰富与非抓取类操作扩展仍是未来工作；对齐目标需要能代表预训练分布的样本。
应用场景： 低成本扩充机器人微调数据；在缺少人类演示的新任务上快速冷启动；为已有 VLA 适配新本体或新场景时的数据合成。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 一篇用阴性结果推动认知的佳作。它真正想说的不是「TAMP 没用」，而是「数据的行为分布比数据的任务正确性更重要」。在当前大量工作默认「合成数据 = 更多数据」的氛围下，这篇提供的校准信号非常及时。
UniPart: Towards Zero-shot Language-Grounded 3D Part Segmentation for Embodied Interaction
链接： https://arxiv.org/abs/2609.12898
项目主页： https://xinqiangyu.github.io/UniPart/
作者 / 机构： 中国科学院自动化研究所 NLPR（模式识别国家重点实验室）、北京大学、清华大学、银河通用（Galbot）、上海交通大学、北京人工智能研究院联合团队
一句话总结： 团队研究文本条件的 3D 部件分割（用自由短语在点云上选出功能性部件），提出前馈式跨模态 3D Transformer UniPart（逐层加性注入 CLIP 文本嵌入），并构建大规模数据引擎 LangPart-1M（16 万+ Objaverse 资产、800 万文本—部件对）与人工核验子集 LangPart-4K；推理仅需 0.4 s，在开放词汇部件基准上取得强零样本结果并可迁移到真机语言条件部件抓取。
研究问题： 精细机器人操作依赖的是对部件而非仅仅对物体的理解。现有 3D 基础模型要么泛化好但只到物体级，要么具备部件感知却受限于封闭集分类体系，导致零样本迁移能力弱。核心困难在于监督信号：部件级标注既昂贵又难以规模化，而全自动标注又总会引入噪声。
核心方法： ①UniPart：前馈式跨模态 3D Transformer，通过逐层加性文本条件注入融合 CLIP 文本嵌入，避免了复杂的交叉注意力开销。②LangPart-1M：用多视角一致的部件生成流水线构建的可扩展自动化数据引擎，通过文本引导的合并提升 3D 一致性，产出 16 万+ 资产上的 800 万文本—部件对。③LangPart-4K：人工标注的高保真子集，拆分为 LangPart-3K 训练与 LangPart-1K 评测基准，用于弥补自动标注的噪声。④三阶段课程：先对齐点云表示与 RGB 特征，再逐步引入部件级监督。
技术亮点：
- 数据引擎是真正的护城河：800 万文本—部件对 + 多视角一致的文本引导合并，为部件级理解提供了此前不存在的监督规模。
- 自动 + 人工的两级数据策略处理了「规模 vs 质量」的经典权衡：自动部分保覆盖与多样性，人工核验部分保语义保真。
- 加性文本注入让模型保持前馈、快速——0.4 s 的推理时间显著快于 OpenMask3D（296.5 s）、PointNext（1.4 s）、FIND3D（0.9 s）等，对闭环机器人交互很关键。
- 支持真实传感器点云上的实时部件掩码，并已验证可驱动语言条件部件抓取。
实验结果： 在 Objaverse-General 上与开放世界基线对比，并额外在 ShapeNetPart 与 PartNet-E 上测试对经典部件基准的迁移，另在 LangPart-1K 上评测；指标为平均 IoU。受控交叉评测（隔离架构与数据集贡献）显示：在相同的 FIND3D 训练数据下，UniPart 仍比 FIND3D 模型高出 14.69% mIoU，证明加性文本注入 Transformer 的跨模态对齐能力更强；反过来，FIND3D 模型换用 LangPart-1M 训练可提升 24.94% mIoU，验证了自动化数据引擎的质量与可扩展性；两者结合取得最佳结果（47.25 mIoU）。模型在真实传感器点云上也能产出可用部件掩码，支持语言条件抓取。
应用场景： 部件级抓取与操作（「握住壶把」「按下按钮」）、开放词汇的物体功能理解、需要细粒度指代的人机交互与指令执行。
研究价值： ⭐⭐⭐⭐（4/5）— 把操作粒度从物体推进到部件，且给出了配套的规模化数据引擎与基准，是具身交互走向精细化的必要基建。扣分点在于目前主要面向孤立物体，与闭环控制的整合（作者也列为未来工作）尚未完成。
VideoTok4D: A 4D-Aware Video Tokenizer for Compact World Representation
链接： https://arxiv.org/abs/2609.12874
作者 / 机构： 中国科学技术大学（University of Science and Technology of China）团队
一句话总结： 中科大团队提出 VideoTok4D，一个面向动态世界的 4D 感知视频 tokenizer：用时空解耦把视频拆成表示持久场景内容的静态 token 与表示时变物体演化的动态 token，配合 Track-Aware Dynamic Attention 沿估计轨迹聚合特征以保持跨视角运动一致性，并在此基础上训练 Co4DGen 实现高效条件 4D 生成——动态新视角合成达到 SOTA，存储比稠密 4D 表示低达 4 个数量级。
研究问题： 视频 tokenizer 已成为视频压缩、重建与生成的基石，但现有范式基本仍停留在 2D 视觉域：把视频当作图像序列处理，而非对一个底层动态 3D 世界的观测。这导致学到的 token 继承了「以观测为中心」的偏差，无法紧凑地表示真实世界的 4D 场景——尤其是跨视角、跨时间的一致性。
核心方法： ①时空解耦策略：把视频分解为静态 token（持久场景内容）与动态 token（时变物体演化）两组，前者承载场景骨架、后者承载运动。②Track-Aware Dynamic Attention：补偿相机引起的位移，沿估计出的轨迹聚合动态特征，从而在视角变化时保持连贯的物体运动。③Co4DGen：在该 token 空间上学习扩散先验，一次采样联合世界状态，再渲染多个同步的目标视角视频，无需为每个视角重跑 token 先验。
技术亮点：
- 直指视频 tokenizer 的根本性偏差：不是「压缩率不够高」，而是「把世界当成图片序列」——这个定位比单纯堆压缩率更有价值。
- 静态/动态 token 的分离让存储与生成同时受益：静态部分只需存一次，动态部分承载变化，这是「比稠密 4D 表示少 4 个数量级存储」的来源。
- Co4DGen 的「一次采样、多视角渲染」设计把条件 4D 生成的成本从「视角数 × 采样」降到「一次采样」——表中 Sampling Runs 从 DFoT 的 9 次降到 1 次。
- Track-Aware Dynamic Attention 把光流/轨迹先验显式引入 token 聚合，是对「跨视角运动不一致」这一 4D 生成顽疾的针对性设计。
实验结果： 在 MultiCamVideo-Dataset（13,600 个动态场景，每个由 10 台同步相机带标定轨迹拍摄，asset-disjoint 划分，400 个场景留出测试）上评测。条件 4D 场景生成（从一段 32 帧视频生成九视角）：Ours (Co4DGen) 序列长度 1,536、Sampling Runs 1、时间 119.18 s、gFID 25.56、gFVD 224.94、Motion Smoothness 0.85、FVD-V 210.36、CLIP-V 0.84；对比 SceneGen（1,536 / 1 / 124.24 s / gFID 32.47 / gFVD 296.69 / 0.77 / 284.86 / 0.81）与 DFoT（8,192 / 9 / 405.60 s / gFID 48.13 / gFVD 342.86 / 0.72 / 334.51 / 0.74），全部指标最优。论文同时验证了静态与动态 token 分别对场景内容与运动的对应偏好。
应用场景： 4D 场景重建与压缩、从单目视频生成多视角同步视频、世界模型的紧凑观测表征、AR/VR 内容生产与自动驾驶的多相机仿真。
研究价值： ⭐⭐⭐⭐（4/5）— 从 tokenizer 这一地基切入 4D 表征，思路正确、指标全面领先且效率优势显著（存储 −4 个数量级、采样次数 9→1）。篇幅较短（9 页），更偏方法与表征层面，与机器人策略的闭环结合尚未展开，但作为世界模型的观测编码层很有潜力。
📊 今日研究趋势
第一条主线：世界模型正在被当作「可调用的基础设施」而非「一个生成模型」来验收。 Pelican-Sim 1.0 是最典型的代表——它不满足于报 FVD 与 PSNR，而是把 rollout 接到策略训练、VLM 评估器排序、动作选择与策略改进四类下游应用上，并用多阶段因果蒸馏把采样从 35 步压到 4 步来让这些应用真正跑得起。Dynin-Robotics 则走另一条路：不把世界模型当独立模块，而是把「动作条件下的下一观测预测」「终局目标状态预测」与动作预测压进同一个 masked-diffusion 轨迹序列，让预测到的未来在推理时参与动作打分。二者共同指向一个判断：世界模型的价值不再由「预测得多像」决定，而由「能接到多少下游任务上」决定。
第二条主线：VLA 的瓶颈正从「能力不足」被重新定位为「表示与目标错了」。 LIT 给出了机制层面的解释——分布偏移下的失败来自视觉—动作捷径，模型学到的是与任务无关的视觉相关性；它的解法是先在无图像条件下把动作先验学对，再用位姿监督的潜接口严格限制视觉能影响多少。DATAFARM 则用一个漂亮的阴性结果做出呼应：规划器生成的轨迹任务上完全成功，微调 π₀.₅-DROID 却只把成功率从 1.7% 提到 8.3%，而一旦把轨迹与预训练分布在关节配置、运动风格、执行时序上对齐，成功率直接跳到 56.7%，逼近人类演示的 61.7%——去掉时序对齐则归零。两篇论文虽方法迥异，结论却高度一致：数据的行为分布与条件通路，比数据的「正确性」或「数量」更能决定微调成败。
第三条主线：具身智能的操作粒度与感知模态在同时下沉。 粒度上，UniPart 把理解单位从「物体」推进到「部件」，用 800 万文本—部件对的数据引擎与 0.4 s 的前馈推理，让「握住壶把」这类指令真正可执行。模态上，STAR 用 200 小时真机双臂数据把触觉的三重稀疏性（空间 / 时间 / 信息）拆开分别处理，把平均成功率从 π₀.₅-Dex 的 0.44 推到 0.61。值得注意的是 STAR 附带的信号：GR00T N1.7 与 LDA-1B 这类大规模预训练模型在灵巧手上并不占优，甚至出现零成功率——说明在触觉与多指这一层，数据规模仍无法替代「数据—本体」的匹配度。
第四条主线：视频与 4D 表征回到「地基」上做文章。 本期视频生成方向新作不多，但 VideoTok4D 的质量很高——它指出视频 tokenizer 的根本偏差是把世界当成图片序列而非 4D 世界的观测，于是用静态/动态 token 解耦 + 轨迹感知注意力重构表示，把存储压低 4 个数量级，并让 Co4DGen 做到「一次采样、九视角渲染」（采样次数 9→1，gFID 48.13→25.56）。这类工作短期不夺眼球，但决定了下一代世界模型的观测编码能做到多紧凑、多一致。
🏆 最值得关注的 3 篇
- Pelican-Sim 1.0 — 目前把「世界模型当通用仿真器」做得最完整的一篇。28 维统一动作空间解决跨本体、URDF 渲染动作视频解决可控性（PSNR +0.904）、稀疏 MoE 隔离异构动力学（FVD −6.530）、因果蒸馏压到 4 步解决成本，最后还把「数据生成 → 评估排序 → 动作选择 → 策略改进」全链路跑通；RoboTwin 上 FVD 从 26.60 降到 4.98。做世界模型的人应该把它当作新的验收标准。
- DATAFARM — 本期最该被广泛阅读的一篇，因为它的核心贡献是一个阴性结果：规划器成功的轨迹几乎无法微调 VLA（1.7% → 8.3%），而三维度分布对齐后直接到 56.7%，且去掉时序对齐归零。在「合成数据 = 更多数据」几乎成为共识的当下，这篇提供的校准信号极其及时——行为分布比任务正确性更重要。
- Dynin-Robotics — 统一 VLA 建模方向最系统的一篇：133 万轨迹 / 48 个 Open-X 数据集的持续预训练，四类任务共享一个 masked-diffusion 轨迹序列，LIBERO 98.1% / 零样本 LIBERO-Plus 73.0% / Franka 真机 78.4%，另有 29.2× 解码加速。更难能可贵的是它给出了诚实的诊断：「目标引导 + 联合去噪」组合才优于纯动作解码，任一组件单独使用反而更差——生成式未来预测的价值取决于推理时如何组合。
数据来源：ArXiv 2026-09-14（Mon, 14 Sep 2026）公告批次 | 分析生成时间：2026-09-15 06:00 (北京时间)