📅 本期覆盖 ArXiv 2026-09-10（Thu, 10 Sep）公告批次（各分类当日条数 cs.CV 106 / cs.RO 56 / cs.AI 150 / cs.LG 163 / cs.GR 5 / cs.MM 11），去重后共 384 篇候选，经全站 578 个历史 arXiv ID 与 592 条历史标题双重去重后 0 重复。

本期主线是**「世界模型的可靠性，与 VLA 的表征结构」**：一边是世界模型开始被明确要求「状态可管控、幻觉可度量」——DUET-DINO 用跨视角条件把潜空间规划推向完整 7-DoF，HaWMPO 直接给生成的图像序列打幻觉分并压进 RL 目标，Programmable World Model 干脆把状态演化从像素渲染中剥离出来；另一边是 VLA 研究者开始重新审视「动作块（action chunk）」这个被默认了三年的输出接口——FreqFM 与 TFGCA 不约而同地指出：一个 chunk 本质是一段多变量轨迹，却被当成一串无结构的逐时刻 token 在用。

📄 论文精选

FolDeX: A Physical-World Benchmark for Long-Horizon Robotic Manipulation of Deformable Objects

链接： https://arxiv.org/abs/2609.10243

评测平台： https://ai.midea.com/#/fold-challenge

作者 / 机构： Chenhuan Liu, Yi Xu, Feng Wu, Hanyang Wang, Wenxiao Kuai, Weihao Ding, Shan Wang, Yang Liu, Shuyong Gao, Wenqiang Zhang（复旦大学；美的集团（上海）AI 研究中心；卡内基梅隆大学）

一句话总结： 复旦、美的与 CMU 联合推出 FolDeX，一个完全由真机数据构建的柔性体长程操作基准，以叠衣服为主要任务，围绕「异构物理经验如何复用」四条研究轴组织，提供 2,000+ 小时真机数据、20+ 任务、10+ 本体。

研究问题： 包括 VLA 与世界动作模型在内的具身智能最终要在物理世界里可靠运行，但在仿真里表现良好的方法迁移到真机上会大幅退化——长程柔性体操作尤其严重，因为策略必须持续跟踪不断变化的物体状态，并执行可靠的多阶段双臂交互。而现有真机基准几乎都聚焦短程刚体任务，对长程柔性操作的覆盖非常有限。真机数据采集昂贵这一现实约束，又进一步放大了「数据如何复用」的重要性。

核心方法： FolDeX 以叠衣（garment folding）为主任务，把整个基准组织成四条互相独立又彼此补充的研究轴：① 利用部署中采集的人类干预与恢复数据——把失败与纠正也当作有价值的监督；② 跨任务迁移，包括跨衣物类别的迁移，以及从刚体操作到柔性体操作的迁移；③ 跨场景复用，覆盖光照、背景与布局的变化；④ 跨机器人本体的迁移。

技术亮点：

  • 完全由真机构建，不含仿真数据——这在柔性体领域是决定性的，因为衣物的形变仿真与真实布料之间仍存在巨大鸿沟。
  • 四条研究轴的设计非常有针对性：它不只是一个排行榜，而是把「真机数据稀缺」这一核心矛盾拆解成四个可分别研究的问题。
  • 把「人类干预与恢复数据」正式纳入基准，呼应了近期 HIL（human-in-the-loop）方向的共识：失败数据里蕴含着成功数据没有的信息。
  • 提供对外提交策略的公平真机评测平台：标准化任务、held-out 物理对象、受控初始状态、统一执行协议。

实验结果： FolDeX 提供 2,000+ 小时真机数据，覆盖 20+ 个任务与 10+ 种机器人本体。评测平台对外部提交策略开放，通过标准化任务定义、留出（held-out）的物理对象实例、受控的初始状态设置与统一执行协议来保证比较的公平性。论文把基准定位为「异构真机数据复用」与「可靠长程柔性操作」的统一试验床。

应用场景： 柔性体（衣物、布料、线缆）长程操作、跨本体策略迁移、真机数据高效复用、VLA/WAM 的物理世界可靠性评测。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 柔性体操作长期缺乏可信的真机基准，FolDeX 用 2,000+ 小时、10+ 本体的规模把这个缺口补上了。更关键的是它以「数据复用」而非「任务难度」为组织原则，这恰好是当前真机数据最昂贵阶段的正确提问方式。美的的产业背景也意味着这份数据有持续扩产的可能。

Frequency-Conditioned Flow Matching for Vision-Language-Action Models

链接： https://arxiv.org/abs/2609.10405

作者 / 机构： Haochen Niu, Shengye Dong, Hao Liu, Peiwen Lin, Chuang Wang（智元机器人 AGIBOT；西安交通大学）

一句话总结： 智元与西安交大提出 FreqFM，把动作频率从轨迹的隐含属性提升为贯穿整个生成流程的显式条件维度，在 DCT 频率坐标下构造频谱匹配的源分布、自适应平衡各频率的目标权重并约束逐频率引导残差，在 LIBERO-Plus 上取得 9.3 个百分点的提升。

研究问题： 机器人动作是时间上强相关的轨迹，其频率分量编码了不同尺度的运动——慢变的「搬运」分量负责把末端送到目标区域，快变的「修正」分量负责接触时刻的调整、抓取校正与稳定收敛，且两者的能量分布高度不均匀。然而基于 Flow Matching 的 VLA 模型一律在时间坐标下生成动作，既没有显式建模、也没有系统利用这种频率异质性。把所有频率混在同一组 token 里，等于要求一个统一的噪声调度同时适配截然不同的信噪比尺度。

核心方法： FreqFM 把频率提升为显式条件维度，贯穿整条生成流水线：① 在 DCT 频率坐标下构造频谱匹配的源分布，使初始噪声的能量分布与目标动作的能量分布对齐，而不是让高频分量在训练初期就被淹没；② 自适应地跨频率平衡训练目标，避免低频主导损失、高频欠优化；③ 用对应的参考传输尺度（reference transport scales）约束逐频率的引导残差，让每个频率分量按其自身尺度被引导。FreqFM 直接嵌入已有的 Flow Matching action expert，不改动 VLA 骨干网络。

技术亮点：

  • 「频率即条件」的提法干净利落——它没有引入新架构，而是把一直存在却被忽略的结构显式化，属于那种读完之后会问「为什么没人早这么做」的工作。
  • 频谱匹配源分布直击 Flow Matching 在动作生成上的一个隐性缺陷：源分布与目标分布在频谱上不匹配时，高频细节的学习会系统性滞后。
  • 逐频率引导残差约束把「不同频率需要不同引导强度」这一直觉变成了可实现的目标项。
  • 即插即用：不改动 VLA 主干，只在 action expert 侧生效，工程落地成本极低。

实验结果： 在 LIBERO、LIBERO-Plus 与 VLA-Arena 三个基准上，FreqFM 一致地提升了性能，其中在分布外评测的 LIBERO-Plus 上取得 9.3 个百分点的增益——分布外收益大于分布内，与「频率结构主要帮助细粒度修正」的动机高度吻合。论文还进一步验证了该框架在其它设置下的泛化表现。

应用场景： 基于 Flow Matching 的 VLA 动作专家、细粒度接触操作、对动作平滑性与精度要求高的装配 / 插孔类任务。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 本期我最欣赏的一篇。它和下面那篇 TFGCA 从两个完全不同的角度（频率坐标 vs 时频注意力）得出同一个判断：action chunk 不该被当成无结构的 token 序列。FreqFM 的优势在于改动小、收益大、动机清晰，是那种可以立刻被现有 VLA 代码库吸收的工作。

DUET-DINO: Simultaneous Cross-View World Modeling for Latent Planning in Robot Manipulation

链接： https://arxiv.org/abs/2609.10506

项目主页： https://utn-air.github.io/DUET-DINO

作者 / 机构： Nisarga Nilavadi, Ralf Römer, Moritz Reuss, Michael Krawez, Tobias Jülg, Angela P. Schoellig 等（纽伦堡工业大学 UTN 人工智能与机器人实验室；慕尼黑工业大学 TUM 学习系统与机器人实验室；卡尔斯鲁厄理工学院 KIT Intuitive Robots Lab；NVIDIA）

一句话总结： UTN、TUM、KIT 与 NVIDIA 联合提出 DUET-DINO，一个同步跨视角的潜空间世界模型，通过交叉视角条件同时从固定的第三人称相机与腕部相机学习动作条件预测，把潜空间规划从粗略的空间推理推进到完整的 7-DoF 末端控制。

研究问题： 动作条件的潜空间世界模型通过预测未来的视觉表征，能够实现零样本的目标条件机器人规划与控制。但这类模型的预测在细粒度空间与旋转动作上并不可靠，因而难以支撑完整的 7 自由度末端控制——单视角的信息天然不足以判定位姿的精细变化，尤其是腕部视角缺失全局场景、第三人称视角又缺乏抓取局部细节。

核心方法： DUET-DINO 通过跨视角条件（cross-view conditioning）联合学习两个视角的动作条件预测：静态的第三人称相机提供全局场景信息，腕部相机提供以夹爪为中心的局部细节。两个视角的表征在潜空间中互为条件，同时（simultaneously）而非各自独立地预测未来，从而让互补的全局与局部信息在每个时间步都可用于规划。模型在 DROID 与 RoboArena 数据集上从零训练，并直接在该潜空间上做全 7-DoF 的目标条件规划。

技术亮点：

  • 「同步」而非「独立」双视角是关键设计：独立双视角只是信息相加，跨视角条件则让每个视角的预测都被另一视角消歧。
  • 首次把潜空间规划真正推到完整 7-DoF，而不是停留在粗略的位置控制——这是世界模型从「能生成」走向「能控制」的重要一步。
  • 从零训练而非继承大规模视频预训练权重，说明跨视角结构本身就是有效的归纳偏置。
  • 论文还给出了一个犀利的负面发现：V-JEPA 2 的腕部视角预测会低估某些动作后果，直接指出了当前主流视频表征在操作任务上的盲区。

实验结果： 在空间多样的 reach、需要密集旋转的 angled-reach，以及多目标的 grasp-and-lift 三类任务上，DUET-DINO 一致优于单视角与独立双视角基线，分别取得 reach 92%、angled-reach 72.5%、lift 60.0% 的成功率。模型在视觉分布偏移下依然保持稳健泛化。

应用场景： 零样本目标条件操作、7-DoF 末端位姿控制、跨视角机器人表征学习、无需真机微调的潜空间规划。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 一份结构干净、动机清晰且带负面发现的工作。跨视角条件这个想法本身不复杂，但它准确命中了潜空间世界模型在精细控制上的失效模式；「V-JEPA 2 腕部预测会低估」这一诊断对使用现成视频表征做操作的团队是重要提醒。

HaWMPO: Hallucination-Aware World Model-based Policy Optimization for Generalist Robot Policy

链接： https://arxiv.org/abs/2609.09941

作者 / 机构： Zengjue Chen, Peidong Liu, Jiawei Li, Qi Wang（京东 Joy Future Academy；吉林大学人工智能学院）

一句话总结： 京东 Joy Future Academy 与吉林大学提出 HaWMPO，一个用世界模型对 VLA 策略做闭环强化学习后训练的流水线，引入动作条件的幻觉感知模型为生成的图像序列估计可靠性，并把幻觉分数通过 Reward-Soft 机制压进 GRPO 目标，在 LIBERO 上比基座提升 15.0%，在 G1 真机上把两项任务的平均成功率从 67.5% 提到 80.0%。

研究问题： 通用机器人策略（generalist robot policies）在机器人操作上展现出很强的泛化能力，但在复杂长程场景中的成功率仍然有限。近期方法尝试用真机在线强化学习来改进 VLA 策略，但这类训练依赖昂贵的物理交互、样本效率低下，还可能带来硬件与安全风险。世界模型提供了一个有吸引力的替代方案——用想象中的 rollout 做策略优化。然而，世界模型的长程 rollout 常常出现预测幻觉（prediction hallucination），产生有偏的状态转移，反而误导策略学习。

核心方法： HaWMPO 构建一个闭环的 RL 后训练流水线：① 引入动作条件的幻觉感知模型（hallucination-aware model），以动作序列为条件，估计世界模型生成的图像序列的可靠性；② 把这个幻觉分数通过 Reward-Soft 机制整合进 GRPO（group relative policy optimization），在训练过程中**抑制不可靠的动作块（action chunks）**的梯度贡献；③ 由此形成闭环：世界模型生成想象轨迹 → 幻觉模型打分 → 加权后的 GRPO 更新 VLA 策略。

技术亮点：

  • 把「世界模型会骗人」这件事变成了一个可学习的量——不是回避幻觉，而是显式估计它、并在优化目标里对冲它。
  • Reward-Soft 与 GRPO 的结合方式很自然：组相对优势本来就是在比较同一状态下的多个动作，幻觉分数恰好可以作为每个样本的置信度权重。
  • 抑制的是动作块而非整条轨迹，粒度选择合理——幻觉往往是局部发生的。
  • 闭环设计：策略与世界模型共同演化，而不是像离线 model-based RL 那样一次性生成数据。

实验结果： 在 LIBERO 基准上，HaWMPO 取得最优的平均成功率，相比基座模型提升 15.0%，相比最强基线提升 2.8%。在宇树 G1 机器人上的真机实验进一步验证了有效性，把两项操作任务的平均成功率从 67.5% 提升到 80.0%。

应用场景： VLA 策略的强化学习后训练、世界模型驱动的想象式策略优化、降低真机 RL 的交互成本与安全风险。

研究价值： ⭐⭐⭐⭐（4/5）— 「幻觉感知」是世界模型用于决策时绕不开的问题，HaWMPO 给出了一个可以直接嫁接在 GRPO 上的实用解法。15% 的基座增益与 G1 真机上的 12.5 个百分点提升都相当扎实，且方法不依赖特定的世界模型架构。

Compact Visuotactile World Models for Lifting: Prediction, Reward Alignment, and Force Constraints

链接： https://arxiv.org/abs/2609.09597

作者 / 机构： Qinzhen Ma（莱斯大学），Sida Peng（浙江大学）— 8 页 / 2 图，代码与表格结果作为附件材料随论文发布

一句话总结： 莱斯大学与浙江大学系统地检验了「接触预测只有能支撑有效决策时才有意义」这一命题，用一个随机初始化的紧凑视触觉世界模型配合轨迹级不确定性校准与行为初始化的 actor-critic 想象学习，在 MuJoCo Lift 上把末端力预测误差从 1.058 N 降到 0.228 N，并通过奖励修订把 10 cm 提升成功率从 20.0% 提到 93.3%。

研究问题： 精确的接触预测对机器人操作「有用」，前提是它能支撑有效的决策。这个前提很少被认真检验：大多数触觉世界模型的工作止步于「预测误差更低」，却不去回答更低的误差到底有没有转化成更好的控制。此外，预测精度与任务成功率之间是否存在单调关系、力约束预算下的表现如何，也都是开放的。

核心方法： 论文构造了一个刻意保持紧凑且随机初始化的视触觉世界模型，以避免大规模预训练带来的混淆因素，然后系统考察三件事：① 预测——视觉加触觉相对纯视觉能降低多少力预测误差；② 奖励对齐（reward alignment）——如何在想象（in imagination）中用行为初始化的 actor-critic 学习，以及奖励设计如何左右最终行为；③ 力约束——在每指 8 N 的预算下任务能否完成，以及不确定性校准的余量如何在「违反力约束」与「完成任务」之间权衡。

技术亮点：

  • 「紧凑且随机初始化」是有意为之的实验设计：它把变量收拢到「触觉信息本身的价值」上，而不是被预训练表征的强弱所干扰。
  • 轨迹级而非帧级的不确定性校准——对控制来说，一条轨迹整体的可信度比单帧的置信度更有决策价值。
  • 诚实地报告了反直觉的结果：力反馈在 8 N 预算下（70.0%）显著优于触觉持久性路线（33.3%），说明预测准 ≠ 控制好。
  • 校准余量可以明确地在「少违规」与「多完成」之间调参，这对安全约束下的部署是实用结论。

实验结果： 在 160 条 MuJoCo Lift 轨迹上，加入触觉把末端力预测误差从 1.058 N 降到 0.228 N，区间峰值误差从 2.724 N 降到 0.523 N（跨三个训练种子）；而触觉持久性（tactile persistence）进一步把误差降到 0.095 N 与 0.498 N。两轮探索性控制共 680 次执行、覆盖 40 个独立测试初始条件。在全新测试环境上做对齐的奖励修订后，分布内 10 cm 提升成功率从 20.0% 提升到 93.3%；但在每指 8 N 的力预算内成功率仅 33.3%，而直接的力反馈可达到 70.0%。在一项使用公开 GelSight 记录的补充研究中，力回归器达到 0.04234 N 的误差。

应用场景： 力敏感的操作任务、触觉世界模型的评估方法论、安全力约束下的抓取与提升。

研究价值： ⭐⭐⭐⭐（4/5）— 一篇难得的「方法论诚实」之作。它最有价值的不是 93.3% 的成功率，而是那个反直觉的对照：最优的接触预测并没有带来最好的力约束控制。这对当下火热的触觉 VLA 方向是一记必要的清醒剂——触觉的价值必须在决策闭环里被衡量，而不是在预测误差上被衡量。

Time–Frequency Geometric Cross-Attention for Chunked Vision–Language–Action Models

链接： https://arxiv.org/abs/2609.09925

作者 / 机构： Shengye Dong, Haochen Niu, Hao Liu, Peiwen Lin, Chuang Wang, Shanmin Pang（智元机器人 AGIBOT；西安交通大学）— 与本期 FreqFM 为同一团队同日工作，真机平台为 AgiBot A2

一句话总结： 智元与西安交大提出 TFGCA，用逐维度可学习的平稳小波变换（SWT）把动作块分解成时频 token，再用同时融合点积（相似度）与楔积模长（对近正交敏感）的交叉注意力让时间 token 检索它们，作为一个零初始化残差的即插即用模块，在 RoboTwin 域随机化下平均提升 28.5 分、在 AgiBot A2 真机上提升 11.67 个百分点。

研究问题： 现代 VLA 策略一次前向就预测一整块动作（action chunk）——一到两秒的协调运动。但一个 action chunk 本质上是一段短的多变量轨迹，而在模型内部它却只是一串逐时刻的通用隐藏 token，再由一个线性头解码。这种表示同时怠慢了运动的两种结构：其一，频率——一个 chunk 叠加了平滑的全局趋势与跨多个时间尺度的精细修正运动，而单个 token 把它们全部纠缠在一起；其二，跨相位几何——不同相位（reach、contact、grasp adjustment、settling）的运动在表征空间中沿近乎正交的方向展开，却因任务而紧密相关，而且这种关系是跨时间轴而非同一瞬间发生的。点积注意力用内积打分，天然偏好对齐的 token，而在近正交处恰恰最不敏感——于是这类跨相位关系只能让网络绕远路去自行恢复。

核心方法： TFGCA 是一个修复这两个盲点的即插即用模块：① 用逐维度可学习的平稳小波变换（SWT）把 action chunk 分解成时频 token，显式分离「趋势」与「修正」；② 每个时间 token 通过交叉注意力从这些时频 token 中检索信息，注意力同时融合点积（度量相似度）与楔积模长（wedge-product magnitude，对近正交敏感），两者由可学习权重组合；③ 采用零初始化残差，因此模块在初始化时精确复现基座行为，可以直接挂到预训练 VLA 上联合微调。

技术亮点：

  • 把「注意力在近正交处失效」这个几何事实变成了一个可修补的模块——楔积的引入非常巧妙，它度量的是两个向量张成的面积，正好在点积退化的地方保持敏感。
  • SWT 而非 DCT：可学习且保持时间局部性，比固定的频域基更适合动作这种非平稳信号。
  • 零初始化残差保证了「装上不退化、微调才生效」，是工业界愿意采纳的那种设计。
  • 论文用一整个附录（H）去定义并逐条件验证 **TO-DoL（时间正交分工）**这一结构假设，动机扎实而非事后解释。

实验结果： 相对同源基座，TFGCA 在已接近饱和的分布内 LIBERO 上平均提升 +1.5，在分布外基准 LIBERO-Plus 上提升 +6.3，在 RoboTwin 2.0 域随机化下的随机化平均提升 +28.5，并在 AgiBot A2 真机的三项任务上把整体成功率提升 +11.67 个百分点——且收益在分布外条件下更大。论文指出最大的随机化增益出现在接触类与多阶段任务上（作者谨慎地标注这只是相关性而非因果证明）。

应用场景： 预训练 VLA 的低成本增强、域随机化下的鲁棒操作、接触密集与多阶段的复杂操作任务。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 与 FreqFM 互为映照的一篇。它把「action chunk 的结构被浪费了」这个问题讲得极其透彻，尤其是跨相位近正交这一点，此前几乎无人提及。+28.5 的域随机化增益与真机上的 +11.67 个百分点都很硬，零初始化设计又让落地成本接近于零。

Show-Harness: Just a VLM Agent Can Play Robots

链接： https://arxiv.org/abs/2609.10522

项目主页： https://showlab.github.io/Show-Harness ｜ 代码： https://github.com/showlab/Show-Harness ｜ 模型： https://huggingface.co/showlab/Show-Harness-VLMs ｜ 数据： https://huggingface.co/datasets/showlab/Show-Harness-Data

作者 / 机构： Yanzhe Chen, Zechen Bai, Zhijun Cao, Wenzheng Zeng, Kevin Qinghong Lin, Yiqi Lin, Guoqiang Liang, Kevin Yuchen Ma, Qiming Huang, Mike Zheng Shou（Show Lab，新加坡国立大学 NUS）

一句话总结： NUS Show Lab 提出 Show-Harness，一个让 VLM 通过一个紧凑的语义动作接口直接「玩」机器人的具身 Harness——模型只输出 MV_LEFT / GRASP 这样的离散语义动作单元，由本体相关的解释器确定性地落地为机器人运动，在十项真实抓放任务上分别达到 89%（零样本前沿 VLM）与 86%（微调小模型），远超 π0.5 的 39% 与 GR00T 的 35%。

研究问题： 基础视觉语言模型（VLM）展现出关于世界的广博智能，但把这种智能转译为机器人控制依然困难。现有路线要么让 VLM 站在外层做高层规划、把底层交给 VLA，要么要求 VLM 直接输出连续关节量——前者让 VLM 失去了对精细物理决策的责任，后者又与 VLM 的离散符号天性相冲突。核心矛盾在于：接口该放在哪个抽象层级？

核心方法： Show-Harness 把机器人控制重构为参数无关的语义动作单元：① 定义一套离散动作词表（MV_FWD/BACK/LEFT/RIGHT/UP/DOWN、GRASP、RELEASE、DONE、ROTATE_CW/CCW，双臂场景加 STILL），每个动作词只是一个裸符号，其度量幅度由解释器给出——因此同一套词表可以驱动 7-DoF Franka、6-DoF AgileX 与仿真器而无需改动模型；② Harness 在每步组装多视角图像、本体状态与短期历史，并按需启用九个可插拔插件（感知 / 推理 / 行动三类，关闭时与不启用完全一致）；③ 通过该接口实现两条路线——**零样本（ZS）**直接解锁闭源前沿 VLM，**微调（FT）**让小规模开源 VLM（Qwen3.5-2B，LoRA r=64，仅更新约 3% 参数，单卡 H200 不到两小时）学会同一接口；④ **GUMI（GUI Manipulation Interface）**把同一动作空间延伸到 GUI 演示采集，人或 GUI 代理用键盘就能「玩」机器人，无需动捕遥操作硬件。

技术亮点：

  • 「接口即动作空间」是本论文最锐利的洞察：消融显示，去掉语义命名与视角约定后，成功率从 100% 崩到 5%，19/20 条轨迹超时；让模型自己写出映射，六个方向只答对 23.3%（随机基线 16.7%）。
  • 动作词不带毫米数——度量完全由解释器承担，这是跨本体复用能成立的根因，也是它相比 VLA 路线的结构性优势。
  • GUMI 让演示采集变成了「打游戏」，采集到的每一步天然就是对齐好的 (观测, 动作) 训练对，不需要事后从连续轨迹里反推动作标签。
  • 全栈开源：Harness、GUMI 采集器、九个插件、训练流水线，外加六个 LoRA 适配器与演示语料（Apache-2.0）。

实验结果： 十项真实抓放任务（方块 / 香蕉 / 网球 / 小熊 / 棋子 × 盘子 / 碗，物体覆盖刚体、异形、滚动、可变形与精细抓取）上，每任务随机摆放测十次：Show-Harness ZS（Gemini-3.1 Pro）89%，FT（Qwen3.5-2B）86%，而 π0.5 为 39%、GR00T 为 35%、H-VLA 50%、CaP-X 44%、RATS 57%。微调模型仅用仿真示范训练时到真机为 13/20，而同样数据的 π0.5 与 GR00T 均为 0/20。精细控制实验中，仅把解释器步幅从 2 cm 减到 1 cm（不改模型、不重训），FT 成功率即从 40% 升到 65%；旋转实验中示范只含 0° 与 45°，在未见的 90° 上 FT 仍有 70%，而 π0.5 为 20%。双臂任务上联合预测把成功率从 70%/30% 提到 90%/70%，碰撞次数降为零。采集了 164 条真实机器人示范、7,774 个决策步。

应用场景： 前沿 VLM 的零样本机器人部署、低成本小模型机器人控制、跨本体（单臂 / 双臂 / 仿真 / Isaac Lab）统一控制接口、无遥操作硬件的演示采集。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 本期最有可能被广泛采用的一篇。它没有提出新模型，而是重新划定了「VLM 负责什么、机器人栈负责什么」的边界，并且用 89%/86% 对 39%/35% 的悬殊差距证明这个边界划对了。GUMI 的「打游戏式采集」对缺遥操作设备的团队尤其有价值。Show Lab 一贯的全栈开源作风也让这份工作的落地门槛极低。

Programmable World Model

链接： https://arxiv.org/abs/2609.10540

项目主页： https://alaya-lab.github.io/pwm ｜ 代码： https://github.com/AlayaLab/pwm

作者 / 机构： Zheng-Hui Huang, Guixu Lin, Jiacheng Lin, Yi-Chuan Huang, Ruihan Yu, Muyao Niu, Siqi Yang, Yu-Lun Liu, Yung-Yu Chuang, Kaipeng Zhang, Zhixiang Wang（Alaya Lab）— 通讯为 Zhixiang Wang（项目负责）与 Kaipeng Zhang

一句话总结： Alaya Lab 提出 Programmable World Model（PWM），把世界状态演化从视觉观测生成中解耦——由 agent 把自然语言指令翻译成可执行程序来定义实体状态与状态转移规则，轻量引擎维护显式、持久的全局世界状态，再经状态增强的 3D 有向包围盒（OBB）编译成像素对齐的条件信号交给视频模型渲染，在 CombatStateBench 上取得 94% 计数准确率与 98% 状态准确率。

研究问题： 近期的视频世界模型能生成越来越真实、可交互的视觉体验，但缺乏维护持久世界状态与在长时间交互中强制可编程规则的可靠机制。具体地：① 现有控制接口主要指定相机、动作或高层 prompt，无法直接寻址和操纵单个实体；② 模型普遍缺乏独立于当前视角、可被访问与更新的显式全局状态——而这样的状态必须覆盖画面外（off-screen）的实体以及非视觉属性（血量、物品栏、任务进度、交互历史）；③ 用户无法对世界演化的规则编程——「门在什么条件下打开」「一次交互如何影响其它实体」，靠 prompt 描述期望结果并不能确立一条能持续支配后续交互的可执行规则。

核心方法： PWM 把世界引擎拆成两半：① 编码 agent 把用户的自然语言描述（配合单张参考图像）翻译成可执行程序，程序显式指定实体状态与交互规则；② 轻量状态引擎执行这些程序，更新并维护一个显式、持久的全局世界状态，包含画面外实体与非视觉属性；③ 为了让状态驱动视觉生成，论文提出状态增强的 3D 有向包围盒（state-augmented 3D OBB）作为中间表示——它既能被程序直接编辑，又保留了视觉生成所需的空间与语义结构；④ 该表示与目标相机轨迹一起被确定性地编译成像素对齐的时空条件信号，交给一个预训练视频模型充当「生成式渲染器」；⑤ 采用**分块自回归（chunk-autoregressive）**渲染支持长程生成，并配合几何对齐的空间记忆。

技术亮点：

  • 「状态演化 / 视觉渲染」解耦是一个干净的架构判断：视频模型擅长渲染不该负责记账，让程序来记账、让视频模型管画面，各司其职。
  • 选择 3D OBB 而非文本、2D 框或稠密 G-buffer 作为中间表示，是在「可编程可编辑」与「空间约束足够强」之间找到的绝佳平衡点——论文专门用一节讨论了这个权衡。
  • 画面外实体与持久性：−130° 摇镜后依然能显现出「一直存在于世界状态中」的实体，这是纯视频世界模型做不到的。
  • 可玩的游戏世界：规则由程序定义，因此事件触发、实体生灭都可以精确复现，897 帧的长程 rollout 中无漂移。

实验结果： 论文同时提出 CombatStateBench，一个专门评测可编程世界模型的基准。在 CombatStateBench 上，PWM 取得 **94% 的计数准确率（Count Accuracy）**与 98% 的状态准确率（State Accuracy），大幅领先现有的交互式视频世界模型，同时支持连贯的长程生成。项目页展示了开放域场景（丛林、机场、水下城市）、30 秒自回归 rollout、以及规则驱动的实体行为（车辆按事件触发精确停止）。

应用场景： 可交互游戏世界的程序化生成、具身智能的可控训练环境、需要持久状态与显式规则的长程世界模拟、多实体世界引擎。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 本期在「视频生成 / 世界模型」交叉点上最重要的一篇。它正面回应了视频世界模型最被诟病的一点：画面好看但世界不持久、规则不可控。把「程序化状态机 + 生成式渲染器」这一经典游戏引擎架构重新引入世界模型，思路清晰且工程上完全可行；代码与主页都已开源，是很值得跟进的方向。

📊 今日研究趋势

一、世界模型正从「生成得像」转向「状态可管控、幻觉可度量」。 本期四篇世界模型工作恰好排成一个递进链条：DUET-DINO 解决的是感知可靠性（跨视角条件让潜空间预测足以支撑完整 7-DoF 控制，reach 92%）；HaWMPO 解决的是决策可靠性（直接给生成的图像序列打幻觉分，并用 Reward-Soft 压进 GRPO，G1 真机 67.5%→80.0%）；视触觉世界模型那篇则冷静地提醒**「预测准 ≠ 控制好」（8 N 力预算下 33.3% vs 力反馈的 70.0%）；而 Programmable World Model 走得更远——干脆把状态演化从视频渲染中剥离出来交给程序**。这条脉络的共同判断是：世界模型的价值不在于画面，而在于它维护的那个状态是否可信、可查、可编辑。

二、「action chunk 被浪费了」正在成为 VLA 的一个新共识。 FreqFM 与 TFGCA 出自同一团队、同日发布，却从两个几乎正交的角度得出同一结论：一个 chunk 本质是一段多变量轨迹，却被当成一串无结构的逐时刻 token 在解码。FreqFM 在 DCT 频率坐标下重做源分布与目标加权，把频率提升为显式条件维度（LIBERO-Plus +9.3）；TFGCA 用可学习 SWT + 楔积注意力同时修复频率纠缠与跨相位近正交两个盲点（RoboTwin 域随机化 +28.5，AgiBot A2 真机 +11.67 个百分点）。值得注意的是，两者的收益都在分布外更大——这强烈暗示被浪费的那部分结构正是泛化能力所在。TFGCA 提出的「跨相位在表征空间中近乎正交，而点积注意力恰恰在近正交处最不敏感」是一个此前几乎无人提及的观察，值得单独记住。

三、接口层的重新划分，可能比模型本身更能释放能力。 Show-Harness 是本期最有力的例证：它没有提出任何新模型，只是把机器人控制重构成一组参数无关的语义动作单元（MV_LEFT、GRASP……），度量幅度交给解释器，就在十项真实抓放任务上把成功率从 π0.5 的 39%、GR00T 的 35% 拉到 89% / 86%。消融里那个「去掉命名与约定后成功率崩到 5%」的实验几乎是在直接宣告：接口不是动作空间外面的装饰，接口就是动作空间本身。这条思路对资源受限的团队格外友好——微调 Qwen3.5-2B、LoRA r=64、单卡 H200 不到两小时。

四、真机基准与开源栈继续在「柔性体」与「跨本体」两个方向补短板。 FolDeX 用 2,000+ 小时真机数据、20+ 任务、10+ 本体填补了长程柔性体操作缺乏可信基准的空白，并且聪明地以「异构数据如何复用」而非「任务难度」为组织原则——在真机数据最昂贵的当下，这是正确的提问方式。Show-Harness 则在另一侧证明：一套语义动作词表可以不动模型地横跨 7-DoF Franka、6-DoF AgileX、ManiSkill 与 Isaac Lab。跨本体不再需要重新训练，只需要换一个解释器——这个想法如果能与 FolDeX 的迁移轴结合，会是很自然的一步。

🏆 最值得关注的 3 篇

  1. Show-Harness — 本期最可能改变实践的一篇。它用一个极简的语义动作接口证明了「正确的抽象层级」比模型容量更重要：89%/86% 对 39%/35% 的差距不是噪声，而 GUMI 让演示采集不再依赖遥操作硬件。Harness、插件、训练流水线与六个 LoRA 适配器全部开源，几乎可以今天就在自己的机械臂上跑起来。
  2. Programmable World Model — 在视频世界模型这个拥挤的方向上给出了一个真正的架构级答案：把状态记账交给程序、把画面交给视频模型，用状态增强的 3D OBB 做中间层。94% 计数准确率 / 98% 状态准确率之外，更重要的是它让「规则可以被定义」这件事成为世界模型的一等公民——这是从「生成器」走向「引擎」的关键一步。
  3. TFGCA（与 FreqFM 并读）— 它把「action chunk 的结构被浪费」这个问题讲得最透彻，尤其是跨相位近正交这一几何观察。零初始化残差让它可以零成本挂到任何预训练 VLA 上，而 +28.5 的域随机化增益与真机 +11.67 个百分点的收益说明这不是理论游戏。建议与 FreqFM 一起读：同一团队、同一判断、两条不同的技术路径。

数据来源：ArXiv 2026-09-10（Thu, 10 Sep）公告批次 · 去重后 384 篇候选，经 578 个历史 ID 与 592 条历史标题双重去重 | 分析生成时间：2026-09-11 06:00 (北京时间)