📅 本期为周末补遗。arXiv 周末不做公告，探测确认最新批次仍是 2026-09-11（Fri, 11 Sep）（各分类当日条数 cs.CV 89 / cs.RO 44 / cs.AI 171 / cs.LG 171 / cs.GR 8 / cs.MM 3，与上期一字不差；ID 前沿止于 2609.119xx，2609.12000 起全部 404；HF 09-12 返回空、09-13 尚未到日期），故本期从该批次（去重后 381 篇候选）继续补选 8 篇此前未及收录的高相关论文。

经全站 594 个历史 arXiv ID 与 608 条历史标题双重去重后，与已收录论文 0 重复（去重命中恰为上期覆盖同一批次的 8 篇，自检通过）。

本期主线是**「接口比参数更值得打磨」**：SenseNova-U1.5 用多专家 on-policy 蒸馏把四个专项专家压回一个 8B 模型、CamPilot 用 GRPO 从 14K 部电影里学「运镜语法」、DIAL 发现 DiT 注意力块里本就躺着一张空间接地图、2AM 坚持让记忆留在 Agent 侧而只把「物理意图」编译成 2D 提示喂给无状态的动作模型——四篇都在说同一件事：能力往往已经存在，缺的是一个正确的读写接口。另一侧是具身侧的「现实条件清算」：CAP 直面深度信号会部分失效、ObstaDiff 直面背景里长满障碍物、UniMPA 直面「看起来合理的预测未必可执行」。

📄 论文精选

SenseNova-U1.5: Towards Native Unified Visual Intelligence

链接： https://arxiv.org/abs/2609.11929

代码： https://github.com/OpenSenseNova/SenseNova-U1 ｜ 模型： https://huggingface.co/collections/sensenova/sensenova-u15

作者 / 机构： Haiwen Diao, Jiahao Wang, Chenjing Ding, Hanming Deng, Jiangnan Chen, Ruixi Zhang, Ruohui Wang, Wenwen Tong 等（商汤科技 SenseTime；论文正文未逐人标注机构，官方开源仓库为 OpenSenseNova）

一句话总结： 商汤科技推出 SenseNova-U1.5，一个 8B-MoT 的原生统一多模态模型，在 encoder-free 且 VAE-free 的 NEO-unify 架构内同时完成视觉理解、推理与生成，并通过多专家 on-policy 蒸馏把四个专项专家的能力压回单一模型，在 GenEval 上以 0.92 的总分超过 GPT-Image-2（0.89）。

研究问题： 主流系统用预训练视觉编码器（VE）“看"图、用变分自编码器（VAE）“画"图，理解与生成运行在两个互不相通的表示空间——一个为语义抽象优化，一个为像素保真优化。这条割裂使得「感知—推理—生成」无法在同一个框架内被真正协调。SenseNova-U1 已证明 encoder-free / VAE-free 的原生统一路线可行，但其视觉接口过于轻量：每个视觉 token 被当作独立的 RGB patch 重建，在高分辨率下会暴露 token 边界的网格伪影，且各专项能力（美学、文字、信息图、编辑）此前后训练时被割裂处理。

核心方法： ①视觉接口升级：用空间一致的 patch 联合重建取代逐 patch 独立预测——视觉 token 被重塑为二维特征网格，经多级 Pixel Shuffle 上采样，中间插入 3×3 卷积让相邻 patch 互相作用并融合为连续图像，从根上抑制网格状伪影。②数据与任务重构：精心清洗并合成生成与编辑语料，改进任务形式化、结构化 prompt 增强，并把原生分辨率推到 4K。③后训练与整合：先为视觉美学、中英双语文字渲染、信息图生成、图像编辑分别优化专项专家，再用多专家 on-policy 蒸馏把这些能力 consolidated 回一个模型。论文承诺开源训练代码（含 SFT、RL 与 on-policy 蒸馏）。

技术亮点：

  • 「无 VE + 无 VAE」是这个系列最硬的架构主张：省掉的不只是两个模块，而是理解与生成之间的表示鸿沟本身——理解能力因此可以直接迁移到视觉规划与创作。
  • 多专家 on-policy 蒸馏是一个很实用的工程范式：专项专家各自练到极致再蒸馏合并，绕开了「多目标一锅炖」的相互拖累，对资源有限的团队尤其友好。
  • 跨任务泛化的证据很扎实：生成与编辑语料里只有极少量简单 JSON 格式 prompt，模型却能有效泛化到长而结构化、层级化的视觉指令——这说明理解侧的迁移无需为每种格式专门造模板。
  • ConvDecoder 的渐进式空间重建是一个「小改动大收益」的范例：参数量几乎不变，却同时改善了预训练稳定性与下游微调时的鲁棒性。

实验结果： 在 GenEval 上，SenseNova-U1.5（8B 生成参数）取得 Overall 0.92，超过闭源的 GPT-Image-2（0.89）、GPT-Image-1（0.84）、Seedream 4.0（0.84）、Nano-Banana-2.0（0.83），也超过同门的 SenseNova-U1（0.91）与 HiDream-O1-Image（0.90）；分项上 Single Object 1.00、Two Object 0.97、Counting 0.93、Position 0.92、Attribute Binding 0.81 均为前列。在 Qwen-Image-Bench 的 Open-Image-Bench 英文与中文子集上，带 prompt enhancement 分别取得 60.22 与 60.13，为参评开源模型中的最佳整体表现；即便不做 prompt enhancement 也稳定优于 SenseNova-U1 并与更大规模的开源基线竞争。在 ImgEdit / GEdit-Bench / WeEdit / OmniRef-Bench 四个编辑基准上均取得领先整体表现，其中 GEdit-Bench 的增益在语义一致性上最为突出——模型能更可靠地识别「要改什么」、改对地方、同时保住原图语义上下文。

应用场景： 原生 4K 商用图像生成、中英双语文字渲染与复杂版式编排（海报、信息图）、多参考图编辑与主体保持、交错图文生成、具身智能的视觉规划与创作一体化。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 这篇的价值在于它把「原生统一建模」从架构可行性推进到了性能可比性：0.92 的 GenEval 总分意味着无编码器路线不再是「优雅但弱」的代名词。而对国内社区来说，完整开源训练代码（SFT + RL + on-policy 蒸馏）比模型权重本身更重要——它提供了一套可复用的「多专家合体」配方。

CamPilot: A Multi-Agent Cinematic Assistant for Camera-Controlled Movie Generation

链接： https://arxiv.org/abs/2609.10943

作者 / 机构： Yang Wu（伍斯特理工学院 Worcester Polytechnic Institute；初稿完成于 Adobe Research 实习期间）, Stefano Petrangeli, Ishita Dasgupta, Yu Shen（Adobe Research）

一句话总结： Adobe Research 与 WPI 提出 CamPilot，一个把电影摄影规划与运镜控制统一起来的多智能体框架，用 GRPO 从 14K 部真实专业电影中学习「运镜语法」，在相同开源骨干下把运镜分类 Macro-Acc 从 45.5 提升到 63.7，并超过 Claude-Sonnet-4.5（60.1）、GPT-5（53.2）等商用大模型。

研究问题： 把 LLM 接进视频生成已经能快速产出文本到视频的内容，但距离专业电影制作仍有两道硬坎：一是电影摄影语言不够讲究——模型生成的镜头语言远不如人类摄影师的镜头设计；二是多镜头连续性——跨镜头的主体一致性、节奏与叙事衔接始终难以维持。现有方法大多把运镜当成「给每个镜头打一个标签」的独立分类问题，而真正的电影摄影是一个依赖上下文的结构化决策过程：需要考虑场景级意图、前一个镜头的上下文以及当前镜头描述。

核心方法： CamPilot 把运镜规划重新表述为上下文感知的结构化决策：①Camera Work Planner 联合考虑场景意图、前序镜头上下文与当前镜头描述，输出对齐的镜头规格（角度、景别、运动、焦距行为、速度、运动强度）；②用 GRPO 从 14K 部真实专业电影中学习运镜规划，把运动模式与构图原则内化，并使模型能对拍摄技法与跨镜头关系做推理；③多智能体协作与演化（evaluator–reviser 回路）进一步提升整体质量；④配套构建 CamEval 基准，用于评测运镜质量与电影感染力，并用 Qwen3-VL-32B-Instruct 在受限、可复现的运镜 schema 下完成大规模标注。

技术亮点：

  • **「从 14K 部真实电影学而非从规则学」**是本文与既往 prompt-based 方法的分水岭——运镜语法是统计规律，不是可手写规则集。
  • GRPO 的奖励被显式因子化到角度、景别、运动、焦距行为、速度、运动强度等互补属性上，这让长片生成中真正需要的「协调的转场与镜头关系」成为可优化目标，而非逐镜头独立选标签。
  • CamEval 的可复现 schema 设计值得称道：约束过的标签空间 + 固定标注模型，使「运镜质量」这个主观性极强的维度变得可规模化监督。
  • 诚实的能力归因：明确把增益定位在「训练与规划框架」而非模型规模——同一骨干下比较，且坦承商用模型在部分 precision/recall 维度上更强。

实验结果： 在控制相同开源骨干的前提下：Llama-3.1-8B-Instruct 的运镜分类 Macro-Acc 从 Standard 的 45.5 提升到 63.7，也明显超过 prompting 类基线 DreamFactory（58.0）与 MovieAgent（59.5）。下游生成质量同样在各自骨干族内最强，取得最优 CLIP 与 Inception 分数，跨镜头主体稳定性与美学指标 Sub_Cons 约 95 / Aesthetic 约 59（Llama 95.0/59.0、Gemma 95.6/59.4、Qwen 95.1/58.9）。即便存在巨大参数差距，CamPilot 仍能与闭源商用 LLM 竞争：Macro-Acc 63.7 超过对比中最强的商用基线 Claude-Sonnet-4.5（60.1），也高于 GPT-5（53.2）与 Deepseek-R1（52.7）。单镜头消融中，CamPilot 把 Macro-Acc 从 44.3 提到 62.1、Macro-F1 从 9.1 提到 26.5，优于 Vanilla-SFT（59.8/25.7），生成质量 CLIP/Inception 达 22.0/9.9，Sub_Cons/Aesthetic 95.0/59.0 对比 Standard 的 87.6/51.2。

应用场景： 文本到电影生成、专业运镜规划、广告与短视频自动分镜、跨镜头一致性保持、电影摄影辅助创作工具。

研究价值： ⭐⭐⭐⭐（4/5）— 在「相机可控视频生成」这个方向上，CamPilot 提供了一条与改网络结构完全不同的路径：不动生成器，只把「运镜语法」学成一个可规划的中间件。这个思路的可迁移性很强——任何已有 T2V 系统的团队都可以把它当作一层规划器挂上去。EMNLP 2026 REALM Workshop 已接收。

Harnessing Intrinsic Subject-Aware Attention for Controllable Multi-Subject Video Generation

链接： https://arxiv.org/abs/2609.11507

作者 / 机构： Niange Yu, Biaolong Chen, Miao Lu, Aixi Zhang, Hao Jiang, Pipei Huang（阿里巴巴集团 Alibaba Group）；Ye Tian, Yunhai Tong（北京大学 Peking University）

一句话总结： 阿里巴巴与北京大学发现 DiT 的某些注意力块会天然形成一张「内在空间接地图」（ISGM），能精确定位参考主体，据此提出 DIAL 框架：低噪声阶段用 ISGM 引导注意力实现免重训的保真强度连续控制，高噪声阶段用同一张图零成本自动构造偏好对做强化学习以抑制语义漂移。

研究问题： 多主体视频生成（subject-to-video）面临两个长期痛点：一是保真强度不可控——想让生成结果更像或不像参考主体时，缺少一个连续可调的旋钮；二是语义漂移——生成过程中主体身份逐渐跑偏。既往做法要么引入额外的主体注意力分支或 adapter（增加训练与推理成本），要么靠 RL 但需要额外构造偏好数据。一个被忽略的事实是：模型内部可能本来就有一张能定位主体的图，只是没人去用。

核心方法： 作者通过分析 Diffusion Transformer 的内部机制发现，某些注意力块会自发形成 Intrinsic Spatial Grounding Map（ISGM），其响应精确落在参考主体所在的空间位置。DIAL（Dual-phase Intrinsic Attention Leveraging）分两阶段利用这一信号：**阶段一（低噪声）**把 ISGM 作为空间感知的引导矩阵注入注意力计算，使保真强度 γ 成为推理时可调的连续参数，完全不需要重训；**阶段二（高噪声）**用同一批 ISGM 自动构建偏好对，零额外标注成本地驱动 RL，把模型的注意力锚定在参考主体上，从而缓解语义漂移。

技术亮点：

  • 「模型内部自带接地图」这个发现本身比框架更值钱——它意味着主体定位不一定需要外部分割模型或专用模块，为后续工作打开了一条极低成本的路。
  • 一图两用的设计非常经济：同一份 ISGM 既做推理期引导，又做训练期偏好构造，把「可控性」与「防漂移」两个目标统一到了一个信号上。
  • 保真强度做成连续可调参数 γ，而不是离散开关，这更贴近实际创作中的使用方式。
  • 免重训即可部署：阶段一完全发生在推理阶段，对已上线的 DiT 基类模型是零成本的增益。

实验结果： 在 OpenS2V-Eval 基准上跨多种 DiT 基类模型评测。以 Kaleido 为骨干：基线总分 56.00，+DIAL（γ=0）56.32，+DIAL（γ=2）58.38，+DIAL（γ=4）达到 59.88，随保真强度提升而单调改善，同时身份一致性（FaceSim）从 31.81 提升到 52.37 量级。消融实验专门对比了「不用 ISGM、改用全 1 均匀矩阵」的 Uni 变体：Uni 即便在最小的增强尺度（γ=2）下 NaturalScore 也显著下滑；而 ISGM 在 γ=16 时取得与 Uni（γ=2）相当的 FaceSim 身份一致性，却保持了高得多的 NaturalScore（75.23%）。这一对比清晰地说明：在整个隐空间上做均匀强度增强会损害视频真实感，而 ISGM 提供的是局部化、区域自适应的引导。论文报告 DIAL 在 OpenS2V-Eval 上显著优于基线模型。

应用场景： 多主体定制视频生成、广告与电商内容创作、身份一致的角色视频、可控保真度的参考图驱动生成、影视前期概念预览。

研究价值： ⭐⭐⭐⭐（4/5）— 这是一篇典型的「机制解释 → 方法设计」闭环完整的工作：先证伪了「必须外加模块才能做主体定位」的隐含假设，再把这个发现同时用在训练与推理两端。对做可控视频生成的团队，ISGM 这个信号值得在自己的模型上先验证一遍——它可能是免费的。

From Evaluation to Enhancement: Benchmarking and Improving Think-with-Video Reasoning for Video Generative Models

链接： https://arxiv.org/abs/2609.11242

数据： https://huggingface.co/datasets/KlingTeam/VWG-Bench

作者 / 机构： Meng Luo（新加坡国立大学 National University of Singapore）, Yicheng Liu（南京大学）, Jiahao Wang, Yuanxing Zhang, Xin Tao, Pengfei Wan, Kun Gai（快手可灵团队 Kling Team, Kuaishou Technology）, Hao Fei（牛津大学 University of Oxford）

一句话总结： NUS、南京大学、快手可灵与牛津大学提出 VWG-Bench（覆盖 9 个推理维度、38 个细粒度任务）系统诊断视频生成模型能否真正「用视频思考」，发现最强的商用模型 Veo3.1 总分仅 3.55/5，并提出模型无关的 prompt 重写器 Vid-PRE，无需改动任何生成器架构就把 Wan2.2 在 MME-CoF 上的总分从 1.72 提升到 2.58（+50%）。

研究问题： 视频生成已经能产出视觉上引人入胜、时序连贯的结果，但一个根本问题仍未被回答：这些模型是否真的能「用视频思考」——执行符号规则、遵守物理定律、追逐有意图的目标？ 现有基准只部分触及这一点，且普遍把视觉质量与认知正确性混为一谈：一段看起来很漂亮的视频，可能物理上完全不成立。

核心方法： ①VWG-Bench（Video World Generalist Benchmark）：覆盖 9 个推理维度、38 个细粒度任务，数据由 Image-Pair 驱动的构建流水线生成。②三层 VLM-as-Judge 协议：独立评估视频级流畅度（video-level fluency）、任务级规则遵循（task-level rule adherence）与样本级目标达成（sample-level goal realization）——把「画得好」与「想得对」在评分层面彻底解耦。③Vid-PRE（Video Prompt Reasoner and Enhancer）：一个模型无关的 prompt 重写器，把推理的认知负担卸载给一个专用 VLM；它用纯文本奖励通过强化学习训练（SFT 阶段 + GRPO 阶段），把原始指令改写成约束感知、结构化程度更高的提示，再交给任意视频生成器。

技术亮点：

  • 三层评分协议是本文最关键的设计——正是「独立评估」这一点，才让「渲染分数高、推理分数低」这个反差得以被量化呈现。
  • Vid-PRE 的模型无关性决定了它的实用价值：不加 adapter、不改架构、不重训生成器，意味着今天部署的任何一个 T2V 系统都能立刻受益。
  • 用纯文本奖励做 RL 是一个很省的选择：绕开了视频级奖励模型难以训练、易被 hack 的问题。
  • 人机一致性验证做得到位：100 个 prompt、200 段视频、三位人类专家独立打分，Spearman ρ 达 0.69–0.80、MAE 低于 0.55，证明自动分数追踪的是人类感知的推理质量而非表面渲染偏好。

实验结果： 在 VWG-Bench 上，最强的商用模型 Veo3.1 总分仅 3.55（1–5 分制），足见该基准的难度。所有模型呈现一致模式：视频质量分数显著高于推理密集型指标——Wan2.2 视频质量 2.32，但隐式规则遵循只有 1.56；连 Sora2 也从视频质量 3.45 掉到末帧目标准确性 2.98。这直接印证了核心假设：当前模型擅长视觉渲染，却难以在没有显式文本引导的情况下维持物理约束、逻辑规则与时序因果。 接入 Vid-PRE 后：MME-CoF 上 Wan2.2 总分从 1.72 提升到 2.58（+50%），指令对齐与内容保真度增益最大；Wan2.5 从 2.84 到 3.07、Wan2.6-Flash 从 2.82 到 3.09，并优于 Wan PE。在要求细粒度物理与空间推理的 V-ReasonBench 上优势更为显著。消融显示 SFT 阶段本身已带来明显提升，后续 GRPO 阶段继续推高。

应用场景： 视频生成模型的推理能力诊断、世界模型评测、提示词工程自动化、物理与逻辑一致性增强、视频生成器的零架构改动升级。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 在「视频生成 = 世界模型」这个越来越流行的说法面前，本文提供的是一份冷静的体检报告：渲染能力与推理能力之间的鸿沟，比大多数人愿意承认的要宽得多。而 Vid-PRE 那 +50% 的增益又说明，这条鸿沟有一部分其实分布在「提示词」这个最便宜的环节上——不需要等下一代模型。ECCV 2026 已接收，46 页正文。

2AM: Grounding Agent-Side Memory as Guidance for Steerable Action Models in Long-Horizon Manipulation

链接： https://arxiv.org/abs/2609.11308

作者 / 机构： Yutong Hu（比利时鲁汶大学 KU Leuven 机械工程系 Robotics, Automation and Mechatronics；美团 Meituan Inc.）, Fengjiao Chen, Xuezhi Cao（美团 Meituan Inc.）, Renaud Detry（KU Leuven；Flanders Make@KU Leuven）

一句话总结： KU Leuven 与美团提出 2AM，主张长程操作需要的记忆不必放在动作策略内部：让多模态 Agent 独占任务记忆，让一个仅基于 RGB 的、逐 episode 无状态的 Action Model 独占执行，Agent 把交互历史编译成子任务语言与 2D 抓取 / 放置 / 移动提示来传递物理意图，在 LIBERO-Mem 上取得 76.29% 平均完成度，并把 relaxed success 从 37.42% 拉到 63.00%。

研究问题： 长程机器人操作确实需要记忆，但记忆是否必须内嵌在动作策略里？当前 agentic 系统常把 VLA 与规划器、几何工具堆叠，还可能额外引入深度或标定过的几何信息——这类系统存在严重的归因混淆：收益可能来自更丰富的观测或替代性的运动工具，失败则可能源自策略本身，也可能源自一个欠指定的语言接口。本文刻意做了一次受控设计：更少的工具广度，更高的接口带宽，以此把问题隔离出来。

核心方法： 2AM 的契约非常清晰：多模态 Agent 是任务记忆的唯一持有者，负责把交互历史编译成子任务语言以及可选的 2D grasp / place / move 提示，在不同时间尺度上绑定其物理意图；Action Model 是任务相关运动的唯一执行者，仅基于 RGB、逐 episode 无状态。为了让 VLA 学会这种"可被操控性”（steerability），作者在演示数据上增补结构化的 hint 标签，并在训练时施加 condition dropout、空间噪声与时间抖动，使策略能够容忍 Agent 输出的不完美。部署时 2AM 只接收任务语言、agent-view RGB、wrist RGB 与机器人状态——深度、分割、检测框、物体 ID 与位姿、oracle 子目标、奖励、阶段标志、基准完成判定全部移除。

技术亮点：

  • 「记忆放在 Agent 侧」这个主张是对当前 VLA 主流路线的直接挑战：与其把历史塞进策略的上下文窗口，不如把历史编译成策略能直接执行的意图。
  • 刻意收窄工具集是本文方法论上最漂亮的一步——通过"减法实验设计"换取了干净的归因，这在堆系统成风的操作研究中相当罕见。
  • 为「不完美的 Agent 输出」而训练：condition dropout + 空间噪声 + 时间抖动这三项，本质上是承认上游会出错并把这个现实写进训练目标，工程上非常务实。
  • 消融设计直击核心：language-only 变体固定住 Agent、Action Model、观测与 chunk 长度，只移除 2D 提示，从而把"接口带宽"这个变量单独隔离出来。

实验结果： 在 LIBERO-Mem 的 10 个任务上评测。作者首先复现了更强的 π0 参考（70.79% 完成度，对比基准报告的 π0 5.0% 与 SlotSSM 14.8%），并以此作为对齐参照：2AM 把完成度从 70.79% 提升到 76.29%（+5.50 个百分点），relaxed success 从 37.42% 提升到 63.00%（+25.58 个百分点）；strict success 基本持平但略低（11.83% vs 12.25%），作者如实指出证据不支持“成功率全面提升"这一更强主张。language-only 消融给出了接口带宽的直接证据：仅用子任务语言时 strict 7.25% / relaxed 19.42% / completion 53.72%；加入 grounded hints 后分别带来 +4.58、+43.58、+22.57 个百分点的提升——relaxed success 的 disproportionately 巨大增益说明，grasp / place / move 参数主要帮助 Agent 把"记住的意图"贯穿整个请求流程，而没有消除「恰好停在正确状态」这一独立的困难。任务层面，2AM 在全部 10 个任务上 relaxed success 更高、7 个任务上完成度更高。

应用场景： 长程机器人操作、VLA 与规划器的职责划分、无深度依赖的低成本机器人系统、需要记忆的重复放置与顺序重排任务。

研究价值： ⭐⭐⭐⭐（4/5）— 本文最可贵的不是那个 76.29%，而是它愿意报告 strict success 没有提升，并明确指出"记忆接口解决的是意图贯穿，不是精确终止”。在长程操作普遍靠堆模块刷点的语境下，这种"减法实验 + 诚实归因"的写法本身就值得学习。

UniMPA: A Unified Memory-Prediction-Action Model via Action-Grounded Transition Modeling

链接： https://arxiv.org/abs/2609.11875

项目主页： https://JiuTian-VL.github.io/UniMPA-page ｜ 代码： https://github.com/JiuTian-VL/UniMPA

作者 / 机构： Wei Li, Rui Shao, Jie He, Lingsen Zhang, Liqiang Nie（哈尔滨工业大学（深圳）计算机科学与技术学院）；Ziwei Liu（南洋理工大学 S-Lab, Nanyang Technological University）

一句话总结： 哈工大深圳与南洋理工 S-Lab 指出 VLA 的观测到动作学习受制于一个**「转移可实现性鸿沟」（转移歧义 / 预测-执行失配 / 经验-实现失配），据此提出 UniMPA 用统一的动作接地转移接口把记忆、预测与动作串起来，在 LIBERO 上取得 98.6% 平均成功率且只用 π0/π0.5 所需四分之一的训练 epoch**，真机 GALAXEA R1 Lite 21 任务上取得 77.7% TSR / 86.3% CSR。

研究问题： VLA 虽已显著改善机器人操作，但「观测 → 动作」的直接拟合存在三个紧密耦合的结构性问题：①转移歧义——视觉上相似的当前观测可能对应不同的操作阶段，蕴含不同的后续转移；②预测-执行失配——一个视觉上合理的预测未来观测，未必对应一个物理上可实现的转移；③经验-实现失配——历史上可执行过的动作模式，未必能在当前场景实现预期转移，需要上下文感知的适配。三者共同构成所谓的 transition realizability gap。

核心方法： UniMPA 用一个共享的动作接地转移接口（action-grounded transition interface）统一记忆、预测与动作：①Persistent-Selective Future Prediction（持续-选择性未来预测）——一条 persistent latent stream 持续跟踪任务级进度，一条 transition-critical pixel stream 通过记忆接地预测选择性地解析细粒度交互变化，以此消解转移歧义；②预测的转移去查询一个时序 Visual-Action Memory Bank（视觉-动作记忆库），检索历史上真正实现过的视觉-动作经验，把未来预测锚定在可执行性上；③配套设计了未来监督的潜转移、转移关键触发门、记忆接地的像素未来校准、粗到细时序索引等模块。

技术亮点：

  • 把三个看似独立的问题归纳为同一个「可实现性鸿沟」，是这个工作最有价值的理论贡献——它解释了为什么单纯加大预测模型或加大记忆库都收效有限。
  • 「查询历史上真正实现过的经验」这一步很关键：它把未来预测从"想象"变成了"有据可查的检索”，是预测与执行之间的桥梁。
  • 训练效率是一个被低估的卖点：只用 π0 / π0.5 所需 25% 的训练 epoch 就超过 X-VLA，说明结构化监督与动作先验显著降低了直接拟合的负担。
  • 真机覆盖两个不同的双臂本体（GALAXEA R1 Lite 与 AgileX Cobot Magic），不是只在仿真上刷点。

实验结果： LIBERO 四个套件上取得 98.6% 平均成功率，超过最强报告基线 X-VLA——且在该基准已接近饱和的情况下取得，更重要的是只用了 π0 与 π0.5 所需训练 epoch 的 25%。LIBERO-Plus 七维扰动零样本泛化下取得 85.3% 平均成功率，在通用类、预测类与记忆类方法中排名第一，超过最强竞争均值 79.7%（+5.6 个点）、超过 π0.5 达 11.7 个点；相对原始设定的性能下降仅 13.3 个点，为所有对比方法中最小的退化。四个套件在扰动下分别为 Spatial 91.0%、Object 89.7%、Goal 84.3%、Long 76.5%。RoboTwin 2.0 的 Randomized（Hard）零样本设定下（策略仅在 Clean 演示上训练），11 个任务平均成功率 58.2%，超过 HALO 与 π0.5 分别 25.7 与 18.5 个百分点。真机上，GALAXEA R1 Lite 的 21 个任务（7 个操作套件）取得 77.7% TSR / 86.3% CSR，对比 π0.5 的 65.3%/75.6% 与 OpenVLA-OFT 的 45.7%/58.1%；AgileX Cobot Magic 的 7 个代表任务上取得 74.9% TSR / 86.4% CSR，超过 π0.5 分别 12.6 与 11.5 个百分点；动态与长程任务上，双手协调 82.7%/86.7%、动态反应类 70.7%/79.2%。已投稿 IEEE TPAMI。

应用场景： VLA 操作策略、长程与双臂操作、零样本分布偏移泛化、跨本体迁移、需要时序一致性的阶段化任务执行。

研究价值： ⭐⭐⭐⭐⭐（5/5）— UniMPA 把「记忆 + 预测 + 动作」这三者真正用一个可执行性约束串了起来，而不是简单地把三个模块拼在一起。LIBERO-Plus 上「退化最小（13.3 点）」这个指标比 85.3% 本身更能说明问题：记忆检索依赖的是期望的状态转移，而不是帧级外观——这正是泛化的正确来源。

CAP: Continuously Adaptive Perception-Blind Humanoid Locomotion via Learned Denoising

链接： https://arxiv.org/abs/2609.11553

项目主页： https://hoshi-no-ai.github.io/CAP ｜ 代码： https://github.com/Hoshi-No-Ai/CAP

作者 / 机构： Hongjin Chen, Zijun Xu（复旦大学；TARS Robotics；上海创智学院）；Shihao Ma, Yi Zhao, Xilai Liu, Ke Ma, Wei Zhang, Chunyang Xie, Pengfei Li, Jieru Zhao, Wenchao Ding（哈尔滨工业大学；上海交通大学）

一句话总结： 复旦、TARS Robotics、上海创智学院、哈工大与上海交大提出 CAP，把感知世界模型编码器训练成一个"学习式去噪器"（从被破坏的深度重建干净深度），配合并行的本体感知变分编码器，使人形机器人在深度信号部分、间歇失效时仍能平滑退化，在 Unitree G1 上实现 Clean 20/20、部分遮挡 19/20 的通过率。

研究问题： 人形机器人在复杂地形上行走需要前瞻性外感知（exteroception）来预判障碍，但这一信号在真实部署中并不可靠——它会部分地、间歇性地失效。现有感知策略往往默认深度观测始终干净且分布内；近期试图统一感知与盲控的工作则通常在多个子策略之间路由或切换，而这类硬切换丢弃了部分损坏信号中仍可恢复的信息。

核心方法： CAP 是一个单阶段人形 locomotion 策略，包含两条并行通路：①感知世界模型编码器被训练为一个学习式去噪器，从被破坏的深度输入重建干净深度；②并行的本体感知变分编码器（co-active proprioceptive variational encoder）提供不依赖深度的身体状态信息。关键的耦合训练配方：在世界模型输入端施加深度噪声课程（depth-noise curriculum），同时对面向策略的潜变量施加世界模型特征 dropout，使策略暴露在整个感知质量谱系的失效情形之下。

技术亮点：

  • 「把世界模型当去噪器用」而不是当预测器用，是一个很实用的角色转换——重建目标天然提供了从部分观测恢复完整结构的能力。
  • 双通路 + 特征 dropout 的耦合训练是"优雅退化"的关键：策略既见过完整的深度，也见过完全没有深度，中间态自然被插值出来。
  • 明确拒绝了硬切换方案并用实验证明了它的脆弱性：Binary-switch 在 Severe 失效下甚至低于纯盲基线，说明硬分支选择在盲走可行时依然僵化。
  • 八级感知质量扫描这个评测设计很有说服力——它把"鲁棒性"从二值指标变成了一条曲线，曲线形状本身就是行为证据。

实验结果： 在八级感知质量扫描中，CAP 把渐进的感知退化转化为渐进的运动退化，为离散的感知-盲切换提供了连续替代方案：在必须依赖外感知的地形（平台 / 缝隙 / 障碍）上，Blind 始终贴近本体感知的性能地板，而 CAP 在整个 Degraded 扫描段内平滑下降；作为对照，Hiking 没有重建目标因而持续掉点，PIE 带重建正则因而下降更缓，而 Binary-switch 在门控选中盲分支时出现断崖式下跌。在外感知可选的楼梯地形上，期望行为是随外感知信号变得无信息而趋近盲基线：CAP 在 Degraded 段与 Severe 尾部始终贴近该参考，而 Binary-switch 即便在 Severe 失效下仍低于盲基线。Unitree G1 真机上（每种条件 n=5）：Clean 条件 20/20 全部通过，Partial occlusion 下 19/20（仅平台地形失手 1 次），Full cover 下 5/20——其中楼梯 5/5 全部通过，而平台、缝隙与混合地形各 0/5，说明完全遮挡移除了预判平台边缘与缝隙所需的视觉线索，此时单靠本体感知在测试条件下不足以通过。一个关键转场案例显示：机器人在遮挡下登上楼梯，感知恢复后继续通过缝隙并下楼梯，验证了瞬态外感知丢失与重新获取之间的连续性。此外还在真实传感器伪影（闪光造成的大片无效深度区）与户外部署场景中完成了验证。CoRL 2026 已接收。

应用场景： 人形机器人复杂地形通行、深度传感器部分失效的鲁棒控制、室内外连续部署、感知退化下的 graceful degradation、盲走与感知走的统一控制。

研究价值： ⭐⭐⭐⭐（4/5）— 在具身智能普遍假设"传感器会正常工作"的当下，CAP 把"传感器会坏，而且是部分地、间歇地坏“这个现实写进了训练目标。它最有说服力的不是 20/20，而是那条平滑退化的曲线——在安全关键的控制系统里，“优雅地变差"往往比"在大部分情况下更好"更重要。

ObstaDiff: Generalizable Diffusion Policy Learning via Obstacle-aware Representations

链接： https://arxiv.org/abs/2609.10918

作者 / 机构： Jiawen Wang, Kevin Yao, Khalid Jawed（加州大学洛杉矶分校 University of California, Los Angeles）

一句话总结： UCLA 提出 ObstaDiff，一个分解式扩散策略框架，用轻量障碍感知视觉编码器抽取结构化的目标-障碍-背景表示，使下游对齐策略在生成朝向"以目标为中心的瓶颈位姿"的末端轨迹时能显式推理周围障碍，在 366 次真机执行（每方法 61 次试验）中取得 75.41% 平均任务成功率与仅 8.20% 的障碍碰撞率。

研究问题： 模仿学习在机器人操作上成果斐然，但多数方法默认背景干净，且缺乏显式的障碍感知运动生成机制。把这些策略扩展到杂乱、带有非结构化障碍的真实场景，是一个尚未解决的关键泛化挑战——在农业温室这类场景里，目标（辣椒）周围长满了外观相似、位置随机的植株障碍，纯粹的端到端视觉运动策略极易碰撞。

核心方法： ObstaDiff 采用分解式（decomposed）扩散策略设计：①一个轻量障碍感知视觉编码器抽取结构化的目标-障碍-背景表示，把场景显式拆解为三类语义成分；②下游的对齐策略（alignment policy）生成朝向以目标为中心的瓶颈位姿（target-centered bottleneck pose）的末端执行器轨迹，并在生成过程中推理周围障碍；③配合瓶颈切换与交互机制处理对齐阶段之后的操作。整体思路是先结构化感知，再约束生成，而不是指望一个端到端网络自己学会避障。

技术亮点：

  • 「目标-障碍-背景」的三元结构化表示是这个工作的核心：把"障碍"显式列为一类语义成分，比让网络隐式学习避障要可靠得多。
  • “瓶颈位姿"这个中间目标设计得很巧：把开放空间中的自由运动与接近目标时的精细操作解耦，前者可以大胆避障，后者需要精确对齐。
  • 信息匹配对照实验做得干净：专门设置了 DP(RGB-D) 与 DP(TOB) 两个信息量匹配的扩散控制组，用来排除"只是多给了信息"这一替代解释——这是扩散策略论文里常被忽略的一环。
  • 真机规模扎实：366 次真实机器人执行，且三种泛化轴向分开评测。

实验结果： 在 7-DoF Sawyer 机械臂（眼在手 Intel RealSense D455 RGB-D 直接作为板载观测、无外部相机标定）的室内温室测试床上评测，每方法跑完全部 61 次试验（TPG n=20 / OLG n=21 / TAG n=20），合计 366 次真机执行。三种泛化设定分别为：目标位姿泛化（TPG，20 次）、障碍布局泛化（OLG，21 次）、目标外观泛化（TAG，20 次，从训练用的紫椒换成两种未见过的青椒）。ObstaDiff 取得 75.41% 平均任务成功率（TPG 75.00 / OLG 71.43 / TAG 80.00），对比 ACT(RGB) 的 45.90% 与 DP(RGB) 的 49.18%；平均障碍碰撞率 8.20%，对比 ACT(RGB) 的 14.75% 与 DP(RGB) 的 26.23%。两个信息匹配的扩散控制组都没有追上：DP(RGB-D) 为 50.82%、DP(TOB) 为 45.90%（对应 31/61 与 28/61 次成功，而 DP(RGB) 为 30/61），说明增益并非来自"多给了深度或目标框信息”。CoRL 2026 已接收。

应用场景： 农业采摘与温室作业、杂乱非结构化场景的机器人操作、障碍感知轨迹生成、扩散策略的真实部署泛化、低成本无标定视觉系统。

研究价值： ⭐⭐⭐⭐（4/5）— 这篇的价值在于它用366 次真机执行回答了一个常被仿真掩盖的问题：在真实杂乱场景里，避障必须被显式建模，而不能指望端到端策略自然涌现。而 DP(RGB-D) 与 DP(TOB) 两个对照组的失败，进一步说明"给更多感知信息"并不等价于"给对了结构化表示”——这个结论对整个扩散策略社区都有参考意义。

📊 今日研究趋势

一、“能力已在模型里，缺的是读写接口”——本期最强的一条暗线。 四篇论文从四个不同角度讲了这个故事：SenseNova-U1.5 用多专家 on-policy 蒸馏把四个专项专家压回一个 8B 模型（GenEval 0.92，超过 GPT-Image-2）；DIAL 发现 DiT 的注意力块里本就躺着一张能精确定位参考主体的内在空间接地图（ISGM），于是"免重训的保真强度控制"与"零成本偏好对构造"同时成立；CamPilot 不动任何生成器，只把"运镜语法"学成一个可规划的中间件，就让 Macro-Acc 从 45.5 涨到 63.7、反超 Claude-Sonnet-4.5；2AM 坚持记忆留在 Agent 侧，只把物理意图编译成 2D 提示喂给无状态动作模型。这四篇合起来在追问同一件事：过去两年我们把太多功劳记在了"参数更新"头上，而"怎么问模型"可能被系统性低估了。

二、视频生成的评测正在从"画得像不像"转向"想得对不对”。 本期两篇恰好构成"诊断 + 处方"的完整闭环：VWG-Bench 用 9 个推理维度、38 个细粒度任务和三层独立评分（视频级流畅度 / 任务级规则遵循 / 样本级目标达成）把"渲染"与"推理"在评分层面彻底解耦，结论相当不客气——最强商用模型 Veo3.1 总分仅 3.55/5，Wan2.2 画质 2.32 但隐式规则遵循只有 1.56，连 Sora2 也从 3.45 掉到 2.98。而 Vid-PRE 给出了一个便宜得惊人的处方：不改架构、不重训生成器，只把推理负担卸载给一个专用 VLM 重写提示词，MME-CoF 上 Wan2.2 从 1.72 涨到 2.58（+50%）。这个组合说明：所谓"视频模型缺乏物理与逻辑"，有一部分其实分布在提示词这个最便宜的环节上。

三、具身侧开始认真清算"现实条件"，而不是继续假设理想传感器与干净背景。 CAP 直面"深度信号会部分地、间歇性地坏掉"这一现实，把感知世界模型编码器训练成学习式去噪器，用八级感知质量扫描换来了平滑退化曲线而非断崖式切换（G1 真机 Clean 20/20、部分遮挡 19/20）——在安全关键的控制里，“优雅地变差"比"大部分时候更好"更重要。ObstaDiff 则直面"背景里长满障碍物"这一现实，用目标-障碍-背景三元结构化表示在 366 次真机执行中拿到 75.41% TSR / 8.20% 碰撞率，并用两个信息匹配对照组干净地排除了"只是多给了信息”。UniMPA 清算的是第三种现实——“看起来合理的预测未必可执行”，用时序视觉-动作记忆库把未来预测锚定在历史上真正实现过的经验上，换来 LIBERO-Plus 上所有对比方法中最小的退化（13.3 点）。

🏆 最值得关注的 3 篇

  1. VWG-Bench / Vid-PRE — 本期方法论最完整、也最敢于给出负面结论的一篇。三层独立评分协议让"渲染分数高、推理分数低"这个反差第一次被量化（Veo3.1 仅 3.55/5，Wan2.2 画质 2.32 vs 规则遵循 1.56），而 Vid-PRE 用零架构改动换来 MME-CoF +50% 的事实，说明这条鸿沟有相当一部分落在提示词而非模型能力上。人机一致性（Spearman ρ 0.69–0.80）也做得扎实。做视频生成或世界模型的团队建议精读，ECCV 2026。
  2. UniMPA — 把"记忆 + 预测 + 动作"用可执行性约束真正串起来的少数工作之一。它最有说服力的数字不是 LIBERO 的 98.6%，而是只用了 π0/π0.5 所需 25% 的训练 epoch，以及 LIBERO-Plus 上最小的退化幅度（13.3 点）——后者证明其记忆检索依赖的是期望的状态转移而非帧级外观，这才是泛化的正确来源。两个双臂真机本体的评测也显著增强了结论的可信度。已投 TPAMI，代码已开源。
  3. DIAL（与 CamPilot 并读）— “DiT 注意力块里本就有一张空间接地图"这个发现，比它提出的框架更值得记住。它同时证伪了两个隐含假设：主体定位不必依赖外部分割或专用模块，保真度控制也不必重训。那个关键消融极具说服力——均匀增强（Uni）在最小尺度下就损害 NaturalScore，而 ISGM 在 γ=16 时取得相当的身份一致性却保住 75.23% 的 NaturalScore。与 CamPilot 并读可以看到可控视频生成的两条互补路径：一个改内部信号，一个改外部规划。

数据来源：ArXiv 2026-09-11（Fri, 11 Sep）公告批次 · 周末补遗（arXiv 周末不公告，探测确认最新批次仍为 09-11，ID 前沿止于 2609.119xx）· 去重后 381 篇候选，经 594 个历史 ID 与 608 条历史标题双重去重，0 重复 | 分析生成时间：2026-09-13 06:13 (北京时间)