📅 本期为周末补遗,继续覆盖 2026-10-09(Fri, 9 Oct 2026) arXiv 公告批次。运行当天为周日 2026-10-11,arXiv 周末不做公告:六分类探测条数(cs.CV 207 / cs.RO 105 / cs.AI 302 / cs.LG 324 / cs.GR 17 / cs.MM 12)与上一期记录的 10-09 批次一字不差,ID 前沿
2610.14700/2610.15000/2610.15500全部 404,Hugging Face 10-10 当日论文为空、10-11 返回 400(未来日期)——三项证据一致表明没有新批次,故不重复出刊,改从该批次补选尚未收录的高相关论文。文件名与标题沿用运行当天日期 2026-10-11。本期重新抓取该批次完整候选池 739 篇(与上一期记录完全吻合),经全站 794 个历史 arXiv ID 与 808 条历史标题双重去重,
dup_id = 8、dup_t = 0—— 这 8 篇正是上一期已收录的论文,与「同一批次、此前已收录 8 篇」完全吻合(三个已知历史 ID 探针全部命中,去重脚本自检通过)。Top 25 候选逐篇核对Submission history,剔除 1 篇旧文(2610.02660SpectralCache,v1 = 2026-10-02 且单版本,属旧文重新进入 listing),其余 v1 全部落在 2026-10-07 ~ 10-08 且均为单版本,与公告批次一致。本期八篇有一条主线贯穿:具身智能正在系统性地拆掉「绑死」这一层。 VersaCamVLA 拆掉的是 VLA 与相机配置的绑定——它把「几个相机、摆在哪」从策略学习里剥离出去,让同一套策略能吸收任意数量、任意位姿的视角;LAC-WM 拆掉的是世界模型与本体的绑定——显式动作标签会让不同本体的动作表示彼此割裂,换成统一潜动作空间后,预训练本体越多性能反而越好;SimVLA 拆掉的是数据与真机的绑定——它证明纯仿真数据足以支撑零样本迁移到真实家庭环境,而且比 50 条真实域内示教更有效。三者的共同洞见是:很多看似模型能力不足的问题,其实是表示把不该耦合的东西耦合在了一起。 副线同样清晰:一是世界模型要能算得起,LiteNWM 用共享编码 + 联合预测把候选评估成本压低 128 倍,SCOPE 用分数曲率蒸馏免掉蒙特卡洛采样就能拿到校准的不确定性——两者都在问「世界模型要便宜到什么程度才能真正进入闭环」;二是一致性从单视角走向多视角、从静态走向动态,ME-World 让多个智能体的第一人称流在共享 token 序列里联合去噪,WorldAlign 把静态几何与动态主体拆开分别对齐世界先验,Memory Forcing 则让长视频里「离开又回来」的中段事件仍然可被注意力找到。
📄 论文精选
SimVLA: Zero-Shot Sim-to-Real VLA Learning for Mobile Manipulation
链接: https://arxiv.org/abs/2610.11248
项目主页: https://kyounginbaik.github.io/simvla/ 作者 / 机构: Kyoungin Baik、Youngwoon Lee(延世大学 Yonsei University;首尔大学 Seoul National University)
一句话总结: 延世大学与首尔大学提出 SimVLA,一个完全不依赖遥操作真机数据、仅在合成仿真数据上训练的端到端 VLA 框架,实现移动操作的零样本 sim-to-real 迁移。
研究问题: 大规模多样化数据驱动了 LLM 与 VLM 的成功,但机器人 VLA 仍受制于真机数据采集的成本与复杂度。仿真提供了可扩展的替代方案,然而它在移动操作这一长程、部分可观测设定下的 sim-to-real 潜力基本未被探索:机器人可能需要移动到视野之外才能行动,机动性又抬高了动作空间维度、把导航与操作紧紧耦合在一起。
核心方法: SimVLA 构建两类互补的仿真数据:
- SimAction:通过组合原子技能自动生成的大规模机器人动作数据集,覆盖 35 个 多样化的移动操作任务;
- SimVQA:利用仿真器的特权状态(privileged simulator state)自动生成视觉问答监督,问题涵盖物体位置、空间关系、几何属性、机器人状态与子任务进度,产出约 1M 条样本,在感知与动作之间补上一层中间监督,促使 VLM 骨干编码对下游控制真正有用的信息。
随后在 SimAction 与 SimDeploy(在多样化仿真环境中由策略 rollout 采集的数据)的混合上做后训练,缓解脚本化轨迹无法覆盖策略部署时所遇状态分布的问题。
技术亮点:
- 全程无遥操作:动作数据、空间监督、部署态数据三条通路全部由仿真生成;
- SimVQA 把仿真器「免费的」真值状态转成自然语言监督,这类标注在真实示教里需要昂贵的后处理;
- 消融验证预训练不可省——去掉预训练、只用后训练目标训练同一混合数据,性能大幅下降。
实验结果: 在 5 个长程移动操作任务(把杯子 / 碗 / 瓶子放入水槽、把碗放进抽屉、把瓶子倒进杯子)上评测,真机为 Anubis 双臂移动操作平台(两条 6-DoF 手臂、平行夹爪、三轮全向底盘),环境覆盖模拟厨房、储藏室与真实家庭。模拟厨房内设三个条件:域内(ID)、物体与家具重新摆放(OOD-pos)、背景与光照随机化(OOD-vis)。基线方法对 π0.5 用每任务 50 或 200 条模拟厨房数据微调,报告任务进度(预定义子目标完成百分比),厨房与储藏室每个「任务–策略」对 20 次试验、真实家庭 10 次,共 2,120 次 rollout。SimVLA 在平均任务进度上超过用 50 条真实域内示教微调的 π0.5;在 OOD-pos 与 OOD-vis 下域内基线明显退化,而把真实示教从 50 条加到 200 条收益有限——说明仅靠增加域内数据不足以覆盖 OOD 场景,SimVLA 则受益于合成数据的多样性。
应用场景: 家庭与仓储场景的长程移动操作(收纳、倾倒、清洁等),尤其适用于真机示教极难规模化、但仿真资产可批量生成的部署环境。
研究价值: ⭐⭐⭐⭐(4/5)— 在「仿真能否替代真机数据支撑 VLA」这个核心争议上给出了正面且扎实的证据:不是靠堆真实数据,而是靠把仿真的特权信息转成多种互补监督。值得注意的是它以「任务进度」而非二值成功率为主指标,说明长程任务的绝对成功率仍有距离,这也是该方向的真实水位。
VersaCamVLA: Camera-Configurable VLA Policies for Robotic Manipulation
链接: https://arxiv.org/abs/2610.12451
项目主页: https://boyaohan.github.io/VersaCamVLA.github.io/ 作者 / 机构: Boyao Han、Chen Shi、Jingjing Qian、Zhuotao Tian、Li Jiang(香港中文大学(深圳)The Chinese University of Hong Kong, Shenzhen;深圳 Loop Area Institute;哈尔滨工业大学(深圳)Harbin Institute of Technology, Shenzhen)
一句话总结: 香港中文大学(深圳)等团队提出 VersaCamVLA(NeurIPS 2026 接收),把「相机集合表示」与「动作学习」解耦,使同一 VLA 策略能吸收任意数量、任意位姿的相机输入。
研究问题: VLA 模型已成为机器人操作的有力基座,但训练时相机配置一旦固定,部署时相机数量或位姿的变化就会让策略变得脆弱——改变视角会改变视觉 token 分布、直接拖垮策略。而实际部署中相机摆位往往受机器人本体、工作空间与任务约束,在一个平台上好用的视角在另一个平台上可能根本不存在。
核心方法: VersaCamVLA 学习一个统一的 scene-token 接口,把任意数量、带位姿的 RGB 视角映射为固定长度的潜场景 token:
- 多信号目标视角预测:为目标视角预测提供多维监督信号;
- Wrist-Augmented Pose Sampling(WAPS):利用腕部相机的自然运动免费获得位姿多样性,无需额外采集。
部署时,一个轻量空间编码器把这些紧凑场景 token 作为补充视觉条件注入预训练的基座 VLA,既不需要显式三维感知,也不需要新视角渲染。
技术亮点:
- 相机集合编码与动作解耦:策略本体完全不感知「有几个相机」;
- 场景 token 固定长度,天然支持可变数量的视角输入;
- WAPS 把本来就存在的腕部相机运动变成训练信号,零额外采集成本。
实验结果: 在 RoboTwin 2.0(16 个细粒度任务,每任务 100 次试验,官方 Clean 与 DR 设置)、LIBERO 与真实机器人平台上评测,π0.5 与 VersaCamVLA 均使用 3 视角输入。VersaCamVLA 在两个设置上均取得最佳平均成功率:Clean 52.56%、DR 23.00%(对照:π0.5 35.88 / 21.63,DP3 39.94 / 2.56,DP 23.69 / 0.00,ACT 19.69 / 0.06,OpenVLA-OFT 15.19 / 3.56)。LIBERO 四个套件平均成功率 95.9%,高于 Diffusion Policy(72.4%)与 OpenVLA-OFT(94.5%),与强基线 π0.5(95.8%)持平,并在 LIBERO-Spatial / Goal / Long 上略有优势。相机位姿扰动实验中(双方均用四视角输入),π0.5 掉 16.0 pp,VersaCamVLA 仅掉 0.8 pp。
应用场景: 跨平台、跨机型的 VLA 部署——同一套策略无需重新采集数据即可适配相机布局不同的机器人本体。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 位姿扰动下 0.8 pp vs 16.0 pp 的差距是一个量级之差,说明「相机敏感性」确实是当前 VLA 落地的主要瓶颈之一,而解耦表示这条路走得通。工程上也极为友好:不碰骨干、不引入三维传感、不渲染新视角。
Cross-Embodiment Robot Foundation World Models with Latent Actions
链接: https://arxiv.org/abs/2610.10846
项目主页: https://lacwm.github.io/ 作者 / 机构: Huang Huang、Sriram Yenamandra、Arjun Majumdar、Elie Aljalbout、Tushar Nagarajan、Tsung-Yen Yang、Akshara Rai、Michael Rabbat、李飞飞 Li Fei-Fei、吴佳俊 Jiajun Wu、Tingfan Wu、Franziska Meier(斯坦福大学计算机科学系 Department of Computer Science, Stanford University;部分工作于 Meta FAIR Robotics 完成)
一句话总结: 斯坦福与 Meta FAIR Robotics 提出 LAC-WM(Latent Action-Conditioned Robot World Model),在跨本体共享的统一潜动作空间里构建机器人世界模型,显著提升对未见本体的适应能力。
研究问题: 机器人本体与动作空间的多样性,使得构建能跨本体泛化的机器人世界模型极为困难。已有的显式动作条件化世界模型(EAC-WM)直接以运动标签为条件,但不同本体的动作标签在表示上彼此割裂,适配到新机器人时反而成为负担。
核心方法: LAC-WM 在一个学到的、跨本体共享的统一潜动作空间内运作:
- 预训练阶段:逆动力学模型(IDM)把跨本体的图像观测编码为统一潜动作,作为前向动力学模型(FDM)的条件;运动解码器再把潜动作翻译回运动标签(人手 delta 位姿、机器人末端执行器动作、相机运动);
- 微调阶段:动作投影器(action projector)把未见本体的原始机器人动作编码进这个预训练好的统一潜动作空间。
技术亮点:
- 用 IDM 学到的潜动作替代显式运动标签作为世界模型条件;
- 统一空间带来一个关键性质:下游性能随预训练本体数量正比例上升;
- 与 EAC-WM 做了严格对照,把「表示割裂」这一病因直接归因出来。
实验结果: 在灵巧操作任务与一个改进版 LIBERO 基准上评测,LAC-WM 相对 EAC-WM 的下游性能提升最高达 46.7%(灵巧操作)与 11.7%(LIBERO)。更关键的是缩放行为:统一潜动作空间使 LAC-WM 的下游性能随预训练本体数量增加而上升;而 EAC-WM 因动作空间割裂,预训练本体越多性能反而下降。
应用场景: 跨本体机器人基础世界模型的预训练与迁移,尤其是需要在人手示教、多机型机器人数据上联合训练、再迁移到新硬件的场景。
研究价值: ⭐⭐⭐⭐⭐(5/5)—「增加本体反而变差」是一个反直觉但极重要的发现,而统一潜动作空间把缩放曲线扭了过来。这对整个机器人基础模型的预训练范式都有直接启示:动作表示的选择比数据规模更早成为瓶颈。
LiteNWM: Efficient Latent World Models for Onboard Visual Navigation in the Wild
链接: https://arxiv.org/abs/2610.12368
作者 / 机构: Linkai Liu、Yuntian Zhang、Zhenshan Bing、Chen Chen、Lingjuan Lyu、Shangguang Wang、Mengwei Xu、Dongqi Cai(南京大学 Nanjing University;帝国理工学院 Imperial College London;Sony AI;北京邮电大学 Beijing University of Posts and Telecommunications)
一句话总结: 南京大学、帝国理工、Sony AI 与北邮联合提出 LiteNWM,一个跨候选共享视觉编码、联合预测多候选未来潜表示的导航世界模型,在 RTX 5090 上实现 128 倍端到端加速并成功部署到真实机器人。
研究问题: 直接的视觉导航策略生成轨迹很快,但不显式评估其未来后果;生成式导航世界模型(NWM)通过视觉 rollout 提供这种前瞻,但每评估一条候选轨迹都要做一次 RGB 生成,候选一多成本就爆炸——这正是限制 NWM 进入闭环的主要瓶颈。
核心方法: LiteNWM 把评测路径围绕「候选级 RGB rollout」这一瓶颈重构:
- 共享视觉编码 + 联合多视界预测:跨候选共享视觉编码,并在 H1–H4 多个视界上联合预测各候选的动作条件化未来表示,而不是逐候选生成 RGB;
- ** incumbent-relative 打分器**:一个学到的打分器利用预测出的后果与「提案集合」上下文做相对比较来选轨迹;
- 导航策略保持冻结,评测器可跨提案器复用。
技术亮点:
- 定位准确:明确指出主导成本是「逐候选 RGB rollout」,并围绕它重排整条评测通路;
- 位姿条件化预测 + 相对打分,让候选比较用上提案集合的整体上下文;
- 评测器从 NoMaD 迁到 MBRA 无需针对提案器重新训练。
实验结果: 在 RECON、SCAND、SACSoN 三个导航数据集的开发集上离线评测,LiteNWM 相对 NoMaD+NWM-XL 把宏观平均轨迹误差降低 17.56%,在 RTX 5090 上相对 NoMaD+NWM-XL 与 NoMaD+NWM-S 分别取得 128.00 倍与 16.86 倍端到端加速。冻结的评测器迁移到 MBRA 后,使其宏观平均轨迹误差降低 16.2%。真实机器人实验(未见过的室内与室外环境,Unitree Go2 EDU 平台)中,导航成功率相对 NoMaD 从 43.3% 提升到 83.3%。
应用场景: 机器人本载(onboard)导航的闭环重规划,尤其是算力受限、需要同时评估多条候选轨迹的移动机器人与四足平台。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 128 倍加速 + 真机成功率接近翻倍,且评测器可跨提案器复用,是把导航世界模型从「论文演示」推向「真能上车」的实质性一步。对「世界模型到底省下了什么」也给出了清晰答案:省的是逐候选的像素级 rollout。
Control-Ready Uncertainty for Trajectory Diffusion
链接: https://arxiv.org/abs/2610.12431
项目主页: https://zackaxue.github.io/SCOPE-project-page/ 作者 / 机构: Zhiwei Xue、Jia Yue Kam、Jinhang Qiu、Yifeng Cheng、Ege Gursoy、Jiaming Wang、Vincent Bonnet、Harold Soh(新加坡国立大学 National University of Singapore;Smart Systems Institute, NUS;法国国家科学研究中心 LAAS-CNRS)
一句话总结: 新加坡国立大学与 LAAS-CNRS 团队(CoRL 2026 Spotlight)提出 SCOPE(Score-Curvature for Online Precision Estimation),一个轻量模块,通过蒸馏分数曲率信息为扩散轨迹模型提供免蒙特卡洛采样的、可直接用于控制的不确定性估计。
研究问题: 扩散模型能表示复杂多峰的轨迹分布,但从中提取不确定性通常需要昂贵的蒙特卡洛采样。这在实时控制中不可接受——机器人必须快速评估风险并维持安全裕度。
核心方法: SCOPE 在每条名义轨迹周围学习一个结构化精度矩阵:
- 通过蒸馏**分数曲率(score-curvature)**信息得到精度矩阵,产出校准的高斯「管道」(Gaussian tubes),开销极低且无需重复采样;
- 这些管道给出逐时间步的协方差估计,有两种互补用法:作为运动智能体的预测占位(predicted occupancy),以及作为机器人控制的自适应探索引导;
- 通过在校留出集上优化逐视界的缩放因子完成校准,得到校准后的边际协方差。
技术亮点:
- 把「分数曲率」这一扩散模型自带的信息蒸馏成显式精度矩阵,绕开采样;
- 同一套输出同时服务「世界模型」(预测他人运动的不确定性)与「策略先验」(自身规划的柔性)两种角色;
- 与 MID-Ens 系列集成方法做了系统的 NLL 与推理耗时对比。
实验结果: 在行人预测、人群导航、Maze2D 控制与真实 Franka Panda 操作上评测(mode-conditioned 多峰扩散骨干)。真实机器人静态场景(Table 3)中,SCOPE 成功率 0.83、碰撞率 0.13、超时率 0.03,对比 Diff-MPPI(0.50 / 0.23 / 0.27)、Diffuser(0.47 / 0.53 / 0.0)、Vanilla MPPI(0.17 / 0.80 / 0.03)。Y-corridor 场景的不确定性质量(NLL,越低越好)上,SCOPE(Banded+LR)在 Np=3 时达 -61.4 ± 6.4、Np=12 时 -60.6 ± 11.0,优于 MID-Ens-256(-58.0 ± 3.5 / -43.6 ± 35.3),且方差显著更小。推理耗时上扩散骨干 12.19 ms,SCOPE 精度头在其基础上只增加很小开销。
应用场景: 需要在人机共处环境中实时避让的服务机器人、移动操作臂,以及任何以扩散模型作为世界模型或策略先验、又必须量化风险的闭环系统。
研究价值: ⭐⭐⭐⭐⭐(5/5)— CoRL 2026 Spotlight。它回答了一个很实际的问题:扩散模型的不确定性不是拿不到,而是过去拿得太贵。把「不确定性」变成控制器能直接消费的输入(占位概率、探索协方差),而不是事后统计的副产品,这个定位很准。
Multi-Agent Egocentric World Model with Fine-Grained Embodied Interaction
链接: https://arxiv.org/abs/2610.12299
项目主页: https://cvlab-kaist.github.io/ME-World 作者 / 机构: Dahyun Chung、Siyoon Jin、Hyunwook Choi、Honggyu An、Junyoung Seo、Hyunsung Kim、Seung Wook Kim、Seungryong Kim(韩国科学技术院 KAIST AI)
一句话总结: KAIST AI 团队提出 ME-World,把多智能体第一人称世界建模形式化为「共享世界中多个智能体的同步第一人称流生成」,通过共享 token 序列联合去噪实现跨视角一致性。
研究问题: 第一人称世界模型预测智能体动作条件下的第一人称观测,但绝大多数工作只面向单个智能体。真实具身场景里往往有多个智能体在同一环境中行动与交互。已有的多智能体世界模型依赖粗粒度动作(移动、相机控制或离散指令),细粒度的具身交互基本未被探索。
核心方法: ME-World 把问题定义为在共享世界中、多个智能体通过细粒度动作交互时的同步 ego-stream 生成,需要满足三重一致性:跨视角动作一致性、共享环境一致性、交互引发的状态更新一致传播。做法是:
- 在共享 token 序列中联合去噪多条 ego stream;
- 每条流以所有智能体的目标视角位姿为条件;
- 用共享环境记忆对生成加以落地(grounding)。
同时提出了面向环境一致性、更新一致性与身份一致性的 shared-world consistency 指标。
技术亮点:
- 三重一致性诉求被明确成设计约束,而不是事后评估项;
- 联合去噪 + 全智能体位姿条件化,从结构上避免了独立生成必然导致的环境不一致;
- 配套提出 shared-world consistency 评测指标,填补该设定的度量空白。
实验结果: 在真实与合成的多智能体数据上训练与评测,ME-World 在共享世界一致性、动作可控性、身份保持与视频质量上均优于现有方法。
应用场景: 多智能体协作与交互场景的具身仿真、AR/VR 中的多用户共享世界生成、以及需要从多个第一人称视角联合推演交互后果的具身智能研究。
研究价值: ⭐⭐⭐⭐(4/5)— 把「多智能体 + 第一人称 + 细粒度交互」这个此前几乎空白的设定做成了可训练、可度量的任务,方向选得准。目前公开指标以一致性为主、缺少与强基线的定量对照表,是后续值得跟进的地方。
WorldAlign: Decoupled 4D Reward for World-Consistent Video Generation
链接: https://arxiv.org/abs/2610.12382
作者 / 机构: Jing He、Kaixin Ding、Xingye Tian、Guibao Shen、Wenhang Ge、Xin Tao、Pengfei Wan、Ying-Cong Chen(香港科技大学(广州)、香港科技大学、快手 KlingAI、香港大学;注:该文 arXiv 未提供 HTML 全文,机构信息据第三方索引 arXiv Daily 的标注,arXiv 页面未直接标注)
一句话总结: 香港科技大学(广州)与快手等团队提出 WorldAlign,一个把静态区域与动态主体语义解耦、并为二者分别匹配适用世界先验的 4D 奖励框架,用于提升视频生成的世界一致性。
研究问题: 忠实的视觉世界仿真要求生成视频维持 4D 世界一致性:静态一致性指跨视角下静态环境的三维结构连贯,动态一致性指主体运动合理、外观随时间稳定。几何感知的后训练是提升世界一致性的有希望路径,但现有方法常依赖静态场景假设;即便能容纳动态场景,也难以给出可靠的静态一致性反馈,而动态一致性则常被忽视或评估不当。
核心方法: WorldAlign 语义上分离静态区域与动态主体,各自对齐一个符合其假设的世界先验:
- 静态区域:通过语义引导的掩码重投影(masked reprojection),把静态几何与几何世界先验对齐,从而更可靠地评估静态一致性;另加一个相机运动奖励抑制「几乎静止」的退化解;
- 动态主体:用一个强视觉语言模型(VLM)作为动态世界先验,构建 VLM-as-a-judge 奖励,基于逐样本的检查清单(sample-specific checklists)评估动态性、物理合理性、形状与纹理一致性。
解耦设计使得在线后训练无需人类偏好标注即可生效。
技术亮点:
- 明确指出「静态」与「动态」需要的是不同假设的先验,强行共用一个奖励必然顾此失彼;
- 用掩码重投影把几何先验只作用在静态区域,避免动态主体污染几何一致性评估;
- VLM-as-a-judge 用逐样本检查清单替代通用打分,减少评估的笼统性;相机运动奖励专门防退化。
实验结果: 在两个预训练图生视频生成器 Wan2.1 与 Wan2.2 上,WorldAlign 相对现有方法同时提升了静态与动态一致性,且不会抑制整体运动或主体运动。论文附带附录,含实现细节、人类评测与额外消融分析。
应用场景: 需要几何可信度的视频生成后训练——世界仿真、自动驾驶与机器人场景合成、以及任何「相机运动 + 动态主体」共存的生成式视频应用。
研究价值: ⭐⭐⭐⭐(4/5)— 把 4D 一致性拆成两个假设不同的子问题分别对齐先验,思路清晰且可直接挂到现有 I2V 模型的后训练上。需要注意的是:论文注释中所列项目主页 worldalign.github.io 目前返回 404,正文实验表格也需下载 PDF 查阅,读者检索时以 arXiv 编号为准。
Memory Forcing: Attendable Mid-Horizon History for Streaming Video Generation
链接: https://arxiv.org/abs/2610.11756
作者 / 机构: Jiaming Zhang、Xinyu Wang、Huafeng Shi、Gangshan Wu、Limin Wang(南京大学计算机软件新技术国家重点实验室 State Key Laboratory for Novel Software Technology, Nanjing University;清华大学 Tsinghua University;快手 Kling Team, Kuaishou Technology;上海人工智能实验室 Shanghai Artificial Intelligence Laboratory;工作于作者在快手 Kling Team 实习期间完成)
一句话总结: 南京大学、清华大学与快手 Kling Team 提出 Memory Forcing,用 Archive & Working Banks 与 Bank-aware RoPE 在不增大 KV 缓存的前提下保留中段历史,解决少步流式视频生成的「中期遗忘」问题。
研究问题: 自回归视频扩散使因果式视频流式生成成为可能,无需对整段做双向扫描。但现有少步系统通常在固定大小的 KV 缓存中只保留开头帧与最近帧——一旦某个事件滑出这个窗口,后续帧就再也无法关注到它,作者将这一失效称为中期遗忘(mid-horizon forgetting)。
核心方法: Memory Forcing 在不增大缓存的前提下保留这段丢失的历史:
- Archive & Working Banks:把 KV 缓存划分为 sink、archive、working 三个库。新 chunk 进入 working;working 满时由相似度(Similarity)策略把一个 chunk 写入 archive;archive 满时按 FIFO 丢弃最旧的 chunk。于是中段事件保持可关注、局部运动留在近期窗口、缓存总量不变;
- Bank-aware RoPE:绝对时间索引会在长视频上增长到训练范围之外,导致后续查询「读错位置」,且单一增长索引无法区分三个库的角色。Bank-aware RoPE 保存整个窗口的原始 key,并在每次注意力前重新分配时间索引,使索引始终落在训练范围内、三个库彼此可区分。
技术亮点:
- 精确诊断出「中期遗忘」并给出零缓存增长的修复方案;
- 指出绝对 RoPE 索引漂移是长视频流式生成的独立失效源,并用重新分配索引解决;
- 在 Wan2.1-T2V-1.3B 与 Wan2.2 5B 两个尺度上验证同一方法。
实验结果: 在 1.3B 规模上,Memory Forcing 在更长片段上领先,在同时报告 5s / 10s / 30s / 60s 四个长度的方法中从 5s 到 60s 的下降幅度最小,并且在「离开—返回」场景中仍能保持主体与场景一致。同一设计可扩展到 Wan2.2 5B,产出物理上更合理、更真实、更有动感的视频;据作者所知,这是该 forcing 线路上首个公开的 5B 模型,在拥挤的多主体场景上表现更稳。
应用场景: 长时程流式视频生成、需要跨分钟级保持主体与场景身份的交互内容生成、以及实时世界仿真中的持续视频流输出。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 缓存分区 + RoPE 索引重分配是两个朴素但非常有效的改动,直接命中长视频自回归生成的两个结构性失效。放出自在线路上首个公开 5B 检查点,对社区复现与跟进有实际价值。
📊 今日研究趋势
第一条主线是「解耦」。 VersaCamVLA、LAC-WM、SimVLA 三篇各自拆开了一层原本被认为理所当然的绑定关系。VersaCamVLA 拆的是 VLA 与相机配置:过去我们把「用哪几个相机训练」当成数据集的固定属性,它把它变成一个可变的输入接口,代价只是一个轻量空间编码器,收益是位姿扰动下 0.8 pp 对 16.0 pp 的量级差距。LAC-WM 拆的是世界模型与本体动作标签:显式的运动标签看似信息量更大,实则让不同本体的动作表示落在表示空间的不同角落,结果是预训练本体越多、迁移越差;换成一个共享的潜动作空间后,缩放曲线由负转正。SimVLA 拆的是数据与现实:它证明仿真不只是真机数据的廉价补充,当仿真的特权状态被转成 SimVQA 这类中间监督时,纯合成训练可以超过 50 条真实域内示教。三者共同指向一个判断——当前具身智能的很多瓶颈,不在模型容量,而在表示层面的不当耦合。
第二条主线是「世界模型要算得起」。 LiteNWM 与 SCOPE 都针对世界模型进入闭环的成本做文章,但切口不同。LiteNWM 砍的是最贵的那一步:逐候选的 RGB rollout。它保留世界模型的本质——评估候选轨迹的未来后果——只是把评估从像素空间搬到潜空间,并跨候选共享编码、联合预测多视界,于是在 RTX 5090 上拿到 128 倍加速,真机导航成功率从 43.3% 升到 83.3%。SCOPE 砍的则是另一笔开销:不确定性提取所需的蒙特卡洛采样。它把扩散模型自带的分数曲率蒸馏成一个结构化精度矩阵,一次前向就能给出校准的高斯管道,并在真实 Franka 上把成功率做到 0.83、碰撞率压到 0.13。两篇合起来说明:世界模型能否真正用于决策,越来越取决于单位决策的计算成本,而不只是生成质量。
第三条主线是「一致性」的维度在扩展。 ME-World 把一致性从单智能体推到多智能体:多条第一人称流在共享 token 序列里联合去噪,每条流都以所有智能体的目标位姿为条件,并用共享环境记忆落地,从而同时满足跨视角动作一致、共享环境一致与状态更新一致。WorldAlign 则把一致性从「几何」拆成「静态几何」与「动态主体」两个假设不同的子问题——静态区域用掩码重投影对齐几何先验,动态主体用 VLM-as-a-judge 按逐样本清单打分,另加相机运动奖励防止「干脆不动」的退化解。Memory Forcing 关心的是时间维度上的一致性:中段事件滑出 KV 窗口后就永久丢失,它用 sink / archive / working 三区缓存加 RoPE 索引重分配,让「离开又回来」在 60 秒的片段里依然成立。三者的共性是:一致性不再是单一指标,而是一组必须分别建模、分别监督的约束。
一个值得留意的结构性信号是产业界在其中的位置。 本期的 LiteNWM(Sony AI)、LAC-WM(Meta FAIR Robotics)、WorldAlign 与 Memory Forcing(均为快手 Kling Team)都有产业实验室深度参与,且集中在「世界模型」与「长视频一致性」这两条最贴近产品形态的线上。与之相对,高校团队主导的工作(VersaCamVLA、SCOPE、ME-World)更多在做接口与度量的重构。这提示该领域正在分化出两条互相补位的路径:产业侧负责把世界模型压到可部署的成本,学术侧负责把它该有的接口与度量定义清楚。
🏆 最值得关注的 3 篇
Cross-Embodiment Robot Foundation World Models with Latent Actions(LAC-WM) — 最反直觉的一条结论:显式动作条件化会让增加预训练本体反而损害迁移性能,而统一潜动作空间能把这条曲线扭成正相关(灵巧操作最高 +46.7%、LIBERO +11.7%)。这一条对任何做机器人基础模型预训练的团队都值得立刻验证,因为它可能意味着现有数据配方正在浪费本体多样性。斯坦福 + Meta FAIR 的组合也保证了工程可信度。
VersaCamVLA: Camera-Configurable VLA Policies for Robotic Manipulation — 把相机配置从 VLA 的固定前提变成一个可变输入,是本期工程价值最高的一篇。位姿扰动下 0.8 pp vs 16.0 pp、RoboTwin 2.0 Clean 52.56% / DR 23.00% 双项最佳、LIBERO 95.9% 且不损失基座能力,改动却只是「一个轻量空间编码器 + WAPS 采样」。NeurIPS 2026 已接收,落地门槛极低。
LiteNWM: Efficient Latent World Models for Onboard Visual Navigation in the Wild — 世界模型「能不能上车」的标杆性工作。128.00 倍加速(RTX 5090)把导航世界模型从离线评测推进到真机闭环,Unitree Go2 EDU 上未见环境成功率 43.3% → 83.3%,且评测器从 NoMaD 迁到 MBRA 无需重训。它清晰地界定了该省的是什么:逐候选的像素级 rollout。
数据来源:ArXiv 2026-10-09(Fri, 9 Oct 2026)公告批次(周末补遗)| 分析生成时间:2026-10-11 06:00 (北京时间)