📅 本期覆盖 2026-09-18(Fri, 18 Sep 2026) arXiv 公告批次。各分类当日条数:cs.CV 125 / cs.RO 133 / cs.AI 215 / cs.LG 198 / cs.GR 9 / cs.MM 7,去重后 547 篇候选(cs.GR 与 cs.MM 的
?show=N再次触发 406,回退无参数recent后条数与 listing 声明吻合)。经全站 642 个历史 arXiv ID 与 672 条历史标题双重去重后,与已收录论文 0 重复(自检 probe:上一期 8 篇全部命中历史集合,去重环节工作正常)。8 篇入选论文 v1 日期全部为 2026-09-17、均为单版本新文,与公告批次高度一致,无旧文混入。本期最清晰的一条主线是:世界模型的预测对象正从「看起来像什么」转向「接触起来是什么」。DexTouch-WM 与 WorldContact 一篇讲人手的触觉、一篇讲可形变物体的接触,但都在强调同一件事——对接触丰富任务而言,视觉只是世界状态的一半,另一半是力、形变与滑移。DexTouch-WM 尤其给出了一条此前少有人走的数据轴:在真机监督固定为 5 小时的前提下,把人类交互数据从 0 加到 100 小时,留出机器人域的视觉、几何与接触预测仍在持续变好,而且人与机器人的任务集是不相交的。这意味着「人类触摸」不再只是预训练语料,而是一条可以独立扩展的监督维度。
第二条线是世界模型与视频生成的工程化门槛在被系统性压低。Astronex-World 1.0 是一份相当克制的开源技术报告:5B 参数、五阶段训练全部跑在 2 张 L20 48GB 上、因果模型单卡实时流式 832×480 @ 24 FPS,却在 WBench Full 上以 70.0 分超过了 13.6B 的 LongCat-Video 与 14B 的 Helios,距 22B 的 LTX-2.3 不到 1 分。Video DeltaNet 则从另一个方向省算力——在 MiniMax H3 上测出 Softmax 注意力占了 denoiser 运行时的 85% 以上,用「局部 Softmax + 双向线性记忆」的混合方案配合八步蒸馏,把 14.3 秒 768p 视频的 DiT 去噪压到 6.70 秒(14.5× 加速)。两者共同指向一个判断:实时可服务正在取代离线可生成成为新的分水岭。
第三条线是蒸馏研究正在精细到「组件级语义保持」。DART 盯的是一个很实际却长期被忽略的问题:步数蒸馏把模型从多步压到四步之后,原先为长轨迹训练好的 LoRA 还能不能用?它的答案是不该假定「每个 adapter 都能恢复」,而应把功能保持与负迁移避免拆成两个维度分别度量。另一篇则把激进剪枝的 VLA 救了回来——OpenVLA-OFT 剪掉 63% 语言骨干后 LIBERO-Long 从 93.2% 崩到 0.8%,而现有恢复方案需要在线 rollout 与数百 GPU 小时;作者用宽度剪枝保持残差流尺寸这一关键设计,让师生隐状态同形、无需投影器,仅靠一次教师前向构建的缓存就在 约 8 GPU 小时内把学生拉回距教师 3.5 分以内。
最后是长程生成与空间评测的方法论收紧。Recency Forcing 指出自回归视频生成退化于一个被忽视的训练—推理不一致:训练时所有上下文帧都在 KV cache 里,推理时远帧却被驱逐;它不截断上下文(那会牺牲运动连贯性),而是用一条从敏感度度量导出的非正注意力偏置让远帧「平滑退场」,并通过重参数化把开销降到零。VABench 则把空间智能拆成「看得到」与「做得到」两层:最佳模型目标定位 100.0%、空间关系 78.9%,但三次运行宏平均任务成功率只有 53.93%——这个落差本身就是对当前 MLLM 空间能力最犀利的注解。
📄 论文精选
DexTouch-WM: Learning Action-Conditioned Tactile World Models from Human Touch for Dexterous Robot Manipulation
链接: https://arxiv.org/abs/2609.20649
作者 / 机构: Yan Qin, Yue Chen, Wenwei Lin, Shujia Liu, Chuqiao Lyu, Kailun Su, Chenze Yu, Ping Luo, Wenbo Ding, Tianxing Chen, Renjing Xu(香港科技大学(广州)HKUST(GZ)、Xspark AI、北京大学、清华大学、香港大学 HKU)
一句话总结: 多校联合团队提出 DexTouch-WM,一个从规模化人类触摸中学习的动作条件触觉世界模型,通过在人手与灵巧机器手上部署共享传感布局的柔性压阻阵列、并把人体动作重定向到机器人动作空间,使人类交互可以监督同一个动力学模型;在真机监督固定 5 小时、人类交互从 0 增至 100 小时的设置下,即使人与机器人的任务集完全不相交,留出机器人域的视觉、几何与接触预测仍显著提升。
研究问题: 学习接触丰富灵巧操作的预测模型需要密集的触觉交互数据,但这类数据在真机上采集成本极高,且往往与特定本体的传感器强绑定。核心难题是:能否找到一条可规模化扩展、又不依赖具体机器人本体的触觉数据来源,让它真正改善机器人域的世界模型? 人类与机器人的操作在物理上共享大量接触动力学,但二者的触觉观测与动作空间天然不同构,如何跨越这道鸿沟是问题的关键。
核心方法: ①硬件与动作空间的双重对齐:在人手与灵巧机器手上部署具有共享传感布局的柔性压阻阵列,使两侧触觉观测可比;同时把人体运动重定向(retarget)进机器人动作空间,让人类交互产生的监督信号与真机预测任务落在同一动力学模型上。②视频专家 + 触觉专家的混合架构:将一个预训练视频专家与一个轻量触觉专家耦合,用解剖感知的触觉 token(anatomy-aware tactile tokens)编码手指部位信息,并配对齐的动作条件化,联合预测未来 RGB 观测与双侧触觉动态。③一模型三用:除预测外,同一世界模型还被当作策略评估的代理环境(surrogate environment)和为真机策略学习生成合成轨迹的生成器。
技术亮点:
- 把「人类触摸」确立为一条独立可扩展的数据轴:实验设计非常有说服力——固定 5 小时真机监督,只增加人类交互时长(0 → 100 小时),观察到的增益就全部来自人类数据这一条轴,无法用「真机数据变多」解释。
- 任务集不相交是关键的严谨性设计:人与机器人执行的任务没有重叠,排除了「人类数据只是提前泄露了机器人任务」的嫌疑,证明迁移的是接触动力学而非任务记忆。
- 通过共享传感布局 + 动作重定向两个简单但关键的设计,把跨本体触觉迁移从「不可能」变成「可工程化」,对缺乏大规模机器人触觉数据的团队有直接参考价值。
- 世界模型同时服务于预测、策略评估、数据生成三个环节,一份训练成本换来三重收益。
实验结果: 在 human-to-robot 规模化实验中,保持 5 小时真机监督不变、人类交互从 0 增加到 100 小时,留出机器人域的视觉、几何与接触预测均获得实质性提升,且人类与机器人任务集互不相交。在策略评估与合成轨迹生成两个下游用途上同样验证了有效性,表明规模化人类交互为学习灵巧机器人世界模型提供了一条互补的数据轴。论文已被 IROS 2026 RoBoWoMo Workshop 接收(Lightning Talk)。
应用场景: 灵巧手接触丰富操作(装配、抓取易碎/可形变物体);策略离线评估与筛选(用世界模型替代部分真机 rollout);为真机策略学习合成低成本触觉—视觉轨迹;跨本体触觉知识迁移。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 触觉数据稀缺是灵巧操作领域最难绕过的一堵墙,而这篇工作给出了一个绕开它的具体路径:不要只在机器人上采集,去人手上采集,然后用传感布局与动作空间的对齐把它翻译过来。实验设计(固定真机监督 + 任务集不相交)干净且有说服力,对做触觉、做世界模型、做灵巧操作的人都是一篇值得精读的工作。
Astronex-World 1.0: Real-Time Interactive World Model Foundation
链接: https://arxiv.org/abs/2609.20034
项目主页: https://world.astronex.com.cn | 代码: https://github.com/Astronex-Robotics/Astronex-World | 模型权重: https://huggingface.co/Astronex-Lab/Astronex-World
作者 / 机构: Xin Zhou(Astronex Robotics)、Cong Miao(南京信息工程大学 Nanjing University of Information Science and Technology)
一句话总结: Astronex Robotics 联合南京信息工程大学发布 Astronex-World 1.0,一个开源可控视频世界模型基座:给定文本提示或初始观测,在帧对齐的相机轨迹、连续动作与本体标识条件下预测未来视觉状态,并支持在 rollout 的指定位置插入文本事件;其 5B 因果模型以 832×480 @ 24 FPS 实时流式生成,在 WBench Navi 73.5 / Full 70.0 上超过了 13.6B 的 LongCat-Video 与 14B 的 Helios。
研究问题: 当前的视频世界模型要么不够可控(只能文本驱动,无法精确控制相机与动作),要么不够实时(全步数扩散无法流式生成),要么训练成本高到只有大厂能复现。核心难题是:能否在消费级可承受的算力预算内,训出一个同时具备相机可控、动作可控、长程流式、且效果不输更大模型的开源世界模型基座?
核心方法: ①双模型家族:提供用于全上下文生成的双向模型,与采用 block-causal 注意力 + 跨块 KV 缓存实现持久生成的因果模型,二者均基于 Wan2.2-TI2V-5B 先验构建。②结构化条件注入:PRoPE 把相机内参与外参注入模型;一条 64 维动作流调制每一个 Transformer 层,使连续动作成为全局而非局部的条件。③五阶段训练路径:先发展双向的相机与动作控制 → 将骨干转换为 block-causal 生成 → 蒸馏出少步学生 → 恢复混合域动力学 → 施加非对称 DMD/DMD2 分布匹配。④预留动作接口:保留动作输入与输出接口,供具身智能与自动驾驶方向做后训练。
技术亮点:
- 训练成本的透明度极高、门槛极低:全部五个训练阶段跑在 2 张 NVIDIA L20 48GB 上,因果模型单卡即可实时流式——这份技术报告把「复现一个世界模型基座」的成本降到了实验室可承受的量级。
- 相机、动作、事件三种控制模态的统一:相机走 PRoPE、动作走 64 维流、事件走可插入的文本位置,三者互不干扰,这比单一文本条件的世界模型更接近「可控世界」的定义。
- 非对称 DMD/DMD2 分布匹配作为蒸馏的最后一步,是少步学生能保持质量的关键,也印证了「分布匹配蒸馏」正在成为世界模型实时化的标准配方(本期 Zing-0.5 亦采用类似思路)。
- 5B 打 13.6B/14B:在 WBench Full 上超过 LongCat-Video 与 Helios,距 22B 的 LTX-2.3 不到 1 分,也超过了同样基于 5B 先验但在 A100 上后训练的 YUME 1.5——说明增益来自训练路径而非单纯堆卡。
- 项目主页、代码与权重三件套全部公开。
实验结果: 因果模型以 832×480 @ 24 FPS 生成视频;WBench Navi 73.5 分、WBench Full 70.0 分。在 Full 榜单上,这个 5B 模型高于 13.6B 的 LongCat-Video 与 14B 的 Helios,与 22B 的 LTX-2.3 相差不到 1 分,并高于同样从 5B 先验在 A100 上后训练的 YUME 1.5。全部五阶段训练在 2×L20 48GB 上完成,因果模型在 单卡上实时流式。全文 25 页、13 图、10 表,属完整技术报告体量。
应用场景: 具身智能与自动驾驶的可控后训练基座;交互式生成式环境 / 游戏;需要相机轨迹精确控制的视频生成;作为策略 rollout 的低成本世界模型模拟器。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 在世界模型普遍「效果靠规模、复现靠预算」的当下,这篇报告的价值在于它把配方和成本一起公开了:五阶段路径、2×L20 的训练预算、单卡实时的推理代价,全部写清楚。对想自己训世界模型的小团队而言,这是一份可以直接照着排期的施工图纸。
WorldContact: A Contact-Centric World Model for Scalable Robot Learning
链接: https://arxiv.org/abs/2609.19600
作者 / 机构: Caoliwen Wang, Mengdi Wang, Heng Zhang, Shixun Huang, Siyuan Chen, Chao Liu, Anpei Chen, Zhendong Wang, Peter Yichen Chen, Huamin Wang(不列颠哥伦比亚大学 University of British Columbia、西湖大学 Westlake University、Style3D Research)
一句话总结: 来自 UBC、西湖大学与 Style3D Research 的团队提出 WorldContact,一个面向可形变物体操作的接触中心世界模型:仅用少量高质量轨迹构建,以远大于源数值仿真器的时间步预测物体动力学,在单张 H100 上取得 10× 加速;用其生成的数据扩充后微调 VLA,提袋任务的单次成功率从 65% 提升到 95%。
研究问题: 让机器人适应新物体与新任务需要大量交互经验,而真机采集代价高昂。可形变物体(如购物袋、布料)尤其困难:数值仿真器为了解析快速运动、防止穿透,必须使用很小的积分步长,导致数据生成极慢。核心难题是:能否学一个「以接触为中心」的世界模型,用大时间步替代小步积分,从而低成本地批量产出可用于策略微调的交互数据?
核心方法: ①接触中心的动力学建模:不同于以视觉重建为主的世界模型,WorldContact 把接触与物体动力学置于建模核心,专门面向可形变物体操作。②大时间步预测:直接以比源数值仿真器更大的时间步预测物体状态演化,绕开源仿真器必须小步积分以避免穿透的数值约束,从而在单张 H100 上获得 10× 的 state rollout 加速(不含渲染与磁盘 I/O)。③数据闭环:用有限的高质量轨迹构建世界模型 → 生成额外训练数据 → 微调已有的视觉—语言—动作(VLA)策略 → 直接部署到真机。
技术亮点:
- 抓住了仿真器慢的真正原因:不是算法不够快,而是数值稳定性要求小积分步长。用学习的世界模型直接跳到大时间步,是对问题根因的正面对症下药,加速比因此非常实在。
- 以接触而非视觉为建模中心:对可形变物体而言,决定任务成败的是接触与形变,视觉只是其外在表现;这一取向与本期 DexTouch-WM 高度呼应。
- 端到端闭环验证:不只是报告世界模型的预测误差,而是把生成的数据真正用于微调 VLA 并上真机,用策略成功率来检验数据质量,这是最有说服力的评估方式。
- 只需有限的高质量轨迹作为种子,符合真实实验室的数据条件。
实验结果: 在 16 个购物袋操作任务上评估。State rollout 测量显示,在单张 H100 GPU 上相对源仿真器取得 10× 加速(不含渲染与磁盘 I/O)。用生成数据扩充后微调 VLA 并直接部署真机:在**提袋(bag lifting)**任务上,仅用源仿真数据微调的同一策略单次成功率为 65%,而用 WorldContact 扩充后的数据集微调则达到 95%。
应用场景: 可形变物体(袋子、布料、软包装)的操作策略适配;仿真数据增强与域随机化替代;需要大量交互数据但真机采集受限的机器人学习场景;Style3D 一类的服装/柔性体仿真与内容生成。
研究价值: ⭐⭐⭐⭐(4/5)— 65% → 95% 的提袋成功率是非常扎实的实证,而 10× 的数据生成加速直接命中了「机器人学习缺数据」这一核心痛点。更值得留意的是它的取向:世界模型不必先成为好的视觉生成器,先成为好的接触动力学预测器,就已经能创造真实价值。
Recency Forcing: Bridging the Long-Horizon Gap in Autoregressive Video Generation
链接: https://arxiv.org/abs/2609.19729
作者 / 机构: Tri Cao, Hung Nguyen, Phong Nguyen, Khoi Nguyen(论文未在 arXiv 页面标注机构,且无 HTML 全文页)
一句话总结: 作者指出自回归视频生成的长程退化源于一个被忽视的训练—推理不一致——KV 驱逐不匹配(KV eviction mismatch):训练时上下文帧全部驻留 KV cache,推理时显存限制却迫使远帧被驱逐;据此提出 Recency Forcing,在 pre-softmax 注意力 logit 上施加一条由敏感度度量导出的非正、时间步相关的偏置(TRB),并通过 BAR 重参数化把它移出 softmax,使其退化为一次标准 FlashAttention 调用、零额外推理开销,在 VBench 与 VBench-Long 上取得长程生成的 SOTA 质量。
研究问题: 自回归视频生成在长程 rollout 中会逐渐退化,以往多将其归因于误差累积或上下文不足。这篇工作指出了一个更具体的结构性原因:模型训练时面对的是短片段,所有上下文帧都在 KV cache 中;而推理时受显存约束,远处的帧必须被驱逐出 KV cache,相当于移除了模型原本被条件化于其上的上下文。核心难题是:如何在不牺牲运动连贯性、不修改上下文长度与训练目标的前提下,消解这一训练—推理鸿沟?
核心方法: ①诊断工具:位置响应 $R(\Delta, t_{\text{denoise}})$,一种基于扰动的敏感度度量,用于量化上下文帧对生成的影响。它揭示出两个规律:上下文影响随时间间隔陡峭衰减,且随去噪步系统性变化。②Recency Forcing 主机制:与其通过上下文截断来模拟驱逐(这会丢弃模型仍需要的时间信息、损害运动连贯性),不如保留上下文、但渐进削弱远帧的影响,使其最终被驱逐时的影响已经可以忽略——具体做法是在 pre-softmax 注意力 logit 上施加由 $R$ 导出的时间响应偏置(Temporal Response Bias, TRB)。③Biased Attention Reparameterization(BAR):将偏置精确重参数化到 softmax 之外,使 TRB 的实现等价于一次标准 FlashAttention 调用,零开销。④同时支持 training-free 与 training-based 两种模式。
技术亮点:
- 问题定位极其精准:把长程退化从模糊的「误差累积」收敛到一个可命名、可度量的训练—推理不一致(KV eviction mismatch),这本身就是贡献。
- 「保留上下文但削弱影响」比「截断上下文」更优:截断是硬删除,而 TRB 是软衰减——既消除了驱逐带来的分布漂移,又保住了远帧仍可能携带的时间信息。
- 从敏感度度量 $R$ 直接导出偏置,而非手工设计衰减曲线,使偏置形状有实测依据,并且自然地与时间步相关。
- BAR 让方法零开销落地:偏置移出 softmax 后不再需要定制 kernel,这是「理论优雅」与「工程可用」同时成立的一个漂亮例子。
- 支持 training-free 模式,意味着可以直接套用到已有自回归视频模型上。
实验结果: 在 VBench 与 VBench-Long 上,Recency Forcing 取得长程生成质量的 state-of-the-art,且不带来额外推理成本。方法同时提供 training-free 与 training-based 两种模式(摘要未给出逐项分指标,此处按原文定性表述)。
应用场景: 分钟级长视频生成;自回归/流式视频世界模型;需要与长 KV cache 打交道的实时交互生成服务;注意力 KV 管理策略的通用增强(与 Deep Forcing、Rolling Sink 等训练式/免训练方法互补)。
研究价值: ⭐⭐⭐⭐(4/5)— 自回归视频生成这一脉(Self-Forcing 及其后继)近两年相当热闹,但多数工作在解决「怎么记住更多」,这篇转而解决「怎么优雅地忘记」。TRB + BAR 的组合既给出了可解释的度量依据,又做到了真正的零开销,是目前长程 KV 管理里思路最干净的方案之一。
Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation
链接: https://arxiv.org/abs/2609.20744
代码: https://github.com/OpenVDN/vdn-minimax-h3 | 模型: https://huggingface.co/OpenVDN/vdn-minimax-h3
作者 / 机构: Haocheng Xi, Yiming Xie, Hexu Zhao, Yiwen Zhang, Michael Liu, Thomas Creavin, Kurt Keutzer, Xiuyu Li, Zhaoyang Lv, Chenfeng Xu, Haiwen Feng(加州大学伯克利分校 UC Berkeley、Impossible, Inc.、德克萨斯大学奥斯汀分校 UT Austin)
一句话总结: 伯克利、Impossible, Inc. 与 UT Austin 联合提出 Video DeltaNet(VDN),一种视频原生的混合注意力:用局部 Softmax 注意力保近场细节、用双向线性记忆承载长程上下文,其线性分支提出的 Video Delta Attention(VDA) 以每帧更新一次记忆的方式联合纳入该帧全部空间 token;在 MiniMax H3 上实例化后,配合八步蒸馏与优化后的 SGLang 服务栈,把 14.3 秒 768p 视频的 DiT 去噪压到 6.70 秒(14.5× 加速)。
研究问题: 视频扩散模型在去噪过程中反复处理超长的时空 token 序列,注意力是主要算力瓶颈——论文实测在 MiniMax H3 的 workload 中,Softmax 注意力占 denoiser 运行时超过 85%。线性注意力在 LLM 中已被广泛采用,但直接搬到视频模型上往往会破坏高质量生成所需的细粒度交互。核心难题是:如何既获得线性注意力的长程序列扩展性,又不损失视频生成所必需的局部精细交互?
核心方法: ①混合双分支架构:局部 Softmax 注意力负责近场精细交互,双向线性记忆(bidirectional linear memory)负责长程视频上下文。②Video Delta Attention(VDA):线性分支的核心算子,每帧更新一次记忆,更新时联合纳入该帧的所有空间 token,而非逐 token 更新——这一设计更贴合视频「以帧为单位的时空结构」。③双分支校准:两条分支使用分离的输出投影与可学习门控,让模型自行平衡局部与长程信息。④分阶段教师对齐(staged teacher-alignment)训练配方:把新通路渐进式引入预训练模型,避免结构突变带来的性能崩塌。⑤选择性混合:在 MiniMax H3 上只对 video-to-video 交互应用混合注意力,涉及文本或音频的交互仍保留 Softmax。
技术亮点:
- 「每帧更新一次记忆」是真正视频原生的设计:把记忆更新的粒度对齐到帧,并联合处理该帧全部空间 token,这比直接套用语言模型的逐 token 线性注意力更贴合视频结构。
- 选择性混合非常务实:只对 video-to-video 用线性注意力、对文本/音频保留 Softmax,承认了「跨模态交互对精度更敏感」,避免了为统一而统一带来的质量损失。
- 分阶段教师对齐是把新结构塞进大模型而不破坏预训练知识的稳妥做法,工程上可直接复用。
- 实测数据具有产业参考价值:85% 的注意力占比 → 14.5× 端到端加速,且明确标注了 GPU 型号(8×B200)与视频规格(14.3 秒 / 768p),可复核性强。
- 代码与权重已开源(GitHub + HuggingFace)。
实验结果: 在 MiniMax H3 上实例化 VDN,配合八步蒸馏与优化后的 SGLang 服务栈,VDN-H3 在 8 张 NVIDIA B200 GPU 上完成一段 14.3 秒、768p 视频的 DiT 去噪仅需 6.70 秒,相对同 GPU 数量下 50 步 dense H3 基线实现 14.5× 加速。动机数据:在 profiled 的 MiniMax H3 workload 中,Softmax 注意力占 denoiser 运行时 85% 以上。全文 20 页、10 图。
应用场景: 直播/长视频流式生成;实时交互式视频与世界模型服务;大规模视频生成的推理成本优化;需要与八步蒸馏配合的高效视频 DiT 部署。
研究价值: ⭐⭐⭐⭐(4/5)— 把 LLM 的线性注意力改造成「视频原生」而非直接移植,是这篇工作的最大价值。配合开源代码与清晰的端到端加速数字,它对正在做视频生成推理优化的人具有很高的可直接复用性。
DART: Distillation-Aware Reparameterization for Training-Free LoRA Reuse in Few-Step Video Diffusion Models
链接: https://arxiv.org/abs/2609.20051
作者 / 机构: Shihong Li, Juntao Xu, JinCao, Maowen Tang, Jun Huang, Jintao Li(电子科技大学、清华大学、哈尔滨工业大学、腾讯)
一句话总结: 来自电子科技大学、清华、哈工大与腾讯的团队提出 DART,一种免训练(training-free)的方法,让为长去噪轨迹训练的 LoRA 能被复用到少步蒸馏后的视频扩散模型上:通过低秩坐标传输与目标 schedule 响应校准(仅需前向评估、无需源训练视频),在四步 Wan2.2 目标上把联合质量分从 0.9029 提升到 0.9227,并把宏观功能保持从 −0.4644 变为 +0.1349。
研究问题: 步数蒸馏显著降低了视频生成的推理成本,但随之而来的是一个实践性极强却研究不足的问题:为长轨迹(多步)训练的 LoRA,在蒸馏后的少步模型上还能不能用? 已有的静态参数兼容性视角只能度量参数几何的相似度,而作者的观察是——几何上相近的适配器,在缩短的去噪 schedule 下可能表现出完全不同的行为,功能效果被改变甚至目标质量被劣化。核心难题是:如何在不重新训练、不接触源训练视频的前提下,把 LoRA 的功能效果迁移到少步模型上?
核心方法: ①低秩坐标传输(low-rank coordinate transport):在 LoRA 的低秩子空间内做坐标变换,使适配器的参数表示适配目标模型。②目标 schedule 响应校准(target-schedule response calibration):针对目标(少步)去噪 schedule 对适配器响应进行校准,只用前向评估完成,不需要任何源训练视频。③双维度评估:不再只报告质量分,而是把 LoRA 复用拆成**功能保持(functional preservation)与负迁移避免(negative-transfer avoidance)**两个维度联合评估。
技术亮点:
- 问题选得非常工程化、非常真实:社区里大量 LoRA 是为多步基座训练的,蒸馏模型普及后这些资产面临「能不能直接用」的现实问题,此前几乎无人系统研究。
- 免训练 + 无源数据是硬约束下的优雅解法:只需要前向评估就能完成迁移,落地成本极低。
- 组件分析诚实且有信息量:校准贡献了大部分质量提升,坐标传输在与校准组合时才提供互补增益——明确了各组件的真实作用边界。
- 不假定「每个 adapter 都能恢复」:adapter 级结果显示,部分适配器获得正向功能效果,另一些则是强衰减但负向功能效应降低。作者据此主张把「功能保持」与「负迁移避免」拆开看,这是一种更成熟的评估观。
- 在两个额外目标模型上复现了相同的总体趋势,说明方法不局限于单一基座。
实验结果: 在四步 Wan2.2 目标上,DART-F 把联合质量分从 0.9029 提升到 0.9227,并把宏观功能保持指标从 −0.4644 改善到 +0.1349(从负向变为正向)。组件分析表明:校准贡献了大部分质量提升,而坐标传输在与校准结合时提供互补增益。Adapter 层面呈现分化:部分适配器出现正向功能效果,另一些则表现为强衰减但负向功能效应降低。在另外两个目标模型上观察到相同的总体趋势。
应用场景: 步数蒸馏视频模型的 LoRA 生态迁移;社区 LoRA 资产在加速模型上的复用;风格/运动/相机类适配器跨 schedule 迁移;免训练的模型编辑与适配器适配。
研究价值: ⭐⭐⭐⭐(4/5)— 蒸馏研究的重心正在从「怎么蒸得更好」转向「蒸完之后周围的生态怎么办」。DART 是这个转向里一个具体、可落地、且评估观成熟的样本,对做视频生成加速与社区工具链的团队都有参考价值。
Recovering Aggressively Pruned Vision-Language-Action Models with Offline Hidden-State Distillation
链接: https://arxiv.org/abs/2609.19579
作者 / 机构: Chiyoung Kim, Sanghyuk Roy Choi, Minhyeok Lee(韩国中央大学 Chung-Ang University, Seoul, Republic of Korea;Preprint)
一句话总结: 韩国中央大学团队提出一种全离线的方案来救回被激进剪枝的 VLA:关键设计是宽度剪枝只收窄 block 而保持残差流原始尺寸,使教师与学生隐状态同形、可直接匹配而无需投影器;仅用一次教师前向构建的缓存训练,就在约 8 GPU 小时内把剪掉 63% 语言骨干的 OpenVLA-OFT 拉回到距教师 3.5 分以内(该模型剪枝后 LIBERO-Long 曾从 93.2% 崩至 0.8%)。
研究问题: VLA 模型能听懂指令并操控机器人,但数十亿参数的语言骨干是把它搬到机器人硬件上的主要障碍。结构化剪枝可以压缩这个骨干,代价却极其惨烈——从 OpenVLA-OFT 中移除 63% 的语言骨干,LIBERO-Long 成功率从 93.2% 直接掉到 0.8%。已有的恢复方案需要先监督微调再强化学习,而 RL 需要在线 rollout 与数百 GPU 小时。核心难题是:能否完全离线地恢复被激进剪枝的 VLA,把成本从数百 GPU 小时降到个位数?
核心方法: ①宽度剪枝而非深度剪枝:宽度剪枝收窄 block 但保持残差流(residual stream)的原始尺寸,因此教师与学生的隐状态形状一致,可以直接逐层匹配,无需引入投影器——这是整个方案能离线且高效的关键。②离线隐状态蒸馏:用一次教师前向构建隐状态缓存,学生直接对缓存中的教师隐状态做匹配训练,完全不需要在线交互。③系统性扫描:在九种压缩比例上做扫描,定位恢复目标开始起作用的临界区间。
技术亮点:
- 「宽度剪枝保持残差流尺寸」是一个小而关键的设计洞见:它让师生隐状态同形,一举省掉了投影器的训练与对齐成本,是「约 8 GPU 小时」这个数字能成立的前提。
- 成本对比极具冲击力:数百 GPU 小时 + 在线 rollout → 约 8 GPU 小时 + 一次教师前向,且是完全离线的。对缺乏大规模 RL 基础设施的机器人实验室而言,实用性极强。
- 九比例扫描给出了清晰的适用边界:45% 以内两种恢复方式无显著差异;63%–87% 区间隐状态蒸馏带来 +2.1 ~ +4.5 分(OpenVLA-OFT),CogACT 上从 63% 起可带来 +9.4 ~ +22.1 分——诚实说明了方法在什么范围内才「值得开」。
- 同等压缩下的剪枝方式权衡明确:宽度剪枝成功率更高,深度剪枝延迟更低,读者可按部署约束自行取舍。
- 不止在仿真榜单上验证,还部署到了 6-DoF 机械臂上。
实验结果: 剪掉 63% 语言骨干后,OpenVLA-OFT 的 LIBERO-Long 成功率从 93.2% 跌至 0.8%;用一次教师前向构建的缓存训练,可在约 8 GPU 小时内把 63% 压缩的学生提升到距教师 3.5 分以内。九比例扫描显示:45% 以内两种恢复方式无显著差异;63%–87% 区间隐状态蒸馏在 OpenVLA-OFT 上带来 +2.1 ~ +4.5 分,在 CogACT 上从 63% 起带来 +9.4 ~ +22.1 分。CogACT 在 81% 压缩时,把恢复预算增至三倍可将蒸馏学生与教师的差距缩至平均 3.9 分,而监督式恢复仍落后 20 分以上。同等压缩率下,宽度剪枝成功率更高、深度剪枝延迟更低。在 6-DoF 机械臂上,72% 压缩的蒸馏学生成功率达到 77%(原文摘要该句结尾处被截断,此处按上下文理解为成功率)。
应用场景: 机器人本体的 VLA 部署与推理加速;边缘/车载算力下的语言骨干压缩;缺乏 RL 基础设施的实验室做模型压缩恢复;CogACT、OpenVLA 一类开源 VLA 的轻量化。
研究价值: ⭐⭐⭐⭐(4/5)— 「剪枝 → 崩塌 → 恢复」本是老套路,但这篇把一个工程细节(残差流尺寸对齐)变成了成本骤降两个数量级的杠杆,并用九比例扫描诚实划定了适用范围。对真要在机器人上跑 VLA 的人来说,这是一份可以照做的操作手册。
VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control
链接: https://arxiv.org/abs/2609.19554
代码: https://github.com/zhangzhongbo2213/VABench
作者 / 机构: Zhongbo Zhang, Jiayi Jin, Yifan Wang, Zaibin Zhang, Haiwen Diao, Lijun Wang, Huchuan Lu(大连理工大学、南洋理工大学 Nanyang Technological University;前五位作者为同等贡献)
一句话总结: 大连理工大学与南洋理工大学联合提出 VA-Bench,一个评测完整 observe–reason–act–revise 闭环的具身空间智能基准:通用多模态大模型仅从 RGB 演示中学习程序性上下文,主动选择相机视角,发出度量级笛卡尔命令,并依据执行反馈进行修正;结果显示最佳模型目标定位 100.0%、空间关系 78.9%,但三次运行宏平均任务成功率仅 53.93%,而主动相机控制可将成功率从 27.86% 提升到 57.50%。
研究问题: 空间智能远不止「描述物体在哪」。在观测不完整的条件下,模型必须识别并主动获取缺失的证据、在统一的空间坐标系中解释它、并据此行动。已有基准往往只评测感知或描述环节,把「看得到」与「做得到」混为一谈。核心难题是:如何设计一个基准,把观察—推理—行动—修正的完整闭环纳入评测,且不给模型任何特权信息?
核心方法: ①不提供任何特权信息:模型不获得特权物体位姿、oracle 轨迹或学习到的动作头;一个固定的、模型无关的控制器只执行模型自己指定的目标。②纯 RGB 演示学习:通用 MLLM 仅从 RGB-only 的演示中习得程序性上下文。③主动感知:模型需主动选择相机视角,而非被动接受固定多视角输入。④度量级控制与修正:模型发出度量单位的笛卡尔空间命令,并根据执行反馈进行修正。⑤规模与设置:包含 14 个基础任务族(11 个单臂 + 3 个双臂)、7 个留出的几何/布局变体,以及一条 5 物体组成的长程组合赛道;对 12 个主要模型条件、每个基础任务 20 个物理验证种子、3 次独立运行进行评估,报告终端成功率、9 项轨迹级行为诊断与子任务进度。
技术亮点:
- 把「看得到」与「做得到」明确分离:目标定位 100.0%、空间关系 78.9%,但任务成功率只有 53.93% —— 这组对比本身就是对当前 MLLM 空间能力最有力的诊断。
- 主动 vs 被动的对照实验设计干净:在同一组匹配比较中,主动相机控制把成功率从 27.86% 拉到 57.50%,直接证明了「主动获取证据」是空间智能的独立能力维度,而非锦上添花。
- 留出几何迁移的落差触目惊心:几何变化可使任务成功率下降超过 30 个百分点,说明当前模型学到的空间能力仍高度依赖特定布局。
- 评测协议严谨:20 个物理验证种子 × 3 次独立运行 + 9 项轨迹级行为诊断,避免了单种子、单次运行带来的偶然性。
- 长程赛道无人完成,为后续工作留出了清晰的上升空间;代码已开源。
实验结果: 最佳模型在标注运行上取得目标定位 100.0%、空间关系 78.9%,但其三次运行宏平均任务成功率仅为 53.93 ± 3.17%。主动相机控制显著优于被动多视角观测:在一组匹配比较中,成功率从 27.86% 提升到 57.50%。留出的几何迁移可使任务成功率下降超过 30 个百分点。没有任何模型完成严格的长程组合赛道。
应用场景: 通用 MLLM 空间智能能力评测;主动感知与视角选择策略研究;机器人操作中的度量级空间指令生成;长程具身任务规划的行为诊断。
研究价值: ⭐⭐⭐⭐(4/5)— VABench 的价值不在分数,而在它把「空间智能」这个词拆成了可分别度量的能力项。100% 定位 / 53.93% 执行的落差、以及主动视角带来的近 30 个百分点跃升,为「下一步该往哪走」提供了非常明确的信号。
📊 今日研究趋势
世界模型的预测对象正在从视觉扩展到接触。 本期 DexTouch-WM 与 WorldContact 一篇讲人手的触觉、一篇讲可形变物体的接触,却指向同一个判断:对接触丰富的操作而言,视觉只是世界状态的一半,另一半是力、形变与滑移。DexTouch-WM 更进一步给出了一条罕见的数据轴——在真机监督固定为 5 小时的前提下,把人类交互从 0 加到 100 小时,留出机器人域的视觉、几何与接触预测仍在持续改善,而且人与机器人的任务集完全不相交,说明迁移的是接触动力学而非任务记忆。WorldContact 则抓住了仿真器慢的根因(不是算法慢,而是数值稳定性要求小积分步长),用大时间步预测换来 10× 加速,并把数据真正喂给 VLA 上真机,拿到 65% → 95% 的提袋成功率。两者的共同启示是:世界模型不必先成为优秀的视觉生成器,先成为优秀的接触动力学预测器就已经能创造真实价值。
实时可服务正在取代离线可生成成为世界模型的新分水岭。 Astronex-World 1.0 是一份难得的「把配方和成本一起公开」的技术报告:5B 参数、五阶段训练全部跑在 2 张 L20 48GB 上、因果模型单卡实时流式 832×480 @ 24 FPS,却在 WBench Full 上以 70.0 分超过 13.6B 的 LongCat-Video 与 14B 的 Helios,距 22B 的 LTX-2.3 不到 1 分。它的五阶段路径(双向控制 → block-causal 转换 → 少步蒸馏 → 混合域动力学恢复 → 非对称 DMD/DMD2 分布匹配)几乎可以看作当前「把双向视频模型改造成实时世界模型」的标准工序。Video DeltaNet 则从算力侧发力:在 MiniMax H3 上测出 Softmax 注意力占了 denoiser 运行时 85% 以上,用局部 Softmax + 双向线性记忆的混合方案配合八步蒸馏,把 14.3 秒 768p 视频的去噪压到 6.70 秒(14.5× 加速)。两条路合起来看,世界模型研究的竞争维度已经从「能生成多长多好看」转向「能不能以可承受的成本持续运行」。
蒸馏研究正在精细到组件级语义保持,并且开始照顾既有生态。 DART 关注的是一个非常真实却长期无人系统研究的问题:步数蒸馏之后,原本为多步基座训练的大量社区 LoRA 还能不能用?它的答案不是「能不能恢复」的二元判断,而是把功能保持与负迁移避免拆成两个维度分别度量,并用免训练的「低秩坐标传输 + 目标 schedule 响应校准」把联合质量分从 0.9029 提到 0.9227、功能保持从 −0.4644 翻正到 +0.1349。另一篇则把激进剪枝的 VLA 从 0.8% 的崩塌里救了回来——宽度剪枝保持残差流尺寸这个看似微小的设计,让师生隐状态同形、无需投影器,从而把恢复成本从「数百 GPU 小时 + 在线 rollout」压到「约 8 GPU 小时 + 一次教师前向」,并且用九比例扫描诚实说明了方法在 45% 以内其实并无优势。蒸馏不再只是压缩手段,正在成为连接不同模型生态的适配层。
长程生成与空间评测的方法论在同时收紧。 Recency Forcing 把自回归视频生成的长程退化收敛到一个可命名、可度量的结构性原因——训练时上下文帧全在 KV cache 里,推理时远帧却被驱逐;它拒绝用上下文截断来模拟驱逐(那会牺牲运动连贯性),转而用从敏感度度量 $R(\Delta, t_{\text{denoise}})$ 导出的非正注意力偏置让远帧「平滑退场」,并通过 BAR 重参数化把开销压到零。VABench 则在评测侧做同样的事:把空间智能拆成「看得到」与「做得到」两层,发现最佳模型目标定位 100.0%、空间关系 78.9%,但三次运行宏平均任务成功率只有 53.93%;主动相机控制带来 27.86% → 57.50% 的跃升,而留出几何迁移一次就能让成功率掉 30 个百分点以上。一个在修推理期的记忆管理,一个在定义能力边界——共同点是都不再满足于「分数变高了」,而是要说清楚变高或变低的机制。
🏆 最值得关注的 3 篇
DexTouch-WM(2609.20649) — 触觉数据稀缺是灵巧操作最难绕过的一堵墙,这篇给出了一个可工程化的绕法:在人手上采集,靠共享传感布局与动作重定向翻译到机器人。固定 5 小时真机监督、只增人类交互、任务集不相交——实验设计干净到几乎无法用其他因素解释增益,是本期方法论最扎实的一篇。
Astronex-World 1.0(2609.20034) — 一份把「配方 + 成本」全部公开的开源实时世界模型基座:5B、2×L20 训完五阶段、单卡实时流式 832×480 @ 24 FPS,WBench Full 70.0 超过 13.6B/14B 模型。对想自己训世界模型的团队,这是一份能直接照着排期的施工图;其五阶段路径也几乎就是「双向视频模型 → 实时世界模型」的标准工序。
Recency Forcing(2609.19729) — 自回归视频生成这一脉近两年多在解决「怎么记住更多」,这篇转而解决「怎么优雅地忘记」。KV eviction mismatch 的命名精准、TRB 从实测敏感度导出有据可依、BAR 让方法零开销落地,还支持 training-free 直接套用——是本期思路最干净、最可即插即用的一篇。
数据来源:ArXiv 2026-09-18(Fri, 18 Sep 2026)公告批次 | 分析生成时间:2026-09-19 06:00 (北京时间)