来源：新智元（ASI启示录（原创报道）） · 2026-10-11 · 原文链接
分类：世界模型与具身智能（评测基准报告）；主线强相关三条：① Evidence-bound grading＝dense feedback／记忆归因的评测化，是触觉评测该抄的评分机制；② 量子实验证明「反馈可验证性是谱系不是二分」——物理世界里也有可闭环验证的子域，反衬触觉缺的不是物理性而是可验证性；③ 937/1510 死循环/耗尽预算的失败统计＝「不知道为什么变糟」的第五种说法
一句话概括
NUS/NTU/GaugeForge 团队建了一个 1:1 虚拟量子实验室 Quantum-Harbor，用 49 项真实量子工程任务（QIQCBench）和一套「Evidence-bound grading」——不看最终答案、直接查 Agent 的底层执行记录并在全新隐藏物理环境里盲测——给 17 个前沿 Agent 做压力测试：通过率从 78% 一路摔到 3%，1510 次失败里 62% 是死循环或耗尽预算——结论是**「会做一次」绝不等于「能可靠做完」，Verified Autonomy（验证自治）才是把实验室钥匙交给 AI 的前置条件**。
核心要点
一、立论：AI 已经摸到量子硬件，但「答对」不够
背景（2026 年 8-9 月）：Pasqal 在量子领域搞 Vibe Coding；Anthropic × QuEra 让 Claude 锁定和调节真实量子计算机的激光器；OpenAI × MIT EQuS 的 GPT-5.6-Sol 深度接入实验室软件系统、自主运行并迭代超导量子芯片测量实验。AI 已长出「手」和「眼」。
但要害问题不是「它最后答对了吗」，而是：它有没有做该做的实验、看懂刚拿到的数据？会不会在已拿到答案后继续乱跑耗光预算？结论有没有被自己真正取得的证据支撑？——真实量子工程里稀释制冷机降温按天算、激光器寿命按小时损耗、量子比特相干时间只有几十微秒，一次瞎猜可能报废整批芯片。对智能体而言，能力不是瓶颈，可靠性才是。
二、Quantum-Harbor：虚拟量子实验室 + 幽灵导师
- 完全可交互、带物理动态、有真实反馈的虚拟量子工程实验室；Agent 以为自己在上班：查硬件说明书、翻前人实验记录本、用 Qiskit / QCoDeS 写实验代码、把任务提交给后端量子设备；
- 公共界面背后是 Sidecar 隔离容器（「幽灵导师」）：跑高度仿真的量子硬件（超导 transmon、中性原子阵列等），带连 Agent 自己都不知道的隐藏参数——相干时间、非谐性、读出混淆矩阵、噪声相关性；
- QIQCBench：49 项资深量子工程师设计的任务，覆盖量子计算栈五层（物理器件 / 门与校准 / 纠错 / 逻辑与编译 / 应用与算法）与六类（测量与表征、控制、纠错、编译、模拟、感知）；每个任务有有限时间与实验预算，Agent 必须自己决定：先测什么、数据代表什么、要不要继续、何时收手提交。
三、Evidence-bound grading：最狠的评分机制
不看最终答案写得多漂亮，只做三件事：
- 链路核查：结论是否真的由历史步骤中采集到的数据支撑？
- 逻辑一致性：是否在已得到最优解后仍盲目消耗实验预算？
- 隐藏环境验证：把调优出的策略扔进未曾暴露的全新物理噪声背景里盲测——只有经得起物理鲁棒性检验的结果才过关。
四、17 个前沿 Agent 的成绩单
- 参赛：OpenAI GPT-5.6 系列、DeepSeek-V4、Anthropic Claude Opus/Haiku、千问、混元、Kimi、智谱 GLM、字节 Seed 等 17 个系统；
- 通过率从最高 78% 垂直跌到 3%，普通榜上难分高下的模型在讲究逻辑链与验证自治的硬茬上差距立刻拉开；
- 失败解剖：1510 次失败中 937 次（约 62%）是死循环或耗尽预算没交卷——「像一个熬了三个通宵、脑子已经不转却还在疯狂跑代码的研究生」；其余失败中 54% 是物理结论经不起交叉验证。
五、三个代表性案例
- 晶格手术与过时笔记（陷阱题）：任务要求拼接表面码补丁实现逻辑 CNOT；实验室 Notebook 里被故意埋了「前人」的旧测量数据，但补丁拼接会引入旧数据里没有的边界关联噪声。顶级 Agent 识别出拼接可能引入新噪声，果断抛弃先验、重新测量并重调解码器，把每周期内存错误率压到 6.65×10⁻⁴（在隐藏验证集上）；盲目信旧笔记的则被关联噪声炸碎；
- 60 比特黑盒：60 比特、6 个未知参数的系统，固定预算内要为 40 个隐藏输入预测 1770 个两比特相关性。大量 Agent 翻车：无脑采样把预算浪费在无信息量区域 / 测一点点就自信爆棚 / 代码报错死循环耗光 3 小时交白卷；
- 多体物理「大屠杀」（最惨赛区）：推断隐藏哈密顿量、开放系统动力学等要求真正理解物理的任务，平均通过率仅 15%；排名前三的系统拿 64%，其余 14 个模型加起来只有 4%——会背量子计算课本和能在未知动态系统里做科学推断是两个维度的智能。
六、结论与开放
- 今天还不敢把量子实验室钥匙交给 AI，但头部模型证明自主量子工程在物理与逻辑上可行，缺的是复杂决策与资源管理上的进化；
- Quantum-Harbor 的意义不是又一个排行榜，而是第一次为 AI Agent 在极端精密科学领域的实战能力划定水位线；
- 虚拟环境与评测套件开源，并启动「Agentic Quantum Coding Challenge」挑战赛。
金句
从「能做对一次」，到「敢把它放进实验室」，中间还隔着深渊。
对智能体而言，能力不是瓶颈，可靠性才是。
链路核查：AI 给出的结论，是否真的由它在历史步骤中采集到的数据支撑？
物理世界不相信巧合，更不相信没有实验证据的幻觉。
会背量子计算的课本知识，和能在未知的动态系统中做科学推断，完全是两个维度的智能。
质疑与核查
✅ 论文真实且对得上：arXiv 2609.17439《Evaluating Verified Autonomy in Quantum Engineering》确实存在（2026-09-15 提交，10 页 4 图，9 位作者）。摘要与文章框架一致：Quantum-Harbor 虚拟实验室、QIQCBench 49 项任务、17 个前沿 agent、主题就是 “wide variation in verified performance” 与 “substantial gap between demonstrating capability and achieving reliable operation”——标题里的「集体翻车」有论文背书，不算标题党造谣。
- 具体数字未在摘要中：78%→3%、937/1510、54%、15%、64% vs 4%、6.65×10⁻⁴ 均需查正文核实，转述时标注「据新智元转述论文」。
- 「GPT-5.6 与 Opus 断层领先」是媒体指认：摘要只说 wide variation，没点名 top-3 是谁；标题的具体名次归属须查论文正文/排行榜页，引用时不能直接当论文结论。
- 机构归属未官方核验：arXiv 摘要页不显示单位，「NUS、NTU 与 GaugeForge 联合团队」是新智元说法（可信度高但按二手处理）。
- 背景引子未逐条核验：Pasqal Vibe Coding（Nature 8 月报道）、QuEra×Claude 调激光器、GPT-5.6-Sol 接入 MIT EQuS 这三条是 8-9 月新闻，方向与已知趋势（Anthropic 湿实验室等）一致，但本篇未逐一回源。
- Sidecar/幽灵导师/隐藏参数等术语：摘要只确认 controlled execution environment + “direct verification of both the actions taken and the conclusions drawn”，具体机制细节以正文为准。
- 利益相关性提示：这是关于基准发布的报道，本身就承担"宣传挑战赛"的功能（文末明确拉人参赛），对自家基准的表述按"主办方自述"加权；但负面结果（62% 交不了卷）披露得相当诚实，透明度高于一般 PR。
本文为阅读剪藏（摘要 + 摘录 + 评论），非原文转载。查看原文