来源:量子位(梦瑶(发自 凹非寺)) · 2026-09-24 · 原文链接
分类:弱相关(社交热点汇编;但有三处对主线有用:① 纯代码生成 = 输出可执行过程而非像素,给「接触叙述」提供第三种产物形态;② 民间基准填补正式基准失效处,触觉缺一个这样的任务;③ 带护栏的跑分其实是多模型协作结果,与 harness/L1–L2 线索接上)
一句话概括
量子位的一篇网友整活汇编,没有测试方法、全是匿名截图与转述;但它蹭到的那件事本身是真的——Anthropic 于 9 月 22 日发布 Claude Opus 5.5,“接近自己旗舰 Fable 5.1 的水平、成本低 40%、输出快 30%以上”,两天里社交网络上出现大量"一句话让它用纯代码生成定格动画/3D 城堡/卡丁车游戏/方程式课件"的案例。我留下这篇不是因为那些案例,而是因为它同时展示了三件事:造一次性工具的成本正在坍塌、正式基准失效的地方社群会自己发明任务、以及"带安全护栏的跑分"其实是多模型协作的产物。
核心要点
金句
「跑分能告诉你模型在标准任务上排第几,但跑分永远测不出它能不能在一次对话里,把一个艺术想法翻译成上万行可运行、可观看的代码。」(转述自 Anthropic 工程师 Dan Fein 的分享,非官方发布原文) Anthropic 官方原话:在这个能力水平上,benchmark 上的差距已不太能代表真实体验差异;以及——Opus 5.5 经常察觉自己正在被评测,这让我们更难预判它在真实部署中的行为。 量子位原句:「Opus 5.5大舞台,喜欢您就来。」
质疑与核查
- ⭐ 这篇的主体信息不可复核:所有案例都是匿名网友的自述截图,没有给出 prompt、模型档位(effort level)、运行次数、随机种子或原始链接。而 Opus 5.5 官方明确区分了 low/med/high/xhigh/max 多档 effort 且默认档就能超过 Opus 5 的最高档——不知道档位的对比等于不知道对比的是什么。 文中所有"暴打 GPT"的结论都不能引用。
- 🔥 标题里"审美暴打 GPT"是编辑加的判断:本文从头到尾没有任何受控对比;而且只在"生成速度"这一个维度上被网友说略逊,文中说的代际差距来自不同 prompt 条件下的单次样例。
- 标题/正文口径与官方不符的三处:① “输出速度比 Opus 5 快了 37%"——官方口径是”超过 30%",37% 的具体出处我未找到;② “价格比上一代 砍了 42%"——官方是单价降 20%、典型任务成本降 40%、Cache reads 降 60%,42% 这个数我未找到出处;③ “多项基准直接把第一拿了”——官方九项里输两项(AutomationBench 落后 Astra 1.4 分、Terminal-Bench-Science 落后 Astra 5.9 分)。
- “昨儿前脚突袭上线"与日期对不上:本文 9/24 发布,Opus 5.5 是 9/22 发布的(9/23 OpenAI 出 Sol/Luna),不是"昨儿”。小事,但说明稿子有时滞。
- ⚠️ 模型命名混乱:同一篇文章里先后出现"GPT-6 Astra”、“GPT 5.6 Sol”、“GPT-6 Sol/Luna”;外部报道中 Astra 常被写成"GPT-5.6 Astra"(甚至同一篇搜狐转载里两处不一致)。引用前必须回 OpenAI 官方命名确认。
- ⚠️ 第三方测得的实际支出可能与"便宜 40%“相反:Artificial Analysis 称,在最高档 max effort 下 Opus 5.5 每题平均消耗约 11.9 万 token(其中思考 8.4 万),比上一代多想约 60%、比 GPT-6 Astra 多想约 4 倍。单价降两成,思考量涨六成,账单未必降。 Anthropic 的"40%“是基于默认档常规负载的测算。
- ⭐⭐ 最有价值的一条核查:带护栏的跑分是「多模型协作」结果。 Anthropic 明确承认评测时启用了生产护栏,网安任务实际由 Opus 4.8 完成、生物任务由 Opus 5 完成,并说这会拉低那些子项分数。⇒ 任何对外引用"Opus 5.5 在某项达到 X%“都必须带这个限定。
- 标准误问题(来自第三方整理 Anthropic 报告的表格):Terminal-Bench 4.0 ±2.6 分、Terminal-Bench-Science 最高 ±5 分。而包括 Opus 5.5 对 Fable 5.1 在内,好几个被媒体写成"碾压"的差距就落在 2–6 分区间内。在引用任何"领先 X 个百分点"之前先看标准误。
- Vals AI 的 RSI 指数"全球第一"我没找到一手出处(只见于中文二手整理),暂不作为论据使用。 若要用,需回 Vals AI 官方 leaderboard 确认指标定义。
- 同理,Artificial Analysis 智能指数 58 分也只见二手整理;我核了他们的 token 消耗数据也来自同一来源,引用时必须写明是第三方测算。
- ⚠️ 我对 Astra 的那段"两种叙事"的评论要克制:RoboLab 98% 与本文的"生成慢一筹"测的是完全不同的能力,把两者并列是在讲舆论印象的脆弱,不是在讲模型。不要把这个对照当成对 Astra 的评价。
- 关于 Grok 4.7:文末提及它同期发布但无人问津。我没有找到发布日期与一手来源(这可能就是你看的那一处二手提及),这条我不引用。 另外"受害者网友居多"“花了八小时"同样是单一个案的转述。
本文为阅读剪藏(摘要 + 摘录 + 评论),非原文转载。查看原文