Terminal-Bench 在过去两年里已经成为 AI 编程智能体的事实基线,GitHub 上以 相关开源仓库 为前缀的多个分支都在围绕它扩展。但 Terminal-Bench 测的是写代码,而企业真正想用 Agent 做的事远不止写代码——财务要跑对账模型,实验室要批量处理生物数据,工程团队要做有限元仿真,这些工作流既不是教科书练习,也不是标准化考试题。 终端基准测试团队在 0.1 版本的公告里明确写到,科学能力的衡量必须满足三条要求。第一,要来自真实科学实践,而不是教科书问题或标准化练习,任务必须由从业科学家本人贡献,这样才能保证测的是真问题。第二,必须有可验证的能力证据,在真实环境里评估智能体,用可复现的、任务专属的测试对分析、仿真、证明、代码和数据产物打分。第三,基准必须和前沿 AI 同步演进,不是发一次就放手不管的论文式基准,而是随着模型能力变化不断调整的持续反馈循环。这三条要求直接把传统基准的一次性、任务同质、开发者视角三个老毛病拆掉。 具体到 0.1 版本的内容覆盖,Terminal-Bench-Science 当前包含 70 个任务,生命科学 19 个,物理科学 17 个,数学科学 17 个,工程科学 9 个,地球科学 8 个。任务类型横跨科学数据分析、统计推断、仿真、优化、定理证明、图像重建、信号处理、反问题、传感器校准、模型拟合、分类和科学机器学习十二大类。任务本身通过 GitHub 上的开放流程征集,讨论和反馈在 Discord 的 #tb-science 频道进行。从提交到入库要走三关:提案阶段由评审讨论每个想法,留下反馈并批准那些看起来科学性强、值得测量的;实施阶段是开 pull request,确认每个任务都客观可验证、对前沿 Agent 真正有挑战、不是今天的前沿系统已经轻松能做的;把关阶段由领域评审评估科学有效性和真实度,技术评审检查任务构造和验证机制,最后由 bar raiser 做最终质量检查。 整个筛选过程相当残酷。官网数据显示,Terminal-Bench-Science 0.1 共收到 920 个任务提案,其中 464 个被批准实施,386 个 pull request 被打开,最终入库的只有 70 个,入库率 7.6%。这种筛选强度本身就是一种信号——科研工作流不是随便就能拆出可验证任务的,既要科学上有意义,又要在终端环境里能客观打分,中间还要能通过对抗性 reward hack 检验,任何一关不过都进不了榜。

二、0.1 排行榜与能力图谱

公告给出的官方排行榜包含 10 个模型加智能体组合,排名按 70 个任务上的平均解题率计算,每个模型对每个任务独立跑 3 次取均值。Claude Opus 5 加 Claude Code 组合以 30.0% 排第一,GPT-5.6 Sol 加 Codex 以 22.4% 排第二,Claude Fable 5 加 Claude Code 21.4% 排第三,Claude Opus 4.8 加 Claude Code 10.5% 居中。GPT-5.6 Terra、Kimi K3、Grok 4.6 三个都在 10% 以下,GLM 5.3 是表现最强的开源模型拿到 8.1%,GPT-5.6 Luna 垫底只有 3.3%。

把这串数字和 Terminal-Bench 自己的版本迭代放在一起看更值得玩味。在 Terminal-Bench 2.1 上,Fable 5 的解题率是 83.8%,Opus 4.8 是 78.9%,GPT-5.6 Terra 78.4%,GPT-5.6 Luna 75.7%。到 Terminal-Bench 3.0,Fable 5 是 33.8%,Opus 4.8 21.1%,GPT-5.6 Terra 20.8%,GPT-5.6 Luna 14.3%。再到 Terminal-Bench-Science 0.1,Opus 5 30.0%,GPT-5.6 Sol 22.4%,Fable 5 21.4%,Opus 4.8 10.5%,GPT-5.6 Terra 8.6%,GPT-5.6 Luna 3.3%。三个版本之间的分数段位排得很整齐,但绝对值一档比一档低,跨版本普遍掉 10 个百分点以上。这不是巧合——0.1 版的任务在评审阶段就被故意校准到能让最新前沿模型也犯难的难度,确保基准不会快速饱和。

排行榜另一项关键输出是 cost-resolution 图,横轴是 70 个任务的总评估成本,纵轴是解题率。Opus 5 和 GPT-5.6 Sol 在成本轴上属于高位区间,Fable 5、Opus 4.8 属于中位,Gemini 缺席官方榜单这件事在社区讨论中被反复点名,作者团队回应说正在和 Google 沟通接入。从企业落地的视角,这张图比纯排行榜更有价值——它把花多少钱能拿多少分这个最关键的部署决策变量直接画出来,而这件事在前一代基准里几乎没有清晰答案。

三、Messier:评测的评测

如果说 Terminal-Bench-Science 把评测本身做深,那 学术论文 的 Messier 论文就是反过来,评测评测这件事。论文 2026 年 7 月 28 日提交第一版,8 月 30 日修订第二版,由五位研究者共同署名。论文核心贡献是一个统一语料库,覆盖 957611 条记录,跨 30 个基准、745 个智能体、11891 个任务、74263 个验证器,把公开评测结果和新的补跑实验合并到同一张表里。

Messier 的切入点是评测碎片化。当下评测一个 Agent 要面对一堆互不兼容的任务、scaffold、验证器和打分规则,各家实验室各自跑各自的,结果没法横向对比,rerun 又贵得离谱。Messier 通过一个共同 schema 把所有异构组件标准化,这才让跨基准、跨智能体的横向对比第一次有了真正可信的数据基础。

论文给出的能力图谱比单点基准排行榜更冷静。它把现有基准按领域分组后,得出三个关键结论。第一,函数调用类评测已经基本饱和,新模型在这类基准上的提升空间非常有限。第二,编程类评测进步最快,这一年里最好的编程 Agent 在 SWE-bench 系列上的分数涨得最快。第三,企业工作流是当前最难赛道,绝大多数基准里企业工作流任务的解题率都明显低于其他类别。这第三个结论对企业最关键——它不是猜测,是 30 个基准、745 个智能体的实证对比结果。

论文还做了一个反事实打分实验,证明多验证器任务里严格 all-pass 评分会改变 Agent 排名。原来用宽松通过率排第一的 Agent,改用严格全验证器通过率后可能跌出前三。这件事在企业落地里特别要命——很多真实任务就是多验证器结构,既要格式对又要数值对又要边界条件满足,而现有基准的宽松打分给了模型一种虚高分数,实际部署时这种 Agent 反而更危险。

最后,论文用这套语料推导出一组 capability score,跟 Epoch 的 Evaluation Capability Index 排名相关性达到 Spearman ρ = 0.84,这是相当强的关联。这组分数可以按领域、职业、动作空间、验证器类型切片得到子集分数,直接服务于在某个特定企业场景下选哪个 Agent 的决策。

四、合起来读:科研 Agent 与企业 Agent 的对照

把 Terminal-Bench-Science 和 Messier 两篇放在一起,会出现一些对智能体落地方向非常关键的洞察。

第一,科学工作流的难度不是均匀的。Terminal-Bench-Science 的 70 个任务里,最高分的 Opus 5 也只拿到 30%,这比 Terminal-Bench 3.0 上的 Fable 5 33.8% 还低,但 Fable 5 在科研基准上又掉到 21.4%。这意味着即便是同一对模型加 Agent 组合,跨场景的迁移性远没看上去那么好。一个能在 SWE-bench 上拿 80% 分的 Agent,放到真实科研工作流可能只剩 30%,而 30% 在企业级要求里基本等于不可用。

第二,评测范式正在分化。Terminal-Bench 走的是难任务加严格验证器加持续演进路线,专门挑前沿模型也会卡壳的任务;Messier 走的是全量语料加跨基准加标准化 schema 路线,把已有评测的横向可比性问题系统解决。两条路不冲突,反而互补——前者负责把难度天花板往上抬,后者负责把现有评测地基铺平。任何企业 Agent 选型决策都应该把这两类信号都看进去,只看 Terminal-Bench 排行榜会高估编程 Agent 的能力,只看 Messier 横向对比又会忽略前沿突破的速度。

第三,企业场景验证器本身的设计是隐形瓶颈。Terminal-Bench-Science 的 canary GUID 机制、39-criteria implementation rubric、reward-hack 验证、Docker build 加 oracle/nop validation 这套机制,本质是在定义什么算一道题答对了。Messier 论文里 74263 个验证器的异构问题进一步说明,验证器不一致是当前评测体系最大的一致性杀手。对企业来说,内部建立一套类似 Terminal-Bench 的任务加验证器基础设施,比直接套用任何公开基准都更能反映真实业务能力。

第四,模型加 Agent 组合不是可以拆开看的东西。Terminal-Bench-Science 排行榜里 GLM 5.3 是最强的开源模型 8.1%,但绑的是 Claude Code;同样的 Claude Code 在 Fable 5 上拿到 21.4%,在 Opus 4.8 上拿到 10.5%。这说明 Agent 框架本身有一个独立的技能曲线,模型是底层能力,Agent 是调用方式,二者组合后才决定真实任务表现。企业部署 Agent 时,绝不能只看模型本身的基准排名,必须测模型在自己选定的 Agent 框架上的真实表现。

五、对企业智能体落地的三条建议

把上面这些分析落到具体决策,可以得到三条建议。

  • 第一条,企业 Agent 选型不要只看单点基准,必须做内部回测。Terminal-Bench-Science 的 70 个任务里,科学数据分析、统计推断、仿真、优化这些类别其实和企业里的财务对账模型、运营优化、流程仿真、数据清洗任务有相当结构上的相似性。把企业内部 20 到 50 个真实工作流拆出来,按照 Terminal-Bench 的 Propose → Build → Review 流程做成内部任务集,每个任务配独立验证器,然后拿候选模型加 Agent 组合去跑三轮取均值,这个数字比任何公开排行榜都更接近落地表现。
  • 第二条,验证器一致性问题要前置解决。Messier 论文里 74263 个验证器的异构事实说明,公开评测体系里的答对两个字含义千差万别。企业落地时,一个工作流里通常有多个验证点,包括格式对、数值对、边界条件对、副作用为零、对账闭环,内部任务集必须采用严格 all-pass 评分,任何一项不过都算整体失败,避免给 Agent 虚高分数导致上线翻车。
  • 第三条,把评测当成产品持续运营,不是一次性项目。Terminal-Bench-Science 自己就是按持续基准思路设计的,0.1 到 0.2 之间还要持续接收提案、改进任务、扩充覆盖,0.2 版本的 pull request 截止到 2026 年 10 月 5 日。企业内部的 Agent 评测体系也应该照这个思路建——业务每季度都会变,旧任务会饱和,新工作流会出现,评测体系如果停在 1.0 版本不动,半年后就会给到错误的选型信号。

回到一开始的问题,Terminal-Bench-Science 和 Messier 合起来给出的答案是:科研工作流的难度天花板已经被显著抬高,企业工作流是当前最难赛道且进展最慢,模型加 Agent 组合的真实能力远低于单看任一方的预期。把这三件事钉死,企业智能体的选型和落地决策才能避免被乐观基准分数误导。

结语:科研与企业 Agent 选型的真实信号

回到一开始的问题,Terminal-Bench-Science 和 Messier 合起来给出的答案是:科研工作流的难度天花板已经被显著抬高,企业工作流是当前最难赛道且进展最慢,模型加 Agent 组合的真实能力远低于单看任一方的预期。把这三件事钉死,企业智能体的选型和落地决策才能避免被乐观基准分数误导。