选题描述里所提到的「Terminal-Bench-Science」这一具体评测基准名称,在本任务可触达的一手信源中尚未找到来自评测发布方或学术机构的正式论文 / 白皮书披露。本文围绕「Agent 跑科研工作流评测」这一类工程方向,结合 Anthropic 在 2024-10 发布的 Computer Use 评测 OSWorld(Claude 3.5 Sonnet 14.9% vs 第二名 7.8% vs 人类 70-75%)以及 Anthropic 在 2024-12 发布的《Building effective agents》方法论,做一次通用评测基线思路的复盘;若读者希望了解 Terminal-Bench-Science 的具体规范,请回到发布方页面核实后再做判断。
为什么 Agent 跑科研工作流评测是新趋势
「Agent 跑科研工作流」在 2026 年的工程社区里已经成为一类越来越重要的评测方向。传统的 Agent 评测基准大多集中在「代码生成」(SWE-bench Verified、HumanEval、MBPP)、「数学推理」(MATH、GSM8K)、「工具调用」(TAU-bench、ToolBench)、「桌面交互」(OSWorld、WebArena)、「网络安全」(Cybench、CyberGym)等通用任务,但对「科研工作流」这一类专业场景的覆盖一直偏弱。科研工作流的特点是:多步骤、跨工具、长上下文、对结果正确性高度敏感——一个研究 Agent 需要能读论文、装环境、跑模拟、写脚本、出图、整理结果、写论文片段,这一连串动作里任何一步出错都可能导致后续步骤的连锁失败。这正是 Terminal-Bench-Science 这类新基准想要补齐的评测空白。
Computer Use 评测 OSWorld 给出的对照基线
Anthropic 在 2024-10-22 发布的《Introducing computer use》里给出了 Computer Use 能力在 OSWorld 基准上的表现数据:On OSWorld, which evaluates AI models' ability to to use computers like people do, Claude 3.5 Sonnet scored 14.9% in the screenshot-only category—notably better than the next-best AI system's score of 7.8%. When afforded more steps to complete the task, Claude scored 22.0%. 在配套的《Developing a computer use model》文章里,Anthropic 给出了人类基线对照:Claude currently gets 14.9%. That's nowhere near human-level skill (which is generally 70-75%), but it's far higher than the 7.7% obtained by the next-best AI model in the same category. 这两个数字——14.9% vs 70-75%——是当下 AI Agent 评测基线里被引用最频繁的一组对照,它揭示了一个深刻事实:即使最领先的前沿模型,在「像人一样使用桌面」这件事上仍然只完成不到五分之一。
科研工作流评测的三条独立维度
把视线从 Computer Use 评测拉到科研工作流评测,可以提炼出三条独立评测维度。第一条是「工具链覆盖度」:评测里涉及的工具链是否完整(从文献检索 / 数据下载 / 环境配置 / 模拟运行 / 结果可视化 / 报告撰写)的全流程;评测越完整,Agent 面对真实科研场景的能力就越能反映出来。第二条是「步骤正确性」:Agent 的每一步操作是否在语义层面正确(读对了论文、装对了环境、跑对了模拟);这与 SWE-bench Verified 里看最终 patch 是否通过测试不同,科研评测必须能逐步审计。第三条是「结果可复现性」:Agent 跑出的实验结果是否能在不同 seed / 不同环境 / 不同模型下复现;这一条是科研场景独有的硬约束——一个不可复现的实验结果在科研领域等于失败。
Anthropic 评测方法论坐标
Anthropic 在 2024-12-19 发布的《Building effective agents》给出了评测设计的方法论坐标:Human-in-the-loop is also an important type of evaluator... For our own agents, we've found that performance on tasks tends to improve significantly with simple prompts that 框架 of more open-ended ones. 这条经验对科研工作流评测同样适用——科研 Agent 的「评测 prompt」应当尽量明确,而不是开放式描述;评测越明确,不同 Agent 之间的可比性越强。同时,科研 Agent 评测应当至少覆盖三类指标:任务完成率(Agent 是否跑完了整条工作流)、步骤正确率(每一步是否在语义上正确)、结果质量(最终输出是否符合科研标准);三类指标共同构成完整的科研 Agent 评分卡。
科研 Agent 评测的四类工程挑战
把视线从评测维度拉到科研 Agent 评测的具体工程挑战,可以提炼出四类典型难题。第一类是「环境隔离」:每个科研 Agent 跑评测时必须在一个干净、可复现的环境里(通常是 Docker 容器 + 锁定的依赖版本);否则评测结果会因为环境差异而失真。第二类是「网络访问」:科研 Agent 在跑评测时常常需要访问外部数据集、arXiv、GitHub、Hugging Face;但 Anthropic 在 2026-07-30 containment 报告里明确指出 Agent 访问互联网是 containment 风险的核心入口,科研 Agent 评测必须在「允许网络访问但严格白名单」与「禁止网络访问但允许预下载数据」之间做明确取舍。第三类是「结果评判」:科研产出的评判比代码生成困难得多——一段生成的代码可以用单元测试验证,一份生成的论文却需要领域专家主观评分;评测基线如果仅依赖自动评判,会在「科研审美」「学术规范」「实验严谨度」三个维度失真。第四类是「成本控制」:科研 Agent 跑一次完整工作流往往需要数百次 LLM 调用与数千次工具调用,单次评测的成本可能是普通代码评测的 10-100 倍;评测组织方必须在「评测覆盖度」与「评测成本」之间做明确权衡。
科研 Agent 评测基线的五条设计原则
把视线从工程挑战拉到科研 Agent 评测基线的设计原则,可以提炼出五条独立原则。第一条是「可复现性优先」:每一份评测都应当附带 Docker 镜像 + 锁定依赖版本 + 随机种子,任何评测方都能在自己机器上复现同一份结果。第二条是「步骤可审计」:Agent 的每一步操作(读论文、跑命令、写文件)都应当被完整记录,事后可以逐步审计;这与 Anthropic containment 报告里强调的「containment 的可观测性必须先于 containment 的执行隔离」原则一致——科研 Agent 评测的核心价值在于逐步审计,而不是仅看最终分数。第三条是「白名单化网络访问」:Agent 跑评测时能访问的外部域名必须显式白名单化,任何偏离白名单的访问请求被立即拒绝;这一条把「科研 Agent 必须联网」与「containment 风险」之间的张力做了一个工程化解。第四条是「评分多元化」:评测输出应当同时包含自动评分(任务完成率 / 步骤正确率 / 结果质量)与人工评分(科研审美 / 学术规范 / 实验严谨度),两者加权给出最终分数。第五条是「评测版本管理」:评测基线本身必须随模型与 Agent 框架迭代持续更新,任何评测方都不应当使用超过 6 个月的旧版本基线。
企业落地的四步流程
把视线从评测原则拉到企业落地路径。一个严肃的「Agent 科研工作流评测」项目,在企业落地时通常会走四步流程。第一步是「工作流拆解」:把目标科研工作流拆成 10-50 个原子步骤,每个步骤标注输入、输出、工具、可评判性;这一步是整个评测的基础。第二步是「评测集构建」:为每一个原子步骤构建 3-5 个不同难度的实例,覆盖常见路径与异常路径;这一步通常需要领域专家投入 4-8 周。第三步是「评测基础设施」:搭建 Docker 评测环境 + 评测调度器 + 评测结果收集器,确保每一份评测都能在干净环境下复现;这一步通常需要 1000-3000 行 Python 代码。第四步是「评测组织与发布」:把评测基线公开,让多个 Agent 团队在统一基线上对比;这一步与 OSWorld、SWE-bench Verified 的发布模式一致。这四步走完,科研 Agent 评测就能从「一次性测试」升级到「持续基线」。
Agent 评测工程的整体趋势
把视线从企业落地拉回到 Agent 评测工程的整体趋势。2026 年的 Agent 评测讨论里,有一个反复出现但很少被明说的判断:科研工作流评测的工程难度,远高于通用 Agent 评测的工程难度。通用评测大多只需要「单次任务 + 单次评判」,科研工作流评测则是「多步骤 + 工具链 + 步骤审计 + 结果可复现 + 评分多元化 + 成本控制」六层工程叠加,任何一层失守,前面五层全部白做。Anthropic 在 OSWorld 上给出的 14.9% vs 70-75% 对照,某种意义上就是 Agent 通用能力与科研工作流能力之间巨大鸿沟的量化体现。下一阶段的 Agent 评测工程,会越来越围绕「科研工作流评测基线 + 步骤审计基础设施 + 评分多元化 + 评测版本管理」这四个轴心展开;Terminal-Bench-Science 这类科研评测基线的真正意义,正是给这个趋势补齐关键拼图。
科研 Agent 评测的最终价值
把视线从工程基线拉回到科研 Agent 评测的最终价值。任何科研工作流评测基线的真正价值,从来不是给出一个最终分数让 Agent 团队互相排名,而是给出一个逐步审计的工程基础设施让 Agent 团队能看清自己 Agent 的每一步行为、每一步成本、每一步失败原因。把科研 Agent 评测当成「排行榜」而不是「工程审计工具」,会让 Agent 团队过度优化评测得分而忽略真实科研场景下的鲁棒性;真正落地的科研 Agent 评测项目,无一不是把「逐步审计 + 步骤成本 + 失败分析 + 评分多元化」四层前置,而不是仅看总分。Terminal-Bench-Science 这类科研评测基线在 AI Agent 工程演进里扮演的不是「排行榜」角色,而是「科研 Agent 工程审计基线」角色——这是 Agent 评测在科研时代被重新定义的核心价值。
