Terminal-Bench-Science 上线:科学工作流 agent 评测基准,以及科研 agent 工程化新基线

2026 年 8 月,Terminal-Bench 团队与斯坦福大学联合发布了一个面向科研工作流的 Agent 评测基准——Terminal-Bench-Science 0.1。这个基准用 70 个专家策划的科研工作流任务覆盖生命科学、物理科学、地球科学、数学科学、工程科学五大领域,用可复现的领域专属测试对 AI Agent 生成的「分析、模拟、证明、代码、数据产物」进行打分。最强的模型 Claude Opus 5 也只能达到 30.0% 的解决率,排名第二的 GPT-5.6 Sol Codex 为 22.4%,第三的 Claude Fable 5 为 21.4%。这个数字本身就传递了一个强烈的工程信号:即使是当前最先进的 AI Agent,在真实科研工作流上的能力也远未达到「可靠助手」的标准。这一基准的设计理念——「由科学家而非模型开发者或数据供应商设定科学能力的标尺」——把科研 Agent 的评测从「玩具任务」拉回到「真实研究实践」,标志着科研 Agent 工程化进入了一个新阶段。几乎同一时间,另一份学术工作 ScienceBoard 也在 arXiv 上发布,以 169 个跨学科任务验证了类似的结论:前沿 Agent 在真实科研工作流上的整体成功率仅 15%,远未达到「可信助手」的标准。两份工作共同构成了「科研 Agent 工程化」的新基线。

一、为什么科研 Agent 需要专属基准

科研工作流是 Agent 工程落地中最具挑战性的领域之一,其特殊性体现在三个方面。第一,科研任务的「真实复杂度」远高于通用编程或问答基准——一个天体物理数据分析任务可能需要安装特定的天文学软件包、加载特定格式的观测数据、运行多步骤的校准与拟合;一个生物信息学任务可能需要调用 NCBI 数据库、使用 BLAST 工具、执行多重序列比对。传统编程基准(SWE-Bench、Terminal-Bench)无法覆盖这种「跨学科工具组合」的能力,因为它们的任务集中在软件开发场景。第二,科研任务的「评判标准」高度专业化——一个数学定理的证明是否正确需要形式化验证,一个分子动力学模拟的参数选择是否合理需要领域专家判断,一个材料科学的数据分析是否严谨需要参照领域最佳实践。通用基准的「测试通过率」指标无法准确反映科研任务的质量。第三,科研任务的「错误代价」通常很高——一个错误的实验结论可能误导后续研究方向,一个错误的临床数据分析可能影响治疗决策。科研 Agent 必须达到比通用 Agent 更高的可靠性标准,才能被严肃的科研工作者信任。

这些特殊性共同决定了科研 Agent 需要专属的评测基准,不能简单地把通用 Agent 基准的任务换成「科研主题」就当作科研基准。Terminal-Bench-Science 与 ScienceBoard 的设计都体现了这种专属化的工程判断——任务必须来自真实研究实践、评测必须基于领域可复现的测试、改进必须有科研社区的直接反馈。

二、Terminal-Bench-Science 的工程设计

Terminal-Bench-Science 0.1 的工程设计有几个关键决策。第一,任务必须「来自真实研究实践」——文档明确指出,「科学能力应该基于真实研究实践评估,而不是教科书问题或标准化练习,由从业科学家本人贡献」。这种设计直接回应了通用 Agent 基准「任务人造化、与真实场景脱节」的批评。70 个任务全部来自 Stanford 等机构的实际研究项目,覆盖 19 个生命科学任务(生物 8、医学 6、神经科学 4、生态进化 1)、17 个物理科学任务(天文 6、物理 5、材料 4、化学 2)、8 个地球科学任务、17 个数学科学任务(应用数学 6、运筹优化 5、形式化数学 3、统计 3)、9 个工程科学任务,横跨真实科研的完整光谱。

第二,评测必须「可复现、基于具体产物」——Terminal-Bench-Science 评估的是「分析、模拟、证明、代码、数据产物」等具体可验证的产物,用「任务专属的可复现测试」打分。这种设计避免了「LLM-as-judge」评估方式的不可靠性,因为科研产物的正确性可以通过数学证明、数值对比、单元测试等客观方式验证,不依赖主观判断。第三,基准必须「持续演进」——文档明确指出「Terminal-Bench-Science 是一个与 AI 前沿共同演进的持续基准」,科学家可以持续贡献新工作流、改进现有任务,形成「科研社区 → 基准 → AI 能力 → 科研加速」的反馈闭环。这种「持续演进」的设计让基准不会因为模型能力的快速进步而「过期」,保持了长期有效性。

从首批评测结果看,即使最强模型 Claude Opus 5 也只达到 30.0% 的解决率,意味着科研 Agent 距离「可靠助手」还有显著差距。这一数字本身不应该被理解为「科研 Agent 不行」,而应该被理解为「科研 Agent 工程化的真实基线」——30% 解决率告诉我们当前的能力边界,反过来也告诉科研 Agent 的工程团队「应该在哪里投入研发资源」。这种基于真实基线的研发投入比「盲目追求模型能力提升」更有针对性。

三、ScienceBoard 的并行视角

ScienceBoard 的设计与 Terminal-Bench-Science 有几个关键差异,但得出了类似的结论。ScienceBoard 提供两个互补贡献:一是「真实、多领域、动态、视觉丰富的科研工作流环境」,Agent 可以通过不同接口自主交互,加速复杂研究任务与实验;二是「169 个高质量、严格验证的真实任务基准」,覆盖生物化学、天文学、地球信息学等领域。ScienceBoard 评测了 GPT-4o、Claude 3.7、UI-TARS 等当时的前沿 Agent,得出整体成功率仅 15% 的结论——比 Terminal-Bench-Science 的 30% 还要低。

两个基准的不同结果揭示了科研 Agent 工程化的几个关键事实。第一,科研 Agent 的能力高度依赖「任务领域」——某些领域(如天文数据分析、化学信息学)有相对成熟的工具链与可验证的输出,Agent 表现较好;某些领域(如地球信息学、生物化学实验设计)需要复杂的多步骤判断与领域知识,Agent 表现较差。这种领域差异意味着 Agent 团队需要针对不同领域做专门的优化,而不是追求「通用科研 Agent」。第二,科研 Agent 的能力高度依赖「工具链成熟度」——任务中可调用的工具越多、工具接口越标准、工具组合的可验证性越强,Agent 表现越好。这意味着推动科研 Agent 进步的核心驱动力之一是「科研工具链的标准化与互操作性」,这与软件工程领域「先有成熟的工具链,才有成熟的 Coding Agent」的演进路径一致。

四、科研 Agent 工程化的方法论启示

从 Terminal-Bench-Science 与 ScienceBoard 的实践中,可以提炼出科研 Agent 工程化的几个方法论判断。第一,真实基线优先于乐观估计——传统的「Agent 能做科研」乐观叙事被这两个基准的 30% 与 15% 解决率直接打破,让科研 Agent 工程团队能基于真实能力边界做研发投入规划,而不是基于营销话术做盲目投入。第二,领域专属工具链是核心壁垒——通用 Agent 的能力天花板取决于它能调用的工具质量与覆盖度;科研 Agent 的能力天花板取决于它能调用的科研工具链的成熟度。这把科研 Agent 研发的核心战场从「模型训练」转向「工具链整合」,与软件工程领域 Coding Agent 的演进路径高度一致。第三,科研社区的参与是关键——只有真正的科学家才能贡献真实的研究任务,只有他们的领域知识才能评判任务完成质量,只有他们的持续反馈才能推动基准演进。Terminal-Bench-Science 的「由科学家设定标尺」设计正是这种判断的工程化体现。

第四,可复现性是科研 Agent 的根本属性——科研的核心是「可复现的实验」,任何无法被他人复现的成果都不被科学界认可。科研 Agent 生成的代码、模拟、分析必须可以被其他研究者复现,任何「黑盒操作」「隐藏假设」「随机种子未固定」都会让 Agent 的工作失去科研价值。Terminal-Bench-Science 用「任务专属的可复现测试」评估 Agent,正是为了确保 Agent 的工作符合科研可复现性要求。第五,跨学科协作能力是新维度——科研 Agent 不仅要会单一学科的工具,还要具备「跨学科组合工具」的能力。一个天体物理数据分析任务可能需要 Python 数据处理 + 天文学专业软件 + 数据库查询 + 论文检索;一个生物信息学任务可能需要序列比对工具 + 蛋白质结构预测 + 机器学习模型 + 实验设计建议。这种「跨学科工具组合」能力是科研 Agent 与 Coding Agent 的核心差异,也是科研 Agent 工程化的核心难点。

五、科研 Agent 的下一站

科研 Agent 的下一步演进会沿着几个具体方向展开。第一,基准覆盖的学科会更广、任务会更复杂——当前的 70 个任务(Terminal-Bench-Science)与 169 个任务(ScienceBoard)只是起点,真正的科研工作流数量是指数级的。未来的基准会覆盖更多学科、更多任务类型、更长的端到端工作流,逐步逼近「完整科研项目」级别的评测。第二,工具链整合会更深——科研 Agent 的能力天花板由工具链决定,推动科研工具 API 标准化、互操作框架统一、数据格式通用化,是科研 Agent 工程化的核心基础设施投入。第三,人机协作模式会更成熟——科研 Agent 不是要替代科学家,而是要让科学家从繁琐的执行工作中解放出来,专注于「定义研究问题、形成假设、解读验证结果、交流发现」等需要人类判断的部分。Terminal-Bench-Science 的设计目标就是「让 Agent 成为有用的研究助手」,这种「辅助而非替代」的定位会成为科研 Agent 工程化的主线。

从更宏观的视角看,科研 Agent 的工程化与整个 Agent 时代的演进逻辑一致——模型可以换,链路不能散。科研 Agent 的链路包括任务理解、工具调用、结果验证、跨学科协作等环节,每个环节都需要专门的工程投入。两个基准的发布让科研 Agent 的能力边界首次有了客观、可复现、可对比的度量工具,这本身就是科研 Agent 工程化的重要里程碑。未来的科研团队会像今天的软件团队使用 CI/CD 与单元测试一样,使用 Terminal-Bench-Science 这类基准持续验证 Agent 的能力进步,把「让 Agent 真正成为研究助手」的目标从愿景变成可量化、可迭代、可交付的工程实践。