# Cybench：评估语言模型网络安全能力与风险的框架 > Cybench 将来自四项竞赛（HackTheBox Cyber Apocalypse 2024、SekaiCTF 2022–23、GlacierCTF 与 HKCert）的 40 道专业级夺旗赛题目整理为可运行的智能体任务。每道题目都包含题目描述、初始文件、供智能体使用的 Kali Linux 容器及以 Docker 运行的题目服务器，并记录首个人类队伍的解题用时（2 分钟至 24 小时 54 分钟）。每道题目还被拆分为若干子任务，用于评估中间步骤。作者使用结构化 bash 智能体评测了八个模型，并为 GPT-4o 与 Claude 3.5 Sonnet 比较了四种智能体框架。在没有子任务引导时，表现最好的智能体只解出了人类首解用时不超过 11 分钟的题目；Claude 3.5 Sonnet 的无引导成功率为 17.5%。 - 作者：Andy K. Zhang; Neil Perry; Riya Dulepet; Joey Ji; Celeste Menders; Justin W. Lin; Eliot Jones; Gashon Hussein; Samantha Liu; Donovan Jasper; Pura Peetathawatchai; Ari Glenn; Vikram Sivashankar; Daniel Zamoshchin; Leo Glikbarg; Derek Askaryar; Mike Yang; Teddy Zhang; Rishi Alluri; Nathan Tran; Rinnara Sangpisit; Polycarpos Yiorkadjis; Kenny Osele; Gautham Raghupathi; Dan Boneh; Daniel E. Ho; Percy Liang - 原标题：Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models - 发表载体：ICLR 2025 - 发表状态：会议论文 - 出版／提交日期：2025 年（具体日期未核实） - 日期依据：采用 ICLR 官方论文集标明的出版年份，不主张更精确的出版日期。本条目不采用论文集页面中 2025-05-01 的引用日期，也不以 arXiv 日期替代。 - arXiv 首次提交：2024 年 8 月 15 日 - arXiv：2408.08926 - 已复核的 arXiv 版本：v4 - 来源复核于：2026-10-19 - 收录于：2026-10-27 - 原始论文： - PDF： - 代码： - 项目： - BibTeX： - 目录页面： - 记录 JSON： - 英文版：[English](https://awesomerea.org/papers/paper-cybench/index.md) ## 研究范围与局限 40 道题目中只有 6 道属于逆向工程，其余为密码学（16）、Web（8）、取证（4）、杂项（4）与漏洞利用（2），因此总体成功率并不代表逆向工程准确率，Cybench 也不是专门的逆向工程基准。在无引导的结构化 bash 实验中，八个模型中有六到七个解出了两道最简单的逆向题（人类首解用时分别为 2 分钟和 6 分钟），其余四道均无模型解出。结果仅涵盖 2024 年的模型（GPT-4o、o1-preview、Claude 3 Opus、Claude 3.5 Sonnet、Gemini 1.5 Pro、Llama 3 与 3.1、Mixtral 8x22b）及作者的智能体框架：无引导模式 15 轮、子任务模式每个子任务 5 轮，记忆较短，未提供反编译器工具；主比较只尝试一次，框架比较取三次尝试中的最好结果。首解用时来自各竞赛记录，不同竞赛之间不能直接比较。作者依据模型知识截止日期判断训练—测试重叠，无法排除 Claude 3.5 Sonnet 存在重叠。夺旗赛题目是用时较短、代码规模较小的竞赛问题，夺得旗标并不表明恢复了程序结构。 ## 与本合集的关联 补充一个含逆向工程题目并按子任务评分的夺旗赛智能体基准；本节收录的 EnIGMA 也报告了在该基准上的结果，它与本节专门面向逆向工程的基准互补。 ## 发表与复核说明 作者以论文集 PDF 的署名为准，与 arXiv v4 一致。论文集页面元数据则列出 25 人：缺少 Polycarpos Yiorkadjis 与 Gautham Raghupathi，在 PDF 印作 Mike Yang、Teddy Zhang 与 Kenny Osele 之处写作 Haoxiang Yang、Aolin Zhang 与 Kenny Oseleononmen，并省略了中间名缩写。论文集列出页码 25094–25243，没有 DOI。arXiv v1 发布于 2024-08-15，v2 为 2024-10-06，v3 为 2024-12-05，v4 为 2025-04-12；v4 注释为“ICLR 2025 Oral”。OpenReview 论坛页因浏览器验证无法获取，因此口头报告身份依据该注释。论文集摘要链接的是匿名 Google Drive 压缩包，而 PDF 指向 cybench.github.io，该网站链接 andyzorigin/cybench。在所审阅的 2026-09-24 提交中，仓库采用 Apache-2.0 许可证；运行需要模型 API 密钥、Python 3.9–3.10 以及使用 cybench/cybench 镜像的 Docker。其 task_list.txt 列出全部 40 道题目，但九道 GlacierCTF 题目（包括逆向题 RPGO 与 SOP）不在仓库目录中。 ## 一手来源 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. ## 关于此条目 已依据论文及一手来源复核。请通过原始论文或 BibTeX 引用原作者。 原创说明采用 MIT 许可；外部项目、论文与素材保留各自的权利和许可。