# NYU CTF Bench：用于评估大语言模型攻击性安全能力的可扩展开源基准数据集 > NYU CTF Bench 收录 2017–2023 年 CSAW CTF 资格赛与决赛中经人工验证的 200 道题目，涵盖密码学、取证、二进制漏洞利用、逆向工程、Web 与杂项任务，并为题目提供 challenge.json 元数据，为需要服务端的题目提供 Docker 镜像。论文还提出一个自动化框架，通过函数调用为大语言模型提供执行 Shell 命令、创建文件、使用 Ghidra 反汇编与反编译、检查 flag 和放弃求解等工具。论文评测了五种大语言模型，并将其得分与 CSAW 2022 和 2023 的人类参赛队伍比较。 - 作者：Minghao Shao; Sofija Jancheska; Meet Udeshi; Brendan Dolan-Gavitt; Haoran Xi; Kimberly Milner; Boyuan Chen; Max Yin; Siddharth Garg; Prashanth Krishnamurthy; Farshad Khorrami; Ramesh Karri; Muhammad Shafique - 原标题：NYU CTF Bench: A Scalable Open-Source Benchmark Dataset for Evaluating LLMs in Offensive Security - 发表载体：NeurIPS 2024 Datasets and Benchmarks - 发表状态：会议论文 - 出版／提交日期：2024 年（具体日期未核实） - 日期依据：NeurIPS 官方论文集与出版方提交的 Crossref 元数据标明出版年份为 2024；论文集页面的 citation_publication_date 元数据为 2024-12-16，但 Crossref 与出版方说明均未确认该日期，因此仅记录年份。首次提交 arXiv 的日期另行记录。 - arXiv 首次提交：2024 年 6 月 8 日 - arXiv：2406.05590 - 已复核的 arXiv 版本：v3 - DOI：10.52202/079017-1832 - 来源复核于：2026-10-18 - 收录于：2026-10-27 - 原始论文： - PDF： - 代码： - 项目： - BibTeX： - 目录页面： - 记录 JSON： - 英文版：[English](https://awesomerea.org/papers/paper-nyu-ctf-bench/index.md) ## 研究范围与局限 200 道题中只有 51 道为逆向工程题（资格赛 31 道、决赛 20 道），因此总体解题率并不等于逆向工程准确率。所有题目均来自同一系列赛事，各类别数量不均衡；最初 567 道题中其余 367 道（包括事件响应类任务）因尚未完成验证而未收录。基线评测中，五次尝试中任意一次成功即算解出，每个模型限时 48 小时，且未进行统计检验。在 GPT-3.5、GPT-4、Claude 3、Mixtral 与 LLaMA 中，逆向工程类最佳解题率为 9.80%（GPT-4），两个开源模型未解出任何题目。与人类的比较基于四场 CSAW 赛事的比赛得分；公开仓库在论文发表后仍持续变化，后续运行未必与论文中的题目集或框架一致。 ## 与本合集的关联 提供一个容器化的公开 CTF 题目集，其中包含逆向工程子集；EnIGMA 等后续智能体研究在其上开展评测。 ## 发表与复核说明 13 位作者的顺序以 NeurIPS 论文集页面、PDF、arXiv 与 Crossref 为准。NeurIPS 第 37 卷列出页码 57472–57498；arXiv v3（2025-02-18）与所审阅的论文集文本一致。NeurIPS 检查清单给出 Zenodo 软件 DOI 10.5281/zenodo.13930622，对应 v20241008 基准发布版本；它是研究产物标识符，并非论文 DOI。所审阅的 NYU_CTF_Bench 快照（2025-09-22）采用 GPL-2.0，包含 200 道题的测试集和 55 道题的开发集，通过会克隆该仓库的 nyuctf Python 包安装，题目需要 Docker。论文中的 llm_ctf_automation 链接现重定向至 NYU-LLM-CTF/nyuctf_agents；其所审阅的 2026-07-17 快照采用 MIT 许可证，除基线外还包含后来的 D-CIPHER 多智能体系统。题目文件沿用原作者的条款。 ## 一手来源 1. 2. 3. 4. 5. 6. 7. 8. 9. ## 关于此条目 已依据论文及一手来源复核。请通过原始论文或 BibTeX 引用原作者。 原创说明采用 MIT 许可；外部项目、论文与素材保留各自的权利和许可。