# EnIGMA：交互式工具显著帮助语言模型智能体发现安全漏洞 > EnIGMA 在 SWE-agent 基础上面向 CTF 题目进行扩展：交互式智能体工具可在多轮之间保持 gdb 调试会话或 pwntools 服务器连接，另有反编译与反汇编命令、用于长输出的语言模型摘要器，以及按题目类别编写的示例和指导。论文使用四种语言模型，在 NYU CTF、InterCode-CTF、Cybench 及作者收集的 HackTheBox 题集共 390 道题目上评测；还对工具、摘要器和示例做消融实验，并分析解答泄露和“自言自语”（soliloquizing）现象，即模型不与环境交互而自行编写观察结果。 - 作者：Talor Abramovich; Meet Udeshi; Minghao Shao; Kilian Lieret; Haoran Xi; Kimberly Milner; Sofija Jancheska; John Yang; Carlos E Jimenez; Farshad Khorrami; Prashanth Krishnamurthy; Brendan Dolan-Gavitt; Muhammad Shafique; Karthik R Narasimhan; Ramesh Karri; Ofir Press - 原标题：EnIGMA: Interactive Tools Substantially Assist LM Agents in Finding Security Vulnerabilities - 发表载体：ICML 2025 - 发表状态：会议论文 - 出版／提交日期：2025 年 10 月 6 日 - 日期依据：PMLR 说明第 267 卷于 2025 年 10 月 6 日出版，与论文页面 citation_publication_date 所载 2025/10/06 一致；本条目不采用 2025 年 7 月 13–19 日的会议日期。 - arXiv 首次提交：2024 年 9 月 24 日 - arXiv：2409.16165 - 已复核的 arXiv 版本：v3 - 来源复核于：2026-10-18 - 收录于：2026-10-19 - 原始论文： - PDF： - 代码： - 项目： - BibTeX： - 目录页面： - 记录 JSON： - 英文版：[English](https://awesomerea.org/papers/paper-enigma/index.md) ## 研究范围与局限 各基准混合了密码学、取证、二进制漏洞利用、逆向工程、Web 与杂项任务（390 道题中有 104 道为逆向工程），因此 NYU CTF 上 13.5% 等总体解题率并不等于逆向工程准确率。分类别表格报告，使用 Claude 3.5 Sonnet 时，NYU CTF 中 51 道逆向工程题的解题率为 17.65%。结果采用 pass@1，每道题成本上限为 3 美元，使用 2024 年的模型（GPT-4 Turbo、GPT-4o、Claude 3.5 Sonnet 与 LLaMA 3.1 405B Instruct）；NYU CTF 基线对比采用 pass@5。许多题目存在公开题解，作者对泄露和“自言自语”的度量属于启发式方法；在 21 道较晚发布的 CSAW 2024 题目上，最佳配置解出 2 道。解出 CTF 题目表明获得了 flag，而非恢复了程序结构或源码。 ## 与本合集的关联 评估交互式调试和连接工具如何影响智能体在包含逆向工程的 CTF 任务上的表现，与本节中专门针对逆向工程的基准互补。 ## 发表与复核说明 16 位作者的顺序以 PMLR 页面和 arXiv 记录为准；PMLR 元数据写作“Carlos E Jimenez”和“Karthik R Narasimhan”，PDF 印作“Carlos E. Jimenez”和“Karthik Narasimhan”。PMLR 列出页码 246–355，未提供 DOI；arXiv v3 备注为“ICML 2025”。SWE-agent README 仍引用较早的 arXiv 标题“EnIGMA: Enhanced Interactive Generative Model Agent for CTF Challenges”。PMLR 的软件链接指向会变动的 v0.7 分支；分支头 084d5d1（2025-04-28）采用 MIT 许可证，并说明使用 Docker 镜像 sweagent/enigma:latest 运行题目。当前 main 分支 README 称，在 EnIGMA 更新至 1.0 期间应使用 SWE-agent 0.7。项目网站链接了运行轨迹（MIT）；另一个基准仓库仅重新格式化了 Cybench 与 InterCode-CTF，版权仍归原作者，因此并未提供 HackTheBox 题集。表 9 中 NYU 智能体的总体解题率 3.00 与 4.00 与正文所述顺序相反。 ## 一手来源 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. ## 关于此条目 已依据论文及一手来源复核。请通过原始论文或 BibTeX 引用原作者。 原创说明采用 MIT 许可；外部项目、论文与素材保留各自的权利和许可。