# 随堂测验！大语言模型能帮助逆向工程吗？ > 检验 OpenAI 的 Codex 模型 code-davinci-001 能否在零样本问答式提示中回答有关 C 代码的逆向工程问题。程序来自作者编写的模板，涵盖网络安全代码片段以及 PID 控制器、滤波器等工业控制算法，另有五个来自 vx-underground 的单文件 Linux 恶意软件样本。每个程序以原始或名称随机化的源码，或以 gcc -O1 构建（带调试信息、不带调试信息或剥离符号）经 Ghidra 反编译的形式呈现。在探索性的开放式提问之后，作者针对程序用途、能力与关键变量自动生成判断题和简答题，并依据答案标准评分；Codex 在 136,260 个问题中答对 72,754 个。 - 作者：Hammond Pearce; Benjamin Tan; Prashanth Krishnamurthy; Farshad Khorrami; Ramesh Karri; Brendan Dolan-Gavitt - 原标题：Pop Quiz! Can a Large Language Model Help With Reverse Engineering? - 发表载体：arXiv - 发表状态：预印本 - 出版／提交日期：2022 年 2 月 2 日 - 日期依据：arXiv v1 首次提交日期；未找到后续版本、期刊引用信息或会议论文集出版记录。 - arXiv 首次提交：2022 年 2 月 2 日 - arXiv：2202.01142 - 已复核的 arXiv 版本：v1 - 来源复核于：2026-10-27 - 收录于：2026-11-03 - 原始论文： - PDF： - BibTeX： - 目录页面： - 记录 JSON： - 英文版：[English](https://awesomerea.org/papers/paper-pop-quiz-llm-re/index.md) ## 研究范围与局限 全部结果均来自单一模型 code-davinci-001，OpenAI 已于 2023-03-23 停用该模型，因此无法针对原模型重跑实验，结果也不代表当前的大语言模型。准确率依据自动生成的判断题与简答题测验衡量，判断题以正反两种表述成对提出以揭示回答偏向，并非真实分析任务；总体 53.4% 的正确率使作者得出大语言模型尚不能胜任零样本逆向工程的结论。程序均为可放入模型约 4,000 词元窗口的小型单文件 C 代码，且只以 -O1 编译；真实恶意软件类别仅有五个样本。答案标准结合了作者标注与 capa 工具的能力匹配结果。 ## 与本合集的关联 收录本书目中最早的大语言模型逆向工程评测，为本节后续的大语言模型二进制分析研究提供基线。 ## 发表与复核说明 审阅了 arXiv v1，即唯一版本；其注释为“18 pages, 19 figures”，并链接 Zenodo 记录 10.5281/zenodo.5949075。该编号是数据集 DOI，不作为论文标识符。在 Crossref 中未找到经同行评审的版本。该记录（CC BY 4.0，由同样六位作者发布的 692 MB 文件 codex-reverse.zip）包含测试框架脚本、记录的 Codex 回答及生成的程序实例。README 要求 Ghidra 和 OpenAI API 密钥，构建日志列出了 experiments/malware 下的编译实例，可见压缩包似乎包含这些恶意软件样本。 ## 一手来源 1. 2. 3. 4. 5. ## 关于此条目 已依据论文及一手来源复核。请通过原始论文或 BibTeX 引用原作者。 原创说明采用 MIT 许可；外部项目、论文与素材保留各自的权利和许可。