# ProgramBench：语言模型能否从零重建程序？

> 通过 200 项任务评估黑盒程序重建：智能体运行可执行文件进行探测并阅读文档，再独立实现代码库，由生成的测试检查其行为。

- 作者：John Yang; Kilian Lieret; Jeffrey Ma; Parth Thakkar; Dmitrii Pedchenko; Sten Sootla; Emily McMilin; Pengcheng Yin; Rui Hou; Gabriel Synnaeve; Diyi Yang; Ofir Press
- 原标题：ProgramBench: Can Language Models Rebuild Programs From Scratch?
- 发表载体：NeurIPS 2026
- 发表状态：会议已接收
- 出版／提交日期：2026 年（具体日期未核实）
- 日期依据：NeurIPS 2026 官方海报列表确认会议接收；不推定论文集的出版日期。
- arXiv 首次提交：2026 年 5 月 5 日
- arXiv：2605.03546
- 已复核的 arXiv 版本：v1
- DOI：10.48550/arXiv.2605.03546
- 来源复核于：2026-10-16
- 收录于：2026-10-17
- 原始论文：<https://arxiv.org/abs/2605.03546>
- PDF：<https://arxiv.org/pdf/2605.03546v1>
- 代码：<https://github.com/facebookresearch/ProgramBench>
- 项目：<https://programbench.com/>
- BibTeX：<https://awesomerea.org/papers/citations/paper-programbench.bib>
- 目录页面：<https://awesomerea.org/zh/papers/paper-programbench/>
- 记录 JSON：<https://awesomerea.org/papers/paper-programbench/record.json>
- 英文版：[English](https://awesomerea.org/papers/paper-programbench/index.md)

## 研究范围与局限

推理阶段禁止检查二进制内容、反编译和访问互联网。通过有限测试不能证明完整行为等价或恢复了原始源码。实时榜单中的后续运行结果应与所审阅 arXiv 版本的结果区分。

## 与本合集的关联

为通过实验恢复软件行为提供可执行基准，与允许静态二进制分析的评测互为补充。

## 发表与复核说明

NeurIPS 列出 2026 年 12 月的海报报告；本条记录接收状态，不视为论文集已出版。2026 年 7 月的 DL4C 口头报告属于另一次非存档研讨会展示。DOI 指向 arXiv 预印本。固定版本的评测程序为 1.2.5，采用 MIT 许可；生成测试数据集保留逐任务署名与上游许可条款，包括衍生部分的 copyleft 义务。

## 一手来源

1. <https://arxiv.org/abs/2605.03546>
2. <https://arxiv.org/html/2605.03546v1>
3. <https://neurips.cc/virtual/2026/poster/139090>
4. <https://neurips.cc/Downloads/2026>
5. <https://dl4c.github.io/papers/>
6. <https://dl4c.github.io/callforpapers/>
7. <https://programbench.com/>
8. <https://github.com/facebookresearch/ProgramBench/blob/895f65916bc5ba34a915d36da321fde0301125ad/README.md>
9. <https://github.com/facebookresearch/ProgramBench/blob/895f65916bc5ba34a915d36da321fde0301125ad/docs/README.md>
10. <https://github.com/facebookresearch/ProgramBench/blob/895f65916bc5ba34a915d36da321fde0301125ad/pyproject.toml>
11. <https://github.com/facebookresearch/ProgramBench/blob/895f65916bc5ba34a915d36da321fde0301125ad/LICENSE>
12. <https://huggingface.co/datasets/programbench/ProgramBench-Tests/blob/de0ddfb637590c7ecb54fa0b5301f6dc7dfbcee5/README.md>

## 关于此条目

已依据论文及一手来源复核。请通过原始论文或 BibTeX 引用原作者。
原创说明采用 MIT 许可；外部项目、论文与素材保留各自的权利和许可。