# BinMetric：面向大语言模型的综合二进制代码分析基准 > BinMetric 提供六类二进制分析任务共 1,000 道题目：调用点重建、反编译、函数签名恢复、二进制代码摘要、算法分类与汇编指令生成。题目取自 20 个开源 C 项目：项目针对 x86-64 编译、剥离符号并经 IDA Pro 处理，再借助 DWARF 信息与源码对齐。作者使用单样例提示评测来自五个模型家族的 12 个大语言模型，并在适用任务上与 IDA Pro 反编译器、LLM4Decompile、BinT5 和 HexT5 对比。 - 作者：Xiuwei Shang; Guoqiang Chen; Shaoyin Cheng; Benlong Wu; Li Hu; Gangyang Li; Weiming Zhang; Nenghai Yu - 原标题：BinMetric: A Comprehensive Binary Code Analysis Benchmark for Large Language Models - 发表载体：IJCAI 2025 - 发表状态：会议论文 - 出版／提交日期：2025 年 9 月 - 日期依据：IJCAI 组织向 Crossref 提交的元数据给出出版月份为 2025 年 9 月；论文集页面的引用元数据另给出 2025-09-16。本条目采用两处来源均载明的月份，不使用 8 月 16–22 日的会议日期。 - arXiv 首次提交：2025 年 5 月 12 日 - arXiv：2505.07360 - 已复核的 arXiv 版本：v1 - DOI：10.24963/ijcai.2025/858 - 来源复核于：2026-10-18 - 收录于：2026-10-19 - 原始论文： - PDF： - BibTeX： - 目录页面： - 记录 JSON： - 英文版：[English](https://awesomerea.org/papers/paper-binmetric/index.md) ## 研究范围与局限 得分是针对孤立代码片段的题目级指标，并不代表端到端逆向工程流程或智能体工具使用能力。预处理需要 IDA Pro，所有二进制均是在 Ubuntu 22.04 上以各项目默认编译设置构建的 x86-64 程序；未研究其他架构、优化级别变化或混淆。多数任务以 Rouge-L、BLEU、METEOR 或 CodeBLEU 衡量文本重合度，因而并不检验语义等价；只有汇编生成任务检查能否编译及测试用例执行结果，其平均执行通过率低于 1%。摘要标签由 ChatGPT 生成后经人工审核；算法分类使用取自单一算法项目的 80 个片段。数据泄露筛查依赖网页精确匹配搜索。被评测模型均早于 2025 年（包括 gpt-3.5-turbo-16k-0613 与 gpt-4-0613），最大长度设为 8,192 个词元，因此排名只反映当时情况。 ## 与本合集的关联 补充一个涵盖二进制提升、语义恢复、算法识别与汇编合成的多任务基准，与单一任务的反编译及智能体基准互补。 ## 发表与复核说明 论文集中的标题为“Binary Code Analysis Benchmark”；arXiv 唯一版本 v1 的标题为“A Comprehensive Binary Analysis Benchmark for Large Language Models”，是 23 页的扩展版本，备注称将发表于 IJCAI 2025。论文集 PDF、页面元数据与 Crossref 一致给出八位作者顺序、DOI 及主会第 7715–7723 页。论文集 PDF 与 arXiv v1 均未链接代码、数据或排行榜。GitHub 上一个同名仓库自称为该 IJCAI’25 基准，但未声明许可证，论文也未链接它。各任务题目数分别为调用点重建 70 道、反编译 250 道、签名恢复 250 道、代码摘要 250 道、算法分类 80 道、汇编生成 100 道。 ## 一手来源 1. 2. 3. 4. 5. ## 关于此条目 已依据论文及一手来源复核。请通过原始论文或 BibTeX 引用原作者。 原创说明采用 MIT 许可；外部项目、论文与素材保留各自的权利和许可。