# Nova：结合层次注意力与对比学习的汇编代码生成式语言模型 > Nova 是面向 x86-64 汇编的生成式大语言模型，从 DeepSeek-Coder 检查点出发，以 AnghaBench 与 The Stack 代码经 gcc -O0 至 -O3 编译、剥离符号并规范化后的汇编训练。它加入为每条指令构建摘要的层次注意力，以及对比学习目标：使同一函数的源码与 O0–O3 汇编表示彼此接近，并按优化级别排序。针对反编译微调后，Nova-1.3B 与 Nova-6.7B 在 HumanEval-Decompile 上的平均 Pass@1 分别为 25.17% 和 34.36%，比同规模 LLM4Decompile 高 14.84 和 12.41 个百分点；另行微调的模型在六个真实项目上的 O0 对 O3 二进制代码相似性检测中取得最高的平均 Recall@1。 - 作者：Nan Jiang; Chengxiao Wang; Kevin Liu; Xiangzhe Xu; Lin Tan; Xiangyu Zhang; Petr Babkin - 原标题：Nova: Generative Language Models for Assembly Code with Hierarchical Attention and Contrastive Learning - 发表载体：ICLR 2025 - 发表状态：会议论文 - 出版／提交日期：2025 年（具体日期未核实） - 日期依据：采用 ICLR 官方论文集标明的出版年份，不推定更精确的出版日期。论文集页面 2025-05-01 的引用日期未被采用，也不以 arXiv 日期代替。 - arXiv 首次提交：2023 年 11 月 22 日 - arXiv：2311.13721 - 已复核的 arXiv 版本：v7 - 来源复核于：2026-10-18 - 收录于：2026-10-19 - 原始论文： - PDF： - 代码： - BibTeX： - 目录页面： - 记录 JSON： - 英文版：[English](https://awesomerea.org/papers/paper-nova/index.md) ## 研究范围与局限 反编译以函数为单位，在 HumanEval-Decompile 的 164 个 C 问题上评测；每个问题在 O0–O3 下编译为 x86-64，每个函数采样 20 次并以题目测试用例运行。基于这些测试的 Pass@k 既不能证明整程序反编译能力，也不能证明等价性。除 LLM4Decompile 与 Nova 外，其他基线采用三样例提示而非微调。相似性结果针对 O0 查询与 O3 候选，候选池为来自 Binutils、Curl、ImageMagick、SQLite、OpenSSL 与 PuTTY 的 50–500 个函数，模型先在 BinaryCorp-3M 上微调。反编译微调使用抽样的 216 万对数据，README 称仅从 The Stack 获取 5 万个文件；论文也说明 Nova 仅支持 x86-64 汇编，模型规模限于 1.3B 和 6.7B。输入需要按论文方式规范化汇编。 ## 与本合集的关联 补充一个面向汇编的基础模型，同时评测反编译与二进制代码相似性，与本节专注反编译的大语言模型论文互补。 ## 发表与复核说明 作者以论文集为准，论文集列出第 95905–95926 页。arXiv 共有七个版本：2023-11-22 的 v1 题为“Nova+: Generative Language Models for Binaries”（arXiv 元数据写作 Nova$^+$），列出六位作者，不含 Petr Babkin；本次核查的后续版本（v3、v5、v7）均使用最终标题，2025-11-11 的 v7 注明发表于 ICLR 2025。仓库 README 的摘要称反编译相对提升最高达 146.54%，论文报告的则是绝对百分点。所审阅的 2026-01-04 仓库提交附有 BSD 3-Clause LICENSE，Hugging Face 上 nova-1.3b、nova-6.7b 及其 -bcr 反编译变体的模型卡均标注 bsd-3-clause-clear；模型从 DeepSeek-Coder 检查点出发。requirements.txt 为 Python 3.10 环境固定 torch 2.3.0、transformers 4.40.2、vllm 0.5.0 与 deepspeed 0.14.4，训练示例使用四块 GPU。 ## 一手来源 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. ## 关于此条目 已依据论文及一手来源复核。请通过原始论文或 BibTeX 引用原作者。 原创说明采用 MIT 许可；外部项目、论文与素材保留各自的权利和许可。