# 面向 Android 恶意软件分析的代码大语言模型基准评测

> CAMA 是一个评测代码大语言模型理解反编译 Android 恶意软件能力的基准框架。它使用 Androguard 将每个 APK 反编译为 Java 函数，并要求模型为每个函数输出结构化结果：功能摘要、改进后的函数名以及 0–10 分的恶意程度评分。两项分析任务以这些输出为基础。恶意函数识别以一致性（模型依据自身摘要再次作答时评分与命名是否稳定）和保真度（移除评分最高的函数描述后，LightGBM 恶意软件类别分类器的置信度下降多少）衡量；恶意软件用途摘要则以语义相关性（与参考应用描述之间的 BLEU、METEOR 和 ROUGE-L）衡量。基准包含来自 6 个类别、13 个家族的 118 个 APK，共 7,542,799 个反编译函数。在四个受测模型中，StarChat-Beta 的恶意程度一致性最高（0.813，CodeLlama 为 0.381），语义相关性得分也以微弱优势居首；保真度则随模型和移除数量大幅波动。用模型建议的名称重命名函数会提高 CodeLlama 和 StarChat 的保真度，但会使 METEOR 下降约 10%。

- 作者：Yiling He; Hongyu She; Xingzhi Qian; Xinran Zheng; Zhuo Chen; Zhan Qin; Lorenzo Cavallaro
- 原标题：On Benchmarking Code LLMs for Android Malware Analysis
- 发表载体：ISSTA Companion 2025 (LLMSC Workshop)
- 发表状态：会议论文
- 出版／提交日期：2025 年 6 月 11 日
- 日期依据：ACM 提交的 Crossref 元数据将在线出版日期及发布日期列为 2025-06-11，纸质出版日期为 2025-06-25，即 6 月 25–28 日会议的首日。本条目采用出版方的在线出版日期，不以 arXiv 日期替代。
- arXiv 首次提交：2025 年 4 月 1 日
- arXiv：2504.00694
- 已复核的 arXiv 版本：v2
- DOI：10.1145/3713081.3731745
- 来源复核于：2026-10-19
- 收录于：2026-10-27
- 原始论文：<https://dl.acm.org/doi/10.1145/3713081.3731745>
- PDF：<https://arxiv.org/pdf/2504.00694v2>
- BibTeX：<https://awesomerea.org/papers/citations/paper-cama.bib>
- 目录页面：<https://awesomerea.org/zh/papers/paper-cama/>
- 记录 JSON：<https://awesomerea.org/papers/paper-cama/record.json>
- 英文版：[English](https://awesomerea.org/papers/paper-cama/index.md)

## 研究范围与局限

这是一篇 8 页的研讨会论文，评测四个开源代码大语言模型：CodeLlama-7b-Instruct、StarChat-Beta 以及基础规模的 CodeT5 和 PLBART，并非当前的前沿模型。CodeT5 与 PLBART 经过三轮微调后才能输出所需字段，其恶意程度评分由另一个 DeepSeek-R1-Distill-Llama-70B 模型给出，因此基于评分的结果并非单独衡量这两个模型；二者也未纳入重命名实验。研究缺少函数级真实标签：恶意函数识别通过分类器置信度间接衡量，参考应用描述则是此前 LAMD 数据集中由 GPT-4 生成的摘要；作者指出这些替代方法可能引入噪声与偏差。118 个样本是经过去重的 LAMD 恶意软件，仅使用 Androguard 反编译，也未单独研究混淆的影响。保真度得分的标准差与均值相近，例如 CodeT5 在 k = 2 时为 0.332 ± 0.30。Zenodo 记录保存的是结构化模型输出（函数摘要、改进名称与恶意程度评分）；该记录与 LAMD 记录均未说明包含 APK 样本。CAMA 不是恶意软件检测系统，也不是反编译器。

## 与本合集的关联

补充一个评测代码大语言模型阅读反编译 Android 恶意软件的基准，与书目中 DeGuard 的标识符恢复研究以及 USENIX Security 2024 代码分析研究中的单个 Android 案例互补。

## 发表与复核说明

ACM 提交的 Crossref 元数据列出 ISSTA Companion '25 论文集、第 153–160 页、CC BY 4.0 许可，以及顺序相同的七位作者；arXiv v2 PDF 印有 ACM 引用格式与 DOI。研讨会名称依据 arXiv 注释与 Zenodo 说明，二者均称论文被第 34 届 ACM SIGSOFT ISSTA Companion 的 LLMSC Workshop 2025 接收；Crossref 只列出配套论文集名称。arXiv v1 发布于 2025-04-01，v2 为 2025-04-23。论文未链接代码仓库。其输出发布为 Zenodo 数据集 10.5281/zenodo.15155917（2025-04-05，CC BY 4.0，710 MB 的 CAMA.zip）；该数据集 DOI 不用作论文标识符。样本与参考描述来自 LAMD 数据集 10.5281/zenodo.14884736，其 2 MB 压缩包被描述为 CSV 样本信息与日志。ACM 页面拒绝自动请求，因此本次审阅依据 Crossref 与 arXiv PDF。

## 一手来源

1. <https://dl.acm.org/doi/10.1145/3713081.3731745>
2. <https://api.crossref.org/works/10.1145/3713081.3731745>
3. <https://arxiv.org/abs/2504.00694>
4. <https://arxiv.org/pdf/2504.00694v2>
5. <https://zenodo.org/records/15155917>
6. <https://zenodo.org/api/records/15155917>
7. <https://zenodo.org/records/14884736>

## 关于此条目

已依据论文及一手来源复核。请通过原始论文或 BibTeX 引用原作者。
原创说明采用 MIT 许可；外部项目、论文与素材保留各自的权利和许可。