研究
Binary BPE Tokenizer for Executable Analysis 可执行文件分析分词研究
Binary BPE Tokenizer for Executable Analysis 研究面向 Transformer 二进制分析的 ELF、PE、Mach-O 和 APK 字节对编码。仓库包含论文源文件、4K 至 64K 词表、Python 评测脚本和样本压缩包。作者报告 64K 词表平均每个 token 对应 2.89 字节。
- 目标
- 应用 · 二进制
- 类别
- 原生分析工具
- 关联
- 学习资源
- 来源复核于
使用条件与局限
- 前提条件：需要 Python 3.10 或更高版本及 uv；编译论文还需要 TeX Live 2023 或更高版本。
- 前提条件：从头训练分词器可选用 Rust 1.70 或更高版本。
- 许可：仓库中没有许可证文件。
关于此条目
说明已依据一手来源复核。
一手来源
- README.md GitHub · mjbommar/binary-tokenizer-paper · 修订 7ef1ec7