研究
Glaurung Models 可执行文件分词模型研究
Glaurung Models 收录面向可执行文件分析的分词器与模型实验。其 64K BPE 分词器以 Latin-1 编码 PE 和 ELF 字节，训练范围涵盖 x86 与 ARM64；附带分析比较了两个分词器学到的 SSE 和 AVX 指令模式。
- 目标
- 二进制
- 类别
- 原生分析工具
- 关联
- 学习资源
- 来源复核于
使用条件与局限
- 前提条件：文档中的分词流程使用 Python 的 tokenizers 和 transformers 包，并将二进制字节转换为 Latin-1。
- 测试证据：文档报告该 64K 分词器平均每个 token 对应 2.849 字节。
- 许可：仓库中没有许可证文件。
关于此条目
说明已依据一手来源复核。
一手来源
- glaurung_binary_tokenizer_001_README.md GitHub · mjbommar/glaurung-models · 修订 1819020
- SSE_AVX_ANALYSIS.md GitHub · mjbommar/glaurung-models · 修订 1819020