2026 · 预印本
UI2App：评测可执行 Web 应用生成中的视觉交互推断
UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation
UI2App 使用来自 95 个 Web 应用的 600 张截图，评测生成的可运行 React/TypeScript 应用。它通过参考交互分类体系和公开评测流水线，分别衡量构建可执行性、视觉保真度，以及包括跨路由状态在内的截图隐含交互行为。
研究范围与局限
静态截图无法唯一确定行为；评分规则接受多种有效实现，并不证明与原应用或后端等价。Auto IIS 在不执行工具的情况下评判生成源码和截图，人工运行验证覆盖 45 个应用的子集。跨路由状态不一定能在重新加载或会话结束后持久保存。主结果每个应用与模型组合生成一次，重复运行仅覆盖子集。
与本合集的关联
评测从已观察 Web 界面进行重建，并区分视觉复制与交互逻辑推断；其明确的行为歧义边界可补充由交互轨迹指导的重建基准。
发表与复核详情
- 发表载体
- arXiv
- 发表状态
- 预印本
- 出版／提交日期
- 2026 年 7 月 7 日
- 日期依据
- 首次提交至 arXiv 的日期。核查的 v2 于 2026-10-04 提交，不视为另行核实的会议出版。
- arXiv 首次提交
- 2026 年 7 月 7 日
- arXiv
- 2607.06306
- 已复核的 arXiv 版本
- v2
- DOI
- 10.48550/arXiv.2607.06306
采用 v2 的 95 个应用与 600 张截图，不混用 v1 的 45/327 数量。arXiv DOI 已注册。公开代码采用 MIT，数据集和参考标注采用 CC BY 4.0；上游代码及第三方资产权利另行处理。文档所述流水线需要 Python 3.10+、Node/npm、pnpm、Chromium、Tesseract 和模型访问权限；Auto IIS 还需要已登录的 Codex CLI。
来源复核于
已依据论文及一手来源复核。请通过原始论文或 BibTeX 引用原作者。
综述中的讨论
一手来源
- https://arxiv.org/abs/2607.06306
- https://arxiv.org/html/2607.06306v2
- https://arxiv.org/pdf/2607.06306v2
- https://api.datacite.org/dois/10.48550/arXiv.2607.06306
- https://chenmancm169.github.io/UI2App-ProjectPage/
- README.md GitHub · chenmancm169/UI2App · 修订 520a59a
- LICENSE GitHub · chenmancm169/UI2App · 修订 520a59a
- requirements.txt GitHub · chenmancm169/UI2App · 修订 520a59a
- iis/evaluate.py GitHub · chenmancm169/UI2App · 修订 520a59a
- https://huggingface.co/datasets/UI2App/UI2App/blob/32e6f6193c5c265cf6d8afcbce12b641e3c2a758/README.md
- https://huggingface.co/datasets/UI2App/UI2App/blob/32e6f6193c5c265cf6d8afcbce12b641e3c2a758/annotations/rii.jsonl