# UI2App：评测可执行 Web 应用生成中的视觉交互推断

> UI2App 使用来自 95 个 Web 应用的 600 张截图，评测生成的可运行 React/TypeScript 应用。它通过参考交互分类体系和公开评测流水线，分别衡量构建可执行性、视觉保真度，以及包括跨路由状态在内的截图隐含交互行为。

- 作者：Grace Man Chen; Litao Guo; Yifan Wu; Yiyu Chen; Yenchi Tseng; Sicheng Liu; Yuyu Luo; Ying-Cong Chen
- 原标题：UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation
- 发表载体：arXiv
- 发表状态：预印本
- 出版／提交日期：2026 年 7 月 7 日
- 日期依据：首次提交至 arXiv 的日期。核查的 v2 于 2026-10-04 提交，不视为另行核实的会议出版。
- arXiv 首次提交：2026 年 7 月 7 日
- arXiv：2607.06306
- 已复核的 arXiv 版本：v2
- DOI：10.48550/arXiv.2607.06306
- 来源复核于：2026-10-17
- 收录于：2026-10-17
- 原始论文：<https://arxiv.org/abs/2607.06306>
- PDF：<https://arxiv.org/pdf/2607.06306v2>
- 代码：<https://github.com/chenmancm169/UI2App>
- 项目：<https://chenmancm169.github.io/UI2App-ProjectPage/>
- BibTeX：<https://awesomerea.org/papers/citations/paper-ui2app.bib>
- 目录页面：<https://awesomerea.org/zh/papers/paper-ui2app/>
- 记录 JSON：<https://awesomerea.org/papers/paper-ui2app/record.json>
- 英文版：[English](https://awesomerea.org/papers/paper-ui2app/index.md)

## 研究范围与局限

静态截图无法唯一确定行为；评分规则接受多种有效实现，并不证明与原应用或后端等价。Auto IIS 在不执行工具的情况下评判生成源码和截图，人工运行验证覆盖 45 个应用的子集。跨路由状态不一定能在重新加载或会话结束后持久保存。主结果每个应用与模型组合生成一次，重复运行仅覆盖子集。

## 与本合集的关联

评测从已观察 Web 界面进行重建，并区分视觉复制与交互逻辑推断；其明确的行为歧义边界可补充由交互轨迹指导的重建基准。

## 发表与复核说明

采用 v2 的 95 个应用与 600 张截图，不混用 v1 的 45/327 数量。arXiv DOI 已注册。公开代码采用 MIT，数据集和参考标注采用 CC BY 4.0；上游代码及第三方资产权利另行处理。文档所述流水线需要 Python 3.10+、Node/npm、pnpm、Chromium、Tesseract 和模型访问权限；Auto IIS 还需要已登录的 Codex CLI。

## 一手来源

1. <https://arxiv.org/abs/2607.06306>
2. <https://arxiv.org/html/2607.06306v2>
3. <https://arxiv.org/pdf/2607.06306v2>
4. <https://api.datacite.org/dois/10.48550/arXiv.2607.06306>
5. <https://chenmancm169.github.io/UI2App-ProjectPage/>
6. <https://github.com/chenmancm169/UI2App/blob/520a59aad0899b1eb61e80351aa1ffbfad9322a4/README.md>
7. <https://github.com/chenmancm169/UI2App/blob/520a59aad0899b1eb61e80351aa1ffbfad9322a4/LICENSE>
8. <https://github.com/chenmancm169/UI2App/blob/520a59aad0899b1eb61e80351aa1ffbfad9322a4/requirements.txt>
9. <https://github.com/chenmancm169/UI2App/blob/520a59aad0899b1eb61e80351aa1ffbfad9322a4/iis/evaluate.py>
10. <https://huggingface.co/datasets/UI2App/UI2App/blob/32e6f6193c5c265cf6d8afcbce12b641e3c2a758/README.md>
11. <https://huggingface.co/datasets/UI2App/UI2App/blob/32e6f6193c5c265cf6d8afcbce12b641e3c2a758/annotations/rii.jsonl>

## 关于此条目

已依据论文及一手来源复核。请通过原始论文或 BibTeX 引用原作者。
原创说明采用 MIT 许可；外部项目、论文与素材保留各自的权利和许可。