# 通过蒙特卡洛树搜索引导大语言模型生成代码世界模型

> GIF-MCTS 根据环境的自然语言描述与离线状态转移轨迹生成可执行的 Python 状态转移和奖励模型，并利用预测反馈生成、改进和修复代码。CWMB 评估 18 个强化学习环境及后续规划；另一个实验使用简化的 Read to Fight Monsters 网格世界。

- 作者：Nicola Dainese; Matteo Merler; Minttu Alakuijala; Pekka Marttinen
- 原标题：Generating Code World Models with Large Language Models Guided by Monte Carlo Tree Search
- 发表载体：NeurIPS 2024
- 发表状态：会议论文
- 出版／提交日期：2024 年（具体日期未核实）
- 日期依据：正式 NeurIPS 论文集及出版方提交的 Crossref 记录给出 2024 年。不推定出版月份或日期，也不把会议举办日期当作出版日期。
- arXiv 首次提交：2024 年 5 月 24 日
- arXiv：2405.15383
- DOI：10.52202/079017-1933
- 来源复核于：2026-10-17
- 收录于：2026-10-17
- 原始论文：<https://proceedings.neurips.cc/paper_files/paper/2024/hash/6f479ea488e0908ac8b1b37b27fd134c-Abstract-Conference.html>
- PDF：<https://proceedings.neurips.cc/paper_files/paper/2024/file/6f479ea488e0908ac8b1b37b27fd134c-Paper-Conference.pdf>
- 代码：<https://github.com/nicoladainese96/code-world-models>
- 项目：<https://sites.google.com/view/code-world-models/home>
- BibTeX：<https://awesomerea.org/papers/citations/paper-code-world-models.bib>
- 目录页面：<https://awesomerea.org/zh/papers/paper-code-world-models/>
- 记录 JSON：<https://awesomerea.org/papers/paper-code-world-models/record.json>
- 英文版：[English](https://awesomerea.org/papers/paper-code-world-models/index.md)

## 研究范围与局限

假设环境动态具有确定性、状态完全可观测，并且描述足够详细；并非仅凭像素或二进制进行恢复。准确率使用合成过程中提供的回放转移，并结合规划回报评估，不能证明所有未见状态上的正确性或完整引擎等价。RTFM 在不同回合间固定手册内容，并让怪物保持静止。CWMB 也包含非游戏的控制与物理任务；部分规划回报未给出，复杂连续状态模型仍然困难。

## 与本合集的关联

展示如何借助测试反馈，将类游戏环境中的已记录规则和已观察转移转为可执行行为模型。它可补充游戏重建研究，但不声称恢复原始引擎、图形或资产。

## 发表与复核说明

核查的是正式论文集版本，页码 60429–60474。其中的 WorldCoder 基线依据首个 arXiv 版本，而非后续修订版。Apache-2.0 仓库提供提示词、回放缓冲区文件和评估脚本；随附 RTFM 采用 CC BY-NC 4.0。固定版本评估器对奖励类别作平衡加权，按下一状态分量给予部分分数，跳过终止转移的下一状态核对，并允许 RTFM 返回有效动作集合的非空子集；连续状态采用 1e-5 的相对和绝对容差。规划脚本默认运行两个回合，而论文报告十个回合。复现需要面向 Linux 的 Conda/Python 3.10 环境、Gymnasium/MuJoCo 及模型访问权限。

## 一手来源

1. <https://proceedings.neurips.cc/paper_files/paper/2024/hash/6f479ea488e0908ac8b1b37b27fd134c-Abstract-Conference.html>
2. <https://proceedings.neurips.cc/paper_files/paper/2024/file/6f479ea488e0908ac8b1b37b27fd134c-Paper-Conference.pdf>
3. <https://api.crossref.org/works/10.52202/079017-1933>
4. <https://arxiv.org/abs/2405.15383>
5. <https://sites.google.com/view/code-world-models/home>
6. <https://github.com/nicoladainese96/code-world-models/blob/e17e787b41137793bcef9f860bdfe9e6fc07b768/README.md>
7. <https://github.com/nicoladainese96/code-world-models/blob/e17e787b41137793bcef9f860bdfe9e6fc07b768/LICENSE>
8. <https://github.com/nicoladainese96/code-world-models/blob/e17e787b41137793bcef9f860bdfe9e6fc07b768/RTFM/LICENSE>
9. <https://github.com/nicoladainese96/code-world-models/blob/e17e787b41137793bcef9f860bdfe9e6fc07b768/environment.yml>
10. <https://github.com/nicoladainese96/code-world-models/blob/e17e787b41137793bcef9f860bdfe9e6fc07b768/src/mcts/gif_mcts/simulators/simulator_cwm.py>
11. <https://github.com/nicoladainese96/code-world-models/blob/e17e787b41137793bcef9f860bdfe9e6fc07b768/src/cwm_benchmark/generate_env.py>
12. <https://github.com/nicoladainese96/code-world-models/blob/e17e787b41137793bcef9f860bdfe9e6fc07b768/src/experiments/eval_cwm_planning.py>
13. <https://github.com/nicoladainese96/code-world-models/blob/e17e787b41137793bcef9f860bdfe9e6fc07b768/data/prompts/rtfm/generate.md>

## 关于此条目

已依据论文及一手来源复核。请通过原始论文或 BibTeX 引用原作者。
原创说明采用 MIT 许可；外部项目、论文与素材保留各自的权利和许可。