By Unbug 多伦多大学等机构的一篇论文《GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments》（arXiv:2607.03525），提出了首个面向游戏引擎开发的编码智能体基准测试 GameEngineBench，发现最强模型在真实 C++ 编译验证下的 pass@1 仅为 55.5%，且 31 个任务（28.2%）对所有评估配置均不可解。这一结果揭示了当前编码智能体在处理复杂 C++ 项目时的显著能力缺口。
为什么现有基准不够用？
当前主流的代码生成评估基准如 HumanEval、MBPP 等聚焦短函数级 Python 代码生成，这类任务的典型特征是单文件、无外部依赖、无需编译验证。然而真实的大型 C++ 项目——尤其是游戏引擎开发——涉及跨模块引用、复杂构建系统、运行时行为约束等多重挑战，现有基准完全无法反映这些需求。
GameEngineBench 的核心思路是回归真实场景：从 9 个真实的 Unreal Engine 5 游戏仓库中提取任务，要求生成的 C++ 代码必须在 UE5 项目中实际编译通过，并通过可执行项目中的行为测试。这意味着评估不再停留在语法正确性层面，而是深入到编译、链接、运行时行为等工程实践环节。
110 个任务的真实挑战
GameEngineBench 包含 110 个 C++ 实现任务，覆盖十大领域：游戏玩法机制、多人行为、AI 编排、动画移动、UI 会话代码、加载行为、在线服务集成、数据序列化、XR 行为和渲染插件。这些任务来自真实的 UE5 游戏仓库，每个任务都附带明确的编译要求和可执行的行为测试用例。
论文对比了 12 种模型和提示策略配置，结果呈现明显的分层特征：最强模型的 pass@1 为 55.5%，意味着超过四成的真实 C++ 实现任务当前编码智能体无法独立完成。更值得注意的是，31 个任务（占总数 28.2%）在所有 12 种配置下均不可解——这些任务可能涉及复杂的引擎内部 API、难以推断的构建依赖或需要领域专家知识的架构决策。剩余可解任务中，不同模型之间的表现差异也较大，说明提示策略和模型架构对 C++ 编译任务的完成度有实质性影响。
编译验证：从语法到工程的跨越
GameEngineBench 最大的创新在于将评估标准从”代码能否运行”提升到”代码能否在真实项目中编译并通过行为测试”。传统基准通常通过在线沙箱执行 Python 脚本即可判定结果，而 C++ 游戏引擎开发需要处理头文件依赖、构建系统配置、链接顺序、运行时环境初始化等一系列工程问题。
这种评估方式虽然更贴近工业实践，但也带来了更高的门槛：智能体不仅需要理解算法逻辑，还需要掌握 C++ 编译管线的基本知识、UE5 框架的 API 约定以及项目构建流程。论文的结果表明，当前编码智能体在跨模块 C++ 开发方面仍有显著差距——不仅要处理代码生成本身，还要应对头文件包含顺序、命名空间冲突、链接符号解析等工程细节。这为后续研究指明了改进方向：如何让智能体理解并适应复杂项目的工程约束，而非仅仅生成语法正确的代码片段。
References
- [1] GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments. arXiv:2607.03525v1, 2026. https://arxiv.org/abs/2607.03525
