ai, engineering,

一分钟读论文:《让AI像程序员一样边写代码边调试》

Unbug By Unbug Follow · 1 min read
一分钟读论文:《让AI像程序员一样边写代码边调试》
Share this

论文《Execution Guided Line-by-Line Code Generation》提出 EG-CFG(执行引导的无分类器引导)方法,把代码实时执行反馈引入生成过程,让模型边写边调试:MBPP 准确率从 49.4% 升至 96.6%,超过 GPT-4o 等模型。

问题的根源在于训练方式。大多数代码生成模型是从静态代码语料里学出来的,它们学到的是代码的表面形式——缩进、命名、API 调用习惯,却没有真正理解程序运行时的逻辑走向。这造成一种极具迷惑性的失败模式:生成的代码语法完美、风格地道,人眼扫过去挑不出毛病,但一运行就出错。传统做法是生成之后再交给测试或人来纠错,而这等于把最昂贵的试错留到了最后。

核心技术

EG-CFG 的工作流程分三个阶段。动态执行反馈生成:用 beam search 生成多组候选代码延续,通过 AST 解析提取出当前已经可以执行的部分,在测试用例上运行并收集执行追踪,再把观察到的运行状态整合成动态提示。无分类器引导(CFG):同时维护两个概率分布——只看已写代码的无条件分布,和结合执行反馈的条件分布——用参数 γ 调节两者比重,让模型既保留自由创作的余地,又不至于偏离实际运行轨道。逐行生成循环:每生成一行代码就立即执行、收集反馈并据此调整,再写下一行,把调试前移到书写当下。此外,EG-CFG 为每个任务启动多个使用不同配置参数的并行智能体,同时探索不同的编码路径,相当于多人同时试错、择优推进。

实验结果

四个基准测试均有一致提升:MBPP 从基线 49.4% 提升到小模型 83.2%、大模型 96.6%;HumanEval 从 82.92% 提升到 99.4%;CodeContests 从 41.81% 提升到 60.6%;DS-1000 从 38.9% 提升到 69.9%。消融实验显示三个组件各有贡献:去掉 beam search 后 MBPP 准确率从 83.2% 降至 58.2%,说明候选多样性是执行反馈质量的前提;去掉 CFG 降至 75.2%,说明反馈与自由创作之间的权重调节本身在起作用;只保留最小执行追踪时为 76.4%,说明反馈信息越完整收益越大。值得注意的是,该方法在小模型上同样带来大幅提升,路径引导部分弥补了模型规模的差距。同类话题可参阅站内《Specine:让大语言模型真正读懂你的需求》。

实践启示

EG-CFG 代表的转变是从静态模式匹配转向动态执行引导。对开发者的启发有三点:其一,评估和使用代码生成工具时,不能只看静态代码模式是否漂亮,要看它是否闭环了执行反馈;其二,边写边调试的逐行生成比一次性写完再调试效果更好,因为错误越早发现,纠偏成本越低;其三,可以通过调节引导参数在自由创作与执行指导之间取平衡,并让多个智能体并行探索多条编码路径,把搜索宽度转化为成功率。

References


Related
Featured