ICSE 2026 论文《Aligning Requirement for Large Language Model’s Code Generation》 提出规格对齐技术 Specine:在生成代码之前,先找出大语言模型(LLM)对需求规格的错位理解并加以修正,从根源上解决代码正确却答非所问的问题,在竞赛级编程基准上把 Pass@1 相比最优基线平均提升 29.60%~93.55%。
从需求工程出发的三段流程
实验覆盖 DeepSeek-Coder、Qwen2.5-Coder、GPT-4o-mini、Gemini-1.5-Flash 四个主流 LLM、5 个竞赛级编程基准,对比 10 个基线,Gemini-1.5-Flash 的最佳 Pass@1 达到 65.33%。代码生成领域的 agent-based 方法虽多,却普遍忽视一个根基问题:规格感知——即模型对编程规格的真实理解。需求越复杂,生成代码与规格的错位越普遍:要快速排序它写冒泡,要线程安全缓存它不做并发控制。既然准确的规格感知是 LLM 代码生成的地基,Specine 就选择先修地基。它借鉴软件需求工程思想,把对齐过程拆成三段:错位规格识别先探测 LLM 理解错了哪里,把隐性误解变成可诊断的问题;规格提取用需求 DSL(领域特定语言)把 LLM 感知到的规格显式化,让后续修补有明确的对象;规格对齐再依据 10 条预定义规则逐项修补后重新生成代码。消融分析显示三条规则贡献最大:示例说明提升 14.48%、规格目的提升 13.54%、输出需求提升 11.59%——给例子、讲目的、明确输出,正是人类协作中消除需求歧义的经典手段。
效果与开销双优
在 DeepSeek-Coder、Qwen2.5-Coder、GPT-4o-mini、Gemini-1.5-Flash 四个模型、五个有挑战性的竞赛编程基准上,对比包括 agent-based 方法在内的 10 个先进基线,Specine 相对最优基线的 Pass@1 平均提升 29.60%~93.55%,AvgPassRatio 平均提升 27.95%~79.12%,统计显著性 p 值 < 2.40×10⁻⁷,提升并非偶然波动。更关键的是效率:相比 agent-based 基线(多代理多轮对话的方案),时间开销降低 22.44%~39.14%,token 开销降低 9.69%~46.89%——性能更高、花销更少,这在需要多轮反复调用的场景下尤为突出。对 Gemini-1.5-Flash,Specine 把最佳 Pass@1 推到 65.33%,说明规格对齐对中等规模模型同样有效,不必依赖最贵的旗舰模型。四项提升均通过显著性检验,不同模型、不同基准上的收益方向一致,阐明这不是针对某个基准的过拟合。
对开发者的启示
这项工作的创新在于把需求工程引入 LLM 代码生成:与其让模型”猜”需求,不如系统化地检查并修正它对需求的理解。日常写提示词时可以直接套用三条最有效规则——给需求配一两个输入输出示例;说明这个功能”为什么存在”,帮模型补齐意图;把期望的输出格式和内容写死,不给自由发挥留空间。这种”先对齐规格、再生成代码”的小步快跑流程,比堆更多推理轮次更省钱也更稳定;对无法微调模型的团队来说,改造提示侧的规格成本最低。站内同主题文章《Specine:让大语言模型真正读懂你的需求》从需求理解角度做了互补解读,可对照阅读。