要”快速排序”却得到冒泡排序,这就是需求对齐问题。ICSE 2026 论文《Aligning Requirement for LLM’s Code Generation》提出 Specine,在生成代码前先对齐需求,Pass@1 平均提升 29.60%~93.55%。
问题的本质是:LLM 能理解字面意思,却常常抓不准真实需求。人类程序员接到一句含糊的需求会追问,而模型不会——它只会按最可能的解释直接写。于是你要求一个支持并发的缓存,生成的代码却完全不管线程安全;你要求”快速”,模型自行猜测你指的是时间还是空间。错误不在编码能力,而在开工前就没对齐。
Specine 的三个步骤
Specine 的核心思想类似带初级程序员写代码:先检查他是否理解需求,有误解就纠正,确保抓住关键点后再动手,只不过全过程自动化。第一步错位规范识别:分析需求描述,找出 LLM 可能理解错的地方——说”快速”没讲清是时间还是空间复杂度,说”高效”没说明数据规模,这些模糊点正是代码不符合预期的根源。第二步规范提升:把需求升级得更具体,例如把”快速排序”变成”时间复杂度 O(n log n) 的快速排序算法”,把”支持并发”变成”使用读写锁实现线程安全的并发缓存”,让模型无从误解。第三步规范对齐:用 10 条预定义对齐规则系统化核对输入输出格式、边界条件、性能要求、错误处理等要素,把一句话需求变成一份详细的技术规格说明书,再交给模型生成。三步走完,需求才从一句自然语言变成可核对的输入,后续的错误也因此能归因到规范本身而非模型手感。
核心发现
研究团队用 DeepSeek-Coder、Qwen2.5-Coder、GPT-4o-mini、Gemini-1.5-Flash 四个先进 LLM 在 5 个基准测试上实验:Pass@1 平均提升 29.60%~93.55%,AvgPassRatio 平均提升 27.95%~79.12%;在 APPS 数据集上,Gemini-1.5-Flash 加 Specine 达到 65.33% 的最佳表现。Specine 同时超越了 10 个现有 SOTA(最先进)方法。提升幅度横跨四个不同厂商的模型,说明收益来自方法本身而非某个模型的特性:需求表述越含糊的空间,被规范提升填补后的边际收益越大;反过来说,即使模型能力不变,仅重写需求就能白拿一大截正确率,这是所有工程改进里投入产出比最高的一类。
实践启示
Specine 的成功说明:不必用更大的模型蛮力解决问题,而可以用更聪明的方法引导模型——让 LLM 生成好代码,关键不在让模型更聪明,而在让它更懂需求。把需求工程这门软件工程的传统学科与大语言模型结合,为 LLM 代码生成开辟了一个新方向。对开发者的直接好处是更少调试时间、更高一次生成可用率、更可靠的结果;对一个团队的现实启发是:给代码生成工具写提示时,值得像给同事写需求单一样补齐复杂度、数据规模与错误处理约定。同类话题可参阅站内《让 AI 像程序员一样边写代码边调试》。