ICSE 2026 论文《Improving Code Generation via Small Language Model-as-a-judge》(arXiv:2602.11911)验证了一个朴素的团队策略:让小型代码生成器生成多个候选,再让另一个小型判别器(judge)从中挑出最可能正确的方案。结果显示,5 支小模型团队中有 4 支超越了对应的、参数大 5-25 倍的大模型,而硬件成本只有后者的约 3%。
方法与判别能力
代码生成并非大模型的专属能力,关键在于把选择问题交给一个会判对错的小模型,这对预算受限、又需要自研代码生成器的中小团队尤其重要。这项研究的前提是「生成—选择」范式:与其让一个大模型一次性写出正确答案,不如让小模型多写几份、再由评委挑出最好的。其核心假设是:在固定计算预算下,小模型生成多个候选再选择,比大模型生成单个方案更有效。团队训练了 6 个小型判别器和 5 个代码生成器,在 HumanEval、MBPP、CoderEval 三个基准上与 5 个更大的模型对比,并用 Cohen’s Kappa(判定结果与真实标签的一致性指标,剔除随机猜测后的准确程度)衡量判别质量。结果令人意外:零样本下小模型判别能力普遍较弱(Kappa 0.00-0.35),但微调后全部达到 Kappa ≥ 0.45 的中等一致水平——Qwen2.5 Coder 3B 从零样本的 0.35 升到 0.57,反超 GPT-4.1-mini 的 0.54;Gemma-3 4B 从 0.10 升到 0.49;最小的 Qwen2.5 Coder 0.5B 也从无判别能力的 0.00 升到 0.45,优于此前 RankEF 方法的 0.40。
团队战绩与成本
生成 10 个候选加 1 个判别器的配置下,各团队 Pass@1 相比单模型提升 5.3% 至 20.6%:Phi-4 mini 4B 从 0.200 到 0.406(+20.6%)、Qwen2.5 Coder 3B 从 0.361 到 0.521(+16.0%)、DeepSeek Coder 1.3B 提升 12.1%、OpenCoder 1.5B 提升 11.1%、Gemma-3 4B 提升 5.3%。与对应大模型相比,5 组中有 4 组实现反超,优势从 +0.018 到 +0.090 不等,只有 Gemma-3 4B(-0.071)未能取胜。配置经验也很清晰:10 个候选优于 2 或 5 个,1 个判别器通常足够,多个判别器收益很小,所有方法都显著优于随机选择和 log likelihood(按生成概率排序)选择,后者往往偏爱冗长却错误的实现。成本方面,小模型团队硬件投入约 $600,30B 级方案约 $17,500,相差约 29 倍;候选只生成 2 个时,推理时间甚至比大模型更快。
对开发者的意义
这篇论文首次系统评估了小模型作为代码正确性判别器的能力,证明微调后的小模型可以达到与商业大模型相当的判别水平,也为自动代码审查等需要判断程序正确性的任务提供了参考,为企业自研低成本代码生成器提供了可操作路线。落地建议有四条:预算有限优先考虑小模型团队方案;判别器必须微调,零样本效果一般;10 个候选是甜点位,且多候选可并行推理来缓解延迟;判别器保持单个即可。由于生成 10 个候选再选择的总开销可控,中小团队无需昂贵的推理集群也能获得接近大模型的代码质量;多候选并行化后,延迟劣势还能进一步压缩。对企业来说,真正的门槛不在算力而在数据:用自家代码库和测试套件标注正确性标签,就能训练出贴合业务语言的专用评委,这是通用商业模型给不了的差异化能力。同一团队更完整的评委评测见站内《小语言模型作为评委提升代码生成》。