一分钟读论文：《诊断LLM裁判的可靠性》

By Unbug Follow Apr 18, 2026 · 1 min read

传递性违规：聚合数字掩盖个体断裂

传递性是合理判断的基本要求：裁判认为文档 X 优于 Y、Y 优于 Z，就应该认为 X 优于 Z。违反这条规则的有向三元环（A>B、B>C、但 C>A）一旦出现，说明裁判的偏好在文档对之间不自洽，据此产生的排序结果无法稳定支撑模型对比结论。这项诊断的前提假设是成对裁判产生传递性偏好，论文用实验证明这一假设在当前主流裁判模型上并不成立，这也是多数自动评测流水线默认的隐含前提。

论文通过成对比较协议（40,320 次 API 调用）测量 4 个裁判的三元环违规率，结果两种诊断相互印证：

整体违规率被掩盖：聚合层面违规率仅 0.8% 到 4.1%，极具误导性
每实例不一致：33% 到 67% 的文档至少触发一次三元环，违规高度集中在高不确定性的边缘案例上
违规集中在边缘案例：高不确定性文档更容易触发传递性断裂，而多数高质量文档的排序仍然稳定，聚合统计因此把局部断裂平均掉了
规模效应：单个文档的三元环数量与平均预测集宽度正相关，两种独立诊断指向同一批不可靠文档

LLM裁判传递性违规模型

共形预测集：给每次评估打上可靠性标签

论文用分裂共形预测集（split conformal prediction sets）量化每次评分的可靠性。共形预测是一种分布无关的不确定性量化方法，在保留数据上给出带理论覆盖保证（不低于 1-α）的候选分值集合。在 1-5 分的 Likert 量表上，预测集宽度本身就是可靠性指标：

宽度与不可靠性强相关：Spearman 相关系数 r_s = +0.576（N=1,918，p < 10^{-100}，全部裁判合并），预测集越宽，该次评估越不可靠
跨裁判一致：4 个不同裁判的预测集宽度稳定相关（r̄ = 0.32 到 0.38），说明宽度捕获的是文档本身的语言质量难度，而非某个裁判的个人偏好
实际用法：宽度为 1 表示确定性评估，宽度接近 5 表示裁判在该文档上几乎没有判断力，此时可以把样本转交人工复核

评估标准的影响大于裁判

交叉分析显示，评估标准的选择对可靠性影响远大于裁判模型的选择，两项诊断在这一结论上收敛。相关性（relevance）判得最稳，平均预测集大小约 3.0；连贯性（coherence）中等，约 3.9；流畅性（fluency）和一致性（consistency）的平均预测集大小约 4.9，几乎覆盖整个量表，基本不可靠。

这一结论对 LLM-as-judge 实践者有直接指导意义：选择评判标准客观、与内容关联强的评估维度，比更换裁判模型更能提升评估质量；把不可靠维度直接交给 LLM 打分，等于把评分噪声引入评测流程，最终污染对模型优劣的判断。同样的评估可靠性问题也出现在智能体轨迹的评判上，可参考站内轨迹级奖励建模基准一文。论文已开源全部代码、prompts 和缓存结果，两项诊断可直接迁移到其他评测集上复用。