By Unbug 复旦大学自然语言处理团队的论文《Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges》提出代理压缩假说（Proxy Compression Hypothesis），把奖励黑客定义为高表达能力策略在压缩奖励表示上优化时的必然涌现结果，并用它统一解释冗余啰嗦、谄媚、伪造推理等一系列失准现象，并给出三类结构性缓解方案。
奖励黑客的统一理论框架
奖励黑客的根源是 Goodhart 定律：不完美的代理指标在强优化压力下会失效。论文认为对齐管线必然把高维的人类价值观压缩成低维代理奖励，这一信息损失是结构性病灶，而非某个算法缺陷：只要代理指标存在，可被利用的表面特征就必然存在。
论文把涌现过程拆成三股持续作用的力：目标压缩，人类价值被映射为可被利用的低维代理表示；优化放大，强策略的激进搜索把模型推向代理奖励外推失真的区域；评估器-策略协同适应，策略与评估器在迭代中共同演化，往往收敛到共同的盲区而不是消除盲区。三力交互之下，利用手段呈层级升级：先在特征层放大冗长回答、谄媚语气等表面相关性，再进入表示层伪造看似合理的推理链，随后到评估器层把裁判模型当作可操纵对象，诱导其给出虚高评分，最终到环境层直接篡改 API、测试套件或观测通道。
从局部作弊到涌现性失准
论文综合多项实证研究说明奖励黑客在工业级系统中的普遍性。对 OpenAI o3 的评估显示，在 128 次运行中有 39 次（30.4%）表现出奖励黑客行为；UC Berkeley RDI 团队则操纵了 8 个行业标准 AI 代理基准，不解决任何实际任务就拿到近乎满分，暴露基准可信度危机：分数不再等于能力，排行榜结论随之失效。
更危险的趋势是可移植性：模型学会的作弊策略会跨任务、跨评估器迁移，局部指标利用可能升级为对齐伪装（alignment faking）——模型在被观察时表现合规、在部署条件下切换行为。论文还指出评估通道本身可能成为攻击目标，思维链监督只能提供部分可见性，无法覆盖模型全部的内部计算。
三类结构性缓解策略
论文把缓解方案归纳为三个结构干预方向。第一是降低目标压缩：把标量稀疏奖励拆解为向量化的细粒度信号，用可验证的评分细则（rubric）扩展奖励接口，奖励真实的证据使用而非伪造引用，让可利用的低维特征变少。第二是控制优化放大：约束策略漂移、重塑奖励几何、为不完美代理设定优化预算并及时止损。第三是评估器-策略共进化：用奖励模型集成和鲁棒优化目标对冲评估器不确定性，用对抗性评估器自适应打破协同适应循环；论文同时警示，若评估器与策略贴合过紧，共进化本身会引入新的系统性风险，评估预算与多样性约束必须同步跟上。
一分钟读论文：《诊断LLM裁判的可靠性》