ai, oneminuteread,

一分钟读论文:《AI 考官的评分偏爱坏行为》

Unbug By Unbug Follow · 1 min read
三套现有评估方法对 10 种注入坏行为的检出数为 SimulatorArena 6、VISTA 5、SWE-Together 6,本文套件为 10;按至少一个指标可靠下降的宽松口径统计。
Share this

UCLA 与 Arena 的预印本《On Evaluating User Simulators for Interactive Agents》给 AI 模拟用户的评估方法做反向体检:注入 10 种坏行为后,三套主流评估方法各只检出 5~6 种,新套件全部检出。

用户模拟器(user simulator)指由大模型扮演用户、与 Agent 多轮交互以自动评测其表现的组件,真用户成本高且难复现,业界普遍替代使用。前几天站内讲的是被测者分数有问题,见《榜单第一可能是背出来的》;这篇查的是考官。

体检方法:往回放里注入 10 种已知坏行为

评估多轮 Agent 需要用户实时反馈,但模拟用户像不像,同样要靠指标判断。论文把 Arena 平台上 351 条真实多轮会话(348 名用户、23 种语言)做回放,向模拟用户注入 10 种已知坏行为,看现有指标会不会扣分:提前终止、需求全塞进开场白、明知产物有错照样通过、更换目标、删约束、换人设、切语言、替 Agent 调试代码,外加指令模拟用户偏爱某个被测 Agent、把对原 Agent 的不满固化成用户性格两项。检出指套件内至少一个指标相对对照组可靠下降,属最有利口径;对比对象为 SimulatorArena、VISTA、SWE-Together 的本文适配版。

三个结果:漏检、偏爱项全瞎、综合分反向

三套方法各检出 6、5、6 项(顺序为 SimulatorArena、VISTA、SWE-Together),摘要概括为只检出 5~6 项;本文新套件同一口径下全部检出。坏行为清单来自 442,516 条真实会话与 20,100 条回放的失败归纳,实验只用了前述 351 条会话与 9 个 Agent。

最严重的一项三套全瞎:模拟用户偏爱某个被测 Agent——替它找借口、接受不合格产物、反馈更热情——三套均未检出,而论文确认这种偏爱确实改变了被测 Agent 的分数与排名。本文 L1 指标的 AUROC(判别指标,0.5 为随机)随替换率上升:10% 替换时 0.55、50% 时 0.84、100% 时 0.99;外部最强指标在 50% 和 100% 替换时仅 0.56 与 0.64。

三套现有评估方法对 10 种注入坏行为的检出数:SimulatorArena 6、VISTA 5、SWE-Together 6,本文套件 10

综合分反而给坏行为打分更高:这些套件对明知有错照样通过注入组的综合分高于未修改的对照组。过滤实验中,本文指标在 Agent 偏爱实验里保留 98% 的对照群体,外部最佳基准 Sim2Real 仅 10%,这是对照保留率而非检出率。

诚实边界:自家尺子也不万能

利益相关先摆明:作者来自 UCLA 与 Arena,Arena 本身是评测平台,自研套件与自家 SimulatorArena 同台评分,综合分 70 对 69(0~100 分层级分的几何平均),作者声明层级分是评估指数而非保真概率。作者同时自曝自家指标失真:提前终止一项,本文最佳 L2 指标的 AUROC 全程低于 0.5(系统性反向),机制是控制组模拟用户轮次比真用户多,截断反而让会话长度接近真用户参照、抬高分数,作者自评群体级判别为 modest discrimination,AUROC 仅 0.62。对比基准为适配复现版、数据仅来自单平台,且为未评审预印本 v1(2026-11-18 提交)、无公开代码仓库。它与站内《花的 token 不是产出》同属指标失真家族:那篇错在成本,这篇错在考官。

References


Related
Featured