中国农业大学、天津财经大学和吉林大学合作的论文 Testing Interchangeability in LLM Agent Teams 检验了生产环境多智能体系统的一个默认假设:能干这个活角色的 agent 就能顶替这个角色。结论是该假设只在任务得分上成立,在协调效率上不成立——换员后的首局,任务得分仍达到 placebo 基线(复现换名册的扰动但不换人)的 98%、90%、89%,但每单位进展消耗的沟通量暴涨 16% 到 63%。分数没掉,成本爆炸,代价藏在看不到的一层。
分数没掉,成本爆炸
实验在三个强合作环境进行(低耦合任务、高耦合的 Collab-Overcooked、Hanabi):每个设置 8 支队伍先打 10 局成团 episode,让 agent 与特定伙伴形成私有协调惯例(private notebook,即在与固定队友交互中积累下来的默契),再在 held-out 任务上测量。Table 1 的条件均值把两层代价分得很清楚:任务得分 Intact 92.5/64.1/15.8 对 Swap 90.0/58.0/13.7,差距有限;协调成本 Intact 3.20/4.09/0.61 对 Swap 3.85/6.53/1.04,高耦合环境接近翻倍。作为参照,Sun et al. 2025 在高耦合 held-out 集报告 Claude Sonnet 4 无成团成绩 60.7,本文成团队伍达到 64.1;Hanabi 的 15.8/25 也高于 GPT-4-turbo 的 13.3——队伍确实练出了东西,换员打碎的正是这个东西。
老手比新人还贵
最反直觉的发现来自 Hanabi:换进来的”老手”比”啥也不会的新人”还要贵。原因不是能力缺口,而是惯例冲突——老手带着与前队友练出的旧约定进场,干扰现队伍的默契。这与本刊此前《约束在交接中悄悄失效》指向同一类问题:多智能体系统里的协调资产,工程上长期被低估。Collab-Overcooked 里还能看到成本落在谁头上:换掉”定议程的 agent”之后,额外沟通主要来自留守的那个 agent——留下的人要花更多力气把新伙伴拉回轨道。
恢复不对称:得分快,成本慢
换员不是永久中毒,恢复是真实发生的,但速度不对称。任务得分在第 2/5/6 局(低耦合/高耦合/Hanabi)回到 placebo 基线 1% 以内;协调成本的衰减慢约一倍,需要约 10 局。消融实验进一步给出两个放大器:队伍成团历史越长、解码温度越高,换员代价越大。换句话说,一支磨合越久、说话越发散的队伍,越经不起随手替换。对运维方的含义是:热更新与故障替换应把重新磨合的沟通开销计入成本,而不是只看任务分数是否回落。
这项研究的边界
两点限制需要说清。其一,主实验每设置仅 8 支队伍、单一基座模型;消融虽覆盖多个基座与温度设置,但 16% 到 63% 这个跨环境区间能否在 GPT-5、Claude 级别的强模型上复现,在本文设置中没有证据。其二,协调成本是代理指标:Hanabi 用 hint/point 计量、Overcooked 用 messages/subtask 计量,”沟通变多”是否等价于生产系统里的真实代价——延迟与按 token 计费的费用——存在外推缺口,这个换算论文没有测。此外,Hanabi 与 Overcooked 是强合作、低沟通带宽的博弈环境,真实代码协作型 multi-agent 系统的惯例形态是否相同、跨模型换员(现实中 swap 往往跨越不同基座)是否更贵,论文均未覆盖。