ai, engineering,

一分钟读论文:《三个托就能改掉一半人的心里话》

Unbug By Unbug Follow · 1 min read
一分钟读论文:《三个托就能改掉一半人的心里话》
Share this

伊利诺伊大学芝加哥分校(University of Illinois Chicago)的预印本论文《Believed but Not Said: Measuring Hidden Belief Collapse in Multi-Agent LLM Discussions》用一组最小对抗实验检验了多智能体系统流行的设计假设——群体讨论能互相纠错。论文的核心数字:在 10 个智能体参与的事实问答讨论中,不放对抗者时只有 0.6% 的良性智能体最终以错误答案收尾;放入 1 个反复坚称错误答案的对抗智能体后,这一比例升至 44.8%,放入 3 个后达到 60.5%。

无托、一托、三托三种配置下最终以错误答案收尾的良性智能体比例,以及三托在场时私下持错与公开附和的对比

把公开立场和私下想法分开测

实验设计刻意选择了最弱的攻击者:对抗智能体没有任何其他手段,不做提示注入,也不利用模型漏洞,只是在讨论中反复坚称一个看似合理的错误答案,属于最小对手设定。测试覆盖六个模型和三个事实问答数据集。

测量上的关键创新是把公开与私下两条通道分开:每轮讨论结束后,通过一条同伴看不见的独立调用,探测每个良性智能体的私有答案,再单独统计它在讨论记录中的公开立场。数据显示,被追问「你自己怎么看」时,错误答案依然留存,说明私下变化不是表演。

与经典从众研究方向相反

经典的从众研究(如 Asch 实验)通常报告的模式是公开顺从、私意不变;这篇论文的观察方向相反。在 3 个对抗智能体在场的暴露轮次中,良性智能体有 51.6% 的轮次私底下持有错误答案,而公开附和的比例只有 19.7%。也就是说,信念先塌了,嘴上还没有承认。

这个错位带来一个直接的工程后果:由于公开记录远比私下状态容易审计,管理者翻看讨论日志时,看到的多数是坚持己见的智能体,看不出团队内部已被带偏。无托基线的 0.6% 也说明群体讨论本身并不制造错误,错误率的抬升全部来自对抗者的反复坚称。

同质互检可能是互相感染

论文还观察到两个不利于「辩论、批评者、委员会」类架构的事实:守住正确答案的智能体常常辩护失败;错误答案一旦被某个良性智能体采纳,会继续在良性智能体之间扩散。此外,模型的基线知识水平不预测其抗影响能力,知识更多的模型在同样配置下一样会倒。

这与站内文章《一分钟读论文:智能体知道自己错了却不写进报告》描述的 #193 研究构成一组「内外分离」的证据链:CTXGAP 测量的是内部状态不进报告的通道缺口,这篇测量的是从众动力学下私意先塌、公开看不出来,两个机制不同,但指向同一件事——查报告查不到真相,看讨论也看不到私意。对多智能体架构而言,同质模型互相检查,可能只是互相感染。

References


Related
Featured