华盛顿大学等机构的研究团队发表的论文《Auditing Emergent LLM-Agent Collaboration through Cooperation-Obligation Coupling》提出了iCORE(Integrated Cooperation-Obligation REpresentation)框架,通过统一编码合作图、义务图和审计映射来解决多智能体协作的可审计性缺口。在真实LLM执行中,iCORE-Audit相比被动全状态观测实现了26.4%的轨迹质量提升和显著的终端性能改进。
核心问题:多智能体协作的可审计性缺口
LLM-Agent系统可以通过动态自组织和涌现合作解决复杂任务。然而,这种涌现行为带来了一个根本挑战:合理的中期或最终输出可能掩盖不完整或不支持的工作以及责任分配不当的问题。现有方法虽然可以记录消息、工具调用、来源或任务依赖关系,但缺乏联合表示剩余工作、责任归属和每个工作状态转换证据的能力——这就是可审计性缺口。
iCORE 的核心创新在于将合作与义务统一建模。通过创建一个三重表示 X=(G,Q,Π),其中 G 是可观察交互的合作图,Q 是 evolving work and assignments 的义务图,Π 是链接两者并提供可验证属性和证据的审计映射。
iCORE 框架架构
iCORE 由三个核心组件构成。合作图 G 编码 Agent 之间的可观察交互模式,包括消息传递、工具调用协调和资源共享。义务图 Q 追踪 evolving work assignments,记录每个工作项的责任归属和完成状态。审计映射 Π 将 G 和 Q 链接起来,提供可验证的属性证明每个工作状态转换的合理性。
iCORE 使审计员能够认证两个互补属性:工作健全性确保每个活跃决策相关的工作断言都有通过 G 和 Π 的有限证明;Agent分配稳定性确保没有可行的替代 Agent 能为评估的义务声明超过 ε 的贡献值改进。这两个属性提供了从局部到全局的健全性和分配遗憾保证。
实验评估与关键发现
研究在两种执行模式(控制环境和真实LLM执行)上评估了 iCORE-Audit。核心发现是:iCORE 能够精确重构工作健全性和分配缺陷。在控制执行中,轨迹质量提升 11.5%,终端性能提升 15.1%;在真实 LLM 执行中,轨迹质量提升达到 26.4%。
另一个关键发现是耦合状态相比被动全状态观测具有显著优势。这表明 iCORE 的主动审计机制能够有效识别和纠正协作中的问题,而不仅仅是事后记录。这种能力对于安全敏感的多智能体应用尤为重要——在这些问题中,责任追溯和工作验证是关键需求。