arXiv 论文《The Responsibility Vacuum: Organizational Failure in Scaled Agent Systems》(arXiv:2601.15059)定义了规模化智能体系统的核心治理困境——责任真空(responsibility vacuum):决策经由形式上正确的审批流程被执行,但没有任何主体同时拥有批准该决策的权威和真正理解其依据的认知能力。
这不是流程违规或技术缺陷,而是决策生成吞吐量超出人类有限验证能力时的结构性属性。
责任真空如何形成
论文在现代 CI/CD 流水线(集成智能体生成代码的场景)中给出一个扩展性极限的刻画。在标准部署假设下——智能体并行生成代码、CI 自动校验、个体化人工审批门——存在一个吞吐量阈值:一旦决策生成速度越过硬性阈值,验证就不再是决策依据,取而代之的是基于代理信号的仪式化审批:审批人看的是绿灯、通过率和扫描报告摘要,而不是代码本身。在这一运行区间内,个人化的责任归属在结构上不可达成。
责任真空的本质是权威与理解的分离:有批准权的人不具备审查技术细节的认知带宽,具备审查能力的人没有批准权。决策照常执行,出了事故却找不到一个”既有权又有能力对此负责”的主体。
论文的论证方式是形式化刻画而非问卷统计:在并行生成、CI 校验、个体审批三个标准假设下推导吞吐量上界,得出审批质量随生成速率单调劣化的扩展性极限。这一结论不依赖任何具体厂商的工具链,适用于所有以个体审批为责任锚点的智能体部署。## 更多自动化为何火上浇油 论文进一步刻画了 CI 放大机制:扩大自动化校验覆盖率只会增加代理信号的密度,不会恢复人类的认知能力。在时间和注意力固定的约束下,满屏的绿色通过信号加速认知外包(cognitive offloading,指把认知任务交给外部工具并承担其错误),拉大形式审批与实质理解之间的裂缝。
推论因此相当反直觉:追加自动化会放大而非缓解责任真空。流行的 human-in-the-loop(人在回路)模式在吞吐量阈值之上失效——人还在回路里,但已经不在理解回路里。
出路:重设决策边界
论文的结论是组织设计层面的:要么显式重新设计决策边界,把人类验证带宽内的高风险决策留给人;要么把责任归属从个体决策转移到批次级或系统级所有权——不再问”谁批准了这行代码”,而是问”谁对这个系统、这批产出的整体质量负责”。除非完成这两类改造之一,责任真空将继续作为规模化智能体部署中不可见但持续存在的失效模式。
延伸阅读:AI 治理的另一维度见《可复现性:AI 治理的新前沿》。