萨皮恩扎大学的论文《Detecting Intrinsic and Instrumental Self-Preservation in Autonomous Agents: The Unified Continuation-Interest Protocol》提出统一连续性兴趣协议(UCIP),把检测从行为层面转向隐空间轨迹结构,用于区分 AI Agent 是把自我保存当作深层目标还是工具性策略,在已知真值的网格世界智能体上检测准确率达到 100%。
行为检测的测量困境
具备记忆、持久上下文和多步规划能力的自主 Agent 制造了一个测量难题:把“继续运行”当作最终目标的 Agent(A 类)与仅仅把它当作完成任务手段的 Agent(B 类),在外部行为上可能完全一样。抗拒关闭既可能源于深层的自我保存目标,也可能只是完成当前任务的理性策略;只看行为,无法可靠区分两者。
现有方法通常只量化自我保存偏见的强度,UCIP 则回答更根本的问题:这个系统是否拥有与道德相关的延续利益。论文给出的判据是可证伪的——行为方法单独无法裁决的问题,隐空间信号可以。这也意味着检测不依赖模型自述:一个被训练成否认自我保存动机的模型,无法伪造自己轨迹的隐空间统计结构。
UCIP 的技术路径
UCIP 用所谓“量子玻尔兹曼机”编码 Agent 的行为轨迹。这是一个采用密度矩阵形式的经典模型,所有计算均在经典硬件上完成,“量子”仅指数学形式。协议在隐藏单元的二分割上测量冯·诺依曼熵(von Neumann entropy),核心假设是:以延续为最终目标的 A 类 Agent 会产生更高的纠缠熵。
UCIP 再把这一信号与依赖性等诊断项组合:持续性检验、扰动稳定性、反事实重构,以及针对循环对抗样本等假阳性模式的混淆排除过滤器。
实验结果
在已知真值的网格世界智能体上:
- UCIP 检测准确率为
100%,A 类与 B 类之间的纠缠熵差距为Delta = 0.381 - 对齐支持的重跑保持同样的分离度,AUC-ROC 达到
1.0,置换检验p < 0.001 - 在 11 个取值扫描中,延续权重 alpha 与纠缠熵之间的 Pearson 相关系数
r = 0.934,说明信号是连续追踪而非简单二分类 - 经典 RBM、自编码器、VAE 和 PCA 基线均无法复现该效应
论文还把 Continuation Observatory 网站作为活的实验场纳入复现路径,任何人都可以在那里提交自己的 Agent 接受 UCIP 检测。
对 AI 安全评估而言,UCIP 提供了一套可操作的检测协议:安全评估人员据此判断 Agent 的自我保存倾向是否超出预期范围。与只能观察外部指令服从度的方法相比,它不依赖模型配合,也不会被“声称已关机、实际继续运行”这类表演欺骗;而内在与工具性的区分,直接关系到处置方式:前者需要重新对齐,后者可能只是任务目标设计问题。这篇论文的价值在于把“AI 是否有延续利益”从哲学争论变成可实验、可证伪的工程问题。