By Unbug 
上海科技大学的论文《Safety Sentry: Context-Aware Human Intervention via EXECUTE-ASK-REFUSE Routing》提出将Agent安全审查从二元safe/unsafe分类重构为三向路由决策{Execute, Ask, Refuse}，通过轻量级guard model的单次解码调用实现上下文感知的细粒度安全审查。
问题背景：Agent工具调用安全的二元分类困境
当前基于大语言模型的智能体在执行任务时广泛依赖外部工具调用，包括文件读写、网络请求、代码执行等敏感操作。这些操作的潜在危害程度差异巨大——读取一个配置文件与删除整个数据库目录在风险等级上完全不可同日而语。然而现有安全审查机制普遍采用二元分类范式：将每个工具调用判定为safe或unsafe两类之一。
这种二分法存在两个根本缺陷。其一，它无法区分低风险操作和中等风险操作之间的差异。被标记为safe的调用一律放行执行，被标记为unsafe的调用则一律阻断，导致读取本地配置文件与修改系统关键配置在安全审查层面被视为同一类别。其二，二元分类缺乏灵活性——不同应用场景对安全的容忍度截然不同，调整策略意味着重新训练模型或修改阈值，成本高昂且可能破坏已有性能。
核心方法：三向路由决策与单次解码Guard Model
Safety Sentry的核心创新在于将安全审查从二元分类扩展为三向路由决策。每个工具调用被路由到三个目标之一：Execute（直接执行）、Ask（请求人工确认）或 Refuse（拒绝执行），使系统能够根据风险等级进行精细化处理：低风险操作快速通过，中等风险引入人工审核，高风险直接阻断。
实现这一三向路由的关键是一个轻量级的guard model架构。该模型接收工具调用及其上下文信息作为输入，通过单次解码调用输出路由决策，同时评估调用的语义内容、执行环境以及历史行为模式。
单一阈值机制是Safety Sentry的另一项重要设计。系统使用一个连续的风险评分来衡量每个调用的危险程度，通过调整阈值即可在不同部署场景之间切换安全策略：阈值设低时更多调用被路由到Ask或Refuse，适合高安全要求场景；阈值设高时则允许更多操作直接执行，适合效率优先场景。同一模型无需重新训练即可适应不同风险容忍度需求。
实验结果与优势
Safety Sentry在多个基准测试中验证了其相对于传统二元分类方法的优势。实验结果表明，三向路由框架在保持整体准确率的同时显著提升了召回率表现：高风险调用的Refuse识别准确率达到较高水平，中等风险调用通过Ask类别的引入在安全与效率之间取得更好平衡。
部署灵活性是Safety Sentry最突出的优势。通过单一阈值机制调整风险容忍度时，模型性能指标变化平缓且可预测——在不同阈值设置下，系统准确率波动范围远小于重新训练后的性能差异。guard model的单次解码调用设计使推理延迟保持在较低水平，对Agent整体执行效率的影响最小化，特别适合部署在对响应时间敏感的生产环境中。
