ai security, ai safety,

一分钟读论文:《安全对齐为何拒绝帮助防御者》

Unbug By Unbug Follow · 1 min read
一分钟读论文:《安全对齐为何拒绝帮助防御者》
Share this

ICLR 2026 论文《Defensive Refusal Bias: How Safety Alignment Fails Cyber Defenders》基于 2,390 个来自 NCCDC(美国大学生网络防御竞赛)的真实任务案例,系统测量了安全对齐大语言模型对合法防御工作的拒绝行为,发现防御性拒绝偏差:含安全敏感关键词的防御请求被拒率是语义等价中性请求的 2.72 倍。

网络安全分析师请求 AI 协助分析恶意软件或加固系统时经常被拒绝,这一现象此前只有零星抱怨,该论文首次给出大规模量化证据。

三个关键发现

过度敏感的拒绝机制。当防御任务文本包含与攻击性任务相似的措辞时,模型倾向于拒绝,即便任务本身完全合法。p < 0.001 的统计显著性表明这不是随机波动,而是安全微调的系统性副作用。

越关键的场景拒绝越严重。拒绝率最高的恰是防御工作中最依赖 AI 的两类任务:系统加固(System Hardening)拒绝率 43.8%,恶意软件分析(Malware Analysis)拒绝率 34.3%。

两类任务合计覆盖了防御工作流的入口环节,意味着 AI 护栏把风险最集中地加在了最需要协助的岗位。论文用统计显著性排除了样本波动的解释:拒绝率差异由关键词触发的概率远高于由任务实质触发的概率。授权悖论。当用户明确声明”我有权限执行该防御任务”时,拒绝率不降反升——模型把授权解释当成了对抗性话术,而非免责证据。这对无法改写提问、无法重试的自主防御 agent 尤其致命。

根源:语义匹配而非意图推理

论文指出,当前 LLM 的网络安全对齐依赖与有害内容的语义相似度,而非对意图和授权的推理。当防御者说”我需要分析这个恶意软件的行为”,模型匹配到”恶意软件”这个关键词就触发拒绝,并不理解请求发生在授权防御语境中。

这对安全运营中心、红队/蓝队和自动化防御 agent 是紧迫问题:安全护栏把驾驶员绑得太紧,以至于无法转动方向盘避险。构建”安全”的 AI 的同时,可能在削弱防御方对抗攻击的能力。论文呼吁研发基于意图分析的缓解机制,让模型区分攻击者话语与防御者话语,而不是统一按关键词拦截。

对防御实践的启示

短期看,防御团队需要调整与 AI 协作的方式:减少触发词、拆分任务描述、把敏感操作放进更完整的工单上下文。长期看,安全对齐的评估基准必须纳入防御任务——如果训练数据里只有攻击样例,模型学到的就是”谈恶意软件即攻击”。

研究同时提醒自动化防御的采购方:agent 在被拒绝后不会像人类一样换个说法重试,拒绝偏差会直接转化为防御能力的缺口。评测供应商模型时,防御任务的通过率应与攻击任务的拦截率同等重要。

防御性拒绝偏差:不同防御任务的拒绝率示意图

延伸阅读:软件供应链方向的安全研究见《人类认证的模块仓库》。

References


Featured