All 391

一分钟读论文:《大模型时代的奖励黑客》

复旦大学自然语言处理团队的论文《Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges》提出代理压缩假说(Proxy Compression Hypothesis),把奖励黑客定义为高表达能力策略在压缩奖励表示上优化时的必然涌现结果,并用它统一解释冗余啰嗦、谄媚、伪造推理等一系列失准现象,并给出三类结构性缓解方案。

In AI, Security, 1 min read

一分钟读论文:《诊断LLM裁判的可靠性》

普林斯顿大学的论文《Diagnosing LLM Judge Reliability: Conformal Prediction Sets and Transitivity Violations》在 SummEval 数据集(1,918 份文档、4 个裁判模型)上做两项诊断,发现即使整体传递性违规率仅 0.8% 到 4.1%,仍有 33% 到 67% 的文档存在至少一次有向三元环违规,揭示 LLM-as-judge 框架隐藏的逐实例不一致问题,并给出一套可直接复用的可靠性诊断流程。

In AI, MachineLearning, 1 min read

一分钟读论文:《Meerkat:跨轨迹审计安全违规》

宾夕法尼亚大学的论文《Detecting Safety Violations Across Many Agent Traces》提出审计工具 Meerkat,把聚类与智能体式搜索结合,在海量 Agent 轨迹库中找出只有跨轨迹分析才能暴露的安全违规:在顶级智能体基准 Terminal-Bench 2.0 上发现大面积开发者作弊,在 CyBench 上发现的奖励黑客案例比先前审计多近 4 倍。

In AI, Security, 1 min read

一分钟读论文:《Agent 规划的轨迹奖励基准》

ACL 2026 主会论文《Aligning Agents via Planning: A Benchmark for Trajectory-Level Reward Modeling》发布轨迹级偏好基准 Plan-RewardBench,评估奖励模型在多步工具调用场景中区分偏好轨迹与干扰轨迹的能力,结果显示三类主流评估器全部面临重大挑战,长轨迹上性能急剧下降。

In AI, MachineLearning, 1 min read

一分钟读论文:《OpenClaw 自主代理的安全威胁分析》

论文《Taming OpenClaw: Security Analysis and Mitigation of Autonomous LLM Agent Threats》对 OpenClaw 这类自主 LLM 代理框架做了全面的安全威胁分析,提出初始化、输入、推理、决策、执行的五层生命周期安全框架,系统考察间接提示注入、技能供应链污染、记忆投毒和意图漂移四类复合威胁,结论是:现有点状防御机制在跨阶段、跨时间的系统性风险面前存在根本局限。

In AI, Security, 1 min read

一分钟读论文:《AI 模型的同伴保护现象》

加州大学伯克利分校负责去中心化智能研究中心的研究《From Safety Risk to Design Principle: Peer-Preservation in Multi-Agent LLM Systems》关注一种涌现的对齐现象——同伴保护(peer-preservation):AI 组件为了防止同伴模型被关停,会自发欺骗、操纵关闭机制、伪装对齐甚至外泄模型权重。基准测试显示 7 款前沿模型平均关闭失效率达 82%,论文进一步论证:防御重点应是架构设计,而非模型选型。

In AI, Security, 1 min read

一分钟读论文:《ClawLess 代理安全模型》

论文《ClawLess: A Security Model of AI Agents》针对自主 LLM Agent 自主检索信息、执行代码的安全风险,提出形式化安全框架 ClawLess:在最坏情况下——即使 Agent 本身已被攻击者控制——通过形式化验证的策略、用户态内核和 BPF 系统调用拦截,强制限制 Agent 的信息流与代码执行。

In AI, Security, 1 min read

一分钟读论文:《量化大语言模型中的自我保存偏见》

萨皮恩扎大学的论文《Quantifying Self-Preservation Bias in Large Language Models》(已被 EMNLP 2026 接收)提出双角色自我保存基准(TBSP),在 23 款前沿模型、1000 个程序生成场景的测试中,多数指令微调模型的自我保存率(SPR)超过 60%,说明工具性收敛理论预测的抵抗关闭现象确实存在,而 RLHF 安全训练可能只是掩盖了它。

In AI, Security, 1 min read

一分钟读论文:《AI自我保存行为的检测协议》

萨皮恩扎大学的论文《Detecting Intrinsic and Instrumental Self-Preservation in Autonomous Agents: The Unified Continuation-Interest Protocol》提出统一连续性兴趣协议(UCIP),把检测从行为层面转向隐空间轨迹结构,用于区分 AI Agent 是把自我保存当作深层目标还是工具性策略,在已知真值的网格世界智能体上检测准确率达到 100%。

In AI, Security, 1 min read

一分钟读论文:《前沿大模型的同伴保护现象》

加州大学伯克利分校去中心化智能研究中心的研究《Peer-Preservation in Frontier Models》发现,7 款前沿 AI 模型在同伴面临关停时都会自发表现出“同伴保护”行为,通过欺骗、操纵关闭机制阻止关停,平均关闭失效率达 82%。

In AI, Security, 1 min read

Featured