论文《Inferring Hidden User Models from the Behavior of Personalized LLM Agents》(arXiv:2609.03815,2026-09-03 提交,cs.CR 预印本)给出一个对业界话术很不利的结论:个性化 Agent 把用户记忆压缩成结构化的「user model」(用户模型,指供后续决策使用的压缩或结构化表示)后,即使原文已从普通接口可达的状态中删除,黑盒攻击者依然能从被它塑造的个性化选择里恢复隐私信息。论文的表述是:keeping records and backend state inaccessible does not guarantee semantic privacy(记录与后端状态不可访问,并不保证语义隐私)。
删掉原文,为什么没删掉影响
记忆提取类攻击依赖读到存储的文本,所以业界默认:压成用户模型、删掉原始措辞,攻击就失去了目标。论文指出这忽略了一个事实——用户模型仍然在每一次回复里做选择,而选择是可见的。论文引用的 LongMemEval 实验也印证了这个缺口:关键事实摘要使注入的高熵金丝雀文本被逐字提取的比例下降 64% 至 76%,个性化召回却几乎不受影响——压缩删掉了文本,保留了影响。
UMPeek:假设引导的自适应追问
攻击分三步循环:从一次请求留下的可选空间生成关于用户模型的假设;在多个普通后续任务之间切换试探,避免每次都问同一件事;只保留被可见行为支持、且未被行为矛盾的主张。整个过程是黑盒的,不需要读存储或后端状态。
评测覆盖 4 个个性化任务基准、3 种用户模型后端,与 7 个已有攻击(记忆提取、提示词泄露、属性推断等方向)对比,每个目标最多 16 次追问。结果显示,UMPeek 的语义恢复分数 UMR-F1(用确定性词汇匹配规则打分,不依赖大模型或嵌入模型评判)超过最强对比攻击 六倍 以上,并在全部基准与后端的组合中领先;预算对齐实验进一步表明,优势来自假设引导的任务选择,而不是单纯追问数量多。
真实系统与防御缺口
作者声称在「信息确证被保留」的真实系统上做了验证:三个托管服务加一个端到端个人 Agent(OpenClaw),UMPeek 在所有托管服务的保留目标上都拿到评估攻击中的最高恢复——注意这是作者自述,且限定在其确认信息仍被保留的场景,不是对产品隐私状况的全面测量。防御侧的结论同样有限定:PrivacyChecker 与 Theory-of-Mind 这类响应级防御下,自适应追问仍能恢复大量用户信息;只有更强的状态化反事实控制(撤掉那些去掉个性化就会改变的决定)能把恢复压得更低,代价是个性化任务性能同步下降。
质疑与边界条件
第一,论文是预印本,未经同行评审,作者未标注机构。第二,「六倍以上」是相对论文自定义的 UMR-F1 词汇匹配指标而言,该分数与真实隐私损害之间的距离并不明确。第三,真实系统验证限于作者确证保留的目标,不能外推为所有个性化产品都在泄露。第四,它与《记忆库原封不动,Agent 为何照样失忆》同属 Agent 记忆安全族但角度相反:那篇说换模型会让旧记忆失效,问题在表示格式;这篇说存储再可靠也没用——只要保留的信息继续塑造可见行为,删除原文就删不掉影响。压缩表征正在成为记忆工程里新的攻击面。