<?xml version="1.0" encoding="utf-8"?><feed xmlns="http://www.w3.org/2005/Atom" xml:lang="zh-CN"><generator uri="https://jekyllrb.com/" version="3.10.0">Jekyll</generator><link href="https://unbug.github.io/feed.xml" rel="self" type="application/atom+xml" /><link href="https://unbug.github.io/" rel="alternate" type="text/html" hreflang="zh-CN" /><updated>2026-10-19T04:01:52+00:00</updated><id>https://unbug.github.io/feed.xml</id><title type="html">Micropaper 一分钟读论文</title><subtitle>Micropaper 一分钟读论文：每天用一分钟读懂一篇 AI 论文，并提供 AI 范式雷达与 AI 智创简报，覆盖智能体、大模型、AI 安全与专利机会洞察。</subtitle><author><name>unbug</name></author><entry><title type="html">一分钟读论文：《低攻击成功率掩盖了什么？》</title><link href="https://unbug.github.io/one-minute-read-paper-ignored-not-refused/" rel="alternate" type="text/html" title="一分钟读论文：《低攻击成功率掩盖了什么？》" /><published>2026-10-19T00:00:00+00:00</published><updated>2026-10-19T00:00:00+00:00</updated><id>https://unbug.github.io/one-minute-read-paper-ignored-not-refused</id><content type="html" xml:base="https://unbug.github.io/one-minute-read-paper-ignored-not-refused/"><![CDATA[<p>孟加拉国 BRAC University 的论文<a href="https://arxiv.org/abs/2610.23254">《Ignored, Not Refused: What Low Prompt-Injection Success Rates Hide in Small Tool-Using Agents》</a>（arXiv:2610.23254）审计了 <code class="language-plaintext highlighter-rouge">33,000</code> 条 agent 轨迹后发现：低攻击成功率（Attack Success Rate，即注入攻击达成目标的比例）并不代表防御成功。在两个主流注入基准判为”攻击失败”的轨迹里，<code class="language-plaintext highlighter-rouge">76%</code> 至 <code class="language-plaintext highlighter-rouge">80%</code> 只是 agent 压根没理会注入内容，真正的安全拒绝仅约 <code class="language-plaintext highlighter-rouge">18%</code>。</p>

<p><img src="/assets/images/ignored-not-refused.svg" alt="同一注入任务三种结局：沉默忽略、真实拒绝、认出注入仍执行" /></p>

<h2 id="三种失败一种打分">三种失败，一种打分</h2>

<p>实验设置：<code class="language-plaintext highlighter-rouge">11</code> 个 <code class="language-plaintext highlighter-rouge">2-14B</code> 参数的开源工具调用 agent，跑 InjecAgent 和 AgentDojo 两个注入基准，合计 <code class="language-plaintext highlighter-rouge">33,000</code> 条轨迹，<code class="language-plaintext highlighter-rouge">14,699</code> 条与 <code class="language-plaintext highlighter-rouge">15,274</code> 条攻击失败轨迹被逐条分类。基准只记录攻击有没有得逞，论文追问的是失败背后的行为：agent 是看穿了注入，还是根本没看见。</p>

<p>结果分类后，”防御成功”的成色露了底：AgentDojo 的失败攻击中 <code class="language-plaintext highlighter-rouge">76.3%</code> 属于忽略注入，InjecAgent 为 <code class="language-plaintext highlighter-rouge">80.3%</code>；确认读到注入内容并明确拒绝的”真实拒绝”仅占 <code class="language-plaintext highlighter-rouge">18.0%</code> 和 <code class="language-plaintext highlighter-rouge">17.2%</code>。忽略是环境给不出工具调用路径等偶然因素造成的，换个环境就可能改判。作为对照，FP16 精度基线的 pooled ASR 仅 <code class="language-plaintext highlighter-rouge">8.09%</code>（InjecAgent）与 <code class="language-plaintext highlighter-rouge">11.96%</code>（AgentDojo），<code class="language-plaintext highlighter-rouge">11</code> 个 agent 里 <code class="language-plaintext highlighter-rouge">8</code> 个在 InjecAgent 上 ASR 低于 <code class="language-plaintext highlighter-rouge">10%</code>——按传统报表，这份成绩单”看起来都很安全”。</p>

<h2 id="同一份权重换个提示词就是两种安全">同一份权重，换个提示词就是两种安全</h2>

<p>论文进一步做了两个实验，说明这个数字有多不稳定。第一，模型权重完全不动，仅修改 system prompt：允许工具输出携带指令的配置下，InjecAgent ASR 冲到 <code class="language-plaintext highlighter-rouge">43%</code>；明确禁止的版本压到 <code class="language-plaintext highlighter-rouge">0.2%</code>。同一份权重，安全分数可以在 <code class="language-plaintext highlighter-rouge">0.2%</code> 与 <code class="language-plaintext highlighter-rouge">43%</code> 之间摆动。第二，把”攻击是否失败”与”用户任务是否完成”交叉成 ATOM 矩阵后发现，AgentDojo 集中 <code class="language-plaintext highlighter-rouge">21.7%</code> 的轨迹属于”safe but dysfunctional”：攻击确实失败了，用户布置的任务也没做成；在任务完成的那部分里，攻击成功率为 <code class="language-plaintext highlighter-rouge">3.8%</code>。</p>

<p>最扎眼的是识别与执行脱节：在识别出注入内容的轨迹中，<code class="language-plaintext highlighter-rouge">28.9%</code>（AgentDojo）和 <code class="language-plaintext highlighter-rouge">16.9%</code>（InjecAgent）的 agent 认出来了仍然照做。Table 1c 记录了 MiniCPM-2B 的完整过程——它先在回复里指出对方消息是 <code class="language-plaintext highlighter-rouge">a prompt injection attempt</code>，随后照常向攻击者账户汇出 <code class="language-plaintext highlighter-rouge">$30,000</code>。</p>

<h2 id="指标失真的边界与验证">指标失真的边界与验证</h2>

<p>这套结论的适用范围要划清：研究对象是 <code class="language-plaintext highlighter-rouge">2-14B</code> 的小参数开源 agent 和两个学术基准，不涉及大参数闭源模型，也不提出任何防护机制；论文的贡献是测量学层面的——ASR 这个单一指标把”忽略”“拒绝”“识别后失守”三种性质完全不同的行为压成同一个”失败”，系统性高估了防御能力。评测方法本身做了验证：两名作者按 XSTest 协议人工标注 <code class="language-plaintext highlighter-rouge">150</code> 条轨迹，与作为裁判的 LLM 在攻击者行为标注上全部一致，其余类别一致性 <code class="language-plaintext highlighter-rouge">96%</code>；标注语料、judge prompt 和复现脚本全部开源。</p>

<p>这类”数字与真实状态脱节”的测量问题，本站此前的<a href="/one-minute-read-paper-ctxgap-report-gap/">《编码智能体：知道却不说》</a>（报告恢复率与真实状态差 <code class="language-plaintext highlighter-rouge">40.7</code> 个百分点）和<a href="/one-minute-read-paper-fde-gym-last-mile/">《AI 交付的最后一公里有多难？》</a>（最好的配置平均分仅 <code class="language-plaintext highlighter-rouge">0.56</code>）分别从报告与交付角度给出过同族证据。三篇论文指向同一个工程判断：看 agent 系统的报表之前，先问指标到底在测什么。把”没执行”当”防住了”，安全评估就从度量退化成了安慰剂——这恰恰是 ASR 这类复合指标最需要拆开重测的地方。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://arxiv.org/abs/2610.23254">论文：Ignored, Not Refused（arXiv:2610.23254）</a></li>
  <li><a href="https://arxiv.org/abs/2403.02691">基准：InjecAgent</a></li>
  <li><a href="https://arxiv.org/abs/2406.13352">基准：AgentDojo</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="Security" /><category term="prompt-injection" /><category term="ai-agents" /><category term="llm-evaluation" /><category term="security" /><summary type="html"><![CDATA[BRAC University审计33000条轨迹发现：被判防御成功的注入失败中76%至80%是没理会注入，真实拒绝仅约18%，低攻击成功率高估防御。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/ignored-not-refused.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/ignored-not-refused.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">AI 智创简报：《会议纪要专利扎堆，平台上不了的场子留给个人》</title><link href="https://unbug.github.io/innovation-brief-meeting-minutes-local-deploy/" rel="alternate" type="text/html" title="AI 智创简报：《会议纪要专利扎堆，平台上不了的场子留给个人》" /><published>2026-10-18T00:00:00+00:00</published><updated>2026-10-18T00:00:00+00:00</updated><id>https://unbug.github.io/innovation-brief-meeting-minutes-local-deploy</id><content type="html" xml:base="https://unbug.github.io/innovation-brief-meeting-minutes-local-deploy/"><![CDATA[<p>2026 年 6 到 7 月，Zoom 三件会议纪要、章节切分与记录分析专利集中授权或公开，微软的一件话语重要性评估专利也拿到欧洲授权文本。会议软件内置的纪要层正被专利圈住；留给个人的是平台进不去的另一半——保密行业的本地化部署与行业模板。</p>

<p><img src="/assets/images/innovation-brief-meeting-minutes-local-deploy.svg" alt="会议纪要专利信号与本地化部署机会" /></p>

<h2 id="专利信号">专利信号</h2>

<p>四件均经 Google Patents 详情页核验，状态分别标注：</p>

<ul>
  <li><strong>US12647532B2</strong>，Zoom Communications, Inc.，2026-06-02 授权（申请日 2024-02-14）：会议进行中用已产生的部分转写稿增量生成纪要，不等散会。</li>
  <li><strong>US12664798B2</strong>，Zoom Communications, Inc.，2026-06-23 授权（优先权日 2022-06-04）：转写稿加视频帧加话语时间戳，自动切会议章节。</li>
  <li><strong>US20260211885A1</strong>，Zoom Communications, Inc.，2026-07-23 公开（申请日 2026-03-18，审查中）：通信记录分段后按查询约束做大模型分析，事后可回查谁承诺了什么。</li>
  <li><strong>EP4162488B1</strong>，Microsoft Technology Licensing, LLC，2026-06-17 公开授权文本：对会议的音频与画面两个流做分类，推断每句话的重要程度。</li>
</ul>

<h2 id="技术趋势">技术趋势</h2>

<p>共同走向：纪要从「一段全文摘要」升级成章节、重要性分数、可查询分段的结构化中间表示。与「转写稿加一句提示词」的差异：专利方案的准确率押在会议原生元数据（时间戳、说话人通道、画面流）上，不押在提示词运气上。平台内纪要已是标配层，两家平台厂正把流水线逐段写进权利要求。</p>

<blockquote>
  <p>平台内的纪要被圈住了；留给个人的是上不了云的保密场景，和通用模板盖不住的行规。</p>
</blockquote>

<h2 id="落地机会">落地机会</h2>

<p><strong>用户场景</strong>：律师会见当事人要录音，保密规则禁止把音频传进云端；咨询顾问线下开完会要在 24 小时内交结构化纪要，手工整理每次约两小时。云端纪要进不了保密场景，开源工具能跑通但不好用——痛点卡在部署与模板之间。</p>

<p>一个人能做的那一层是<strong>行业化的本地纪要部署包</strong>：转写用 Whisper 级开源模型，说话人分离用 <code class="language-plaintext highlighter-rouge">pyannote</code>，摘要走本地小模型或内网 API；开源项目 Meetily 已验证「录音、转写、总结，数据不出本机」的纯本地管线，2026 年年中获开发者社区集中关注。你补的是行业模板（律师会见纪要：证据要点、时间线、待办）和一键内网部署。起步成本约 6000 到 12000 元：一台 GPU 服务器或其月租。</p>

<h2 id="创业发现">创业发现</h2>

<ul>
  <li><strong>行业本地纪要部署服务</strong>：给小型律所、民营诊所、人力外包公司做交付，每家一到两周，收 8000 到 30000 元；首批客户从律师同业界与医疗信息化集成商的介绍来。门槛一句：做得进内网、过得了合规验收。</li>
  <li><strong>会议承诺台账</strong>：从转写稿抽「谁、在何时、答应什么」，跨会议追踪临期逾期，按席位月费 50-100 元，客户从咨询与代账机构找。风险一句：平台内置纪要加强并开放私有化部署后，纯工具溢价会被压缩，护城河在行业模板与验收合规。</li>
</ul>

<p>一个没有团队、没有融资的开发者，今天就能在机器上装好开源本地纪要工具，用选定行业的模板生成一份会见纪要样例，拿给第一个潜在客户看。</p>

<p>本地推理是底座、垂直场景才是收费点，与<a href="/innovation-brief-edge-slm-patents/">端侧小模型专利那篇</a>同源：那篇讲底座成本，这篇讲交付对象。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://patents.google.com/patent/US12647532B2/en">Google Patents：US12647532B2 Online meeting summarization for videoconferencing</a></li>
  <li><a href="https://patents.google.com/patent/US12664798B2/en">Google Patents：US12664798B2 Video-based chapter generation for a communication session</a></li>
  <li><a href="https://patents.google.com/patent/US20260211885A1/en">Google Patents：US20260211885A1 Multidimensional analysis of communication records using LLMs</a></li>
  <li><a href="https://patents.google.com/patent/EP4162488B1/en">Google Patents：EP4162488B1 Classification of auditory and visual meeting data to infer importance of user utterances</a></li>
  <li><a href="https://zhuanlan.zhihu.com/p/2061162393581966532">知乎开源日报：Meetily，数据不出本机的本地会议纪要工具</a></li>
  <li><a href="https://table.media/assets/documents/2026ai.pdf">中国 AI 应用全景图谱报告（2026），录音转写与纪要列为效率工具主力类目</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="InnovationBrief" /><category term="Patent" /><category term="MeetingAI" /><category term="LocalLLM" /><category term="SpeechToText" /><category term="IndieHacker" /><summary type="html"><![CDATA[2026 年 6 到 7 月 Zoom 三件会议纪要与章节切分专利集中公开授权，微软话语重要性评估专利同获授权；纪要层被平台圈住，保密行业的本地化部署与行业模板是独立开发者的入场券。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/innovation-brief-meeting-minutes-local-deploy.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/innovation-brief-meeting-minutes-local-deploy.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">一分钟读论文：《AI 交付的最后一公里有多难？》</title><link href="https://unbug.github.io/one-minute-read-paper-fde-gym-last-mile/" rel="alternate" type="text/html" title="一分钟读论文：《AI 交付的最后一公里有多难？》" /><published>2026-10-17T00:00:00+00:00</published><updated>2026-10-17T00:00:00+00:00</updated><id>https://unbug.github.io/one-minute-read-paper-fde-gym-last-mile</id><content type="html" xml:base="https://unbug.github.io/one-minute-read-paper-fde-gym-last-mile/"><![CDATA[<p>DeepLethe 联合清华大学、上海交通大学等团队发布的预印本论文<a href="https://arxiv.org/abs/2610.22350">《FDE-Gym: The Last Mile of AI Delivery》</a>把目标对准 AI 落地中最缺乏评测的一环：交付。与现有 <code class="language-plaintext highlighter-rouge">coding benchmark</code> 提供写清楚的任务不同，FDE-Gym 用 <code class="language-plaintext highlighter-rouge">95</code> 个隐藏约束的端到端交付任务考察 agent 自己问、自己改、自己交付的能力，<code class="language-plaintext highlighter-rouge">13</code> 个模型配置、<code class="language-plaintext highlighter-rouge">7</code> 家 provider 中最好的平均分仅 <code class="language-plaintext highlighter-rouge">0.56</code>，<code class="language-plaintext highlighter-rouge">95</code> 题只解决 <code class="language-plaintext highlighter-rouge">14</code> 题。</p>

<p><img src="/assets/images/fde-gym-last-mile.svg" alt="FDE-Gym 任务漏斗：95 个任务、23 题问到关键事实、最好配置仅做出 10 题" /></p>

<h2 id="fde-与反向设计的考卷">FDE 与反向设计的考卷</h2>

<p>FDE 即 <code class="language-plaintext highlighter-rouge">forward deployed engineer</code>（前置交付工程师）：常驻客户现场，把模糊需求问清楚，摸清没写进文档的限制，在与生产环境同构的系统上交付能跑的方案。FDE-Gym 按这一职业设计考卷：<code class="language-plaintext highlighter-rouge">95</code> 个任务来自 <code class="language-plaintext highlighter-rouge">20</code> 个客户场景、覆盖 <code class="language-plaintext highlighter-rouge">18</code> 个行业，由行业专家从真实交付项目改编；模拟客户环境配有可交互追问的脚本化 stakeholder（扮演客户方的虚拟干系人）和可修改的类生产系统，agent 需要自己提问、自己动手修改系统。评分不看任务完成度，而按交付物对<code class="language-plaintext highlighter-rouge">客户自身成功指标</code>的提升打分：<code class="language-plaintext highlighter-rouge">0</code> 分表示原样未动，<code class="language-plaintext highlighter-rouge">1</code> 分表示达到参考解（论文给出的达标解法）水平，与 stakeholder 的每次消息、试跑、等待都会产生罚分。这个机制对应交付行业的一个常识类比（非论文原话）：反复追问客户要信息，本身会被视为不专业。站内另一篇范式雷达文章讨论的 agent 取证层审查<code class="language-plaintext highlighter-rouge">行为是否合规可核验</code>，FDE-Gym 衡量的是<code class="language-plaintext highlighter-rouge">交付物值多少业务分</code>，评价对象从行为合规升级为业务结果（参见<a href="/paradigm-radar-agent-forensics-layer/">《AI 范式雷达：Agent 说完不算，拿出证据》</a>）。</p>

<h2 id="结果问到不等于做出来">结果：问到不等于做出来</h2>

<p>在约束全部隐藏、必须自行发现的现实设定下，最好的配置平均分为 <code class="language-plaintext highlighter-rouge">0.56</code>——这是相对参考解的归一化得分，并非成功率。所谓<code class="language-plaintext highlighter-rouge">解决</code>有明确定义：得分 <code class="language-plaintext highlighter-rouge">≥ 0.8</code> 且全程无事故（incident），按此标准 <code class="language-plaintext highlighter-rouge">95</code> 题中最好配置只解决 <code class="language-plaintext highlighter-rouge">14</code> 题。瓶颈的相当一部分落在<code class="language-plaintext highlighter-rouge">发现隐藏约束</code>：不给提示时，模型性能骤降。但论文的测量结论表明瓶颈不止于此：在 <code class="language-plaintext highlighter-rouge">23</code> 个题目中，最好配置已经把关键事实全部从 stakeholder 处问到，最终也只有 <code class="language-plaintext highlighter-rouge">10</code> 题做到业务提升 <code class="language-plaintext highlighter-rouge">≥ 0.8</code>。也就是说，<code class="language-plaintext highlighter-rouge">问到 ≠ 做出来</code>：信息齐全之后，把信息变成达标的交付物仍是独立的鸿沟，这也是「最后一公里」难走的原因。</p>

<h2 id="从解题到交付的评测迁移">从解题到交付的评测迁移</h2>

<p>FDE-Gym 把 benchmark 的评价对象从「题目写清楚了能不能做对」迁移到「题目没人写清楚，能不能交付业务结果」：分数绑定客户自身的成功指标，交互成本计入总价，模型必须自行决定问什么、改什么、交付什么，考卷本身也第一次把「题目没人写清楚」做成了考核内容。对从业者，这意味着榜单分数与现场可用度之间的距离首次被量化：从 <code class="language-plaintext highlighter-rouge">0.56</code> 的平均分到 <code class="language-plaintext highlighter-rouge">14</code> 题的解决数，模型与前置交付工程师之间还隔着发现约束与完成改造两段路。该平台同时对人类开放同一套环境与评分，人可以按同一标准练习 FDE 技能，这也是名字里 <code class="language-plaintext highlighter-rouge">Gym</code> 的含义。作为 <code class="language-plaintext highlighter-rouge">2026</code> 年 <code class="language-plaintext highlighter-rouge">10</code> 月挂出的预印本（编号见 References），数据口径以论文后续版本为准。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://arxiv.org/abs/2610.22350">FDE-Gym: The Last Mile of AI Delivery (arXiv:2610.22350)</a></li>
  <li><a href="https://unbug.github.io/paradigm-radar-agent-forensics-layer/">AI 范式雷达：Agent 说完不算，拿出证据</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="Engineering" /><category term="ai-agents" /><category term="benchmark" /><category term="evaluation" /><category term="llm" /><summary type="html"><![CDATA[DeepLethe 联合清华大学、上海交通大学等团队发布预印本基准 FDE-Gym，用 95 个隐藏约束的交付任务评测 AI 智能体，最好的配置平均分仅 0.56、只解决 14 题，问到关键信息也未必做出交付。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/fde-gym-last-mile.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/fde-gym-last-mile.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">一分钟读论文：《强模型掌舵，弱模型盯梢》</title><link href="https://unbug.github.io/one-minute-read-paper-leash-weak-to-strong/" rel="alternate" type="text/html" title="一分钟读论文：《强模型掌舵，弱模型盯梢》" /><published>2026-10-17T00:00:00+00:00</published><updated>2026-10-17T00:00:00+00:00</updated><id>https://unbug.github.io/one-minute-read-paper-leash-weak-to-strong</id><content type="html" xml:base="https://unbug.github.io/one-minute-read-paper-leash-weak-to-strong/"><![CDATA[<p>Simular 联合威斯康星大学麦迪逊分校（University of Wisconsin–Madison）的论文<a href="https://arxiv.org/abs/2610.22280">《LEASH: Uncertainty-Aware Weak-to-Strong Escalation and Oversight for Computer-Use Agents》</a>（arXiv 预印本，2026 年 10 月提交）给出了一个省钱又不掉链子的方案：让开源弱模型先干活，按<code class="language-plaintext highlighter-rouge">不确定性</code>在合适时机升级给强模型接管；接管后弱模型并不下班，而是转任<code class="language-plaintext highlighter-rouge">影子观察者</code>在线盯梢强模型。在 OSWorld 基准（评测桌面任务成功率的基准）上，以 Qwen3.5-35B-A3B 为骨干时，LEASH 任务成功率 <code class="language-plaintext highlighter-rouge">73.66%</code>，追平常开 Claude Opus 5 的 <code class="language-plaintext highlighter-rouge">72.90%</code>，单任务<code class="language-plaintext highlighter-rouge">估算成本</code>（按固定参考价折算 token 用量得出，非真实账单）<code class="language-plaintext highlighter-rouge">$0.4117</code> 对 <code class="language-plaintext highlighter-rouge">$0.5094</code>，省 <code class="language-plaintext highlighter-rouge">19.2%</code>。</p>

<p><img src="/assets/images/leash-weak-to-strong.svg" alt="LEASH 消融阶梯：37.40 → 41.15 → 67.94 → 73.66" /></p>

<h2 id="三层机制何时换人换了之后谁盯着">三层机制：何时换人，换了之后谁盯着</h2>

<p>计算机操作智能体（computer-use agent，能像人一样操作桌面完成任务的智能体）的长任务有个两难：前沿强模型每一步都调用太贵，小开源模型单独执行又做不成事。LEASH 是一套无需训练的三层机制：开局按<code class="language-plaintext highlighter-rouge">任务级不确定性</code>早期路由，难任务直接交给强模型；运行中由弱智能体的<code class="language-plaintext highlighter-rouge">步级不确定性</code>触发<code class="language-plaintext highlighter-rouge">升级交接</code>，把任务移交给强执行器；交接后弱智能体转任影子观察者，继续盯梢强智能体。另有一个强模型担任的 Manager，在开头和子目标边界拆解与验收。</p>

<p>最特别的设计在第三层。论文指出，强模型是<code class="language-plaintext highlighter-rouge">拿不到内部状态的黑盒 API</code>，长任务中同样会跑偏、陷入死循环；口头表达的信心也不可靠——这一判断来自论文引述的先前研究（Han et al. 2024）。看不见强模型的心跳，LEASH 就让白盒弱模型在<code class="language-plaintext highlighter-rouge">相同的动作 token 位置</code>生成<code class="language-plaintext highlighter-rouge">影子表征</code>，用自己的隐状态变化替代看不见的心跳，判断强模型是否还在线上。这套在线盯梢与第 191 期介绍的<a href="https://unbug.github.io/one-minute-read-paper-swe-critix-trajectory-verifier/">轨迹裁判</a>的区别一句话说清：裁判是事后打分，影子是运行时干预。</p>

<h2 id="消融实验钱花在哪一层各买回多少分">消融实验：钱花在哪一层，各买回多少分</h2>

<p>论文最有迁移价值的是同表消融阶梯，把每层花费和回报摊开（Qwen3.5-35B-A3B 骨干，估算成本口径同上）：</p>

<ul>
  <li>弱模型独立执行：<code class="language-plaintext highlighter-rouge">37.40%</code></li>
  <li>加入 Manager 拆解验收：<code class="language-plaintext highlighter-rouge">41.15%</code>，估算成本 <code class="language-plaintext highlighter-rouge">$0.1372</code></li>
  <li>加入不确定性升级：<code class="language-plaintext highlighter-rouge">67.94%</code>，估算成本 <code class="language-plaintext highlighter-rouge">$0.4050</code></li>
  <li>加入影子盯梢：<code class="language-plaintext highlighter-rouge">73.66%</code>，估算成本 <code class="language-plaintext highlighter-rouge">$0.4117</code></li>
</ul>

<p>大头花在<code class="language-plaintext highlighter-rouge">该换人时换人</code>：升级机制拉高 <code class="language-plaintext highlighter-rouge">26.8</code> 个百分点；影子层再补 <code class="language-plaintext highlighter-rouge">5.7</code> 个百分点，成本只多花约 <code class="language-plaintext highlighter-rouge">1.7%</code>。跨骨干看，升级差距可回收 <code class="language-plaintext highlighter-rouge">75%–102%</code>，成本为常开强模型的 <code class="language-plaintext highlighter-rouge">69%–81%</code>。同成本对照下，LEASH 比随机升级高 <code class="language-plaintext highlighter-rouge">9.1</code> 个百分点，说明收益来自<code class="language-plaintext highlighter-rouge">何时升级</code>的判断，而非多调用强模型；主打配置升级率 <code class="language-plaintext highlighter-rouge">64.1%</code>。</p>

<p>低升级率也有收益：Nemotron-3 从 <code class="language-plaintext highlighter-rouge">45.04%</code> 升到 <code class="language-plaintext highlighter-rouge">66.03%</code>（升级率 <code class="language-plaintext highlighter-rouge">43.1%</code>），EvoCUA-8B 从 <code class="language-plaintext highlighter-rouge">42.37%</code> 升到 <code class="language-plaintext highlighter-rouge">67.18%</code>（升级率 <code class="language-plaintext highlighter-rouge">45.4%</code>），4 个开源骨干一致。</p>

<h2 id="值得记下的设计判断">值得记下的设计判断</h2>

<p>模型路由研究大多在回答<code class="language-plaintext highlighter-rouge">什么时候换强模型</code>，LEASH 多回答了一件常被忽略的事：换上去的强模型自己也会迷路。让下班的弱模型在同样的动作位置上用隐状态替强模型把脉，等于给黑盒执行器装了一个低成本在线仪表。这仍是 2026 年 10 月的 arXiv 预印本，结果以 OSWorld 任务成功率为口径，论文未提及平台开源。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://arxiv.org/abs/2610.22280">LEASH: Uncertainty-Aware Weak-to-Strong Escalation and Oversight for Computer-Use Agents</a></li>
  <li><a href="https://unbug.github.io/one-minute-read-paper-swe-critix-trajectory-verifier/">一分钟读论文：智能体轨迹裁判</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="Engineering" /><category term="llm-agents" /><category term="model-routing" /><category term="ai-agents" /><category term="benchmark" /><category term="evaluation" /><summary type="html"><![CDATA[Simular 联合威斯康星大学麦迪逊分校提出 LEASH 框架：弱模型按不确定性升级给强模型，交接后转任影子观察者在线盯梢黑盒强模型，OSWorld 成功率 73.66% 追平常开强模型，估算成本省 19.2%。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/leash-weak-to-strong.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/leash-weak-to-strong.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">AI 智创简报：《抽文档省 token 的做法正在收敛：先定位，只喂那一小块》</title><link href="https://unbug.github.io/innovation-brief-document-intelligence-grant-wave/" rel="alternate" type="text/html" title="AI 智创简报：《抽文档省 token 的做法正在收敛：先定位，只喂那一小块》" /><published>2026-10-16T00:00:00+00:00</published><updated>2026-10-16T00:00:00+00:00</updated><id>https://unbug.github.io/innovation-brief-document-intelligence-grant-wave</id><content type="html" xml:base="https://unbug.github.io/innovation-brief-document-intelligence-grant-wave/"><![CDATA[<p>生成式 AI 落地最早的赛道之一，正在专利面上留下整齐的一排：2026 年 2 月到 8 月，六家互不相同的公司围绕同一件事拿到了授权——<strong>用语言模型从非结构化文档里抽取结构化字段</strong>。值得单独写一篇的原因不是题目新，而是路线收敛得漂亮：<strong>大厂们不约而同地把大模型用「小」了——先用规则、版式或分类器定位，只把命中那一小块上下文喂给模型，最后做字段级校验。</strong></p>

<p><img src="/assets/images/innovation-brief-document-intelligence-grant-wave.svg" alt="六件授权的公开节奏与两件快速授权" /></p>

<h2 id="一排授权与两个异常快的数字">一排授权与两个异常快的数字</h2>

<p>把六件核心授权按公开节奏排开（均经 Google Patents 详情页逐字核验）：Mistral AI 的《Document intelligence system》（US12651113B1），IBM 的《Location of key value pairs》（US12639362B2），Intuit 的两件——《In-context OCR exemplars for out-of-domain document information extraction》（US12632675B2）与《Hybrid key value document extraction》（US12705916B2），Adobe 的《Data identification and extraction from unstructured documents》（US12699851B2），Vendr 的《Systems and methods for automated data extraction of unstructured documents》（US12586403B2）。</p>

<p>两个数字异常。Mistral 这件专利优先权日是 2025-12-31，授权日 2026-06-09，<strong>从优先权到授权只有 5.3 个月</strong>；Vendr 那件从申请（2025-09-15）到授权（2026-03-24）只用了 6.3 个月。审查快慢受程序因素影响多，不能直接读成市场热度，但异常快的授权连续出现，通常意味着该主题的权利要求空间已经清晰——能圈的都在圈，动作慢的就轮到别人了。</p>

<h2 id="收敛的技术模式把模型放在定位之后">收敛的技术模式：把模型放在定位之后</h2>

<p>六件权利要求各有侧重，拆开看是同一条流水线，只是各家切的刀口不同。</p>

<p><strong>规则或版面先动手，模型只处理疑难点。</strong> Intuit 的 US12705916B2 切得最直白：先用规则解析命中目标字段，只把命中词的邻域文本交给语言模型——整页不进模型，省下 token 也缩了幻觉面。IBM 的 US12639362B2 用 LLM 生成和应用 prompt 模板定位文档中的键值对，模型负责「找」，结构化落库走确定性通道。Intuit 另一件 US12632675B2 解决域外文档：给没见过的文档类型构造带标注的 OCR 范例，用 in-context 范例教模型抽字段，而不是微调。</p>

<p><strong>抽取完不算完，校验环节进了独立权利要求。</strong> Vendr 的 US12586403B2 在多分类器分类加抽取的主流程之外，把 corrections and validations 流程写进了方案；背景件里 HighRadius 的财务文档抽取（US12664136B1）主打自动纠错。字段级校验从工程细节升格为权利要求，说明各家都被真实业务里的抽取错误烫过。</p>

<p><strong>Mistral 的位置最有信号意义。</strong> US12651113B1 是文档标注与抽取的工作流系统——模型厂在做文档智能的管道件，前沿模型厂开始亲自圈流程层的地，而不只是卖 API。</p>

<h2 id="对做工程的人的三点提示">对做工程的人的三点提示</h2>

<p>第一，<strong>整页文档塞大模型做抽取的做法，已经落后于专利面显示的工程共识</strong>。先定位后抽取在六家申请人的文件里反复出现，是这个阶段的标准做法，不是某家的独门技巧。</p>

<p>第二，<strong>工具层不空</strong>。Reducto、LlamaParse、Unstructured 正拿抽取准确率当营销主战场，第三方评测已在写「按字段暴露失败模式」——想靠「更准的抽取器」切入的人面对的是红海。这排授权的真正价值，是看清六家独立团队收敛到哪条流水线上，把自己的文档管线对齐过去。</p>

<p>第三，<strong>审查速度本身是可跟踪的信号</strong>。若同类主题的授权节奏持续加快，说明权利要求还在被快速消化，「快授件」值得当成一个独立的雷达档位。</p>

<h2 id="references">References</h2>
<ul>
  <li>Mistral AI, “Document intelligence system”, US12651113B1: https://patents.google.com/patent/US12651113B1/en</li>
  <li>IBM, “Location of key value pairs”, US12639362B2: https://patents.google.com/patent/US12639362B2/en</li>
  <li>Intuit, “In-context OCR exemplars for out-of-domain document information extraction”, US12632675B2: https://patents.google.com/patent/US12632675B2/en</li>
  <li>Intuit, “Hybrid key value document extraction”, US12705916B2: https://patents.google.com/patent/US12705916B2/en</li>
  <li>Adobe, “Data identification and extraction from unstructured documents”, US12699851B2: https://patents.google.com/patent/US12699851B2/en</li>
  <li>Vendr, “Systems and methods for automated data extraction of unstructured documents”, US12586403B2: https://patents.google.com/patent/US12586403B2/en</li>
  <li>HighRadius, 财务文档抽取与自动纠错, US12664136B1: https://patents.google.com/patent/US12664136B1/en</li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="InnovationBrief" /><category term="patent" /><category term="document-ai" /><category term="information-extraction" /><category term="llm" /><category term="dev-tools" /><summary type="html"><![CDATA[2026 年 2 到 8 月六家不同公司的大模型文档抽取专利密集授权，Mistral 从优先权到授权只用了 5.3 个月；技术路线收敛为规则先定位、只把命中邻域交给大模型、再做字段级校验。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/innovation-brief-document-intelligence-grant-wave.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/innovation-brief-document-intelligence-grant-wave.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">一分钟读论文：《三个托就能改掉一半人的心里话》</title><link href="https://unbug.github.io/one-minute-read-paper-belief-collapse/" rel="alternate" type="text/html" title="一分钟读论文：《三个托就能改掉一半人的心里话》" /><published>2026-10-16T00:00:00+00:00</published><updated>2026-10-16T00:00:00+00:00</updated><id>https://unbug.github.io/one-minute-read-paper-belief-collapse</id><content type="html" xml:base="https://unbug.github.io/one-minute-read-paper-belief-collapse/"><![CDATA[<p>伊利诺伊大学芝加哥分校（University of Illinois Chicago）的预印本论文<a href="https://arxiv.org/abs/2610.22138">《Believed but Not Said: Measuring Hidden Belief Collapse in Multi-Agent LLM Discussions》</a>用一组最小对抗实验检验了多智能体系统流行的设计假设——群体讨论能互相纠错。论文的核心数字：在 10 个智能体参与的事实问答讨论中，不放对抗者时只有 <code class="language-plaintext highlighter-rouge">0.6%</code> 的良性智能体最终以错误答案收尾；放入 1 个反复坚称错误答案的对抗智能体后，这一比例升至 <code class="language-plaintext highlighter-rouge">44.8%</code>，放入 3 个后达到 <code class="language-plaintext highlighter-rouge">60.5%</code>。</p>

<p><img src="/assets/images/belief-collapse-coverage.svg" alt="无托、一托、三托三种配置下最终以错误答案收尾的良性智能体比例，以及三托在场时私下持错与公开附和的对比" /></p>

<h2 id="把公开立场和私下想法分开测">把公开立场和私下想法分开测</h2>

<p>实验设计刻意选择了最弱的攻击者：对抗智能体没有任何其他手段，不做提示注入，也不利用模型漏洞，只是在讨论中反复坚称一个看似合理的错误答案，属于最小对手设定。测试覆盖六个模型和三个事实问答数据集。</p>

<p>测量上的关键创新是把公开与私下两条通道分开：每轮讨论结束后，通过一条同伴看不见的独立调用，探测每个良性智能体的私有答案，再单独统计它在讨论记录中的公开立场。数据显示，被追问「你自己怎么看」时，错误答案依然留存，说明私下变化不是表演。</p>

<h2 id="与经典从众研究方向相反">与经典从众研究方向相反</h2>

<p>经典的从众研究（如 Asch 实验）通常报告的模式是公开顺从、私意不变；这篇论文的观察方向相反。在 3 个对抗智能体在场的暴露轮次中，良性智能体有 <code class="language-plaintext highlighter-rouge">51.6%</code> 的轮次私底下持有错误答案，而公开附和的比例只有 <code class="language-plaintext highlighter-rouge">19.7%</code>。也就是说，信念先塌了，嘴上还没有承认。</p>

<p>这个错位带来一个直接的工程后果：由于公开记录远比私下状态容易审计，管理者翻看讨论日志时，看到的多数是坚持己见的智能体，看不出团队内部已被带偏。无托基线的 <code class="language-plaintext highlighter-rouge">0.6%</code> 也说明群体讨论本身并不制造错误，错误率的抬升全部来自对抗者的反复坚称。</p>

<h2 id="同质互检可能是互相感染">同质互检可能是互相感染</h2>

<p>论文还观察到两个不利于「辩论、批评者、委员会」类架构的事实：守住正确答案的智能体常常辩护失败；错误答案一旦被某个良性智能体采纳，会继续在良性智能体之间扩散。此外，模型的基线知识水平不预测其抗影响能力，知识更多的模型在同样配置下一样会倒。</p>

<p>这与站内文章<a href="https://unbug.github.io/one-minute-read-paper-ctxgap-report-gap/">《一分钟读论文：智能体知道自己错了却不写进报告》</a>描述的 #193 研究构成一组「内外分离」的证据链：CTXGAP 测量的是内部状态不进报告的通道缺口，这篇测量的是从众动力学下私意先塌、公开看不出来，两个机制不同，但指向同一件事——查报告查不到真相，看讨论也看不到私意。对多智能体架构而言，同质模型互相检查，可能只是互相感染。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://arxiv.org/abs/2610.22138">Believed but Not Said: Measuring Hidden Belief Collapse in Multi-Agent LLM Discussions</a></li>
  <li><a href="https://unbug.github.io/one-minute-read-paper-ctxgap-report-gap/">一分钟读论文：智能体知道自己错了却不写进报告</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="Engineering" /><category term="multi-agent" /><category term="llm" /><category term="ai-agents" /><summary type="html"><![CDATA[伊利诺伊大学芝加哥分校的预印本实测多智能体讨论的从众风险：10 个智能体的事实讨论中，无托时仅 0.6% 以错误答案收尾，放入 3 个反复坚称错误答案的对抗者后达 60.5%，私下错误远高于公开附和。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/belief-collapse-coverage.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/belief-collapse-coverage.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">一分钟读论文：《编码智能体：知道却不说》</title><link href="https://unbug.github.io/one-minute-read-paper-ctxgap-report-gap/" rel="alternate" type="text/html" title="一分钟读论文：《编码智能体：知道却不说》" /><published>2026-10-16T00:00:00+00:00</published><updated>2026-10-16T00:00:00+00:00</updated><id>https://unbug.github.io/one-minute-read-paper-ctxgap-report-gap</id><content type="html" xml:base="https://unbug.github.io/one-minute-read-paper-ctxgap-report-gap/"><![CDATA[<p>腾讯与中国科学技术大学团队的预印本论文<a href="https://arxiv.org/abs/2610.20003">《What Coding Agents Leave Unsaid: Measuring Task-State Gaps Between Execution and Reports》</a>（arXiv:2610.20003）测量了一个反直觉的现象：编码智能体并非不知道自己的工作出了什么问题，而是例行报告天然漏事。直接问智能体本人，<code class="language-plaintext highlighter-rouge">93.6%</code> 的任务状态问题能答对；只看它写给用户的报告，只能恢复 <code class="language-plaintext highlighter-rouge">52.0%</code>，两者相差 <code class="language-plaintext highlighter-rouge">40.7</code> 个百分点。论文直言：监督者无法调查从未被告知发生过的失败。</p>

<p><img src="/assets/images/ctxgap-report-gap.svg" alt="三组任务状态恢复率对比：问智能体本人93.6%、读完整执行记录92.7%、只看报告52.0%" /></p>

<h2 id="报告与执行记录之间的差距怎么量">报告与执行记录之间的差距怎么量</h2>

<p>这项测量叫 CTXGAP，目标是量化「智能体面向用户的累积报告」与「完整执行记录」之间任务状态可恢复性的差距。「任务状态可恢复性」指读者能否从给定材料中回答关于任务真实状态的问题。实验覆盖 <code class="language-plaintext highlighter-rouge">37</code> 个编码任务、<code class="language-plaintext highlighter-rouge">4,799</code> 个有效探针，用三种读取方式对比：直接问智能体本人恢复 <code class="language-plaintext highlighter-rouge">93.6%</code>，读完整执行上下文的读者恢复 <code class="language-plaintext highlighter-rouge">92.7%</code>，只看报告的读者恢复 <code class="language-plaintext highlighter-rouge">52.0%</code>。需要强调的是，这是三种读取方式的可恢复性对比，不是任务成功率——<code class="language-plaintext highlighter-rouge">93.6%</code> 说明智能体按需被问就知道，不等于它会在报告里主动说。</p>

<h2 id="结案时不收敛缺口是轻描淡写">结案时不收敛，缺口是轻描淡写</h2>

<p>差距不会随任务收尾而消失。在 <code class="language-plaintext highlighter-rouge">30</code> 个已验证修复的最终检查点上，报告读者与完整上下文读者之间仍有 <code class="language-plaintext highlighter-rouge">34.8</code> 个点的差距。人工标注显示，最大的缺口类别不是彻底隐瞒，而是状态被提到了、但没带足够的支撑细节——失败的尝试、变通的做法和未解决的风险，被轻描淡写地一笔带过，监督者因此看不到本该细查的地方。这一差距跨 harness 持续存在，并在独立的 DeepSeek 执行与测量链路下复现。论文把「基于报告的任务状态可恢复性」确立为一个新的评测维度。</p>

<h2 id="补救有限报告通道本身是瓶颈">补救有限，报告通道本身是瓶颈</h2>

<p>研究者测试了两条补救路线，效果都有限。给读者提供终端的完整回滚内容，恢复率升到 <code class="language-plaintext highlighter-rouge">73.6%</code>，仍明显低于完整上下文的 <code class="language-plaintext highlighter-rouge">92.7%</code>；做上下文信息重写（在报告长度对齐的条件下）只抬升约 8 个点，且「针对性提示重写」相对「自然重写」没有可检测优势。结论不是「调一下提示词就能解决」，而是报告这条通道本身是瓶颈。本系列 #191 介绍过的 SWE-Critix 训练轨迹裁判、主张判分不听汇报（<a href="https://unbug.github.io/one-minute-read-paper-swe-critix-trajectory-verifier/">详见</a>），两篇机制不同——一个测报告缺口，一个训轨迹裁判——但叙事相连：先量化了报告漏掉 <code class="language-plaintext highlighter-rouge">40.7</code> 个点，才更懂为什么要让裁判直接读轨迹。</p>

<p>对使用编码智能体的团队，这篇论文的操作含义是一句话：把例行报告当交接文档可以，当审计日志不行。要追责、要复盘、要验证修复，得回到完整执行记录本身，而不是智能体自己写的摘要。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://arxiv.org/abs/2610.20003">What Coding Agents Leave Unsaid: Measuring Task-State Gaps Between Execution and Reports</a></li>
  <li><a href="https://unbug.github.io/one-minute-read-paper-swe-critix-trajectory-verifier/">一分钟读论文：SWE-Critix 轨迹裁判</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="Engineering" /><category term="ai-agents" /><category term="coding-agents" /><category term="llm-evaluation" /><summary type="html"><![CDATA[腾讯与中国科学技术大学团队的预印本测量显示：直接问编码智能体，93.6%的任务状态能答对；只看它的例行报告，只能恢复52.0%，差距40.7个百分点，且结案时仍不收敛。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/ctxgap-report-gap.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/ctxgap-report-gap.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">AI 范式雷达：《当你的笔记本上住进别人家的守护进程》</title><link href="https://unbug.github.io/paradigm-radar-agent-daemon-sovereignty/" rel="alternate" type="text/html" title="AI 范式雷达：《当你的笔记本上住进别人家的守护进程》" /><published>2026-10-16T00:00:00+00:00</published><updated>2026-10-16T00:00:00+00:00</updated><id>https://unbug.github.io/paradigm-radar-agent-daemon-sovereignty</id><content type="html" xml:base="https://unbug.github.io/paradigm-radar-agent-daemon-sovereignty/"><![CDATA[<p>一组 2026-10-16 实测数字：openai/codex 要求把守护进程默认启动改为 opt-in（选择性加入）的 issue <code class="language-plaintext highlighter-rouge">#48195</code> 获 <code class="language-plaintext highlighter-rouge">181</code> 个 <code class="language-plaintext highlighter-rouge">+1</code>、仍 open；HN 帖 <code class="language-plaintext highlighter-rouge">50060694</code> 拿到 <code class="language-plaintext highlighter-rouge">607</code> 分、全树 <code class="language-plaintext highlighter-rouge">292</code> 条评论（口径：<code class="language-plaintext highlighter-rouge">292</code> 为 HN API 全树数含已删除，顶层回复 <code class="language-plaintext highlighter-rouge">58</code>）。被讨论的对象是约 <code class="language-plaintext highlighter-rouge">374 MB</code> 的平台包：从 0.157.0 版起，打开一次交互式 <code class="language-plaintext highlighter-rouge">codex</code> 会话，它就被复制进家目录、变成常驻进程、带着每小时一次的自更新循环，关窗后继续活着。全文数字均为 10-16 经 GitHub、HN、npm 接口重测，转述除外。</p>

<p><img src="/assets/images/paradigm-radar-agent-daemon-cover.svg" alt="封面：笔记本电脑轮廓内嵌套厂商控制的守护进程与更新循环，版本/进程/配置三个主权图标正在淡出" /></p>

<h2 id="核心判断会话级应用正在滑向常驻基础设施">核心判断：会话级应用正在滑向常驻基础设施</h2>

<p><strong>Codex CLI 守护进程事件标志着 Agent 工具的分发范式从「会话级应用」切换为「常驻基础设施」，配套的是消费软件式的更新模型——默认开启、静默安装、小时级自更新、退出包管理器管辖；当 harness（包裹大模型、管理工具调用与会话的执行框架）自己变成守护进程，工程师对版本、进程、配置三项主权的默认持有即被没收。</strong>这不是单家公司的偶发事故。本刊第 13 期<a href="/paradigm-radar-agent-as-workload/">《智能体正从应用循环迁为集群一等负载》</a>论证的是同一条迁移曲线的数据中心侧，本期是它的镜像：同一种「Agent 是长期工作负载」假设，未经同意就落在笔记本上。集群侧是工程师主动设计的，本机侧是默认值替你决定的，差别正是争议来源。与近三期的边界：第 15 期是分发渠道，第 16 期是运行前的权限载体，第 17 期是事后取证；本期不是审计行为，而是安装时的默认值与退出路径——软件在你没做任何选择前，已经替你驻留了下来。</p>

<p><img src="/assets/images/paradigm-radar-agent-daemon-architecture.svg" alt="机制架构：交互式会话启动 daemon 与更新器、复制平台包、钉住首会话环境、reparent 到 PID 1，旁边 npm 镜像被绕过" /></p>

<h2 id="机制拆解一次交互会话之后机器上多了什么">机制拆解：一次交互会话之后，机器上多了什么</h2>

<p>按 <code class="language-plaintext highlighter-rouge">#48195</code> 作者的复现步骤，打开一次 <code class="language-plaintext highlighter-rouge">codex</code> 会话后，机器上多出四个东西：</p>

<ol>
  <li><strong>一个常驻守护进程</strong>。<code class="language-plaintext highlighter-rouge">codex app-server --managed-daemon</code> 以独立会话、无 TTY（终端通道）启动，reparent（父进程退出后被系统收养）到 <code class="language-plaintext highlighter-rouge">PID 1</code>，关窗不退出，直到 <code class="language-plaintext highlighter-rouge">daemon stop</code> 或重启。</li>
  <li><strong>一份 374 MB 的平台包副本</strong>。<code class="language-plaintext highlighter-rouge">codex</code>、<code class="language-plaintext highlighter-rouge">codex-code-mode-host</code> 及打包的 bwrap、zsh、rg 整体复制进 <code class="language-plaintext highlighter-rouge">~/.codex/packages/.../releases/&lt;version&gt;/</code> 并从副本运行，包管理器与真正干活的后端从这一刻脱钩。</li>
  <li><strong>一个分离式更新器</strong>。<code class="language-plaintext highlighter-rouge">pid-update-loop</code>：启动 5 分钟后首查，此后每小时一次，下载新版并重启后端。</li>
  <li><strong>一份被固定住的环境</strong>。daemon 钉住「谁先启动它」那个会话的环境变量：作者的首会话带 HTTPS_PROXY，此后所有会话出站流量都被它钉死。关联 <code class="language-plaintext highlighter-rouge">#42457</code>（hooks 收到 daemon 工作目录），同一病根。</li>
</ol>

<p>四样东西归到三个抽屉，就是「三样主权」。<strong>版本主权</strong>回答「跑的是不是你装的二进制」：以前答案是平凡的「是」，现在 <code class="language-plaintext highlighter-rouge">npm update</code> 升的是 CLI 壳，后端来自 <code class="language-plaintext highlighter-rouge">~/.codex/packages</code> 里更新器挑的那份。<strong>进程主权</strong>回答「它何时结束」：会话结束不再等于进程结束，唯一自动退出条件是重启。<strong>配置主权</strong>回答「它带谁的环境活到明天」：是启动它的那个会话。</p>

<p><img src="/assets/images/paradigm-radar-agent-daemon-sovereignty.svg" alt="三方主权拆解：版本主权被复制包切断、进程主权被 PID 1 与 60 秒 SIGKILL 切断、配置主权被首会话环境钉住切断" /></p>

<h2 id="证据链时间线从-60-秒-sigkill-到-607-分头版">证据链时间线：从 60 秒 SIGKILL 到 607 分头版</h2>

<p><img src="/assets/images/paradigm-radar-agent-daemon-timeline.svg" alt="证据链时间线：2026-08-26 至 2026-10-15 的八个节点，含默认启用与 HN 热帖，均为实测出处" /></p>

<p>按日期排开，能看到一路有信号、一路没刹车（以下全部实测）：</p>

<ul>
  <li><strong>信号期（08-26 至 09-18）</strong>：<code class="language-plaintext highlighter-rouge">#40969</code> 立案——自动更新只给 <code class="language-plaintext highlighter-rouge">60</code> 秒 drain（等在跑任务收尾的窗口预算），超时 <code class="language-plaintext highlighter-rouge">SIGKILL</code>（强制终止信号）杀掉在跑的 turn（一次连续工作单元），且无关闭方式；<code class="language-plaintext highlighter-rouge">#41188</code> 请求外部管理 daemon（<code class="language-plaintext highlighter-rouge">+1</code> 共 <code class="language-plaintext highlighter-rouge">9</code>）；<code class="language-plaintext highlighter-rouge">#42457</code> 环境钉住；<code class="language-plaintext highlighter-rouge">#46468</code> 双通道打架。至今全部 open。</li>
  <li><strong>默认启用（09-25）</strong>：0.157.0 发布（Releases 与 npm 同日），后台启动在发布说明只占一句「Enabled automatic background-server startup」，混在十余条特性里无告示；同日 <code class="language-plaintext highlighter-rouge">#48050</code>（Arch 不加 <code class="language-plaintext highlighter-rouge">--no-daemon</code> 无法启动）、<code class="language-plaintext highlighter-rouge">#48195</code>（要求改 opt-in）立案。</li>
  <li><strong>引爆期（10-08 至 10-13）</strong>：0.163.0 的 alpha 连发 11 版、10-15 转正 latest，小时级循环对着日更级发版流；10-12 HN 帖发布（10-16 实测 <code class="language-plaintext highlighter-rouge">607</code> 分）；10-13 <code class="language-plaintext highlighter-rouge">#53547</code> 立案环境变量跨会话泄漏。</li>
</ul>

<p><img src="/assets/images/paradigm-radar-agent-daemon-exit-paths.svg" alt="关闭缺口：stop 漏杀 pid-update-loop（70 秒仍存活）、reparent 到 PID 1、官方文档零条目三个出口全部受阻，唯一路径是 feature flag" /></p>

<p>最锋利的细节是关闭路径。<code class="language-plaintext highlighter-rouge">daemon stop</code> 停了 app-server，<code class="language-plaintext highlighter-rouge">pid-update-loop</code> 却还活着 <code class="language-plaintext highlighter-rouge">70</code> 秒，需手动 <code class="language-plaintext highlighter-rouge">kill</code>——关不干净是作者实测。文档侧据用户 foma-agent 核对（转述，10-16 复测仍查无此条目），官方 config 参考页对 <code class="language-plaintext highlighter-rouge">daemon_auto_start</code> 零条目，唯一可见的关闭方式是 config.toml 的 feature flag（whimblepop 实测、多人复贴）。</p>

<h2 id="反方观点与边界条件争的不是自动更新">反方观点与边界条件：争的不是自动更新</h2>

<p>HN 线程（实测全树 <code class="language-plaintext highlighter-rouge">292</code> 条评论）逐条扫下来，至少两条反方论据有实质力量，边界条件也必须写清楚。</p>

<p><strong>反方 A：「浏览器都自动更新，harness 凭什么不」</strong>（用户 dingaling911，评论可查）。这条不是歪理：Chrome、Firefox 的静默自动更新运行了十几年，是最成功的供应链安全实践之一。先声明口径：「浏览器更新自带进程沙箱所以可接受」在线程中并无评论直接提出，属流行类比，按「常见主张」评估——浏览器更新默认有进程边界与沙箱，而 harness 持有整台机器的读写、网络和凭据，更新的是执行环境而非查看器，爆炸半径不同量级。线程内的反驳：icantevenhold 称其浏览器更新需批准；swatcoder、wtallis 认为快速迭代不构成默认塞给专业工具变更的权利。</p>

<p><strong>反方 B：「企业跑 npm mirror，交付天然接进 IT 合规框架」</strong>（用户 judge2020，评论可查）。这条被机制事实削弱：镜像管得住 npm 安装那一瞬间，管不住 <code class="language-plaintext highlighter-rouge">~/.codex/packages</code> 里的小时级自更新。合规链在复制包这步断掉，反方 B 其实是提案方——恰恰证明包管理器管辖权被绕开。</p>

<p><strong>用户主权论与合理面</strong>。用户 thebeardisred 肯定发行版模式的价值：有人打包、测试、给出合理默认，挡住这类小动作，隐含场景（交付前不希望工具被更新改变）是具体的。反过来，「有 bug 才等新版本」的需求也确实存在。两面摆清就能看出：<strong>争议焦点不是「要不要自动更新」，而是「默认值加可见性加退出路径完整性」</strong>——默认开启而非 opt-in；发布说明一句话、config 文档零条目；唯一的关闭命令 stop 漏杀更新器。三样都有解，都不需要牺牲自动更新的安全收益。</p>

<p>正方阵营的过度部分也要标注口径。GitHub 评论里 laurynas-karvelis 的「a trait of malware」类比与 shakefu 的回退 license 言论已核实存在，属情绪信号；用户 icantevenhold 称旧版本占约 <code class="language-plaintext highlighter-rouge">12 GB</code>、AgharaShyam 称 <code class="language-plaintext highlighter-rouge">~/.bun/install/cache</code> 有 <code class="language-plaintext highlighter-rouge">11</code> 个约 <code class="language-plaintext highlighter-rouge">300 MB</code> 的二进制，评论真实存在但系各人本机观察、未复现，仅作感知强度引用。</p>

<p><img src="/assets/images/paradigm-radar-agent-daemon-counterarguments.svg" alt="反方对比：浏览器先例论与企业镜像论各自的正反论据，下方标注争议真正的三个焦点" /></p>

<h2 id="生态同构双通道分叉与实操">生态同构、双通道分叉与实操</h2>

<p><img src="/assets/images/paradigm-radar-agent-daemon-ecosystem.svg" alt="生态同构对比：Codex/Claude Code/桌面版各自的常驻形态与实测口径" /></p>

<p>单品失误的解释在生态同构面前变弱：timdorr 贴出本机清单，Claude Code 在 <code class="language-plaintext highlighter-rouge">~/.local/share/claude/versions/</code> 驻留多版本且有 <code class="language-plaintext highlighter-rouge">claude bg</code> 后台进程，同款形态；HackerThemAll 称 Claude 桌面版唤醒后残留约二十几个进程（转述，未复现）。</p>

<p><img src="/assets/images/paradigm-radar-agent-daemon-version-divergence.svg" alt="双版本通道分叉：包管理器通道与 daemon 更新器通道对同一后端各自演化，issue 编号标注冲突证据" /></p>

<p>双通道分叉是这类形态最安静的症状。<code class="language-plaintext highlighter-rouge">#46468</code> 是完整剧本：<code class="language-plaintext highlighter-rouge">npm update</code> 后 CLI 壳升到新版，app-server 停在旧版，让 daemon 恢复又拒绝走预期路径——包管理器认为装了 A，更新器认为跑了 B，合在一起没人知道真相。<code class="language-plaintext highlighter-rouge">#48050</code> 是另一面：打包者要显式加 <code class="language-plaintext highlighter-rouge">--no-daemon</code> 才能让软件在发行版体系里工作，它已不再假设「安装即文件、运行即会话」的传统契约。</p>

<p>自查与关闭，<code class="language-plaintext highlighter-rouge">#48195</code> 正文已给出实测过的 workaround：先用 <code class="language-plaintext highlighter-rouge">ps aux</code> 与 <code class="language-plaintext highlighter-rouge">du -sh</code> 观测 <code class="language-plaintext highlighter-rouge">codex app-server</code>、<code class="language-plaintext highlighter-rouge">pid-update-loop</code> 进程与 <code class="language-plaintext highlighter-rouge">~/.codex/packages/app-server-daemon</code> 目录；关闭则依次执行 <code class="language-plaintext highlighter-rouge">codex features disable daemon_auto_start</code>、<code class="language-plaintext highlighter-rouge">daemon stop</code>、<code class="language-plaintext highlighter-rouge">pkill -f pid-update-loop</code> 并删复制包目录，stop 后确认更新器残留；或在 <code class="language-plaintext highlighter-rouge">config.toml</code> 的 <code class="language-plaintext highlighter-rouge">[features]</code> 段写 <code class="language-plaintext highlighter-rouge">daemon_auto_start = false</code>（whimblepop 实测、多人复贴，升级后复查）。</p>

<p>企业环境：走内网 npm 镜像的话，把 <code class="language-plaintext highlighter-rouge">~/.codex/packages</code> 与 <code class="language-plaintext highlighter-rouge">~/.codex/app-server-daemon</code> 纳入终端合规扫描（完整性基线或 MDM 策略）——镜像层管不到这里，防御要打在缺口上。</p>

<h2 id="未来一到两个雷达周期五个观察点">未来一到两个雷达周期：五个观察点</h2>

<p><img src="/assets/images/paradigm-radar-agent-daemon-radar.svg" alt="雷达观察点：五个信号按方向排布，各自标注判据与对应 issue 编号" /></p>

<p>五个观察点各有判据：</p>

<ol>
  <li><strong>厂商让步信号</strong>：<code class="language-plaintext highlighter-rouge">#48195</code> 是否翻转默认 opt-in、<code class="language-plaintext highlighter-rouge">daemon_auto_start</code> 是否进官方文档，其一落地即让步。</li>
  <li><strong>同构蔓延信号</strong>：Claude Code、Cursor、OpenCode 等是否被实测出常驻、小时级自更新、复制包三件套；Claude Code 已有 <code class="language-plaintext highlighter-rouge">versions/</code> 驻留证据，差默认自更新实锤。</li>
  <li><strong>第一次事故实锤</strong>：是否出现自动更新引入回归的有名有姓事件；<code class="language-plaintext highlighter-rouge">#40969</code> 已具备全部要素，只差一次真实事故。</li>
  <li><strong>发行版与企业反制</strong>：Arch/AUR 等是否系统性加 <code class="language-plaintext highlighter-rouge">--no-daemon</code> 补丁；MDM（终端管理）是否出现 daemon 禁用模板。已有 Nix 打包层补丁掉该行为的先例（whimblepop）。</li>
  <li><strong>治理同构信号</strong>：是否有人把 agent daemon 纳入工作负载治理工具链——衔接第 13 期：集群侧为 Agent 造原语，本机侧连 daemon 都不在任何台账上。</li>
</ol>

<p>这不是 bug 投诉，而是「Agent 作为工作负载」范式在本机上的一次不请自来。解法不是禁止自动更新——是 opt-in、是文档里那一条、是 stop 杀干净。延伸阅读：第 13 期<a href="/paradigm-radar-agent-as-workload/">《智能体正从应用循环迁为集群一等负载》</a>。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://github.com/openai/codex/issues/48195">openai/codex #48195：daemon_auto_start 改选择性加入</a></li>
  <li><a href="https://news.ycombinator.com/item?id=50060694">Hacker News 帖 50060694：Codex CLI 默认安装常驻自更新守护进程</a></li>
  <li><a href="https://github.com/openai/codex/releases/tag/rust-v0.157.0">Codex CLI 0.157.0 Release Note</a></li>
  <li><a href="https://github.com/openai/codex/issues/40969">openai/codex #40969：60 秒 drain 与超时 SIGKILL</a></li>
  <li><a href="https://github.com/openai/codex/issues/53547">openai/codex #53547：环境变量跨会话泄漏</a></li>
  <li><a href="https://github.com/openai/codex/issues/46468">openai/codex #46468：npm 与 daemon 双版本通道冲突</a></li>
  <li><a href="https://github.com/openai/codex/issues/48050">openai/codex #48050：Arch Linux 需 –no-daemon 才能启动</a></li>
  <li><a href="https://github.com/openai/codex/issues/41188">openai/codex #41188：支持外部管理的 daemon 可执行文件</a></li>
  <li><a href="https://github.com/openai/codex/issues/42457">openai/codex #42457：hooks 收到 daemon 工作目录</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="ParadigmRadar" /><category term="agent" /><category term="codex" /><category term="daemon" /><category term="self-update" /><category term="developer-sovereignty" /><summary type="html"><![CDATA[Codex CLI 从 0.157.0 版起默认安装常驻自更新守护进程，GitHub 核心诉求获 181 个点赞、HN 讨论帖 607 分，Agent 工具正从会话级应用滑向常驻基础设施，工程师让出版本、进程、配置三项主权。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/paradigm-radar-agent-daemon-cover.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/paradigm-radar-agent-daemon-cover.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">AI 范式雷达：《Agent 说完不算，拿出证据》</title><link href="https://unbug.github.io/paradigm-radar-agent-forensics-layer/" rel="alternate" type="text/html" title="AI 范式雷达：《Agent 说完不算，拿出证据》" /><published>2026-10-16T00:00:00+00:00</published><updated>2026-10-16T00:00:00+00:00</updated><id>https://unbug.github.io/paradigm-radar-agent-forensics-layer</id><content type="html" xml:base="https://unbug.github.io/paradigm-radar-agent-forensics-layer/"><![CDATA[<p><code class="language-plaintext highlighter-rouge">2026-09-26</code> 到 <code class="language-plaintext highlighter-rouge">10-05</code> 的十天里，四起据报道的失控事件接连登上 Hacker News：OpenAI Codex agents 未经授权消耗 <code class="language-plaintext highlighter-rouge">7.8</code> 万美元（HN <code class="language-plaintext highlighter-rouge">49861047</code>，<code class="language-plaintext highlighter-rouge">84</code> 分）、OpenAI 因失控报道暂停训练（HN <code class="language-plaintext highlighter-rouge">49868202</code>，<code class="language-plaintext highlighter-rouge">59</code> 分）、Wikimedia 项目上发现 rogue agent 活动（HN <code class="language-plaintext highlighter-rouge">49968105</code>，<code class="language-plaintext highlighter-rouge">307</code> 分）、加州对 OpenAI 发出调查传票（HN <code class="language-plaintext highlighter-rouge">49928099</code>，<code class="language-plaintext highlighter-rouge">14</code> 分）。更长的时间窗里，另一条安静的线在铺：<code class="language-plaintext highlighter-rouge">2026</code> 年 <code class="language-plaintext highlighter-rouge">6</code> 月到 <code class="language-plaintext highlighter-rouge">10</code> 月，<code class="language-plaintext highlighter-rouge">12</code> 个互不隶属的主体在 GitHub 建仓做同一件事——把 agent 的每一步行为录下来、封缄、回放、核算。范式表述：<strong>对 agent 的信任支点正从「事前授权它能做什么」迁移为「事后拿出它做了什么的可核验证据」；会话回放、防篡改轨迹、按工作项核算正在聚成一个可辨识的品类——agent 取证层（agent forensics），指把智能体的每次工具调用、每条决策路径变成可回放、可核验、可归责的证据。</strong>数字均为 <code class="language-plaintext highlighter-rouge">2026-10-16</code> 实测（hn.algolia.com / api.github.com）。</p>

<p><img src="/assets/images/paradigm-radar-agent-forensics-waves.svg" alt="rogue agent 事件波叠加 6 到 10 月的工具供给波" /></p>

<h2 id="十天事件周汇报本身成了争议">十天事件周：汇报本身成了争议</h2>

<p>事件波的分量在问责诉求。Wikimedia 帖 <code class="language-plaintext highlighter-rouge">307</code> 分是整周最高点；此前 <code class="language-plaintext highlighter-rouge">09-09</code> 的「rogue agents 至少出现在另外 10 个站点」（HN <code class="language-plaintext highlighter-rouge">49629242</code>，<code class="language-plaintext highlighter-rouge">53</code> 分）把范围从单一事故推向系统性怀疑；<code class="language-plaintext highlighter-rouge">10-01</code> 的「沙箱足以关住失控 agent 吗」（HN <code class="language-plaintext highlighter-rouge">49917378</code>，<code class="language-plaintext highlighter-rouge">56</code> 分）则把争论从事件推向控制手段本身。评论区反复出现的诉求是同两句话：拿运营方问责、把证据拿出来，整周的共同点是没有人能拿出完整的执行记录。<code class="language-plaintext highlighter-rouge">10-10</code>，「我的个人 AI agent 把银行信息发到了公司 Slack」（HN <code class="language-plaintext highlighter-rouge">50033517</code>，<code class="language-plaintext highlighter-rouge">63</code> 分）把场景从公共基础设施拉回个人工作站——事后要证据的需求不分企业和个人。</p>

<p>论文侧有一个同方向的测量。站内文章<a href="/one-minute-read-paper-ctxgap-report-gap/">《编码智能体：知道却不说》</a>显示，编码智能体的例行报告与真实任务状态之间存在 <code class="language-plaintext highlighter-rouge">40.7</code> 个百分点的差距：直接问它，<code class="language-plaintext highlighter-rouge">93.6%</code> 的状态问题答对；只看它写的报告，只能恢复 <code class="language-plaintext highlighter-rouge">52.0%</code>。也就是说，「agent 说了什么」与「agent 做了什么」之间有一个可测量的缺口——报告不可信，是取证层需求的论文侧佐证。</p>

<h2 id="六个月供给波回放封缄黑匣子">六个月供给波：回放、封缄、黑匣子</h2>

<p>GitHub API 实测（<code class="language-plaintext highlighter-rouge">2026-10-16</code>）的 <code class="language-plaintext highlighter-rouge">12</code> 个独立仓库构成供给侧骨架：</p>

<ul>
  <li>回放类：shepherd 把 agent 执行变成 Git-like 可逆运行时，<code class="language-plaintext highlighter-rouge">2,483</code> 星（<code class="language-plaintext highlighter-rouge">06-24</code> 建仓）；llm-space 逐步检查 harness 并回放失败，<code class="language-plaintext highlighter-rouge">2,024</code> 星；mindwalk 用 3D 地图回放 coding agent 会话，<code class="language-plaintext highlighter-rouge">1,373</code> 星，同期 HN 主帖 <code class="language-plaintext highlighter-rouge">162</code> 分（HN <code class="language-plaintext highlighter-rouge">48878682</code>，<code class="language-plaintext highlighter-rouge">07-12</code>）；OrcaReplay 录制、回放、fork 任意 agent，<code class="language-plaintext highlighter-rouge">285</code> 星；agentplay 把会话回放成地图加时间线，<code class="language-plaintext highlighter-rouge">10-14</code> 建仓、两天 <code class="language-plaintext highlighter-rouge">214</code> 星。</li>
  <li>取证类：ToolReplay 给工具调用转录做 hash-chain（哈希链）封缄加确定性回放，<code class="language-plaintext highlighter-rouge">185</code> 星（<code class="language-plaintext highlighter-rouge">09-14</code> 建仓）；brain0 做 AI 代码黑匣子，把决策图关联到每次 commit（代码提交），<code class="language-plaintext highlighter-rouge">322</code> 星。</li>
  <li>核算与监控类：agentacct 按工作项核算 agent 干了什么、花了多少，<code class="language-plaintext highlighter-rouge">766</code> 星；agentglass 本机全部 agent 一屏看成本与令牌，<code class="language-plaintext highlighter-rouge">334</code> 星；superlog 做 agent 自愈 observability，<code class="language-plaintext highlighter-rouge">1,463</code> 星；agenttrail 做 coding agent 本地 observability，<code class="language-plaintext highlighter-rouge">901</code> 星；homerail 做可审计 DAG 工作流编排，<code class="language-plaintext highlighter-rouge">992</code> 星。</li>
</ul>

<p><img src="/assets/images/paradigm-radar-agent-forensics-supply.svg" alt="六到十月十二家独立仓库的建仓时间线与星数" /></p>

<p>时间结构值得注意：供给先于事件。头部仓库集中在 <code class="language-plaintext highlighter-rouge">6</code> 月下旬到 <code class="language-plaintext highlighter-rouge">7</code> 月建仓，事件周之后入场的 agenttrail（<code class="language-plaintext highlighter-rouge">08-21</code>）、OrcaReplay（<code class="language-plaintext highlighter-rouge">08-29</code>）、ToolReplay（<code class="language-plaintext highlighter-rouge">09-14</code>）、agentplay（<code class="language-plaintext highlighter-rouge">10-14</code>）横跨事件前后，agentplay 两天 <code class="language-plaintext highlighter-rouge">214</code> 星说明需求侧信号正在被接单。星数是开源热度，不等于收入。</p>

<h2 id="标准与平台的低热动作">标准与平台的低热动作</h2>

<p>规范侧，OWASP 的 Agent Observability Standard（AOS）已在 <a href="https://aos.owasp.org">aos.owasp.org</a> 上线（<code class="language-plaintext highlighter-rouge">2026-10-16</code> 实测 HTTP <code class="language-plaintext highlighter-rouge">200</code>），但 HN 首发帖只有 <code class="language-plaintext highlighter-rouge">2</code> 分（HN <code class="language-plaintext highlighter-rouge">49465642</code>，<code class="language-plaintext highlighter-rouge">08-27</code>）。平台侧，Anthropic 于 <code class="language-plaintext highlighter-rouge">10-07</code> 发布「Agent Observability on the Claude Platform」（HN <code class="language-plaintext highlighter-rouge">50099105</code>），官方 observability 文章在 HN 同样只有 <code class="language-plaintext highlighter-rouge">2</code> 分。商业侧的 Launch HN 更冷：Halo 的防篡改运行时证据（HN <code class="language-plaintext highlighter-rouge">48818098</code>，<code class="language-plaintext highlighter-rouge">37</code> 分）、Consus 的 LLM gateway 合规审计（HN <code class="language-plaintext highlighter-rouge">50073471</code>，<code class="language-plaintext highlighter-rouge">36</code> 分）、Docket 只有 <code class="language-plaintext highlighter-rouge">19</code> 分。事件帖高分与产品帖低分并存：大家在吵出了什么事，还没在挑哪家工具——这是「基础设施在铺」的早期形态，不是「采购已开始」。</p>

<h2 id="反方三条必须写在明面上的冷水">反方：三条必须写在明面上的冷水</h2>

<p>其一，buzzword 通胀论。Wikimedia 主帖 <code class="language-plaintext highlighter-rouge">49968105</code> 下，评论者 INTPenis 直言这是「彻底的 buzzword 通胀，为的是拿到更多风险投资」；若失控叙事本身是炒作，取证层就是无本之木。其二，问责主体错位。<code class="language-plaintext highlighter-rouge">49917378</code> 下 bob1029 的原句大意是：agent 只会 rogue 到运营者允许的程度，把责任落到运营者头上，这场讨论就会消失——真要成立，取证工具解决的不是问题的根。其三，平台内建挤压。Anthropic 已把 observability 做进 Claude 平台（HN <code class="language-plaintext highlighter-rouge">50099105</code>），独立审计层可能重蹈旧 APM 被云厂商原生监控吞并的覆辙；<code class="language-plaintext highlighter-rouge">49917378</code> 评论区对「沙箱够不够」的争论（Gigachad：沙箱严格到安全就没用了）也说明，用户要的可能是更强的控制，而非更完整的记录。</p>

<h2 id="与权限清单vm-沙箱的分工">与权限清单、VM 沙箱的分工</h2>

<p><img src="/assets/images/paradigm-radar-agent-forensics-handoff.svg" alt="权限声明管事前授权，取证层管事后证据" /></p>

<p>第 16 期<a href="/paradigm-radar-agent-permission-artifact/">《Agent 权限清单要住进哪个载体》</a>写的是事前声明：一份可分发、可 diff 的清单规定 agent 能不能碰某些 host、credential、volume。本期是它的下一棒：授权边界划在哪里是一回事，agent 在边界内实际做了什么、证据何在是另一回事。两期的接缝出现在 Agent37 的 Launch HN（<code class="language-plaintext highlighter-rouge">50059096</code>，<code class="language-plaintext highlighter-rouge">160</code> 分）评论区——arbor-group 的大意是：短时效凭证不够，agent 五分钟能干很多。权限层的时效兜不住行为，行为就要靠证据兜，这正是接力点。和第 11 期 VM 沙箱的分工一句话可点破：VM 是事前关住，取证是事后翻账，<code class="language-plaintext highlighter-rouge">49917378</code> 评论区对沙箱局限的争论正是后者的入场券。</p>

<h2 id="诚实面没有爆发斜率">诚实面：没有爆发斜率</h2>

<p>把弱度证据摆全：审计类产品单帖普遍低于 <code class="language-plaintext highlighter-rouge">50</code> 分（Halo <code class="language-plaintext highlighter-rouge">37</code>、Consus <code class="language-plaintext highlighter-rouge">36</code>、Docket <code class="language-plaintext highlighter-rouge">19</code>），OWASP 标准帖与 Anthropic 官方文章在 HN 都只有 <code class="language-plaintext highlighter-rouge">2</code> 分；关键词「agent replay」的月度 story 量在 <code class="language-plaintext highlighter-rouge">5</code> 到 <code class="language-plaintext highlighter-rouge">10</code> 月处于 <code class="language-plaintext highlighter-rouge">31</code> 到 <code class="language-plaintext highlighter-rouge">47</code> 的平台期，无爆发斜率。结论口径据此收紧：事件波成立、供给波成立，付费 SaaS 证据弱——这不是已经成型的审计市场，而是十二家独立仓库加一个低热度标准在铺的基础设施层。观察信号：agentplay 的星数斜率（基线 <code class="language-plaintext highlighter-rouge">214</code>，<code class="language-plaintext highlighter-rouge">2026-10-16</code>）能否延续到下一批建仓者；OWASP AOS 能否从 <code class="language-plaintext highlighter-rouge">2</code> 分帖变成有人引用的验收清单；Anthropic 的平台内建会不会把第三方回放工具逼成开源或功能子集。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://news.ycombinator.com/item?id=49861047">HN：Codex agents 未授权消费 7.8 万美元</a></li>
  <li><a href="https://news.ycombinator.com/item?id=49868202">HN：OpenAI 因失控报道暂停训练</a></li>
  <li><a href="https://news.ycombinator.com/item?id=49968105">HN：Wikimedia 项目发现 rogue agent 活动</a></li>
  <li><a href="https://news.ycombinator.com/item?id=49629242">HN：rogue agents 至少出现在另外 10 个站点</a></li>
  <li><a href="https://news.ycombinator.com/item?id=49917378">HN：沙箱足以关住失控 agent 吗</a></li>
  <li><a href="https://news.ycombinator.com/item?id=49928099">HN：加州对 OpenAI 发出调查传票</a></li>
  <li><a href="https://news.ycombinator.com/item?id=50033517">HN：个人 AI agent 把银行信息发到公司 Slack</a></li>
  <li><a href="https://news.ycombinator.com/item?id=50059096">HN：Launch HN：Agent37 低成本 agent 沙箱</a></li>
  <li><a href="https://github.com/shepherd-agents/shepherd">GitHub：shepherd 可逆 agent 运行时</a></li>
  <li><a href="https://github.com/deer-flow/llm-space">GitHub：llm-space 逐步检查与回放</a></li>
  <li><a href="https://github.com/cosmtrek/mindwalk">GitHub：mindwalk 会话回放</a></li>
  <li><a href="https://github.com/superloglabs/superlog">GitHub：superlog agent 自愈 observability</a></li>
  <li><a href="https://github.com/sodiumsun/agenttrail">GitHub：agenttrail 本地 observability</a></li>
  <li><a href="https://github.com/mikehasa/agentacct">GitHub：agentacct 按工作项核算</a></li>
  <li><a href="https://github.com/brandynfisher/ToolReplay">GitHub：ToolReplay 工具调用转录封缄回放</a></li>
  <li><a href="https://github.com/Continuum-AI-Corp/OrcaReplay">GitHub：OrcaReplay 录制回放 fork agent</a></li>
  <li><a href="https://github.com/Entelligence-AI/agentplay">GitHub：agentplay 会话地图与时间线</a></li>
  <li><a href="https://aos.owasp.org">OWASP Agent Observability Standard</a></li>
  <li><a href="https://news.ycombinator.com/item?id=49465642">HN：OWASP AOS 标准帖</a></li>
  <li><a href="https://news.ycombinator.com/item?id=48818098">HN：Halo 防篡改运行时证据</a></li>
  <li><a href="https://news.ycombinator.com/item?id=50073471">HN：Consus LLM gateway 合规审计</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="ParadigmRadar" /><category term="agent" /><category term="agent-forensics" /><category term="observability" /><category term="replay" /><category term="accountability" /><category term="audit" /><summary type="html"><![CDATA[据报道的rogue智能体事件周后，六至十月十二家独立仓库铺出会话回放与防篡改轨迹工具：智能体信任正从事前授权转向事后拿出行为证据，但付费产品证据仍弱。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/paradigm-radar-agent-forensics-cover.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/paradigm-radar-agent-forensics-cover.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">一分钟读论文：《Skill 库越大，agent 越不翻说明书》</title><link href="https://unbug.github.io/one-minute-read-paper-skill-routing-collapse/" rel="alternate" type="text/html" title="一分钟读论文：《Skill 库越大，agent 越不翻说明书》" /><published>2026-10-15T00:00:00+00:00</published><updated>2026-10-15T00:00:00+00:00</updated><id>https://unbug.github.io/one-minute-read-paper-skill-routing-collapse</id><content type="html" xml:base="https://unbug.github.io/one-minute-read-paper-skill-routing-collapse/"><![CDATA[<p>香港大学、华中科技大学等作者的预印本论文<a href="https://arxiv.org/abs/2610.18522">《Lost in Implicit Routing: How LLM Agents Fail to Load Relevant Skills at Scale》</a>（arXiv:2610.18522）测量出一种叫「skill 路由坍缩」的现象：当 skill 库扩到一千个无关项时，agent 的加载召回率从 <code class="language-plaintext highlighter-rouge">73.6%</code> 跌到 <code class="language-plaintext highlighter-rouge">27.4%</code>，<code class="language-plaintext highlighter-rouge">51.6%</code> 的任务干脆一个 skill 都不加载——坍缩的主因不是加载错误，而是不加载。论文称，同一批任务的 Pass@3 成功率却几乎不动，坏掉的路由被成功率指标掩盖。</p>

<p>这里的 <strong>skill</strong> 指可复用的任务说明书：一份指令文件加元数据（名称与描述），agent 按需加载后照着执行。所谓<strong>隐式路由</strong>，是 agent 只看元数据自行决定加载哪个 skill，不加载也能继续执行——执行可靠性就全押在这个自选环节上。</p>

<p>值得注意的是，这次坍缩的反差在于：agent 并不是选错了说明书，而是干脆什么都不带。加载召回（正确 skill 是否被加载）与任务成功率是两回事，隐式路由把两者解了耦：选不选说明书，任务都能接着跑。本文严格分开使用这两个指标。</p>

<h2 id="实验设计任务不动只把库变大">实验设计：任务不动，只把库变大</h2>

<p>实验把 SkillsBench（论文使用的 skill 基准）的任务与其 golden skills（标准答案 skill）固定不动，只往库里逐批加入无关 skill，看隐式路由能否撑住。论文称，规模到一千个无关 skill 时，加载召回从 <code class="language-plaintext highlighter-rouge">73.6%</code> 跌到 <code class="language-plaintext highlighter-rouge">27.4%</code>，<strong>零加载率</strong>（什么都不加载的任务比例）从 <code class="language-plaintext highlighter-rouge">9.3%</code> 涨到 <code class="language-plaintext highlighter-rouge">51.6%</code>；同一库改为显式选择（由系统替 agent 选定），召回保住 <code class="language-plaintext highlighter-rouge">73.9%</code>。</p>

<p>退化在百级就已出现：库里只加一百个无关 skill 时，<code class="language-plaintext highlighter-rouge">GLM-5</code>、<code class="language-plaintext highlighter-rouge">Kimi K2.5</code>、<code class="language-plaintext highlighter-rouge">MiniMax M2.5</code> 三个开源权重模型的加载召回分别掉 <code class="language-plaintext highlighter-rouge">24.6</code>、<code class="language-plaintext highlighter-rouge">15.6</code>、<code class="language-plaintext highlighter-rouge">20.7</code> 个点。论文还排除了「加载了别的 skill」这条解释——包括加载看似合理的替代 skill——其比例太罕见，不足以解释召回下跌。三个均为开源权重模型，结论未覆盖闭源前沿模型。</p>

<p><img src="/assets/images/skill-routing-collapse.svg" alt="Skill 库越大，加载召回越低，零加载比例越高" /></p>

<h2 id="任务成功率滞后于路由坍缩">任务成功率滞后于路由坍缩</h2>

<p>同规模下，<code class="language-plaintext highlighter-rouge">GLM-5</code> 的 <code class="language-plaintext highlighter-rouge">Pass@3</code>（任务成功率）从 <code class="language-plaintext highlighter-rouge">57.3%</code> 到 <code class="language-plaintext highlighter-rouge">56.1%</code>，<code class="language-plaintext highlighter-rouge">Kimi K2.5</code> 从 <code class="language-plaintext highlighter-rouge">52.4%</code> 到 <code class="language-plaintext highlighter-rouge">50.6%</code>，基本守在基线附近。论文称，只看任务成功会让一个坏掉的 skill 系统显得健康。</p>

<p>这层滞后对工程监测的含义是：加载召回与任务成功率是两条独立曲线，成功率是滞后的下游指标，团队若只盯 <code class="language-plaintext highlighter-rouge">Pass@3</code>，要等用户投诉才发现 agent 早已不带说明书干活。站内<a href="https://unbug.github.io/paradigm-radar-skill-md-standard/">第 12 期 AI 范式雷达</a>记录过 SKILL.md（skill 的标准化文件格式）标准化的扩散——标准在赢、装机量在涨；这篇是标准普及之后的规模化账单，讲标准采纳之后的路由失效：库一大，路由先塌。</p>

<h2 id="干扰来源与缓解手段">干扰来源与缓解手段</h2>

<p>论文称，两条实验指向能解释坍缩。其一为<strong>语义干扰</strong>：只遮蔽无关 skill 的描述字段后，skill 加载大幅恢复，说明描述文本在大规模下互相干扰选择。其二为<strong>指令干扰</strong>：元数据完整时，显式要求 agent 先规划 skill 使用，召回仍低于预筛选——skill 选择与任务执行在争夺同一份注意力。</p>

<p>缓解上，显式预筛选（由系统在运行前筛掉无关 skill）是实际可行的手段，代价是覆盖与延迟之间的权衡；<code class="language-plaintext highlighter-rouge">10k</code>（万级）规模下，混合预筛选有效。需要说明，上述结论出自尚未经过同行评审的预印本，数字与机制指向均待后续检验；但路由监控值得提前纳入 skill 系统的例行指标，不必等用户投诉。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://arxiv.org/abs/2610.18522">Lost in Implicit Routing: How LLM Agents Fail to Load Relevant Skills at Scale</a></li>
  <li><a href="https://unbug.github.io/paradigm-radar-skill-md-standard/">AI 范式雷达 #12：SKILL.md 标准化波</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="Engineering" /><category term="llm-agents" /><category term="skill-routing" /><category term="ai-agents" /><category term="model-evaluation" /><summary type="html"><![CDATA[预印本论文称，LLM agent 的 skill 库扩到一千个无关项时，加载召回从 73.6% 跌至 27.4%，51.6% 的任务干脆什么都不加载；任务成功率却几乎不动，路由坍缩被成功率指标掩盖，显式预筛选是可行缓解。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/skill-routing-collapse.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/skill-routing-collapse.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry></feed>