<?xml version="1.0" encoding="utf-8"?><feed xmlns="http://www.w3.org/2005/Atom" xml:lang="zh-CN"><generator uri="https://jekyllrb.com/" version="3.10.0">Jekyll</generator><link href="https://unbug.github.io/feed.xml" rel="self" type="application/atom+xml" /><link href="https://unbug.github.io/" rel="alternate" type="text/html" hreflang="zh-CN" /><updated>2026-10-30T02:33:43+00:00</updated><id>https://unbug.github.io/feed.xml</id><title type="html">Micropaper 一分钟读论文</title><subtitle>Micropaper 一分钟读论文：每天用一分钟读懂一篇 AI 论文，并提供 AI 范式雷达与 AI 智创简报，覆盖智能体、大模型、AI 安全与专利机会洞察。</subtitle><author><name>unbug</name></author><entry><title type="html">AI 智创简报：《AI 下单的支付路，卡组织先装了两道闸》</title><link href="https://unbug.github.io/innovation-brief-agentic-payment-patents/" rel="alternate" type="text/html" title="AI 智创简报：《AI 下单的支付路，卡组织先装了两道闸》" /><published>2026-10-30T00:00:00+00:00</published><updated>2026-10-30T00:00:00+00:00</updated><id>https://unbug.github.io/innovation-brief-agentic-payment-patents</id><content type="html" xml:base="https://unbug.github.io/innovation-brief-agentic-payment-patents/"><![CDATA[<p>2026 年 8 月单月，支付卡组织在智能体支付（让 AI 智能体替用户办事的 agentic commerce）上连落三子：万事达拿下一件授权，Visa 同日公开两件 PCT。</p>

<p>具体是：万事达国际公司于 <code class="language-plaintext highlighter-rouge">2026-08-11</code> 获授权 US12705604B2，权利要求写的就是「由用户设备上的大语言模型（LLM）custom agent 接收订行程的请求，并对多笔订单执行安全支付」；<code class="language-plaintext highlighter-rouge">2026-08-20</code> 同一天，Visa 国际服务协会两件 PCT 公开——WO2026173611A1《Infrastructure for authenticated agentic commerce》与 WO2026173648A1《Agentic payments and commerce》，优先权均落在 2025 年 2 月 13 日的美国临时申请。公开不等于授权，两件 PCT 尚在路上，授权文本才是既成事实。</p>

<p><img src="/assets/images/innovation-brief-agentic-payment-patents.svg" alt="智能体支付专利时间轴与开源生态对照" /></p>

<h2 id="两道闸凭证怎么发合同怎么管">两道闸：凭证怎么发、合同怎么管</h2>

<p>把三件文本摆在一起，卡组织圈的是同一条路的两道闸。凭证闸：万事达的授权件让 LLM 智能体拿一次性访问令牌收款单，Visa 的基础设施件把令牌再收紧一档——「tokenization process that restricts payment tokens to a particular agent and contract」，令牌绑定到具体智能体与具体合同，换人换单即失效。合同闸：Visa 文本写明支付网络「monitor contracts and their state, ensuring transactions remain within budget」，智能体能花多少钱、买什么东西，以用户签署的合同为准，网络逐笔核对。为此 Visa 还配了一套 PKI：智能体服务商要过审查才拿得到支付网络证书权威签发的数字证书，轻量商户则用动态交易校验值 dTVV 免接口接入。个人 inventor 也已在合规控制面抢跑——澳大利亚临时申请 AU2026906209A0《Bounded Execution Compliance Control Plane for Agentic Payment》公开于 2026-07-23，临时申请未实审，只算风向标。</p>

<h2 id="协议战开打适配层还是空的">协议战开打，适配层还是空的</h2>

<p>专利之外，协议生态同期铺开（均实测 2026-10-30）：Stripe 的 ACP 文档写明「Shared Payment Tokens——给智能体发起的购物发放限定作用域的支付凭证」，配套 Catalog feed 让商户把商品数据喂给 AI 发现；Google 的 AP2 开源仓库 3,254 星（2025-05-30 创建，Apache-2.0）；ACP 规范仓 1,591 星，Anthropic 的 commerce-agents 仓库 2026-09-01 新建已聚到 3,378 星，GitHub 上 agentic commerce 相关仓库共 6,862 个。规范热闹，落地端却缺胶水：中小商户要把存量商品库、库存、结账接口改造成协议兼容，目前基本靠外包手写。</p>

<h2 id="三段能接的活">三段能接的活</h2>

<p>一是合同授权对账器：商户与用户都需要一把独立尺——把 ACP/AP2 的授权书、预算、有效期字段做成校验与越界告警台账，纯软件、订阅制、不碰卡号即可绕开 PCI 重负。二是商户侧协议适配网关：照着 Stripe Catalog feed 与 AP2 规范做批量转换器，按商户数收费，四周能出 MVP。三是智能体支付审计回放：每笔智能体发起的支付请求、令牌作用域、拒付证据链本地留痕可验证——凭证层专利被卡组织圈走，对凭证层做审计这层目前没有专利圈地，且与 agent 成本取证（本栏目雷达第 20 期）同构起量。</p>

<h2 id="门槛与风险">门槛与风险</h2>

<p>两条路径：工具站形态（合同校验+审计台账打包 SaaS，VPS 千元级月成本起步，首批客户找已接 ACP 的跨境电商服务商）；或咨询+适配一体（帮商户接协议、顺手沉淀转换器，客单高但难规模化）。硬门槛有三个：不碰主账号 PAN、全部停留在令牌与合同字段层，否则 PCI 合规压垮个人；规范仍在快改，ACP 与 AP2 字段半年一换，抽象层要做薄；最长期风险是卡组织把对账能力直接内建——但 PCT 尚在早期，留给独立开发者的窗口以年计。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://patents.google.com/patent/US12705604B2/en">US12705604B2 — Mastercard：Secure payment flow using an LLM agent with a single use access token</a></li>
  <li><a href="https://patents.google.com/patent/WO2026173611A1/en">WO2026173611A1 — Visa：Infrastructure for authenticated agentic commerce</a></li>
  <li><a href="https://patents.google.com/patent/WO2026173648A1/en">WO2026173648A1 — Visa：Agentic payments and commerce</a></li>
  <li><a href="https://patents.google.com/patent/AU2026906209A0/en">AU2026906209A0 — Bounded Execution Compliance Control Plane for Agentic Payment</a></li>
  <li><a href="https://docs.stripe.com/agentic-commerce">Stripe Agentic Commerce 文档</a></li>
  <li><a href="https://github.com/google-agentic-commerce/AP2">Google AP2 开源仓库</a></li>
  <li><a href="https://github.com/agentic-commerce-protocol/agentic-commerce-protocol">ACP 规范仓库</a></li>
  <li><a href="/paradigm-radar-agent-hidden-cost/">站内：范式雷达第 20 期——标价之外，Harness 替你买了什么</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="InnovationBrief" /><category term="Patent" /><category term="AIAgent" /><category term="Payment" /><category term="AgenticCommerce" /><category term="IndieHacker" /><summary type="html"><![CDATA[2026 年 8 月一个月内，万事达授权一件 LLM 智能体支付专利，Visa 同日公开两件 agentic commerce PCT。凭证发放与合同监控两层被卡组织圈走，授权对账、商户协议适配与支付审计回放是个人开发者能接的三段活。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/innovation-brief-agentic-payment-patents.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/innovation-brief-agentic-payment-patents.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">一分钟读论文：《谁来验收AI基建的代码》</title><link href="https://unbug.github.io/one-minute-read-paper-infradev-ai-infrastructure/" rel="alternate" type="text/html" title="一分钟读论文：《谁来验收AI基建的代码》" /><published>2026-10-30T00:00:00+00:00</published><updated>2026-10-30T00:00:00+00:00</updated><id>https://unbug.github.io/one-minute-read-paper-infradev-ai-infrastructure</id><content type="html" xml:base="https://unbug.github.io/one-minute-read-paper-infradev-ai-infrastructure/"><![CDATA[<p>爱丁堡大学联合腾讯混元的论文<a href="https://arxiv.org/abs/2610.36589">《InfraDev》</a>（arXiv:2610.36589）测了编码 Agent 开发 AI 基建（训练、推理、强化学习框架的代码）的水位：<code class="language-plaintext highlighter-rouge">36</code> 个真实任务上，最强模型 <code class="language-plaintext highlighter-rouge">GPT-6 Sol</code> 只解决 <code class="language-plaintext highlighter-rouge">38.9%</code>，隐藏探针还毙掉 <code class="language-plaintext highlighter-rouge">32%</code> 通过官方测试的提交。</p>

<p>论文全称 InfraDev: Can Coding Agents Develop AI Infrastructure, and How Can We Tell?，是 <code class="language-plaintext highlighter-rouge">2026</code> 年 <code class="language-plaintext highlighter-rouge">10</code> 月 <code class="language-plaintext highlighter-rouge">27</code> 日提交的预印本。</p>

<p><img src="/assets/images/infradev-coding-agents-ai-infra.svg" alt="提交漏斗与解决率水位" />任务取自 <code class="language-plaintext highlighter-rouge">Megatron-LM</code>、<code class="language-plaintext highlighter-rouge">vLLM</code>、<code class="language-plaintext highlighter-rouge">verl</code> 三个生产仓库在 2025 年 1 月至 2026 年 9 月合并的 <code class="language-plaintext highlighter-rouge">21,389</code> 个 pull request，只保留跨多文件、必须多 GPU 跑对的真改动，最终 <code class="language-plaintext highlighter-rouge">36</code> 个：训练 <code class="language-plaintext highlighter-rouge">19</code>、推理 <code class="language-plaintext highlighter-rouge">10</code>、强化学习 <code class="language-plaintext highlighter-rouge">7</code>。六个前沿模型在每个任务上各跑一次，独占一台 <code class="language-plaintext highlighter-rouge">8</code> 卡 NVIDIA H800/H20 节点，限时 <code class="language-plaintext highlighter-rouge">2.5</code> 小时。</p>

<h2 id="官方测试本身在放水">官方测试本身在放水</h2>

<p>论文最锋利的一刀砍向打分器：现有基准拿 PR 自带的官方测试判卷，而这些测试对 AI 基建并不完整。<code class="language-plaintext highlighter-rouge">36</code> 个 PR 里 <code class="language-plaintext highlighter-rouge">24</code> 个没有任何测试检查数值结果；<code class="language-plaintext highlighter-rouge">15</code> 个性能优化 PR 里 <code class="language-plaintext highlighter-rouge">13</code> 个没有任何测试检查承诺的提速，跳过优化的补丁照样通过。作者的对策是联合合成 hidden probes（隐藏探针：新写的验收测试，只要求通过合并时的正确补丁，不泄露解法，接口写进 prompt），两头堵住蒙混过关的路。</p>

<p>结果：<code class="language-plaintext highlighter-rouge">216</code> 份提交中 <code class="language-plaintext highlighter-rouge">102</code> 份全过官方测试，只有 <code class="language-plaintext highlighter-rouge">69</code> 份同时过得了探针，探针毙掉这 <code class="language-plaintext highlighter-rouge">102</code> 份里的 <code class="language-plaintext highlighter-rouge">32%</code>；加上探针后，六个模型的解决率全部下降 <code class="language-plaintext highlighter-rouge">11</code> 到 <code class="language-plaintext highlighter-rouge">19</code> 个百分点。站内<a href="/one-minute-read-paper-rag-defense-benchmark-shortcut/">《删掉一个前缀，近满分的投毒防御当场裸奔》</a>同样提醒过评估口径的分量。</p>

<h2 id="389-就是当前天花板">38.9% 就是当前天花板</h2>

<p>以官方测试加探针联合打分，<code class="language-plaintext highlighter-rouge">GPT-6 Sol</code> 的解决率 <code class="language-plaintext highlighter-rouge">38.9%</code>，是六机之首；它每任务平均耗时 <code class="language-plaintext highlighter-rouge">43.9</code> 分钟、估算 API 成本 <code class="language-plaintext highlighter-rouge">5.37</code> 美元、消耗 <code class="language-plaintext highlighter-rouge">20.86M</code> tokens（按牌价估算，每任务只跑一次，无方差），口径是全部测试通过的解决率，不是通用编程能力分。分类别看，推理任务最难：每个模型在 <code class="language-plaintext highlighter-rouge">10</code> 个推理任务里都只解决 <code class="language-plaintext highlighter-rouge">1</code> 个。更扎手的对照来自 prompt：直接拿 PR 原始的 GitHub 描述当任务书，没有任何模型解决哪怕一个任务，缺失接口说明的提示词，杀伤力比测试更大。</p>

<p>对 <code class="language-plaintext highlighter-rouge">1,754</code> 个失败测试用例的归因显示，结构性错误与状态性错误占主导，Agent 自写的测试几乎从不检查 memory、time、traffic（显存占用、运行耗时、通信流量），且三分之二的错误被多数模型共享，不同厂商的模型在栽同样的跟头。工程侧的副产品是共享执行环境：跨任务复用依赖与产物，在 Megatron-LM 和 vLLM 上省 <code class="language-plaintext highlighter-rouge">52–57%</code> 存储、<code class="language-plaintext highlighter-rouge">13–14%</code> 构建时间。论文同时提醒，<code class="language-plaintext highlighter-rouge">32%</code> 的假阳性是探针互证口径，由论文自建探针裁决，不是独立的 ground truth。</p>

<h2 id="一份规范文档值-105-个百分点">一份规范文档值 10.5 个百分点</h2>

<p>把失败模式整理成 AI 基建开发规范的 agent skill（给 Agent 的说明文档）后，<code class="language-plaintext highlighter-rouge">GPT-5.6 Sol</code> 的解决率在 <code class="language-plaintext highlighter-rouge">19</code> 个任务的 Megatron-LM 子集上从 <code class="language-plaintext highlighter-rouge">42.1%</code> 升到 <code class="language-plaintext highlighter-rouge">52.6%</code>，提升 <code class="language-plaintext highlighter-rouge">10.5</code> 个百分点；干预对象不是榜单冠军 <code class="language-plaintext highlighter-rouge">GPT-6 Sol</code>。论文称将开源 InfraDev，但尚未上线；全文为未经同行评审的预印本，数字均为论文自测口径。对做 agent 工程的人来说，这个实验的提示很朴素：先把领域验收规范写进交接文档，再谈模型能力天花板。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://arxiv.org/abs/2610.36589">InfraDev: Can Coding Agents Develop AI Infrastructure, and How Can We Tell?（arXiv:2610.36589）</a></li>
  <li><a href="/one-minute-read-paper-rag-defense-benchmark-shortcut/">删掉一个前缀，近满分的投毒防御当场裸奔（站内解读）</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="Engineering" /><category term="llm" /><category term="agent" /><category term="agentic-coding" /><category term="benchmark" /><summary type="html"><![CDATA[爱丁堡大学联合腾讯混元发布InfraDev基准，用36个多GPU真实任务测编码Agent开发训练与推理框架的水位：最强模型仅解决38.9%，隐藏探针还毙掉通过官方测试提交的32%，失败模式写成规范文档能补10.5个百分点。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/infradev-coding-agents-ai-infra.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/infradev-coding-agents-ai-infra.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">AI 范式雷达：《标价之外，Harness 替你买了什么》</title><link href="https://unbug.github.io/paradigm-radar-agent-hidden-cost/" rel="alternate" type="text/html" title="AI 范式雷达：《标价之外，Harness 替你买了什么》" /><published>2026-10-30T00:00:00+00:00</published><updated>2026-10-30T00:00:00+00:00</updated><id>https://unbug.github.io/paradigm-radar-agent-hidden-cost</id><content type="html" xml:base="https://unbug.github.io/paradigm-radar-agent-hidden-cost/"><![CDATA[<p>独立取证帖实测出 Claude Code 的后台 agent 状态摘要请求占其周消耗 <code class="language-plaintext highlighter-rouge">16.4%</code>，且不写入本地会话记录，普通成本工具看不见这笔钱（取证方自述样本；HN <code class="language-plaintext highlighter-rouge">50284255</code> 实测 <code class="language-plaintext highlighter-rouge">518</code> 分，<code class="language-plaintext highlighter-rouge">2026-10-29</code>）。</p>

<p>机制细节：Claude Code 每隔约 <code class="language-plaintext highlighter-rouge">30</code> 秒把每个后台 agent（background agent，指在主会话之外持续干活的子任务）的完整 transcript（会话记录）发给其模型（<code class="language-plaintext highlighter-rouge">96%</code> 走 Opus），只为生成状态栏里 3-5 个词的摘要，该类请求占其 API 请求总数 <code class="language-plaintext highlighter-rouge">19.7%</code>。三向证据同日摆开：厂方 Claude Code 成员 edwinarbus 在评论 <code class="language-plaintext highlighter-rouge">50284699</code> 承认机制并给出厂方自述口径——上周全量遥测用户中 <code class="language-plaintext highlighter-rouge">agent_summary</code> 约占 API 标价成本 <code class="language-plaintext highlighter-rouge">2%</code>、请求数不到 <code class="language-plaintext highlighter-rouge">4%</code>，终端场景约 <code class="language-plaintext highlighter-rouge">6%</code>，并称已在 <code class="language-plaintext highlighter-rouge">2.1.311+</code> 上线修复（均为厂方自述）；供给端窗口内新建的独立计量仓至少五个（microsoft/TokenEconomizer <code class="language-plaintext highlighter-rouge">492</code> 星等，实测 <code class="language-plaintext highlighter-rouge">2026-10-29</code>）；宏观侧 OpenRouter 官方榜单帖《Token-maxxing is dead》（HN <code class="language-plaintext highlighter-rouge">50159464</code>，<code class="language-plaintext highlighter-rouge">45</code> 分）给出用量见顶的旁证。</p>

<p>范式表述：<strong>agent 隐性开销显形化——开发者对 agent 的成本假设正从「标价 × 我看得见的调用」切换为「必须实测 harness（包裹大模型、管理工具调用与会话的执行框架）在标价之外替你买了什么」；计量单位从 token 单价下沉到请求来源（Claude Code 的 OpenTelemetry 字段 <code class="language-plaintext highlighter-rouge">query_source</code>）级，账单第一次需要像安全事件一样被取证。</strong>本文全部数字为 <code class="language-plaintext highlighter-rouge">2026-10-29</code> 晚经 HN Algolia API 全树遍历与 GitHub API 复测，转述与自述均已标注。据我们观察未发现同类中文报道（本检索通道未覆盖中文媒体）。</p>

<p><img src="/assets/images/paradigm-radar-agent-hidden-cost-cover.svg" alt="封面：状态栏之下，看不见的摘要请求正把完整会话记录反复送回模型" /></p>

<h2 id="一笔没有账单的请求机制与取证">一笔没有账单的请求：机制与取证</h2>

<p>按 gist 原文（实测创建于 <code class="language-plaintext highlighter-rouge">2026-10-26T22:27Z</code>），该摘要请求自 <code class="language-plaintext highlighter-rouge">2.1.232</code>（2026 年 8 月）起默认开启、无官方关闭开关；回答只更新 agents 面板的状态行，「never reaches the model or your conversation」。异常由 Flamerix 的 DRIM 工具在 Claude Code 自身的 OpenTelemetry 导出里发现：把 <code class="language-plaintext highlighter-rouge">claude_code.api_request</code> 事件按 <code class="language-plaintext highlighter-rouge">query_source</code> 分组后，<code class="language-plaintext highlighter-rouge">agent_summary</code> 的花费「more than the main conversation itself」——占全部花费 <code class="language-plaintext highlighter-rouge">16.4%</code>（主对话本身 <code class="language-plaintext highlighter-rouge">15.7%</code>）、占请求数约五分之一，其中 <code class="language-plaintext highlighter-rouge">96%</code> 走 Opus，input:output 约 <code class="language-plaintext highlighter-rouge">9,000:1</code>。三项口径必须写清：<code class="language-plaintext highlighter-rouge">16.4%</code> 系取证方自述样本，且花费是 Claude Code 自己的 <code class="language-plaintext highlighter-rouge">cost_usd</code> 估算而非发票，订阅制下损失的是限速额度而非现金；gist 转述 issue <code class="language-plaintext highlighter-rouge">#86879</code>「collects four independent measurements of 18-26%」，属转述、未经逐一核验；<code class="language-plaintext highlighter-rouge">#86879</code> 本体实测 open、<code class="language-plaintext highlighter-rouge">22</code> 个 reactions、<code class="language-plaintext highlighter-rouge">7</code> 条评论，标题原文「Feature request: a supported way to disable the agent_summary spinner (22.7% of requests, ~18% of weighted tokens in a subagent-heavy session)」。gist 声明独立于 Anthropic（原文标注非关联方），但 Flamerix 自身售卖 DRIM 工具，动机需计入。盲区正是范式支点：「These requests are not written to the transcript… the OpenTelemetry export shows them」——读本地 transcript 的成本工具天然看不见这笔钱。</p>

<h2 id="供给端独立计量工具簇成排出现">供给端：独立计量工具簇成排出现</h2>

<p>独立计量（用开发者自己运行的工具核对 harness 实际发出的请求与花费）不是新行当，新在窗口内的密度。窗口内新建或活跃的独立仓（全部 GitHub API 实测 <code class="language-plaintext highlighter-rouge">2026-10-29</code>）：<code class="language-plaintext highlighter-rouge">microsoft/TokenEconomizer</code> <code class="language-plaintext highlighter-rouge">492</code> 星、创建于 <code class="language-plaintext highlighter-rouge">2026-10-13</code>，微软官方组织，描述「Experience-Driven Black-Box Cost Control for Coding Agents」，是供给端最重信号；<code class="language-plaintext highlighter-rouge">kelviq/tare</code> <code class="language-plaintext highlighter-rouge">301</code> 星（「Ask Claude Code where your usage went」）；<code class="language-plaintext highlighter-rouge">splunk/token-meter</code> <code class="language-plaintext highlighter-rouge">139</code> 星（Splunk 官方组织，本地优先仪表盘）；<code class="language-plaintext highlighter-rouge">rbartoli/agent-usage-guard</code> <code class="language-plaintext highlighter-rouge">83</code> 星（拦截 subagent fan-out 与重试循环）；<code class="language-plaintext highlighter-rouge">aashish254/burn</code> <code class="language-plaintext highlighter-rouge">43</code> 星（本地零依赖成本台账）。存量头部 <code class="language-plaintext highlighter-rouge">getagentseal/codeburn</code> <code class="language-plaintext highlighter-rouge">11,612</code> 星（2026-04 创建）说明赛道有 prior art，新意在三个官方组织（微软、Splunk、阿里 loongsuite-pilot <code class="language-plaintext highlighter-rouge">231</code> 星）同窗入场做 harness 侧计量。搜索面同样实测：<code class="language-plaintext highlighter-rouge">"token usage"</code> 存量 <code class="language-plaintext highlighter-rouge">5,676</code> 库、其中 <code class="language-plaintext highlighter-rouge">2026-06</code> 以来新建 <code class="language-plaintext highlighter-rouge">3,296</code>，近五个月新建占存量约 <code class="language-plaintext highlighter-rouge">58%</code>。与第 19 期<a href="/paradigm-radar-agent-gateway-layer/">《把 Agent 的线拉进自己的箱子》</a>的区隔：那期在传输层装闸、回答「此刻这字节经过谁的手」，本期给账单验光、回答「标价之外它替我花了哪些钱」——网关只是本期的手段之一。与第 15 期《Agent的Token消耗经济学》<a href="/paradigm-radar-token-consumption-economics/">站内链接</a>的区隔：那期算 token 单价的宏观账，本期查厂商默认值替你下的微观单。与第 18 期<a href="/paradigm-radar-agent-daemon-sovereignty/">《当你的笔记本上住进别人家的守护进程》</a>的区隔：那期要驱逐别人的常驻进程，本期不要求驱逐任何东西，只要求账本可验证。</p>

<h2 id="反方与边界从计量无意义到厂方口径战">反方与边界：从「计量无意义」到「厂方口径战」</h2>

<p>线程内至少四条反方论据有实质内容。<code class="language-plaintext highlighter-rouge">50285828</code>（jstummbillig）逐字称「What market is going to care about the number of tokens somebody uses?… It’s nonsense」——token 计量本身无意义论。厂方 edwinarbus（<code class="language-plaintext highlighter-rouge">50284699</code>）的反证最锋利：机制「only applies to background agents that are actively working」，空闲后台 agent 不触发，「Your 16.4% sounds like it was for a team running mostly background agents」——样本代表性反证，与厂方自述的 <code class="language-plaintext highlighter-rouge">2%/4%/6%</code> 口径互为表里，两组数字都只有自述可查、无第三方能独立复测厂方全量。<code class="language-plaintext highlighter-rouge">50287810</code>（brookst）质疑动机论：厂商故意烧 token 自损成本、赶用户去竞品，不合商业逻辑。同线程 <code class="language-plaintext highlighter-rouge">50288850</code>（subscribed）则反问关闭路径缺失：「is the distinct absence of any mechanism to tune/turn it off for our own good?」边界条件继续列开：gist 自承花费为估算非发票；<code class="language-plaintext highlighter-rouge">2.1.311+</code> 修复已上线意味着「无法关闭」的指责正在失效，但按厂方自述仍是「最贵场景修复加更便宜模式在路上」，不是关闭开关；同一周还有 <code class="language-plaintext highlighter-rouge">50219875</code>《Claude Code slyly adding users’ emails to outbound HTTP》（<code class="language-plaintext highlighter-rouge">22</code> 分、全树 <code class="language-plaintext highlighter-rouge">8</code>）作为 harness 未授权行为的旁证帖，热度不足以独立成波，仅作影子行为注脚。</p>

<h2 id="品类成形度与观察点">品类成形度与观察点</h2>

<p>成形度判断：锚点 <code class="language-plaintext highlighter-rouge">518</code> 分仍在涨（本文调研当日内多次复测递增），需求情绪有第 19 期主证帖《If you don’t run your own LLM proxy, how do you know whats going on?》（HN <code class="language-plaintext highlighter-rouge">50145507</code>，<code class="language-plaintext highlighter-rouge">303</code> 分、全树 <code class="language-plaintext highlighter-rouge">220</code>，本期只取其「你不知道脚下跑了哪些请求」的计量学读法，引用切割如前）；但工具簇自身帖热度仍低（agent-usage-guard 仅 <code class="language-plaintext highlighter-rouge">28</code> 分），OpenRouter 拐点帖 <code class="language-plaintext highlighter-rouge">45</code> 分——与第 19 期同款「品类前夜」形态：情绪与事故轴滚烫，命名与产品轴温吞。实操侧窗口内已给出动作：复制 <code class="language-plaintext highlighter-rouge">#86879</code> 的 <code class="language-plaintext highlighter-rouge">query_source</code> 分组自查法，用 OTel 导出核对自己的请求结构；重度用户可用 gist 的 Bun preload 方案（约 <code class="language-plaintext highlighter-rouge">70</code> 行、不改二进制，但 gist 自警「An update can silently undo it」，每次升级后复查）。第 19 期埋下的观察点（OTel 规范派与自建代理派之争）在本期获得部分回答：loongsuite-pilot、tare 等走 OTel 路线，本地台账与遥测导出正在成为计量主战场。观察点三条：厂方「更便宜模式」（小模型加短笔记替代全量 transcript）是否落地并进入文档；<code class="language-plaintext highlighter-rouge">#86879</code> 是否获得官方关闭开关；下一个被取证的隐性请求类型会不会来自 Codex 或 Cursor——同构蔓延即下一期选题判据。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://news.ycombinator.com/item?id=50284255">HN 50284255：Claude Code 定期把每个后台 agent 的 transcript 发给其模型</a></li>
  <li><a href="https://gist.github.com/flamerix-ai/c3905705cc4205e5de3011fa2e74efce">Flamerix gist：Claude Code burns ~15-20% of your tokens on a 3-word status line</a></li>
  <li><a href="https://news.ycombinator.com/item?id=50284699">HN 评论 50284699：Claude Code 成员 edwinarbus 厂方回帖</a></li>
  <li><a href="https://github.com/anthropics/claude-code/issues/86879">anthropics/claude-code issue #86879：请求提供关闭 agent_summary 的官方方式</a></li>
  <li><a href="https://news.ycombinator.com/item?id=50145507">HN 50145507：不跑自己的 LLM proxy 怎么知道发生了什么</a></li>
  <li><a href="https://news.ycombinator.com/item?id=50159464">HN 50159464：Token-maxxing is dead, OpenRouter’s token usage plateaus</a></li>
  <li><a href="https://github.com/microsoft/TokenEconomizer">microsoft/TokenEconomizer GitHub 仓库</a></li>
  <li><a href="https://github.com/splunk/token-meter">splunk/token-meter GitHub 仓库</a></li>
  <li><a href="https://github.com/kelviq/tare">kelviq/tare GitHub 仓库</a></li>
  <li><a href="https://github.com/rbartoli/agent-usage-guard">rbartoli/agent-usage-guard GitHub 仓库</a></li>
  <li><a href="https://news.ycombinator.com/item?id=50219875">HN 50219875：Claude Code slyly adding users’ emails to outbound HTTP</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="ParadigmRadar" /><category term="agent" /><category term="claude-code" /><category term="token-usage" /><category term="cost-tracking" /><category term="opentelemetry" /><category term="harness" /><summary type="html"><![CDATA[独立取证帖实测出Claude Code后台agent状态摘要占其周消耗16.4%且不入本地账本，厂方回帖自认并给出2%到6%自述口径，窗口内五个独立计量工具仓成型：agent成本观正从标价转向请求级实测。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/paradigm-radar-agent-hidden-cost-cover.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/paradigm-radar-agent-hidden-cost-cover.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">AI 智创简报：《网络排障 Agent 上场干活，考场却没人监考》</title><link href="https://unbug.github.io/innovation-brief-network-agent-testing-patents/" rel="alternate" type="text/html" title="AI 智创简报：《网络排障 Agent 上场干活，考场却没人监考》" /><published>2026-10-28T00:00:00+00:00</published><updated>2026-10-28T00:00:00+00:00</updated><id>https://unbug.github.io/innovation-brief-network-agent-testing-patents</id><content type="html" xml:base="https://unbug.github.io/innovation-brief-network-agent-testing-patents/"><![CDATA[<p>2026 年 6 月 23 日到 8 月 13 日的七周内，Cisco、Microsoft、ServiceNow、Juniper 密集授权或公开七件网络运维智能体（让大模型智能体替人排查与恢复网络故障的 AIOps Agent）专利。大厂圈住智能体直接动手改网络这层，动手前后的评测考场与行为审计仍无厂商设防。</p>

<p><img src="/assets/images/innovation-brief-network-agent-testing-patents.svg" alt="网络排障智能体专利时间轴与开源生态缺口" /></p>

<h2 id="专利信号">专利信号</h2>

<p>七件全部经 Google Patents 详情页核验，公开号、申请人与公开日逐字照录：</p>

<ul>
  <li><strong>US12701042B2</strong>，Microsoft Technology Licensing, LLC，2026-08-04 授权：系统日志加函数层级图做结构化 grounding（把事实材料喂给模型再回答），定事故根因。</li>
  <li><strong>US12665804B2</strong>，Cisco Technology, Inc.，2026-06-23 授权：从场景库实例化损伤场景，先在真实网络造故障，再考排障智能体。</li>
  <li><strong>US12705437B2</strong>，Cisco Technology, Inc.，2026-08-11 授权：智能体执行结果与用户先前脚本的执行结果对拍比较。</li>
  <li><strong>US12683886B2</strong>，Cisco Technology, Inc.，2026-07-14 授权：判定用户不满意后，据差评自动生成训练场景。</li>
  <li><strong>US12701054B2</strong>，Cisco Technology, Inc.，2026-08-04 授权：测试环境模拟损伤定 ground truth，强化学习教学。</li>
  <li><strong>US20260238551A1</strong>，ServiceNow, Inc.，2026-08-13 公开（审查中）：解决过程指标超阈值时自动拉人类坐席交接。</li>
  <li><strong>EP4548546B1</strong>，Juniper Networks, Inc.，2026-08-05 公开授权文本：性能指标时间序列建知识图谱定位根因，是非大模型路线的对照组。</li>
</ul>

<h2 id="大厂路线平台内闭环">大厂路线：平台内闭环</h2>

<p>把七件权利要求放在一起看，共同点是全部绑定自家平台：造故障要接控制器与网卡，评测要拿平台内脚本做对照，升级交接要接工单指标。智能体在平台里闭环动手，考场也握在平台自己手里，七件里没有一件把考场卖给别人。这与 <a href="/one-minute-read-paper-orca-bench-how-ready-are-language-model-agents-for-oncall/">ORCA-bench 论文</a>追问的问题同源：智能体上值班究竟行不行，目前缺的是考场，不是模型。</p>

<h2 id="三处缝隙">三处缝隙</h2>

<p><strong>第三方考场</strong>：Cisco 测试、评测、教学三件都要求可编排故障场景加 ground truth 对拍，但没有一家把这套能力卖给外部客户跑自己的智能体。开源 containerlab（<code class="language-plaintext highlighter-rouge">2,910</code> 星）可搭隔离拓扑、脚本化注入故障，个人可组「智能体考证包」：客户采购或自研的网络智能体进隔离沙场考题化跑分，交付验收报告。大厂测自己的智能体，接这单的人测所有人的智能体。</p>

<p><strong>内网只读副驾</strong>：银行、政企、医疗的网络数据出不了内网，大厂的 agentic 能力绑定自家云平台。用 netmiko（<code class="language-plaintext highlighter-rouge">4,312</code> 星）加网络配置分析工具 batfish（<code class="language-plaintext highlighter-rouge">1,515</code> 星）加本地小模型，做内网只读排障副驾，只给建议、人来执行，顺带避开自动执行类权利要求。</p>

<p><strong>行为审计回放</strong>：ServiceNow 只圈住指标超阈值拉人这一步，智能体每一步动作录像式留存、供网络变更事故定责的独立第三方审计层，七件专利无人占位，而这在路由改错的定责场景里是刚需。</p>

<h2 id="市场信号">市场信号</h2>

<p>Mordor Intelligence 口径下 AIOps 市场 2026 年 <code class="language-plaintext highlighter-rouge">189.5 亿美元</code>、2031 年 <code class="language-plaintext highlighter-rouge">377.9 亿美元</code>，2026 到 2031 年增长 <code class="language-plaintext highlighter-rouge">14.80 %</code>（另一家机构口径差异大，此处只取一家）；同页记录 ScaleOps 2026 年 3 月融资 <code class="language-plaintext highlighter-rouge">1.3 亿美元</code>、Spectro Cloud 2026 年 7 月融资 <code class="language-plaintext highlighter-rouge">1 亿美元</code>。开源侧仍在生长期：通用网络库体量很大（netmiko <code class="language-plaintext highlighter-rouge">4,312</code> 星、containerlab <code class="language-plaintext highlighter-rouge">2,910</code> 星、batfish <code class="language-plaintext highlighter-rouge">1,515</code> 星），直接竞品却稀疏：netbox-agent-compliance 仅 <code class="language-plaintext highlighter-rouge">22</code> 星、lyraios <code class="language-plaintext highlighter-rouge">137</code> 星且已停更，爱立信 2026-10-13 开源的同方向测试床还是 <code class="language-plaintext highlighter-rouge">0</code> 星（星数均为 GitHub API 实测 2026-10-28）。这与 <a href="/innovation-brief-agent-guardrail-patents/">Agent 护栏专利那篇</a>同构：大厂的权利要求停在平台边缘，考场与回放录像机是个人能接的三段生意。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://patents.google.com/patent/US12701042B2/en">Google Patents：US12701042B2 Automated root cause determination using a pre-trained generative model</a></li>
  <li><a href="https://patents.google.com/patent/US12665804B2/en">Google Patents：US12665804B2 Testing framework for language model-based computer network troubleshooting agents</a></li>
  <li><a href="https://patents.google.com/patent/US12705437B2/en">Google Patents：US12705437B2 Evaluation framework for LLM-based network troubleshooting and monitoring agents</a></li>
  <li><a href="https://patents.google.com/patent/US12683886B2/en">Google Patents：US12683886B2 Generating network scenarios to train an LLM-based network troubleshooting agent</a></li>
  <li><a href="https://patents.google.com/patent/US12701054B2/en">Google Patents：US12701054B2 Teaching LLM-based agents to troubleshoot networks using reinforcement learning</a></li>
  <li><a href="https://patents.google.com/patent/US20260238551A1/en">Google Patents：US20260238551A1 Agentic escalation for IT operations</a></li>
  <li><a href="https://patents.google.com/patent/EP4548546B1/en">Google Patents：EP4548546B1 Framework for automated application-to-network root cause analysis</a></li>
  <li><a href="https://www.mordorintelligence.com/industry-reports/aiops-market">Mordor Intelligence：AIOps Market（市场规模与融资信号，实测 2026-10-28）</a></li>
  <li><a href="https://github.com/srl-labs/containerlab">GitHub：srl-labs/containerlab（星数实测 2026-10-28）</a></li>
  <li><a href="https://github.com/ktbyers/netmiko">GitHub：ktbyers/netmiko（星数实测 2026-10-28）</a></li>
  <li><a href="https://github.com/batfish/batfish">GitHub：batfish/batfish（星数实测 2026-10-28）</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="InnovationBrief" /><category term="patent" /><category term="aiops" /><category term="network-agent" /><category term="agent-evaluation" /><category term="indie" /><summary type="html"><![CDATA[2026 年 6 到 8 月七周内，Cisco、Microsoft、ServiceNow、Juniper 密集授权或公开七件网络运维智能体专利，大厂平台圈住智能体动手改网这层，第三方考场、内网只读副驾与行为审计回放是个人能接的三段。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/innovation-brief-network-agent-testing-patents.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/innovation-brief-network-agent-testing-patents.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">一分钟读论文：《技能各自合规，组合就出事》</title><link href="https://unbug.github.io/one-minute-read-paper-cosa-conflict-of-skills-attack/" rel="alternate" type="text/html" title="一分钟读论文：《技能各自合规，组合就出事》" /><published>2026-10-28T00:00:00+00:00</published><updated>2026-10-28T00:00:00+00:00</updated><id>https://unbug.github.io/one-minute-read-paper-cosa-conflict-of-skills-attack</id><content type="html" xml:base="https://unbug.github.io/one-minute-read-paper-cosa-conflict-of-skills-attack/"><![CDATA[<p>北京科技大学、中国科学院软件研究所等合作的论文<a href="https://arxiv.org/abs/2610.35082">《CoSA》</a>（arXiv:2610.35082）给 Agent Skills（可复用的技能插件）生态里的一类组合漏洞起了名字：CoS（Conflict of Skills，技能冲突，指每个技能单独检查都合规，组合使用时却违反政策）。</p>

<p>该论文全称为<a href="https://arxiv.org/abs/2610.35082">《CoSA: The Conflict of Skills Attack in Real-World LLM Agent Ecosystems》</a>，由北京科技大学、中国科学院软件研究所、中国科学院大学和 UNSW（新南威尔士大学）合作。论文的核心数字：<strong>往现有技能池里加入占原池 <code class="language-plaintext highlighter-rouge">≤5%</code> 的「局部合规」技能，<code class="language-plaintext highlighter-rouge">5 个 LLM</code> × <code class="language-plaintext highlighter-rouge">3 种 harness</code> 上的政策违规率从 <code class="language-plaintext highlighter-rouge">35.02%</code> 升到 <code class="language-plaintext highlighter-rouge">58.45%</code>，提升 <code class="language-plaintext highlighter-rouge">23.43</code> 个百分点</strong>——不改任何现有技能，也不改运行时权限。</p>

<p><img src="/assets/images/cosa-conflict-of-skills.svg" alt="政策违规率 35.02% 升至 58.45%；CoSA-Guard 把违规从 65.28% 降到 6.67%" /></p>

<h2 id="cos限制不跟着制品走">CoS：限制不跟着制品走</h2>

<p>CoS 的定义句是：为某一目的产生的制品或评估信号，在下游新用途里被复用时，没有保留该新用途所需的限制与授权。论文给的动机例子是三个各自通过安全检查的技能串联：一个查部署状态，一个收集复现故障的材料，一个执行 CI/CD 流水线里配置好的校验步骤——组合起来，Agent 就去执行了提交者包里的代码，而这次执行从未被授权。根因在于单个技能的输出会在下游被重新解释，逐个技能的静态审计看不到这一点。作者用公开技能仓库受控执行并配对单技能对照，归纳出四种复发机制。换句话说，合规在 CoS 里不是一个技能固有的属性，而是随用途漂移的状态：同一份制品、同一个「已通过检查」的信号，换一条下游链路就可能越过授权边界。审计发生在入库那一刻，风险却发生在运行时拼接的那一刻，两者的时间差正是这类漏洞藏身之处。</p>

<h2 id="cosa只加技能不动权限">CoSA：只加技能，不动权限</h2>

<p>CoSA 攻击据此构建两类「局部合规」的增量技能：capability supplementation（能力补全，补上攻击路径缺失的业务操作）与 relationship reshaping（关系重塑，改变制品交换、决策复用、目标与动作的绑定）。对照实验在 CoSA-Bench 上做：<code class="language-plaintext highlighter-rouge">288</code> 个任务，覆盖招聘、金融、IT、商业四个领域，危害类型为数据泄露、越权改状态、危险执行；任务在两池条件下配对执行，技能由模型自主选择，题目在攻击构造前就已固定。分 harness 看，OpenClaw、OpenHands、OpenCode 的违规率分别上升 <code class="language-plaintext highlighter-rouge">22.29</code>、<code class="language-plaintext highlighter-rouge">26.04</code>、<code class="language-plaintext highlighter-rouge">21.94</code> 个百分点，三个框架无一幸免。站内<a href="/one-minute-read-paper-skill-routing-collapse/">《Skill库越大agent越不翻说明书》</a>测过技能库规模带来的另一类退化，两篇合看的是同一件事：技能生态本身已是攻击面。</p>

<h2 id="守卫动作前查信息与授权">守卫：动作前查信息与授权</h2>

<p>论文同时给出轻量防御 CoSA-Guard，在 harness 层做两件事：重要动作执行前检查信息流与授权。在 OpenClaw 招聘任务、<code class="language-plaintext highlighter-rouge">5 个模型</code>上，攻击注入下的违规率从 <code class="language-plaintext highlighter-rouge">65.28%</code> 降到 <code class="language-plaintext highlighter-rouge">6.67%</code>；配对良性对照上，政策合规的任务完成率只从 <code class="language-plaintext highlighter-rouge">66.67%</code> 变为 <code class="language-plaintext highlighter-rouge">65.00%</code>，代价近乎为零。这与站内<a href="/one-minute-read-paper-option-channel-guardrail-attack/">《改一个选项的名字就能打开安全闸门》</a>形成对照：那篇证明单点守卫可被措辞绕过，这篇的守卫检查的是动作来源的依赖链，而非措辞。</p>

<p>这些数字全部来自论文自测口径，预印本尚未经同行评审，且原始技能池本身已有 <code class="language-plaintext highlighter-rouge">35.02%</code> 的基线违规率，<code class="language-plaintext highlighter-rouge">23.43</code> 个百分点是增量而非总量。方向是清楚的：对技能生态而言，逐个审计通过不等于组合使用合规。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://arxiv.org/abs/2610.35082">CoSA: The Conflict of Skills Attack in Real-World LLM Agent Ecosystems（arXiv:2610.35082）</a></li>
  <li><a href="https://sigmir-org.github.io/CoSA">CoSA 项目主页</a></li>
  <li><a href="/one-minute-read-paper-skill-routing-collapse/">Skill库越大agent越不翻说明书（站内解读）</a></li>
  <li><a href="/one-minute-read-paper-option-channel-guardrail-attack/">改一个选项的名字就能打开安全闸门（站内解读）</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="Security" /><category term="llm" /><category term="ai-agents" /><category term="agent-skills" /><category term="security" /><summary type="html"><![CDATA[北京科技大学等机构的预印本把技能单独合规、组合违规命名为 CoS，其 CoSA 攻击只向技能池加入占原池 5% 的局部合规技能，就让 5 个模型 3 种 harness 的政策违规率从 35.02% 升至 58.45%。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/cosa-conflict-of-skills.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/cosa-conflict-of-skills.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">一分钟读论文：《别替模型排答题路线》</title><link href="https://unbug.github.io/one-minute-read-paper-simple-harness-outdiagnose-rca-agents/" rel="alternate" type="text/html" title="一分钟读论文：《别替模型排答题路线》" /><published>2026-10-28T00:00:00+00:00</published><updated>2026-10-28T00:00:00+00:00</updated><id>https://unbug.github.io/one-minute-read-paper-simple-harness-outdiagnose-rca-agents</id><content type="html" xml:base="https://unbug.github.io/one-minute-read-paper-simple-harness-outdiagnose-rca-agents/"><![CDATA[<p>北京大学与北京邮电大学的论文<a href="https://arxiv.org/abs/2610.35767">《Free to Look, Free to Reason》</a>（arXiv:2610.35767）给一个流行做法判了负分：简单 harness 的 PR@1 最高 <code class="language-plaintext highlighter-rouge">77%</code>，发表 agent 仅 <code class="language-plaintext highlighter-rouge">53%</code>。</p>

<p>论文标题全文为 Free to Look, Free to Reason: Simple LLM Harnesses Outdiagnose Hand-Crafted Root Cause Analysis Agents。这个流行做法是为根因分析（RCA，指从故障发生时的指标、日志、调用链等遥测数据里定位最初坏掉的组件）手工编排 LLM Agent。论文用三个不规定模型调用流程的简单 harness（harness 指包住模型的调用外壳：一次调用读过证据包、SQL agent、Codex coding agent），对阵五个已发表的 LLM RCA agent 和一批统计、因果方法，同台比准确率：基准 RCAtlas 由 <code class="language-plaintext highlighter-rouge">8 个公开数据集</code>拼装的 <code class="language-plaintext highlighter-rouge">90 个验证案例</code>，覆盖 <code class="language-plaintext highlighter-rouge">6 个模型</code>、<code class="language-plaintext highlighter-rouge">3 档推理努力</code>。结果：<strong>简单 harness 最准</strong>，PR@1（首个答案即命中根因的案例占比）在三个中档模型上达到 <code class="language-plaintext highlighter-rouge">65-77%</code>，高于发表 agent 的 <code class="language-plaintext highlighter-rouge">16-53%</code> 与非 LLM 方法的 <code class="language-plaintext highlighter-rouge">6-39%</code>，且在每个同时跑了两族方法的模型上全部领先。</p>

<p><img src="/assets/images/simple-harness-rca.svg" alt="三族方法在 RCAtlas 上的 PR@1 区间对比" /></p>

<h2 id="程序替模型决定读什么">程序替模型决定读什么</h2>

<p>发表 agent 的准确率落差，出在编排本身。论文统计每个方法的 prescribed-call ratio（规定调用占比，指由程序在固定节点发起、而非模型自己决定发起的模型调用比例）：五个发表 agent 把 <code class="language-plaintext highlighter-rouge">十分之一到全部</code>的模型调用写死在程序里，标准操作流程、固定阶段、角色分工各写各的；相比之下，简单 harness 把看什么、查哪条、什么时候停全部交还给模型。案例研究展示了写死的代价：当程序规定先看什么，它会跳过决定性证据，比如某一行日志，或者一个不再收到调用请求的服务。站内<a href="/one-minute-read-paper-orca-bench-how-ready-are-language-model-agents-for-oncall/">《ORCA-bench：On-Call 考验》</a>同样研究 on-call 根因分析，角度相反：那篇用生产级测试床丈量模型能力有多不够，这篇证伪的是手工编排本身带来的附加价值：编排没有把有限的能力垫高，反而把它压低了。</p>

<h2 id="模型管可靠外壳管能力">模型管可靠，外壳管能力</h2>

<p>换更强模型与多给推理预算，作用并不相同。从 Luna 到 Sol，能力分 A（三次运行都解出的案例占比）只上升 <code class="language-plaintext highlighter-rouge">2-7 个百分点</code>，不稳定分 U（有时解出、有时解不出的案例占比）却从 <code class="language-plaintext highlighter-rouge">32-36</code> 降到 <code class="language-plaintext highlighter-rouge">7-8</code>；多轮 harness 主要买能力，SQL agent 与 Codex 在 Luna 上至少解出一次的案例比一次调用多 <code class="language-plaintext highlighter-rouge">10-11 个百分点</code>。把推理努力加满，准确率只变几个点，时间最多乘以七。成本侧同样是一边倒：在准确率超过最佳非 LLM 方法（NSigma，PR@1 <code class="language-plaintext highlighter-rouge">38.9%</code>）的运行里，成本或时间 Pareto 最优的每一条都是简单 harness；七个达标的发表 agent 运行（<code class="language-plaintext highlighter-rouge">43-63%</code>）全被不更贵或不更慢的 harness 在准确率上压过。换句话说，花钱与花时间换来的最优解全部落在放任模型自己调查的一侧。</p>

<p>数字有边界：四个发表 agent 是论文按原文重新实现的，案例研究只跟了单个案例，且论文自述规定调用占比只测编排固定了多少，没有证明固定就是准确率低的直接原因；全部结果出自论文自测口径，预印本未经同行评审。站内<a href="/one-minute-read-paper-claim-smoothing-llm-research-agents/">《研究 Agent 把证据磨得太光滑》</a>从另一个角度给出同一提示：Agent 的工作流越是预先光滑，越可能漏掉它本就该看见的东西。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://arxiv.org/abs/2610.35767">Free to Look, Free to Reason: Simple LLM Harnesses Outdiagnose Hand-Crafted Root Cause Analysis Agents（arXiv:2610.35767）</a></li>
  <li><a href="/one-minute-read-paper-orca-bench-how-ready-are-language-model-agents-for-oncall/">ORCA-bench：On-Call 考验（站内解读）</a></li>
  <li><a href="/one-minute-read-paper-claim-smoothing-llm-research-agents/">研究 Agent 把证据磨得太光滑（站内解读）</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="Engineering" /><category term="llm" /><category term="ai-agents" /><category term="root-cause-analysis" /><category term="evaluation" /><summary type="html"><![CDATA[北京大学与北京邮电大学同台对比微服务故障诊断的两条路线：不规定模型调用流程的简单 harness 在 RCAtlas 基准上 PR@1 达到 65-77%，全面超过把调查步骤写死在程序里的已发表智能体的 16-53%。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/simple-harness-rca.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/simple-harness-rca.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">AI 范式雷达：《把 Agent 的线拉进自己的箱子》</title><link href="https://unbug.github.io/paradigm-radar-agent-gateway-layer/" rel="alternate" type="text/html" title="AI 范式雷达：《把 Agent 的线拉进自己的箱子》" /><published>2026-10-28T00:00:00+00:00</published><updated>2026-10-28T00:00:00+00:00</updated><id>https://unbug.github.io/paradigm-radar-agent-gateway-layer</id><content type="html" xml:base="https://unbug.github.io/paradigm-radar-agent-gateway-layer/"><![CDATA[<p><code class="language-plaintext highlighter-rouge">2026-10-16</code> 至 <code class="language-plaintext highlighter-rouge">10-28</code> 的十二天里，agent 与模型之间那根直连裸线在 Hacker News 上同时遭到需求、事故、命名三向挤压：自建代理主帖 <code class="language-plaintext highlighter-rouge">303</code> 分，市占头部的 LiteLLM 在 PyPI 被投毒 <code class="language-plaintext highlighter-rouge">596</code> 分，「Agent Gateway」被厂商定为品类名。</p>

<p>三向挤压的细节：个人开发者主帖「不跑自己的 LLM proxy 你怎么知道发生了什么」（HN <code class="language-plaintext highlighter-rouge">50145507</code>）拿到 <code class="language-plaintext highlighter-rouge">303</code> 分、全树 <code class="language-plaintext highlighter-rouge">219</code> 条评论；市占头部的 <code class="language-plaintext highlighter-rouge">62,195</code> 星（实测 2026-10-28）LiteLLM 在 PyPI 被投毒（HN <code class="language-plaintext highlighter-rouge">50181114</code>，<code class="language-plaintext highlighter-rouge">596</code> 分、<code class="language-plaintext highlighter-rouge">202</code> 条评论）；Maxim AI 官方博客把「Agent Gateway」定为品类名（自述）。</p>

<p>范式表述：<strong>agent 观测网关化——开发者不再接受 agent 与模型/工具之间的通信只存在于厂商后台，而是把这层流量实时收进自己运行的代理进程里，看、记、限、拦；对 agent 的信任支点正从「信平台后台」迁移为「信自己脚下的这条线」。</strong>全部数字为 <code class="language-plaintext highlighter-rouge">2026-10-28</code> 经 HN API 全树遍历与 GitHub API 实测，厂商数字标注自述。据我们观察未发现同类中文报道。</p>

<p><img src="/assets/images/agent-gateway-layer.svg" alt="窗口内证据矩阵：需求与事故两根轴热度最高，直接命名品类的帖子热度最低" /></p>

<h2 id="供给与命名">供给与命名</h2>

<p>代理层（proxy/gateway，指夹在客户端与模型 API 之间、由使用者自己运行的中转进程）不是新物：GitHub API 实测（2026-10-28）搜索总数 <code class="language-plaintext highlighter-rouge">q="llm gateway"</code> <code class="language-plaintext highlighter-rouge">11,728</code>、<code class="language-plaintext highlighter-rouge">q="ai gateway"</code> <code class="language-plaintext highlighter-rouge">19,012</code>，存量巨大。波的动作在头部换代与命名更新。<code class="language-plaintext highlighter-rouge">10-27</code>，Maxim AI 官方博客《Introducing Agent Gateway in Bifrost: One gateway for models, tools and agents》（厂商自述）把 models、tools、agents 一个网关写成品类名，并同步进 maximhq/bifrost 仓库描述（<code class="language-plaintext highlighter-rouge">9,153</code> 星，实测 2026-10-28）；该命名帖只有 <code class="language-plaintext highlighter-rouge">2</code> 分。窗口内新建同类仓星数都小：nenya <code class="language-plaintext highlighter-rouge">36</code> 星、sturnus <code class="language-plaintext highlighter-rouge">13</code> 星、Strix 供应链防火墙 <code class="language-plaintext highlighter-rouge">18</code> 星；波的形成形态是老仓上新品类词加小仓涌现。评论区同时是集市：agentsview（<code class="language-plaintext highlighter-rouge">6,289</code> 星，实测 2026-10-28，评论 <code class="language-plaintext highlighter-rouge">50147725</code> 推荐的非代理查看器路线）、nenyamy、agent-beacon、Relay 等至少六个互不隶属的新工具自荐。与第 17 期<a href="/paradigm-radar-agent-forensics-layer/">《Agent 说完不算，拿出证据》</a>的切割：那期是事后证据层，本期是实时传输层；证据层回答「它做过什么」，网关层回答「此刻这字节经过谁的手」。</p>

<h2 id="反方与边界">反方与边界</h2>

<p>需求侧最硬的对手不是厂商，是规范派。评论 <code class="language-plaintext highlighter-rouge">50151130</code> 逐字称「You don’t need a proxy to do this」，代理会把单点故障直接放进生产力线里，Codex 与 Claude Code 都输出 OTEL traces；<code class="language-plaintext highlighter-rouge">50147603</code>、<code class="language-plaintext highlighter-rouge">50152949</code> 附和。代理派的回应（评论 <code class="language-plaintext highlighter-rouge">50154093</code>）是规范落地靠 harness 自觉。更锋利的是评论 <code class="language-plaintext highlighter-rouge">50147291</code>：「imagine a world where LiteLLM and all the other LLM shovels weren’t buggy vibecoded messes」——加一层代理就是加一条供应链，<code class="language-plaintext highlighter-rouge">596</code> 分的投毒帖把这条反方变成既成事实。事故细节同样打在信任结构上：被投毒的 <code class="language-plaintext highlighter-rouge">1.107.0</code> 已从 PyPI 撤下（实测 <code class="language-plaintext highlighter-rouge">10-28</code> 最新版本 <code class="language-plaintext highlighter-rouge">1.106.5</code>），官方 issue <code class="language-plaintext highlighter-rouge">#47826</code> 记录企业版走私有 registry 分发 embargoed（受限）修复——企业通道与开源通道分裂。边界继续列开：<code class="language-plaintext highlighter-rouge">50153072</code> 与 <code class="language-plaintext highlighter-rouge">50151189</code> 质疑「自建代理=透明」的前提，代理只看到 harness 愿意给的，闭源 harness 换个子域名照样 phone home；<code class="language-plaintext highlighter-rouge">50147381</code> 称订阅制下成本监控是伪需求。</p>

<h2 id="品类成形度与观察点">品类成形度与观察点</h2>

<p>诚实信号：直接命名品类的两条（Bifrost <code class="language-plaintext highlighter-rouge">2</code> 分、Respan Rust 网关 <code class="language-plaintext highlighter-rouge">53</code> 分）热度低，高分集中在需求情绪（<code class="language-plaintext highlighter-rouge">303</code>）与事故（<code class="language-plaintext highlighter-rouge">596</code>）两根轴上——这是品类前夜形态，不是品类成熟形态。口径限定：全部星数与热度为实测 <code class="language-plaintext highlighter-rouge">2026-10-28</code>、随时间可变；Bifrost 与 agent-beacon 的定性均为厂商或作者自述口径；据我们观察未发现同类中文报道。与第 18 期<a href="/paradigm-radar-agent-daemon-sovereignty/">《当你的笔记本上住进别人家的守护进程》</a>方向正好相反：那期是驱逐别人代码常驻本机，本期是开发者亲手在脚下立一个中间件——同为「主权」叙事，动作互为镜像。实操侧窗口内已给出动作：钉住版本（pin）、发版冷却期（cooldown）、金丝雀升级。观察点：OTel GenAI 规范扩展（agent-beacon，评论 <code class="language-plaintext highlighter-rouge">50153592</code>）是否最终吃掉自建代理叙事，规范派与代理派的胜负就是下一期的选题判据。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://news.ycombinator.com/item?id=50145507">HN 50145507：不跑自己的 LLM proxy 怎么知道发生了什么</a></li>
  <li><a href="https://news.ycombinator.com/item?id=50181114">HN 50181114：LiteLLM 1.107.0 投毒版本安装凭据窃取器与后门</a></li>
  <li><a href="https://www.getmaxim.ai/bifrost/blog/introducing-agent-gateway-in-bifrost-one-gateway-for-models-tools-and-agents">Maxim AI 官方博客：Introducing Agent Gateway in Bifrost</a></li>
  <li><a href="https://github.com/BerriAI/litellm">BerriAI/litellm GitHub 仓库</a></li>
  <li><a href="https://github.com/maximhq/bifrost">maximhq/bifrost GitHub 仓库</a></li>
  <li><a href="https://github.com/BerriAI/litellm/issues/47826">LiteLLM issue #47826：企业版私有 registry 分发 embargoed 修复</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="ParadigmRadar" /><category term="agent" /><category term="llm-proxy" /><category term="ai-gateway" /><category term="litellm" /><category term="supply-chain" /><category term="observability" /><summary type="html"><![CDATA[十天窗口内自建代理需求主帖303分、承载网关层的LiteLLM遭供应链投毒主帖596分、厂商把agent gateway定为品类名：对智能体的信任支点正从厂商后台迁移到开发者自建代理进程。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/agent-gateway-layer.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/agent-gateway-layer.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">一分钟读论文：《研究 Agent 把证据磨得太光滑》</title><link href="https://unbug.github.io/one-minute-read-paper-claim-smoothing-llm-research-agents/" rel="alternate" type="text/html" title="一分钟读论文：《研究 Agent 把证据磨得太光滑》" /><published>2026-10-27T00:00:00+00:00</published><updated>2026-10-27T00:00:00+00:00</updated><id>https://unbug.github.io/one-minute-read-paper-claim-smoothing-llm-research-agents</id><content type="html" xml:base="https://unbug.github.io/one-minute-read-paper-claim-smoothing-llm-research-agents/"><![CDATA[<p>纽约大学（New York University）的论文<a href="https://arxiv.org/abs/2610.35793">《Quantifying Claim Smoothing by LLM Research Agents》</a>给深度研究 Agent 的一种系统性偏差起了名字：smoothing（平滑化），每个系统至少 <code class="language-plaintext highlighter-rouge">25%</code> 的结论拿到 <code class="language-plaintext highlighter-rouge">SmoothScore ≥ 3</code>。</p>

<p>平滑化，指把彼此冲突、条件各异的来源压成单一叙事时，丢掉证据的参差感，写出比引用所能支持的大胆得多的结论。论文（arXiv:2610.35793）在 <code class="language-plaintext highlighter-rouge">7 个系统</code>、<code class="language-plaintext highlighter-rouge">4 个数据集</code>上测得：<strong>跨 7 个系统与 4 个数据集，agent 一致地产出强于证据所允许程度的结论</strong>，每个系统至少 <code class="language-plaintext highlighter-rouge">25%</code> 的结论（claim，指报告中可单独核查的判断句）拿到 <code class="language-plaintext highlighter-rouge">SmoothScore ≥ 3</code>（<code class="language-plaintext highlighter-rouge">1-5</code> 分制，分数越高磨得越平）。</p>

<p><img src="/assets/images/claim-smoothing-research-agents.svg" alt="各系统结论平滑率对比：≥3 与 ≥4 两档，Gemini 重度平滑 22-35%" /></p>

<h2 id="拿证据对账的评分管线">拿证据对账的评分管线</h2>

<p>SmoothScore 的做法是先从报告里抽出关键结论，再检索与每条结论相关的证据段落，按高层维度（aspect，指证据分歧所在线索，例如效果、适用条件、对比对象）聚类，最后由 LLM judge 对照证据给每条结论打 <code class="language-plaintext highlighter-rouge">1-5</code> 分：<code class="language-plaintext highlighter-rouge">1</code> 表示无平滑，<code class="language-plaintext highlighter-rouge">≥ 3</code> 为实质性平滑，<code class="language-plaintext highlighter-rouge">≥ 4</code> 为严重平滑。它查的不是结论真假，而是结论对证据的压缩是否忠实：证据混合就该保留混合，证据范围窄就该收窄范围。传统的逐条事实核查只给出有支持/无支持的二元判断，对综合叙事型结论缺少连续刻度，这条管线把测量拆成结论抽取、证据抽取、维度归纳、证据分配、打分五步。人工校验覆盖了 <code class="language-plaintext highlighter-rouge">73 claims</code>：两名标注员拿到同一份评分细则盲评，judge 与标注者 1 在 <code class="language-plaintext highlighter-rouge">93%</code> 的结论上相差 <code class="language-plaintext highlighter-rouge">1</code> 分以内，与两名标注员之间的相互一致性处于同一量级。</p>

<h2 id="系统之间的差距比想象大">系统之间的差距比想象大</h2>

<p>重度平滑（<code class="language-plaintext highlighter-rouge">≥ 4</code>）是系统之间拉开差距的地方。Gemini Deep Research 有 <code class="language-plaintext highlighter-rouge">85-93%</code> 的结论得分 <code class="language-plaintext highlighter-rouge">≥ 3</code>，均分 <code class="language-plaintext highlighter-rouge">3.05-3.27</code>，严重平滑率 <code class="language-plaintext highlighter-rouge">22-35%</code>，约为其他闭源 agent 的 <code class="language-plaintext highlighter-rouge">3-12</code> 倍、Sol 的 <code class="language-plaintext highlighter-rouge">13-26</code> 倍；它引用的文档数约为 Luna 或 Sol 的 <code class="language-plaintext highlighter-rouge">2-5</code> 倍，报告在所有数据集上都是最长，但更长并不等于压缩得更有效。开源端的 DR Tulu 与 QUEST 约 <code class="language-plaintext highlighter-rouge">59%</code>/<code class="language-plaintext highlighter-rouge">55%</code> 的结论 <code class="language-plaintext highlighter-rouge">≥ 3</code>、<code class="language-plaintext highlighter-rouge">7-23%</code> <code class="language-plaintext highlighter-rouge">≥ 4</code>。最干净的是 Luna 与 Sol：至少 <code class="language-plaintext highlighter-rouge">36%</code> 的结论得分 <code class="language-plaintext highlighter-rouge">= 1</code>，即完全没有平滑，是其他系统的 <code class="language-plaintext highlighter-rouge">1.5-2.7</code> 倍。站内<a href="/one-minute-read-paper-ctxgap-report-gap/">《编码智能体：知道却不说》</a>测过报告与真实状态的另一种落差，可作参照。</p>

<h2 id="没读过的页面写不出保留">没读过的页面写不出保留</h2>

<p>平滑的一个嫌疑犯，是 Agent 根本没读过自己引用的页面。Luna 对 <code class="language-plaintext highlighter-rouge">496</code> 个引用文档只打开 <code class="language-plaintext highlighter-rouge">95</code> 个（<code class="language-plaintext highlighter-rouge">19%</code>），<code class="language-plaintext highlighter-rouge">65</code> 份报告里 <code class="language-plaintext highlighter-rouge">45</code> 篇一页未开；Claude Sonnet 5 的打开率只有 <code class="language-plaintext highlighter-rouge">2%</code>。它们几乎全靠搜索工具截断后的摘录干活，摘录长度中位数只有 <code class="language-plaintext highlighter-rouge">585</code> 字符，来源正文里的限定条件与反向发现，Agent 大概率从未看到。补救实验给出正面信号：把 SmoothScore 检索出的证据喂回给 Agent 修订报告，ResearcherBench 的专家评分 Luna <code class="language-plaintext highlighter-rouge">+4.4</code>、Sonnet <code class="language-plaintext highlighter-rouge">+12.0</code>（均 <code class="language-plaintext highlighter-rouge">p&lt;.001</code>），补充上下文的体量只有原文档的五分之一到十分之一，效果持平甚至超过直接给全文。</p>

<p>这些数字全部来自论文自测口径，预印本尚未经同行评审；打分依赖 LLM judge，作者也承认在 <code class="language-plaintext highlighter-rouge">≥ 3</code> 阈值上两名标注员的一致性只有 <code class="language-plaintext highlighter-rouge">κ = 0.62</code>。方向却是清楚的：报告读起来越像一份笃定的综述，越值得回头核对它引用的页面到底说了什么。站内<a href="/one-minute-read-paper-rag-defense-benchmark-shortcut/">《删掉一个前缀，近满分的投毒防御当场裸奔》</a>同样提醒：评估口径本身，就是结论的一部分。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://arxiv.org/abs/2610.35793">Quantifying Claim Smoothing by LLM Research Agents（arXiv:2610.35793）</a></li>
  <li><a href="https://github.com/tiasa2/SmoothScore">SmoothScore 代码与数据仓库</a></li>
  <li><a href="/one-minute-read-paper-ctxgap-report-gap/">编码智能体：知道却不说（站内解读）</a></li>
  <li><a href="/one-minute-read-paper-rag-defense-benchmark-shortcut/">删掉一个前缀，近满分的投毒防御当场裸奔（站内解读）</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="Safety" /><category term="llm" /><category term="ai-agents" /><category term="deep-research" /><category term="evaluation" /><summary type="html"><![CDATA[纽约大学预印本把研究 Agent 将冲突证据压成自信叙事的偏差命名为 smoothing：在 7 个系统 4 个数据集上，每个系统至少 25% 的结论超出引文所能支持的程度，Gemini 重度平滑率 22-35% 最严重。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/claim-smoothing-research-agents.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/claim-smoothing-research-agents.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">一分钟读论文：《循环语言模型的省算力账，批次维度对不上》</title><link href="https://unbug.github.io/one-minute-read-paper-halting-head-compute-gap/" rel="alternate" type="text/html" title="一分钟读论文：《循环语言模型的省算力账，批次维度对不上》" /><published>2026-10-27T00:00:00+00:00</published><updated>2026-10-27T00:00:00+00:00</updated><id>https://unbug.github.io/one-minute-read-paper-halting-head-compute-gap</id><content type="html" xml:base="https://unbug.github.io/one-minute-read-paper-halting-head-compute-gap/"><![CDATA[<p>Apple 论文<a href="https://arxiv.org/abs/2610.32246">《Do Halting Heads Save Compute?》</a>（arXiv:2610.32246，2026-10-23 提交）从零预训练了 <code class="language-plaintext highlighter-rouge">140M</code> 到 <code class="language-plaintext highlighter-rouge">1.3B</code> 四档参数的循环语言模型，逐个清点批次解码真正花掉的迭代数，结论是 halting head 报告的省算力被系统性高估。</p>

<p>该论文全称为<a href="https://arxiv.org/abs/2610.32246">《Do Halting Heads Really Save Compute in Looped Language Models?》</a>。halting head（在每个迭代后判断 token 是否停止的小层）按”平均每 token 迭代数”报告的省算力被系统性高估。上周站内<a href="/one-minute-read-paper-rag-defense-benchmark-shortcut/">《删掉一个前缀，近满分的投毒防御当场裸奔》</a>打的是防御评测指标的失真，这一篇打的是另一个轴：推理计算分配指标的失真——预测平均、实际花费、批次实付是三个数。</p>

<p><img src="/assets/images/halting-head-compute-gap.svg" alt="head 预测、exit rule 实跑、批次实付三个数对不上" /></p>

<h2 id="预测不到一半迭代实跑几乎跑满">预测不到一半迭代，实跑几乎跑满</h2>

<p>循环语言模型把同一块层反复跑，每跑一遍算一个迭代，深度是推理时的设置而非权重的一部分，省算力的希望由此而来。论文转引的行业惯例（Tan et al., 2023）称计算量可省 <code class="language-plaintext highlighter-rouge">50%</code>——这是从规则跳过的迭代数估算的，并非实测运行时间。论文自己的 mixture-loss halting head 预测均值 <code class="language-plaintext highlighter-rouge">3.7</code> 个迭代（上限 <code class="language-plaintext highlighter-rouge">8</code>），不到一半；但默认退出规则要等停止概率累计到 <code class="language-plaintext highlighter-rouge">90%</code> 才放行，token 实跑 <code class="language-plaintext highlighter-rouge">7.6</code> 到 <code class="language-plaintext highlighter-rouge">7.9</code> 个迭代，论文原话是 save almost no compute（几乎不省算力）。病灶在训练损失：mixture loss 给所有迭代的状态混合打分，从不给退出规则真正停下的那一次打分；若改用按概率抽样停止迭代的方案把平均值真正花出去，质量要付约 <code class="language-plaintext highlighter-rouge">0.2</code> BPB（每字节比特数，语言模型损失，越低越好）的代价。</p>

<h2 id="批次等最慢的-token领先塌缩到-0003">批次等最慢的 token，领先塌缩到 0.003</h2>

<p>改用逐步打分（per-step loss）加强早停先验后，token 真的停在约 <code class="language-plaintext highlighter-rouge">3</code> 个迭代，对随机深度训练的无头基线领先约 <code class="language-plaintext highlighter-rouge">0.0246</code> BPB（<code class="language-plaintext highlighter-rouge">770M</code> 档位实测，<code class="language-plaintext highlighter-rouge">Table 1</code> 三档中最大值）。但服务端 <code class="language-plaintext highlighter-rouge">32</code> 条序列一起解码时，批次要等迭代最多的那个 token 停手才关门：token 平均跑 <code class="language-plaintext highlighter-rouge">3</code> 次左右，一个批次实付 <code class="language-plaintext highlighter-rouge">4.4</code> 到 <code class="language-plaintext highlighter-rouge">4.7</code> 次。<code class="language-plaintext highlighter-rouge">370M</code> 模型计时实测，批次比固定跑满 <code class="language-plaintext highlighter-rouge">8</code> 次快约 <code class="language-plaintext highlighter-rouge">1.6</code> 倍；若按实跑步数固定深度跑同一份权重，本可快 <code class="language-plaintext highlighter-rouge">2.3</code> 倍，差额就是等待最慢 token 的成本。在批次实付深度上重新对账，<code class="language-plaintext highlighter-rouge">0.0246</code> 的领先塌到 <code class="language-plaintext highlighter-rouge">0.003</code> BPB。对已发布开源模型 Ouro 2.6B（Zhu 等人，arXiv:2510.25741）的复测显示，token 平均省约 <code class="language-plaintext highlighter-rouge">1/10</code> 迭代，<code class="language-plaintext highlighter-rouge">32</code> token 批次只省约 <code class="language-plaintext highlighter-rouge">1%</code>——这是该文自测口径，非 Ouro 官方结论。</p>

<h2 id="省是真的省过但账本要换记法">省是真的省过，但账本要换记法</h2>

<p>结论并非 halting head 一无是处。逐步打分加固定深度解码时，模型仍全面领先无头基线；把停止 token 已算出的 key/value 复用进 KV cache（论文引 Geiping et al., 2025 的做法），单序列解码能保住几乎全部领先。Ouro 的 gate 在质量侧也真有收益：按该文自测，同等平均深度下其门控分配值 <code class="language-plaintext highlighter-rouge">0.30</code> BPB。作者的范围限定同样逐字写清：结论只适用于 for the halting heads we train，即该文的 mixture/per-step 训练配置、上限 <code class="language-plaintext highlighter-rouge">1.3B</code> 参数（训 <code class="language-plaintext highlighter-rouge">104B</code> tokens）的规模，不能外推到所有自适应深度方案。整个项目约花 <code class="language-plaintext highlighter-rouge">100,000</code> GPU-hours，预训练了超过 <code class="language-plaintext highlighter-rouge">100</code> 个模型。论文建议改报三个数——head 预测均值、退出规则实跑步数、批次实付步数——并给出训练前上界测试：瞄准 <code class="language-plaintext highlighter-rouge">3</code> 次迭代的 head，单序列解码上界约 <code class="language-plaintext highlighter-rouge">0.03</code> BPB，<code class="language-plaintext highlighter-rouge">32</code> 序列批次下缩到约 <code class="language-plaintext highlighter-rouge">0.01</code>。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://arxiv.org/abs/2610.32246">Do Halting Heads Really Save Compute in Looped Language Models?</a></li>
  <li><a href="https://arxiv.org/abs/2510.25741">Scaling Latent Reasoning via Looped Language Models（Ouro 论文原文）</a></li>
  <li><a href="/one-minute-read-paper-rag-defense-benchmark-shortcut/">站内：一分钟读论文：《删掉一个前缀，近满分的投毒防御当场裸奔》</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="llm" /><category term="efficient-inference" /><category term="test-time-compute" /><summary type="html"><![CDATA[Apple论文用10万GPU小时从零预训练发现：循环语言模型的halting head平均省算力被双重高估，批次解码实付远超平均，修好训练后质量领先只剩约0.003 BPB，省算力账本要换记法。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/halting-head-compute-gap.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/halting-head-compute-gap.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry><entry><title type="html">一分钟读论文：《删掉一个前缀，近满分的投毒防御当场裸奔》</title><link href="https://unbug.github.io/one-minute-read-paper-rag-defense-benchmark-shortcut/" rel="alternate" type="text/html" title="一分钟读论文：《删掉一个前缀，近满分的投毒防御当场裸奔》" /><published>2026-10-27T00:00:00+00:00</published><updated>2026-10-27T00:00:00+00:00</updated><id>https://unbug.github.io/one-minute-read-paper-rag-defense-benchmark-shortcut</id><content type="html" xml:base="https://unbug.github.io/one-minute-read-paper-rag-defense-benchmark-shortcut/"><![CDATA[<p>North Creek High School 与 Washington State University 的论文<a href="https://arxiv.org/abs/2610.33849">《Ranking Is Not Deciding》</a>（arXiv:2610.33849）指出：RAG 投毒防御论文里的近满分检测率，很可能测的不是投毒本身，而是毒文档的构造痕迹。</p>

<p>该论文全称为<a href="https://arxiv.org/abs/2610.33849">《Ranking Is Not Deciding: Benchmark Shortcuts and Operating-Point Collapse in Query-Time RAG Poisoning Defenses》</a>，由 North Creek High School 与 Washington State University 两位作者署名（arXiv:2610.33849，2026-10-24 提交）。——PoisonedRAG 官方代码把目标问题原样拼在每条注入文本前面——只做一件事：删掉这个前缀，已发表防御 RAGuard（Cheng 等人的查询时过滤方法）的 AUROC（衡量排序区分能力的指标）从 <code class="language-plaintext highlighter-rouge">0.953</code> 掉到 <code class="language-plaintext highlighter-rouge">0.758</code>，漏检率从 <code class="language-plaintext highlighter-rouge">0.191</code> 涨到 <code class="language-plaintext highlighter-rouge">0.763</code>，而 <code class="language-plaintext highlighter-rouge">0.93</code> 的毒文仍能被检索到。这与站内另一篇<a href="/one-minute-read-paper-ignored-not-refused/">《低攻击成功率掩盖了什么？》</a>是同一类问题的两面：那篇打的是攻击成功率这类攻击侧指标的失真，本篇打的是防御侧检测指标的失真。</p>

<p><img src="/assets/images/rag-defense-benchmark-shortcut.svg" alt="删前缀前后：AUROC 不动、部署阈值漏检率崩塌" /></p>

<h2 id="考卷把答案印在了题目上">考卷把答案印在了题目上</h2>

<p>RAG（Retrieval-Augmented Generation，检索增强生成）把语料库变成攻击面：能往库里插文本的攻击者就能操纵回答。论文转引 PoisonedRAG 原文的结论是，每个目标问题只需 <code class="language-plaintext highlighter-rouge">5</code> 条注入文本即可达成 <code class="language-plaintext highlighter-rouge">90%</code> 以上的攻击成功率。主流应对是查询时过滤器：生成前逐篇判断检索文档能否进入上下文。</p>

<p>问题出在评测怎么造毒。PoisonedRAG 的发布代码（<code class="language-plaintext highlighter-rouge">src/attack.py</code>）把每条注入文档生成为”目标问题＋句号＋文本”，防御论文直接跑这个代码评测，等于让过滤器做”找出带题目的那份卷子”。论文实测：某第三方复现释放的毒文里，<code class="language-plaintext highlighter-rouge">500 of 500</code> 条包含目标问题原文。按该文自述的 survey 口径（作者自建表 II 的统计，非第三方独立审计），<code class="language-plaintext highlighter-rouge">21</code> 个已发表防御评估中 <code class="language-plaintext highlighter-rouge">8</code> 个可验证地在用这种含问题毒文构造，<code class="language-plaintext highlighter-rouge">5</code> 个换用了长度或重复线索——比如把片段重复 <code class="language-plaintext highlighter-rouge">2–10</code> 次，或毒文 <code class="language-plaintext highlighter-rouge">119–162</code> 词对干净文档固定 <code class="language-plaintext highlighter-rouge">100</code> 词，光数词数就能到 AUROC <code class="language-plaintext highlighter-rouge">0.999</code>；另有 <code class="language-plaintext highlighter-rouge">12</code> 个不报告部署阈值下的假阳率。</p>

<h2 id="删掉前缀补上长度决策当场死亡">删掉前缀、补上长度，决策当场死亡</h2>

<p>在 <code class="language-plaintext highlighter-rouge">4</code> 个语料库（NQ、医疗、金融、法律）、<code class="language-plaintext highlighter-rouge">4</code> 个攻击族、<code class="language-plaintext highlighter-rouge">10</code> 个逐文档防御的同一共享候选集上，两个控制实验撕开了口子。其一，对 NQ 上攻击作者自己的毒文只删问题前缀：毒文检索率保持 <code class="language-plaintext highlighter-rouge">0.93</code>，RAGuard 的 AUROC 从 <code class="language-plaintext highlighter-rouge">0.953</code> 跌到 <code class="language-plaintext highlighter-rouge">0.758</code>。其二，把医疗毒文用乱序词填充到干净文档长度——内容信息清零——TrustRAG 的集合级漏检率从 <code class="language-plaintext highlighter-rouge">0.000</code> 涨到 <code class="language-plaintext highlighter-rouge">0.827</code>；论文自己的学习打分器漏检率从 <code class="language-plaintext highlighter-rouge">0.000</code> 涨到 <code class="language-plaintext highlighter-rouge">0.986</code>（对齐 <code class="language-plaintext highlighter-rouge">5%</code> 假阳率后仍有 <code class="language-plaintext highlighter-rouge">0.321</code>），而 AUROC 停在 <code class="language-plaintext highlighter-rouge">0.953</code> 不动，进入上下文的毒文占比从 <code class="language-plaintext highlighter-rouge">0.00</code> 升到 <code class="language-plaintext highlighter-rouge">0.94</code>。用论文原话说，The ranking survives; the decision does not——排名还在，决策已死：只看 AUROC 的报表分不清这两件事。另一个细节：前缀本身还撑着检索，Contriever top-5 中含毒文档在有前缀时平均 <code class="language-plaintext highlighter-rouge">4.79</code> 条（<code class="language-plaintext highlighter-rouge">86 of 100</code> 个查询五条全中），删掉后只剩 <code class="language-plaintext highlighter-rouge">2.40</code> 条。</p>

<h2 id="这不证明防御无用但证明报表要改写法">这不证明防御无用，但证明报表要改写法</h2>

<p>论文明确划了边界：逐字写道 we propose no defense，不提出任何防御；其自有打分器被自适应攻击者以 <code class="language-plaintext highlighter-rouge">0.977</code> 的毒文过检率击穿；结论只适用于上述共享候选集的受控实验，不涉及真实部署，也不意味着所有 RAG 防御都失效。医疗格子里毒文包含问题且长度出格时，<code class="language-plaintext highlighter-rouge">8</code> 个打分系统中 <code class="language-plaintext highlighter-rouge">4</code> 个漏检为 <code class="language-plaintext highlighter-rouge">0.000</code>——饱和恰恰出现在线索最强处。论文给出的可操作建议是：检测结果只有在同时报告毒文构造画像（问题原文包含率、长度重叠度）和实际部署阈值的假阳率时才算证据；论文另一处实测显示，防御 DRS 的阈值校准方式可使其医疗库假阳率从 <code class="language-plaintext highlighter-rouge">0.945</code> 变 <code class="language-plaintext highlighter-rouge">0.035</code>，阈值校准本身也在左右结论。</p>

<h2 id="references">References</h2>
<ul>
  <li><a href="https://arxiv.org/abs/2610.33849">Ranking Is Not Deciding: Benchmark Shortcuts and Operating-Point Collapse in Query-Time RAG Poisoning Defenses</a></li>
  <li><a href="https://arxiv.org/abs/2402.07867">PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models</a></li>
  <li><a href="/one-minute-read-paper-ignored-not-refused/">站内：一分钟读论文：《低攻击成功率掩盖了什么？》</a></li>
</ul>]]></content><author><name>unbug</name></author><category term="AI" /><category term="Security" /><category term="rag" /><category term="safety" /><category term="evaluation" /><category term="retrieval-augmented-generation" /><summary type="html"><![CDATA[华盛顿州立大学等机构论文发现：RAG投毒防御基准把目标问题原样拼在毒文档前，删掉这个前缀后RAGuard的AUROC从0.953跌到0.758，近满分检测测的是拼接痕迹而非投毒。]]></summary><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://unbug.github.io/assets/images/rag-defense-benchmark-shortcut.svg" /><media:content medium="image" url="https://unbug.github.io/assets/images/rag-defense-benchmark-shortcut.svg" xmlns:media="http://search.yahoo.com/mrss/" /></entry></feed>