专利信号

本轮核验到 1 件主专利（申请公开，不等于已授权）：

• 申请日 2025-12-16，主张 2024 年 12 月临时申请优先权；分类号 G06F8/10、G06F8/73（软件工程）
• PRD 不是终点：派生输出含用户画像、epic、用户故事、技术建议与 starter code，是下游工件的枢纽
• 申请人 Crowdbotics 是美国 AI 软件开发平台公司，该申请说明「需求生成」正被写进产品管线

技术趋势

共同走向：需求文档从「模板填写」转向 LLM 渐进式分解 + 机器评估。通用大模型今天就能写 PRD，但结构不稳定、无法直接进开发流；差异点在中间工件（特征列表、预期输出）与完整性/准确性评估回路——纯提示词与模板工程，不训练模型。产业佐证：Lovable 2026 年 6 月 ARR 突破 5 亿美元、每周新建项目 100 万个（TechCrunch），vibe coding 产出质量取决于需求输入，「想法 → PRD」是上游瓶颈。上一篇Agent 纠错专利解决「Agent 不可信」，这篇解决「需求不可信」。

落地机会

用户场景：独立开发者有一个点子，想用 Lovable、Cursor 这类工具直接生成应用。但一句话丢进去，回来的是功能混乱的半成品；自己写 PRD 要半天，多数人跳过这步直接 vibe coding，再花几天返工方向——卡在「想法翻译不成结构化需求」。

一个人能做的层：

• 做「一句话想法 → 结构化 PRD + 用户故事 + 验收标准」的 Web 工具或 CLI：LLM API + 垂直模板 + 完整性自检，输出可直接粘进 vibe coding 工具的 Markdown/JSON
• 技术栈：Next.js 或 Vite + OpenAI/Claude API；起步成本月均几百元 API 费加域名与托管，远低于 2 万元，4 周可出可演示 MVP

创业发现

• PRD 生成工具（SaaS/CLI）：订阅 9-19 美元/月或按文档计费。首批客户在 X、Indie Hackers、V2EX 的独立开发者里。护城河是垂直模板、迭代打磨与导出格式；风险是通用大模型持续变强，纯提示词包装生命周期短
• 需求拆解接单：帮小团队把点子变成能直接喂给 vibe coding 工具的需求文档，按项目收 500-2000 元。首批客户来自本地创业社群与外包渠道；风险是平台厂商原生做「需求模式」，工具要跨平台中立

vibe coding 解决了「写代码」，没解决「想清楚写什么」。需求层是大厂看不上、个人能接的薄活。

References

• US20260178323A1 Apparatus and Method for Generating Product Requirements Documents Using Large Language Models
• TechCrunch: Lovable says it has hit $500M in annualized revenue, with 1 million new projects a week
• Crowdbotics: AI-powered software development platform

专利信号

本轮核验 4 件已公开的美国申请（公开不等于授权）：

• US20260148010A1，Amazon Technologies，2026-05-28 公开：把生成模型输出切成块，先用内容审核模型逐块判定，通过的部分才发给用户；每块 token 数可动态调整
• US20260178727A1，Intuit Inc.，2026-06-25 公开：自适应窗口切分长文本，命中风险的片段递归细分再测，直到问题被定位
• 同主题 2026 年公开的还有 NVIDIA US20260099707A1（2026-04-09，用模型集成自动生成安全类别）与 Microsoft US20260057218A1（2026-02-26，嵌入检索降低审核成本）

技术趋势

共同走向：安全审查从「生成完再查全文」前移到生成管线里，逐块决定。与现有方案的差异在延迟和成本两个词：批量审核要等完整响应才动手，流式体验被拆掉；直接调大模型逐 token 审，成本与延迟双翻倍。专利收敛到「小模型初筛 + 大模型复核」两段式：小模型扛住大部分流量，可疑块才升级。上一篇LLM 路由与缓存专利解决「账单有水分」，这篇解决「输出不安全」。

落地机会

用户场景：独立开发者做了客服机器人或社区 AI 陪伴，上线前被安全审查卡住——批量审核让用户等完整响应才见字；逐句调大模型审，API 成本翻倍，「机器人说了不该说的话」的投诉照旧。

一个人能做的层：OpenAI 兼容的流式代理。在 SSE（Server-Sent Events）层缓冲 128-512 token 的输出，用开源小分类器（HuggingFace 毒性模型）初筛，命中阈值的块才升级大模型复核。技术栈 FastAPI + LiteLLM + 一个小模型；一台 VPS 加 API 费，月成本千元内，4 周出可演示 MVP。

创业发现

• 流式安全代理：OpenAI 兼容端点，接入即用，20-50 美元/月订阅；首批客户来自开发者社区与 Product Hunt 上做聊天产品的独立开发者
• 合规日志加购：审核同时输出审计日志（拦了什么、为什么拦），卖给需要自证「做过审查」的小团队
• 门槛与风险：入场门槛低，OpenAI Moderation 与 Azure Content Safety 正在下沉；只做关键词匹配会被一版迭代打掉，差异化必须钉在流式原生与可自托管

大厂在专利里圈的是「怎么审」，独立开发者能接的是「装安检口」的活。

References

• Amazon US20260148010A1: Content Moderation for AI Systems
• Intuit US20260178727A1: Adaptive Window Screening for Large Text Content Security
• Lakera: What Is Content Moderation for GenAI?

一个模型，两个角色

SPADE 把「训练环境从哪来」交给模型自己。环境设计师输出的不是题目文本，而是完整可执行的环境：状态转移、奖励函数与验证逻辑都写在 Python 里，智能体通过 reset()/step() 与环境交互并做强化学习。设计师本身也在训练，其奖励是 hint-based regret：给智能体特权提示（如部分解法）时的回报减去无提示时的回报，差值越大说明环境越落在能力边界上、越值得保留。每个生成环境都 grounding 在从语料库重采样的文档上，避免环境分布坍缩成重复任务。

增益集中在程序性推理与科学代码

分基准看（Table 1），主增益不在竞争数学：AIME’25 +1.3、AIME’26 +0.9，基本保住；真正涨的是程序性推理与科学/代码——Reasoning-Gym Math +18.3、Cog +14.7、GPQA-Diamond +5.4、LiveCodeBench-v6 +4.1。论文 Figure 6 的图注直接写明：在多样合成游戏上训练提升科学推理、代码生成与程序性推理，同时竞争数学得以保持。最强固定环境基线 Fixed-env RLVE 只有 53.0（+2.8），SPADE 领先它 5.3 分。

同一配方换到工具使用环境同样成立（Table 2，30B）：BFCL v4 multi-turn 49.0→54.7（+5.7）、tau2-bench 49.0→52.6（+3.6）、ACEBench-Agent 62.0→75.9（+13.9），三基准平均 53.3→61.1（+7.7）。与《工具调用的苦涩教训》对比推理时范式不同，SPADE 走的是训练路线：在自生成的可执行环境里做强化学习。

消融：不自适应的自播放大反而有害

Table 3（30B，游戏设置）中，去掉环境记忆得 53.2、去掉语料 grounding 得 53.5、用冻结的 GPT-5.5 当设计师得 53.0，都高于 base 但明显低于完整 SPADE 的 58.3。最关键的一行：同时去掉 Designer 训练与记忆，均分跌到 40.5，低于未训练的 base 50.2（Figure 11）。结论明确：关键不在自播放大本身，而在自适应设计——设计师随智能体能力边界共同演化。

机制证据（Figure 8/9）：环境多样性的 Vendi 分数有语料 grounding 时为 0.68，没有时只有 0.04；在 473 个 Physics 环境中，初始观测直接给出控制公式的比例从 25% 降到 5%，奖励分级数从 3.7 升到 5.8。设计师学会的不是把题目表面变难，而是持续提供智能体学得会的环境。

边界与开源

一个限定：游戏环境从未包含任何 held-out 基准任务，Designer 在训练中没见过这些评测题，因此留出基准上的提升是自生成环境能迁移到真实评测分布的间接证据，不是直接泛化证明。作者发布了代码仓库 github.com/spade-rl/spade（项目页 spade-rl.github.io）。

References

• SPADE: Self-Play in Adaptive Synthetic Executable Environments（arXiv）
• 一分钟读论文：《MidTool：工具使用需要专门的中间训练》（站内）
• 一分钟读论文：《工具调用的苦涩教训》（站内）
• 代码仓库 spade-rl/spade

MidTool-Mix：20.3B token 的语料构成

mid-training（中间训练）指预训练完成之后、SFT 之前的继续预训练阶段，用大规模领域数据向 base 模型注入专门能力。论文摘要将这项工作描述为一条开放的语料构建管线：先收集真实 web 文本、PDF 与代码，再从真实工具 API、MCP（Model Context Protocol）skills 与文档工作流生成合成监督信号，两部分混合成 20.3B token 的 MidTool-Mix，总量与后文对照实验所用的 Dolmino-20BT 相当；管线按论文 Section 2 分为数据源采集、数据预处理与 agentic 轨迹合成三个阶段。这些合成监督信号在 mid-training 阶段注入 base 模型，为工具调用行为提供训练样本。语料与 mid-trained 模型都在 Hugging Face collection 中发布，abs 页 comments 标注为 Data & Model，可直接复现或扩展。

三个基准的一致提升

BFCLv3 overall（Table 3）上，表格依次给出三种配置：SFT 基线、加入 MidTool-Mix 做 SFT、再叠加 RL。Qwen3-4B-Base 的 SFT 基线为 39.73，加入 MidTool-Mix 做 SFT 后升至 50.25（+10.5），SFT + RL 进一步到 54.18；官方 Qwen3-4B 仅 24.27，官方 Qwen3-8B 仅 26.45。这两行官方发布模型作为参照线，说明不做 mid-training 时，更大的 8B 也追不上 mid-trained 的 4B。也就是说，在 Qwen3 家族的 BFCLv3 overall 上，mid-trained 的 4B 超过了官方 8B，论文 Figure 1 右图给出同一结论。tau2-Bench overall Pass@1（Table 4）上，4B 从 SFT 基线 8.54 提升到 MidTool-Mix + SFT + RL 的 19.96，约 2.3 倍；8B 从 10.43 到 21.31。MCP-Universe overall（Table 5）上，4B 的 score / pass rate 从 13.20 / 1.68% 升到 23.80 / 10.06%，pass rate 约提升 6 倍；8B 从 15.18 / 3.35% 到 25.16 / 9.50%。对比 SFT 与 SFT + RL 两行，RL 在 BFCLv3 overall 上再提升约 3.9 分；但两个模型 RL 后的 tau2-Bench overall Pass@1 仍在 20% 上下。以上数字均取自论文正文 Table 3–5。

数据构成比数据量更关键

论文设置了 matched-budget 对照来排除「数据多就好」的解释：Dolmino-20BT（Table 6）是同等规模的通用 mid-training 语料。matched-budget 指两份语料的 token 规模相当，唯一变量是数据构成，因此增益差异可以归因于构成而非规模。该基线的 BFCL overall 仅提升 +3.4，MCP-Universe score 反而下降 -7.8。相比之下，MidTool-Mix 在同一批基准上带来两位数增益：仅 SFT 就在 BFCLv3 overall 上增加 10.5 分，叠加 RL 后达到 54.18。工具专用的合成轨迹与通用 web 数据的构成差异，比数据量本身更关键；对工具使用能力而言，应先优化构成再考虑扩大规模。

能力边界：telecom 与 Web Search

论文实验仅用 Qwen3-4B-Base 与 Qwen3-8B-Base 两个 base 模型验证，结论不能外推到其他模型家族。两个边界需要如实指出。其一，tau2-Bench 的 telecom 子集在 MidTool-Mix + SFT + RL 配置下 Pass@1 仅 6.36，远低于 overall 水平；其二，MCP-Universe 的 Web Search 列在所有配置行均为 0.00 / 0.00%。论文将后者解读为独立的能力边界而非迁移失败——browser、financial、location 等其他子集均有提升。引用该论文结论时应同时考虑这两个边界。

References

• MidTool: Mid-training Data Synthesis for Agentic Tool Use（arXiv）
• MidTool 数据与模型 Hugging Face collection
• 一分钟读论文：《工具调用的苦涩教训》

算力归一化的方法族对比

实验覆盖五个没有精确验证器的开放生成基准：HealthBench（5000 题医学）、LEXam（516 题法律）、PRBench（1650 题金融/法律）、WildBench（1024 题通用对话）、WritingBench（555 题创意写作）。六种方法在四档算力下对比，算力档对应 Best-of-N（BoN）N=2/4/8/16 的输出 token 量：BoN、Beam Search、Particle Filter（PF）、Sequential Refinement（SR）、Fusion，另加 Budget Forcing 对照。生成器覆盖 OLMo3-7B-Think、OLMo3.1-32B-Think、Qwen3.5-9B 与 Qwen3.5-35B-A3B 四个模型，四档算力在 25% 容差内对齐。探索侧全部有效：oracle 质量随算力单调上升，说明「多采候选」本身是有效的；论文同时给出偏差校正的 oracle 估计器，因为 naive oracle 会系统性高估可用质量。论文的理论部分推导出 BoN 的头空捕获约等于验证器相关性 rho_v，实测回归为 y=1.198*rho_v-0.011（R²=0.66，p<10^-36）。

利用侧全面失效

用统一裁判 Qwen3.5-397B-A17B 与各基准原生裁判对齐后，在 152 个样本上测得：Skywork-Reward-V2-Llama-3.1-8B 的 Spearman 相关 rho_v 仅 0.120，Llama-3.1-70B-Instruct-RM-RB2 为 0.107——当前一代开源奖励模型在开放生成上几乎无法区分好坏，基于它的 BoN 选择近乎随机。头空捕获（方法实际回收的、多候选可带来质量增益的比例）定义为 h=(BoN@16-单样本均值)/(Oracle@16-单样本均值)，跨基准平均下来，Fusion 约 40%，BoN 只有约 15%；算力、奖励模型规模、生成器规模三条缩放轴都补不上这个差距。论文的概括是：候选池不是瓶颈，从里面选才是。

树搜索与自我修正的失败模式

两种经典方法的失败方式各不相同。树搜索在多样性上坍缩：Particle Filter 最终输出的平均成对余弦距离只有 0.036-0.069，BoN 为 0.123-0.124；WritingBench 上 16 个粒子相似度 >=0.997，等效于单条轨迹；正文记录树搜索的多样性只剩独立采样的 40-60%，它在探索与利用两侧同时失败。Sequential Refinement 只在五个基准中的一个（PRBench）真实提升：HealthBench 与 LEXam 上逐轮变差；WildBench 的增益全部来自 Coding & Debugging 单一子任务，剔除后净回退；WritingBench 的表观增益被冗长度混淆（SR 长度-分数相关 rho=+0.33，BoN 为 +0.20，裁判的内容/长度判别力只有 0.7 倍）。

可复现的最小验证

统一裁判本身经过信效度校验：HealthBench 上对医生标注的 Macro F1 为 0.679（高于标注者间一致均值），PRBench 的 kappa 为 0.679。主结果表（Qwen3.5-35B-A3B 单模型）里，HealthBench 的 BoN 从 Low 到 XHigh 算力档停在 0.536→0.539，Fusion 为 0.574→0.588；PRBench 是 0.292→0.292 对 0.315→0.331；LEXam 是 0.525→0.530 对 0.546→0.547。Beam Search 与 Particle Filter 全面低于单样本基线。论文把 Fusion 定位为目前唯一一致有效的方法，而非解决方案——剩余约六成头空仍是开放问题。对个人开发者，核心洞察数小时内可复现：在小规模开放任务上采样 N 个候选，用 LLM 裁判打分，对比 BoN 选择与合成式 Fusion，单卡或 API 调用即可，无需论文级的算力规模。

References

• Test-Time Scaling in the Wild (arXiv:2608.18931)
• LLM-as-a-Verifier 站内解读

专利信号

四件代表性专利，均为申请公开，不等于已授权：

Music IP Holdings 在「AI 衍生作品 + 分发管控」同方向还有多件申请与授权，构成同一申请人的专利族。

技术趋势

这些专利的共同走向：溯源从「人工勾选」走向「机器可验证」，从「生成时打一个水印」走向「全链路的凭证」。现状是用户在平台手动勾选「AI 生成」，标签可撕、无法核验；专利方向是把凭证写进文件本身——C2PA（内容凭证标准）式元数据清单、多频段水印、哈希指纹、内容库条目，分发链上任何节点都能验。U.S. Bank 的署名 token 更进一步，不只标「是不是 AI」，还标「哪段是人写的」。这一层不碰模型能力，是文件格式与元数据的纯工程。上一篇Agent 纠错专利解决「Agent 不可信」，内容溯源解决的是「内容不可信」。

落地机会

用户场景：EU AI Act 第 50 条 2026 年 8 月 2 日生效，生成式 AI 系统的提供者必须把合成内容以机器可读格式标记，各大平台也在陆续上线 AI 内容披露要求。自媒体运营、MCN 编辑批量产出 AI 图、视频与文案，平台或客户问「这是不是 AI 做的，拿证据」时，只能口头自证——标签可撕，没有可验证凭证。

一个人能做的层：

• 封装 C2PA 开源 SDK（c2pa-rs / c2pa-python / c2pa-js）做批量打标 Web 工具：上传 AI 生成内容，自动附加 Content Credentials 清单（AI 声明、模型、时间戳），输出可验证文件
• 每个文件附一个验证页，任何人打开链接即可看到生成记录
• 技术栈：Rust 或 Python SDK + 一台小云主机 + 对象存储，起步成本月均几百元，MVP 两周可跑通

创业发现

• 批量合规打标 SaaS：面向 MCN、自媒体工具商、企业营销部门，按月订阅 99-299 元。首批客户在开发者社区与自媒体运营群的「AI 内容合规」讨论里。门槛低，护城河在批量处理与团队工作流集成；风险是平台原生标签可能覆盖「打标」环节，需往「合规证明 + 报告」做深
• 署名归属报告服务：对人机混合内容标注哪些段落人写、哪些 AI 生成，输出合规报告。首批客户是企业法务合规部门、出版社、广告代理，按项目收费。门槛是向非技术客户讲清流程；风险是一次性项目不复利，报告要尽早产品化

大厂专利抢的是「生成端」；「验证与证明」这层是平台看不上、个人能接的薄活儿。

References

• US20260236564 AI-Generated Content Provenance and Distribution Control
• US20260195422 Watermarking of AI-Generated Derivative Works
• US20260187746 Digital Watermarking for Authenticity and Security in Lifecycle Management of Digital Content
• US20260099327 Auditable Authorship Attribution with Automatically Applied Authorship Tokens
• EU AI Act Article 50: Transparency Obligations for Providers and Deployers of Certain AI Systems
• C2PA: Coalition for Content Provenance and Authenticity

专利信号

6 件均为申请公开，不等于已授权。4 件代表性：

BOOMI 同日还公开 US20260119921（评分 Agent 监控性能偏差、动态调节治理），Palo Alto Networks 的 US20260064670（自然语言查询路由，2026-03-05 公开）同簇。

技术趋势

这些专利的共同走向：从「每次调用都付全价」到「先选模型、再缓存、后管预算」。与现有方案的差异：写死模型或用 OpenRouter 式路由平台，都是静态规则；专利方向是闭环——NVIDIA 的路由器用评分数据训练，路由越准数据越多；IBM 更进一步，预测下一个提示词，请求到达前预热缓存；BOOMI 把预算护栏放在调用前，先预测成本再拦截。这一层不碰模型能力，是 API 中间层的纯工程。上一篇Agent 纠错专利解决「Agent 不可信」，路由缓存层解决的是「Agent 太贵」。

落地机会

用户场景：给电商小店做客服机器人的独立开发者，API 账单一个月翻了三倍——80% 的问题是「我的订单什么时候到」这类重复提问，每次都按全价付费；他不知道每个任务哪个模型最便宜又够用，也不敢让 Agent 放开跑，一次失控的循环能烧掉几百美元。

一个人能做的层：一个 LLM 代理（中间件），夹在应用与模型 API 之间，做三件事：

• 语义缓存：重复问题命中缓存直接返回，不再付费调用（GPTCache 开源）
• 路由：便宜模型做分类与简单任务，贵模型只处理复杂请求（LiteLLM 开源网关，内置成本追踪）
• 成本护栏：按请求记录 token 与金额，预测本次调用成本，超预算告警或拦截（BOOMI 两件专利揭示的问题）

技术栈全是开源：LiteLLM + GPTCache + 小 VPS（约 50-100 元/月），起步月均几百元，MVP 4 周可演示。

创业发现

• 成本审计服务：先做一次性「API 成本审计」：拆解账单，找出可缓存问题与可降级模型，交付降本报告，按项目收费（2000-5000 元）。首批客户是开发者社区、GitHub issue 区与 X 上抱怨 API 账单的独立开发者与 3 人以内小团队，审计后转订阅代理。
• 垂直成本优化代理：单一场景（如电商客服）的托管代理服务，月订阅 99-299 元，卖点是「接入后账单降 30%，不降不收费」。首批客户来自审计存量客户。
• 门槛低（开源组件齐全），竞争者也多；风险是 OpenRouter 与模型厂商把路由/缓存内置；对策是垂直化，积累行业调优经验。

大厂在专利里抢「路由」，账单在应用层，钱在「帮人省」这一头。

References

• US20260187482 Performance-Based Language Model Routing
• US20260195537 Edge Computing Based Predictive Prompt Caching for Large Language Model
• US20260119922 Dynamic and Adaptive Prediction of Model Costs Prior to Utilization of AI Models
• US20260119921 Dynamic and Adaptive Optimization of AI Agents at Inference Time
• US20260134002 Systems and Methods for Processing Data for Large Language Models
• US20260064670 Natural Language Endpoint Manipulation with a Large Language Model
• LiteLLM: 开源 AI 网关
• GPTCache: 开源 LLM 语义缓存

信念-行动差距：一个新指标

论文引入 belief-action gap 指标：在所有决策点中，智能体对伙伴的估计正确、却仍执行不互补技能的比例。不互补技能指与队友当前技能重叠或不配合的动作，例如两个智能体同时执行同一任务步骤。该指标衡量”知道”与”做到”之间的脱节：即使对伙伴的信念正确，智能体也可能继续执行过时、重复或不互补的宏观动作。论文同时提出 replanning efficiency 指标，定义为平均奖励除以每 episode 的重规划次数。

在 Overcooked 基准上，BayesBeliefAgent 与基线 ProAgent 的伙伴技能识别准确率几乎相同（Open 布局 0.79 对 0.78），但 gap 率在 Open 布局从 0.41 降到 0.20，在 Ring 布局从 0.38 降到 0.28。互补性指标 Comp@3 在 Open 布局从 0.39 升到 0.66，重复技能率从 0.30 降到 0.15。这说明差距不在智能体能否”看穿”伙伴，而在于信念是否被用作控制信号。

门控中断机制

BayesBeliefAgent 将系统分为两层：规划器是基于 GPT-4o 的分层大语言模型规划器，以宏观技能为单位组织行为，每个技能包含多步动作序列；贝叶斯追踪模块根据观察到的动作持续推断伙伴当前技能的后验分布，并在每个决策点更新信念。仅当伙伴动作与推断技能直接矛盾时，系统才中断当前技能并触发重规划，论文称之为后验门控中断，把伙伴信念从”被动上下文”升级为”主动控制信号”。消融实验表明，把后验用作控制信号，优于仅将其作为规划器提示词的上下文。

实验结果与局限

实验使用 Overcooked 的 Open、Ring 与 Forced Coordination 三种布局，外加 Burrito 环境，伙伴均为行为偏好多样的未见过队友。在 Open 布局上，Full 变体平均每 episode 重规划 1.8-3.0 次，Periodic-10 与 Compl./held 变体分别需要 15-51 次与 50-169 次，三者的平均奖励相当，重规划次数少 20-80 倍。

论文同时说明自身局限：在 Forced Coordination 布局上收益较小，底层规划器的局限在该设置下更为明显，论文明确识别出选择性重规划收益有限的设置。规划器以 GPT-4o 为主配置，论文另以 GPT-5.2 做 backbone 敏感性检查，两种 backbone 互有胜负、无一一致占优。

References

• Bayesian Partner Modelling enables Adaptive Replanning for LLM Coordination（arXiv:2608.18490v1）
• 论文 HTML 全文
• BrainPilot 多 Agent 科研系统

两种角色，一套框架

自动化模式下，助手模型直接产出交付物；增强模式下，助手只写一段 200-250 词的过程性指导文本，实际交付物由固定的工人模型 GPT-3.5-Turbo 完成。9 个助手模型来自 Claude、Gemini、DeepSeek 与 GPT 四个家族，固定弱工人是为了模拟实践中强模型指导弱模型的常见配置。7 个任务都来自有经济意义的真实场景：咨询、旅行规划、菜单规划、报税、辅导、运筹与市场趋势分析。评分由 LLM 评审团盲评两两对比，使用任务专属评分标准，且评审模型不评价自家模型的输出。

选手排名与教练排名对不上

任务级相关从 -0.04（旅行规划）到 0.85（报税，p=0.004）不等，仅报税通过 Bonferroni 校正。7 个任务中有 5 个的”增强冠军”与”自动化冠军”不是同一个模型。下文排名均为 10 次重复的平均排名，1 表示最佳。论文给出两组角色反转：市场趋势任务上，Claude-Opus-4.8 自动化平均排名 2.05，增强却只有 8.15，是最弱的助手之一；咨询任务上 GPT-4.1 正好相反，增强排名 3.80 为所有受助条件最佳，自动化排名却只有 7.40。这些差异在 10 次独立重复后依然稳定。

指导有时帮倒忙

无指导的 GPT-3.5-Turbo 基线在运筹、报税、旅行规划三个任务上排名第一，胜过所有”受助”条件。GPT-5-Mini 是唯一在自动化与增强两种方案下平均排名都第一的模型；在增强对比中，无指导基线的整体平均排名第二（3.79），唯一整体优于它的受助条件就是 GPT-5-Mini（3.66）。作者认为这不是指导无用的证据，而是说明指导的价值依任务而定、甚至可以为负：匹配不当或过于复杂的指导，会让工人比独自工作表现更差。

局限与启示

论文自称 pilot 研究，并列出明确局限：依赖 LLM 评审而非人类专家判断，评审偏差无法完全消除；增强只测一次性指导文本，未测多轮交互；工人固定为 GPT-3.5-Turbo，结论能否迁移到其他工人未知；7 个任务、10 次重复的覆盖面有限。其核心启示是自动化能力是协助质量的不完全代理，合适的模型取决于它扮演的角色与支持的任务，模型选型应当依据角色而非单一榜单。此前介绍的《贝叶斯伙伴建模与 LLM 协同重规划》关注 LLM 与动态伙伴的协同重规划，CentaurBench 则回答一个更基础的问题：哪个模型适合扮演哪个角色。

References

• CentaurBench: Benchmarking LLM Capabilities on Augmenting vs. Automating Real-World Work Tasks（arXiv:2608.18554v1）
• 论文 HTML 全文
• 代码仓库
• CentaurBench 项目页

两种范式与实验设置

JSON tool calling 是主流大语言模型 API 的原生接口：模型每轮输出一个 JSON 函数调用，执行结果回填后再进入下一轮推理，工具序列的每一步都对应一次独立的模型往返。PTC 则让模型直接写一段 Python 代码，通过类型化 stub（带签名约束的占位函数）在程序内循环、条件分支地调用工具，整段代码一次性生成并整体执行。BFCL v4 是评估大语言模型函数调用与工具使用能力的基准；实验取其 309 条代表性子集与 8 个任务类别，覆盖 2024 年 11 月至 2026 年 7 月发布、跨厂商与代际的 14 个模型。需要强调：BFCL v4 使用 echo-return stub——函数原样返回参数、不执行真实 API，因此测的是参数序列化准确率，不是端到端工具执行正确性。本站此前报道的 CodeAct 智能体执行范式雷达 记录了微软将代码作为智能体执行接口的产品化动向，本篇是该路线在基准层面的量化补充。

优势从哪里来

PTC 的收益集中在三类场景。链式任务：链条长度达到 12 步以上时，PTC 较 JSON tool calling 拉开 18.8% 的绝对差距，短链无此效应；原因是 JSON 范式每个环节多一次推理回合，往返开销随链条累积，而 PTC 在一段程序内完成全部调用。并行扇出：JSON tool calling 超过一定阈值后直接丢弃工具调用（阈值因模型而异，Claude Sonnet 5 的为 N=70–72），PTC 在 N=100 仍保持 100% 枚举准确率，暴露了原生范式的结构性硬上限；并行场景 PTC 在 14 个模型中 13 个持平或更优。上下文污染（context flooding）：向上下文注入大量无关内容后，PTC 平均绝对提升 5.5%，JSON 基线平均退化 2.3%，文件系统发现式对比方法退化 32%。模型代际上，GPT-5.6 家族收益最大：GPT-5.6-Sol 与 GPT-5.6-Terra 各自较自身 JSON 基线绝对提升 10.6%，OpenAI 最新三个 GPT-5.6 变体全部为正（+4.2% 至 +10.6%），而三个旧模型未达持平线。

边界与成本取舍

PTC 并非全面胜出。全模型宏平均上 PTC 反而略低：BFCL v4 主评测 JSON 78.6% vs PTC 77.0%，差距主要由三个 OpenAI 旧模型（GPT-4o、GPT-4.1、GPT-5.4-mini）在并行类别的 \n 编码失败驱动；「持平或更优」是逐模型口径，两种口径方向相反。成本上，链式消融中 PTC 输入 token 为 JSON tool calling 的 1.5 倍，高扇出时该开销反转；输出 token 两范式无差异，PTC 属以固定输入开销换取长链与高扇出收益的取舍。此外，消融样本量较小（每条件 n=31–52），单模型结果置信区间宽，只有跨模型聚合模式可可靠解读；论文明确将 echo-return stub、消融样本量小与 PTC 的固定输入 token 开销列为自身局限。

References

• The Bitter Lesson of Tool Calling（arXiv:2608.06370v1）