2026 年 9 月 14 日提交到 arXiv 的论文《AgentPProf: Semantic Profiler for Long Horizon AI Agents》提出:长程 AI Agent 的可观测性欠账不在调试,而在画像——现有工具只做单次执行的追踪,做不了跨运行的长期归因;把系统软件里性能分析(profiling)的方法移植过来,以任务意图而非代码路径作为归因单位,就能像查 CPU 热点一样查出长任务的钱烧在哪一步。论文报告该方法在 CodeTraceBench 上与人工标注对齐得分 0.764,在三个问题定位基准上把 MAP 指标最高提升 56%。
长期画像缺的是归因单位
论文观察到,AI Agent 越来越多地编排长达数天甚至数周的活动。要改进质量、安全性和成本效率,开发者需要回答三类问题:失败发生在哪,什么触发了不安全的效果,哪些任务消耗了最多预算。系统软件里性能分析回答过同类问题:聚合资源消耗,归因到承担责任的代码路径,找出热点。Agent 的难点在于责任实体不是代码路径,而是任务意图(例如 diagnose authentication、compare branches),且没有稳定标识符可供聚合。单次调试工具很多,跨运行的长期画像仍然空白。
语义操作栈与递归切分
论文的方案叫语义操作栈模型(semantic operation stack):用统一的 operation 表示 Agent 的一切活动,用操作栈替代运行时调用栈,从而在不同粒度上做分层归因。另一个观察是任务在轨迹里占据连续区间,且可递归分解为子任务,于是引入递归操作切分(recursive operation segmentation),沿任务边界把长轨迹一层层切开。切完之后,AgentPProf 把多条轨迹聚合成 pprof 兼容的 profile——pprof 是 Go 生态成熟的性能分析格式,火焰图(flame graph)则是按调用层级横向展开的消耗可视化图,宽度对应占比——现有的火焰图工具链可以直接消费。需要说明:这里的 pprof 兼容指输出格式兼容,不是官方集成;整个系统是研究原型,不是生产系统。
对齐得分与问题定位收益
评测分两块。轨迹切分质量在 CodeTraceBench(考察从 Agent 执行轨迹中识别任务片段的基准)上衡量,与人工标注对齐得分 0.764。下游价值在三个问题定位基准(给定故障或低效现象、要求指出责任任务片段的评测)上衡量:把 profile 提供给定位流程后,MAP(mean average precision,平均精度均值,检索与定位类任务常用的排序质量指标)最高提升 56%。论文据此主张该方法能在实际可接受的开销内完成资源归因、问题定位和 token 成本优化。
该在哪些前提上打折扣
这项工作的结论要放在几个前提下读。其一,这是未经同行评审的预印本,摘要与正文均无机构落款。其二,0.764 与 MAP 提升都来自作者自选的基准组合,切分质量与定位收益能否泛化到其他 Agent 框架和任务分布,尚无第三方证据。其三,论文的问题设定建立在任务持续数天到数周的长程场景上,这类任务目前实际普及度存疑,多数现网 Agent 负载仍是分钟级,工具价值要等场景长大。其四,pprof 兼容只解决格式对接,火焰图对代码调用栈的交互语义(如按函数跳转源码)在任务意图粒度上如何落地,论文没有展开。
站内此前解读过的《评测预算的错觉》与本篇机制不同轴:那篇讲评测侧错觉——实验缺少对照,预算差异被误读成能力差异;这篇是运维侧归因工具——不碰评测有效性,只回答资源消耗该记在哪个任务意图头上。