ai, engineering,

一分钟读论文:《AI 交付的最后一公里有多难?》

Unbug By Unbug Follow · 1 min read
一分钟读论文:《AI 交付的最后一公里有多难?》
Share this

DeepLethe 联合清华大学、上海交通大学等团队发布的预印本论文《FDE-Gym: The Last Mile of AI Delivery》把目标对准 AI 落地中最缺乏评测的一环:交付。与现有 coding benchmark 提供写清楚的任务不同,FDE-Gym 用 95 个隐藏约束的端到端交付任务考察 agent 自己问、自己改、自己交付的能力,13 个模型配置、7 家 provider 中最好的平均分仅 0.56,95 题只解决 14 题。

FDE-Gym 任务漏斗:95 个任务、23 题问到关键事实、最好配置仅做出 10 题

FDE 与反向设计的考卷

FDE 即 forward deployed engineer(前置交付工程师):常驻客户现场,把模糊需求问清楚,摸清没写进文档的限制,在与生产环境同构的系统上交付能跑的方案。FDE-Gym 按这一职业设计考卷:95 个任务来自 20 个客户场景、覆盖 18 个行业,由行业专家从真实交付项目改编;模拟客户环境配有可交互追问的脚本化 stakeholder(扮演客户方的虚拟干系人)和可修改的类生产系统,agent 需要自己提问、自己动手修改系统。评分不看任务完成度,而按交付物对客户自身成功指标的提升打分:0 分表示原样未动,1 分表示达到参考解(论文给出的达标解法)水平,与 stakeholder 的每次消息、试跑、等待都会产生罚分。这个机制对应交付行业的一个常识类比(非论文原话):反复追问客户要信息,本身会被视为不专业。站内另一篇范式雷达文章讨论的 agent 取证层审查行为是否合规可核验,FDE-Gym 衡量的是交付物值多少业务分,评价对象从行为合规升级为业务结果(参见《AI 范式雷达:Agent 说完不算,拿出证据》)。

结果:问到不等于做出来

在约束全部隐藏、必须自行发现的现实设定下,最好的配置平均分为 0.56——这是相对参考解的归一化得分,并非成功率。所谓解决有明确定义:得分 ≥ 0.8 且全程无事故(incident),按此标准 95 题中最好配置只解决 14 题。瓶颈的相当一部分落在发现隐藏约束:不给提示时,模型性能骤降。但论文的测量结论表明瓶颈不止于此:在 23 个题目中,最好配置已经把关键事实全部从 stakeholder 处问到,最终也只有 10 题做到业务提升 ≥ 0.8。也就是说,问到 ≠ 做出来:信息齐全之后,把信息变成达标的交付物仍是独立的鸿沟,这也是「最后一公里」难走的原因。

从解题到交付的评测迁移

FDE-Gym 把 benchmark 的评价对象从「题目写清楚了能不能做对」迁移到「题目没人写清楚,能不能交付业务结果」:分数绑定客户自身的成功指标,交互成本计入总价,模型必须自行决定问什么、改什么、交付什么,考卷本身也第一次把「题目没人写清楚」做成了考核内容。对从业者,这意味着榜单分数与现场可用度之间的距离首次被量化:从 0.56 的平均分到 14 题的解决数,模型与前置交付工程师之间还隔着发现约束与完成改造两段路。该平台同时对人类开放同一套环境与评分,人可以按同一标准练习 FDE 技能,这也是名字里 Gym 的含义。作为 2026 年 10 月挂出的预印本(编号见 References),数据口径以论文后续版本为准。

References


Related
Featured