By Unbug 香港科技大学（广州）和京东集团合作的一篇论文《SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use》首次提出自进化评分框架来评估和增强智能体的技能使用能力。核心突破在于将”技能使用”定义为轨迹级元能力而非任务成功与否：从真实交互轨迹中自动推导并持续改进过程评分标准，而非依赖人工标注的固定体系。实验揭示了一个关键发现——Gemini 3.1 Pro在干扰项存在时选择分数从98.0骤降至78.0，表明大模型”找到正确技能后执行尚可，但选择本身在干扰下极其脆弱”。
四维度元能力框架
论文将技能使用拆解为四个可量化的过程维度。技能选择要求智能体从包含干扰项的技能库中选出适用技能，以集合级F1分数衡量；技能遵循按关键步骤执行评分，每个步骤有完成度{0, 0.5, 1}和证据验证乘数m_k；技能组合在多技能和依赖子流程间协调有效工作流，考虑优先级约束；技能驱动反思要求在最终提交前执行显式检查，包括输出文件、模式、格式等。
实验设置模拟了企业部署的真实场景：每个任务配备2个不相关技能和3个语义相似但不可用的干扰项。在这种干扰增强的技能库中，模型表现差异显著——Opus 4.7在有金技能时最终准确率达88.0，无技能时仅18.0；GPT-5.5从24.0提升至80.0；而Qwen3.5-9B的选择分数从92.0骤降至44.0，伴随更低的反思和最终准确率。
验证门控的自进化机制
SkillCoach的核心创新是自进化轨迹级评分机制。该机制分为四个阶段：Rollout阶段在干扰增强技能库中收集真实智能体轨迹；Judge阶段用当前评分对轨迹证据打分四个过程维度；Arbitration阶段提出评分补丁并通过验证门控检查；接受条件要求Delta_H >= 0、Delta_Q > epsilon且Delta_mat不为空，同时无结构违规。
这一设计的关键在于验证门控。进化后的评分必须通过硬门H和软目标Q的双重检验才能被接受，确保改进方向始终正确，避免评分退化。进化后，Gold-keypoint覆盖率从71.56提升至83.70（+12.14），可用性分数从81.53升至94.33（+12.80），幻觉率从2.00%降至0%，轨迹过滤一致性从82.00提升至96.00。
评估与训练的双重角色
进化后的评分框架具有双重用途：既作为过程级信号用于诊断，也作为离线质量过滤器用于监督技能使用训练（SFT）。在训练阶段，轨迹仅在元分数大于等于0.95且通过外部验证器时才会被保留。这意味着自进化评分不仅评估智能体表现，还直接筛选高质量训练数据，形成从评估到改进的闭环。
与#65 SKILL.nb关注Agent运行时生命周期管理不同，SkillCoach聚焦技能使用过程的质量评估；与#78 Trajectory Dissection通过宏观可观测性分析行为差异不同，SkillCoach提供细粒度四维度过程评分并直接用于训练数据筛选。这一方向填补了”智能体技能使用过程质量评估与增强”的研究空白。
