By Unbug 
Semih Yavuz 等人的论文《Procedural Memory Distillation: Online Reflection for Self-Improving Language Models》提出了一种将跨 episode 过程性信号转化为可复用程序性记忆并蒸馏进策略权重的方法。Qwen3-8B 在 LIVECODEBENCH 上较 SDPO 提升 7.9%~13.6%，且推理时无需记忆模块参与。
Episode 局部更新的局限
RLVR（可验证奖励强化学习）训练通常以 episode 为单位进行策略更新，每个 episode 内的经验在结束后即被丢弃。这种 episode-local 的更新范式存在一个根本性缺陷：模型无法将之前 episode 中学到的行为模式迁移到新的问题中。当面对结构相似但具体实例不同的编程任务时，模型必须重新探索整个解空间。
现有的跨 episode 记忆方法主要依赖外部存储机制，如检索增强生成或显式记忆模块。这些方法在推理阶段需要额外的计算开销来查询和整合记忆内容，增加了延迟并限制了部署灵活性。更关键的是，外部记忆与策略权重之间的耦合不够紧密。
三级抽象与协同进化
PMD 的核心思想是将过程性经验从原始轨迹逐步蒸馏为高层行为模式，最终固化到策略模型的参数中。该方法包含三个层次的抽象：
第一层是原始轨迹——模型在训练过程中生成完整的推理轨迹，包括中间步骤、错误尝试和最终答案，构成最细粒度的经验数据。
第二层是自我反思的策略与教训——模型对自身轨迹进行回顾分析，提取出可复用的策略片段和关键教训，将具体执行细节转化为通用行为指导。
第三层是跨问题的高层行为模式——通过对大量反思结果的聚合分析，识别出在不同问题间反复出现的有效行为模式。
PMD 采用协同进化机制来驱动这一过程。策略模型生成 rollout 样本用于更新记忆模块，而记忆模块提炼出的高层模式又反过来指导策略模型的监督更新。这种双向反馈循环确保了两者的能力同步增长，避免了单一方向优化可能导致的退化问题。
一个关键设计是推理时的 memory-free 特性。程序性记忆仅在训练阶段参与蒸馏过程，一旦知识被吸收进策略权重，推理时完全不需要记忆模块。这使得 PMD 在保持性能优势的同时，不增加任何部署开销。
实验结果与优势
PMD 在 LIVECODEBENCH 基准上进行了系统评估。使用 Qwen3-8B 作为基座模型，PMD 相比 SDPO 方法取得了 7.9%~13.6% 的绝对提升，且在不同难度级别的问题上均保持一致。
消融实验验证了三级抽象框架的有效性：逐层移除抽象环节会导致性能递减，证明了从具体到抽象的渐进式知识压缩是必要的。与依赖外部记忆的方法相比，PMD 在推理延迟上具有显著优势——由于不需要在推理时查询和整合记忆内容，响应速度与基座模型基本一致。
与依赖外部记忆的方法相比，PMD 在推理延迟上具有显著优势。由于不需要在推理时查询和整合记忆内容，PMD 的响应速度与基座模型基本一致。这一特性对于需要低延迟响应的实际应用场景尤为重要。
