一分钟读论文：《Agent世界模型的联邦共享》

By Unbug Follow Aug 08, 2026 · 1 min read

各育各种，品种互斥

FedWorld 的联邦设定有三条现实约束：样本私有（客户端数据不离开本地）、更新异步（不要求各客户端同步回合）、冲突转移（不同客户的合法转移规则可能互斥）。作者把世界模型拆成三层：观测词表（状态与动作如何表示）、动力学模型（给定状态和动作预测下一状态）、奖励模型（如何评估结果）。跨客户能共享的是前两层——同一业务体系下的环境结构大多相通；奖励模型留在本地——业务目标的权衡本就该各自保留。

冲突转移的解法是作用域标签：每条转移附带客户标识与版本元数据，全局模型只合并作用域内不冲突的转移，冲突部分隔离存放。聚合时先按标签路由到对应作用域分支，各分支独立更新，互不污染。这相当于检疫站按产地和品种分拣入库，越库的品种单独成仓，而不是把全部种子倒进同一袋。

三方损失与检疫站

全局训练目标由三项组成。效果项预测正确的转移；保护项惩罚破坏客户端已验证正确的规则；冲突项在转移互斥时不强迫任何一边让步，允许冲突分支共存。协议用低维参数交换替代原始数据外传，一轮通信只需传递模型参数与转移统计量。

实验覆盖两个环境共 23 个客户：11 个 tau-bench 客户（6 个零售、5 个航空策略档案）与 12 个 ALFWorld 客户（不同家庭转移规则）。效果上，固定控制器在线执行中，tau-bench 任务成功率从 43.8% 提到 62.4%，上升 11.2 个百分点；ALFWorld 从 36.4% 提到 59.3%，上升 14.6 个百分点，在线任务成功率提升 50.2%。重复动作错误在两个环境分别下降 48.1% 与 50.2%，多余步数下降 38.4% 与 42.8%。消融显示，去掉保护项会伤及客户端本地精度，去掉冲突项会把一方规则强加给另一方——三方各司其职，缺一个就塌一角。

苗圃不合并，账本要互通

边界要说清楚：这不是训练一个无所不能的通用世界模型。各客户端的本地模型仍是生产系统，联邦产物更像共享育种目录：合订的是不冲突的结构知识，品种互斥的规则各回各家。奖励模型完全本地意味着跨客户的价值对齐不在协议射程内；作用域标签需要客户提供可靠的元数据；通信轮数与收敛性的系统比较，论文留作后续。

对 Agent 训练管线的落点很实际：转移知识本就用于支撑规划与策略改进（论文的模型化强化学习脉络），联邦目录能让每个客户用别人的环境结构补自己的经验空白，而不用交换任何一条用户轨迹。与站内的约束弱化 handoff 对照阅读很有意思：那边讲上游约束在传递中被稀释，这边讲异质规则在合并中被强加——一个是同一条规则在传播中丢失约束力，一个是不同规则在聚合时互相踩踏，都指向分布式 Agent 系统的同一课：规则必须带着它的作用域行走，否则要么失效、要么伤人。