ai, llm,

一分钟读论文:《MASS-RAG:多智能体协同检索增强》

Unbug By Unbug Follow · 1 min read
一分钟读论文:《MASS-RAG:多智能体协同检索增强》
Share this

北京理工大学计算机学院和清华大学数学科学系的论文《MASS-RAG: Multi-Agent Synthesis Retrieval-Augmented Generation》被 ACL 2026 Findings 接收,提出让多个角色不同的智能体协同处理检索到的证据,使 RAG(检索增强生成,即让大模型回答前先检索外部知识)在噪声、残缺、异构的上下文下也能整合出准确答案。

问题的症结:证据整合

RAG 是让大语言模型在回答时参考外部知识的主流方案,但当检索回来的证据噪声大、不完整或格式异构时,单次生成过程往往难以有效整合信息。现有改进多围绕如何检索更好的证据展开,例如重排序和查询扩展,MASS-RAG 从另一头切入:如何让多个智能体更好地处理已有证据。方法完全免训练,不需要额外微调,可直接搭配不同规模的预训练模型使用,实验中分别用 Llama2-7B、Llama3-8B、Mistral-7B 等作为骨干模型验证,并与同骨干的 Self-RAG、MAIN-RAG 等方法公平对比。

MASS-RAG 多智能体架构

角色分工的四阶段架构

MASS-RAG 把证据处理拆成角色专用的多个智能体阶段:证据摘要智能体对每个检索文档压缩提炼,去除冗余输出结构化摘要;证据提取智能体从摘要中挑出关键事实和证据片段,建立证据与问题的映射;推理智能体评估证据间的兼容性与一致性,形成推理链;综合阶段比较融合互补信息,生成最终答案。短答案问答还配有独立的回答智能体。

关键设计是暴露多个中间证据视图,让模型在生成答案前先比较和整合不同来源的信息,而不是从原始文档直接跳到结论。消融实验显示,回答智能体在 TriviaQA、PopQA 这类事实型问答上稳定带来提升。

实验结果与启示

论文在 TriviaQA、PopQA、ASQA 等四个开放域问答基准上对比多种强 RAG 基线。MASS-RAG 一致性地超过基线,其中在相关证据分散在多个检索文档的场景下优势最明显;换上更强的 Llama3-8B 骨干后,仍稳定优于同为多智能体方案的 MAIN-RAG,在 TriviaQA、ARC-Challenge 和 ASQA 上都保持领先。论文还对每条过滤响应做了证据贡献率分析,在 Llama3-8B 骨干下 TriviaQA 上有 609 个样本的正确答案只能唯一归因于某个中间证据视图,验证各视图携带不可替代的信息。

这一结果说明检索之后的证据整合环节仍有可观空间:噪声文档先被摘要和提取两道工序过滤,真正进入推理环节的干扰显著减少,这也是多智能体分工相比单次生成的鲁棒性来源。与站内轨迹级奖励建模基准同样强调中间结构化表示的价值:无论处理证据还是评判轨迹,把黑箱生成拆成可比对的中间视图都是提升可靠性的共同路径。对工程实践而言,这意味着搭建问答系统时不必把全部希望寄托在更强的检索器或更大的模型上,在生成之前插入摘要与提取这类轻量工序,用多个小智能体分阶段加工证据,同样能显著改善答案质量,而且这套流程不依赖训练资源,换用不同规模的骨干模型都能直接复用。

References


Related
Featured