ai,

一分钟读论文:《AI 自动生成推理训练环境》

Unbug By Unbug Follow · 1 min read
一分钟读论文:《AI 自动生成推理训练环境》
Share this

ReSyn

卡内基梅隆大学与亚马逊云科技团队的论文《ReSyn: Autonomously Scaling Synthetic Environments for Reasoning Models》提出自动生成推理环境的管道 ReSyn,在高难基准 BBEH 上带来 27% 相对提升。

用 Qwen2.5-7B-Instruct 做强化学习训练后,模型在多个推理基准上提升,还泛化到没见过的域外数学题。论文投稿 ICLR 2026(arXiv:2602.20117)。

核心问题:生成比解决容易

训练推理语言模型(RLM)的尴尬局面是:让人类一步步写推理过程的解决方案标注太贵;写一个检查答案对错的验证器反而容易得多;但现有验证器方法只依赖少数手工制作的环境。这里的生成器-验证器差距是关键洞察——设计一套规则并自动生成海量题目,比手工写出每道题的完整推理解答容易得多;判分程序一旦写好,成本就摊薄到每个实例近零。ReSyn 正是沿着这条不对称性来构建整条训练方法:把人类从标注环节彻底移出,让机器出题、机器判卷、机器训练。

ReSyn 的工作流程

ReSyn 的核心思想是不只生成问题-答案对,而是生成整个推理环境。流程分三步:环境合成——LLM 自动生成完整推理环境(代码形式),包含实例生成器(如何生成问题)和验证器(如何检查答案);数据生成——每个环境生成成千上万个问题实例,验证器自动批改;模型训练——用强化学习训练推理模型,验证器提供奖励信号。生成的环境覆盖约束满足问题、算法谜题、空间推理等任务类型,每一类都自带无限实例与自动判分器,相当于批量造出永不枯竭的练习册。

实验结果与方向

用 Qwen2.5-7B-Instruct 实验的结果:多个推理基准上一致提升;域外泛化更好,没见过的数学题也做得更好——这排除了”只是背下合成题库”的解释:模型学到的更像是搜索、回溯、自我核验这类通用推理操作,而非题目本身。BBEH 基准相对提升 27%。消融实验证明验证器监督和任务多样性都很重要,两者结合效果最佳:缺了可靠验证器,奖励信号会被错误判分污染;缺了任务多样性,模型只会在窄分布上过拟合。意义在于三点:标注成本趋零,不需要人类写详细推理过程;规模无限扩展,想生成多少环境就生成多少,不受众包进度和标注预算制约;多样性由生成器随机性与环境空间宽度共同保证,题库分布不再被少量人工模板锁死。对中小团队,这等于把”造训练数据”从人力问题变成了算力问题。未来方向包括让训练好的智能体参与环境合成的自进化范式、用 LLM 做主动错误检测优化合成流程、结合人类反馈提升质量。环境生成能力的普及,也可能让推理模型的训练从少数机构的专利变成普通团队可复现的常规操作。同类话题可参阅站内《多代理集成推理攻克仓库级问题》。

References


Related
Featured