ai,

一分钟读论文:《DeepSeek-R1纯强化学习解锁推理》

Unbug By Unbug Follow · 1 min read
一分钟读论文:《DeepSeek-R1纯强化学习解锁推理》
Share this

深度求索(DeepSeek-AI)发表于 Nature 的论文《DeepSeek-R1: Incentivizing Reasoning in LLMs through Reinforcement Learning》证明:大语言模型的推理能力可由纯强化学习激发,无需大规模人类标注推理轨迹,训练中模型自发涌现出自我反思与顿悟时刻。

DeepSeek-R1 强化学习推理

从人类标注到纯强化学习

在 DeepSeek-R1 之前,提升大语言模型推理能力的主流方法绕不开两个前提:大规模人工标注的”思维链”(Chain-of-Thought, CoT,即把推理步骤写出来供模型模仿的数据),以及监督微调(SFT)作为前置步骤。论文发表于 Nature 645, 633-638(2025)。标注成本高、周期长、覆盖面有限,面对更复杂的数学、代码和逻辑推理问题时效果容易触顶,也限制了后来者复现先进推理模型。

DeepSeek-R1 团队给出两套方案:

  • DeepSeek-R1-Zero:直接在基础模型上应用强化学习,完全跳过监督微调,让模型自由探索思维链、自己试错学习,展现出自我验证、自我反思和生成长推理链的能力
  • DeepSeek-R1:在强化学习前加入少量冷启动数据,解决 R1-Zero 的无限重复、可读性差、语言混杂等问题,在数学、代码和综合推理任务上达到与 OpenAI o1 相当的性能

训练中模型还自然”涌现”出多种高级推理行为:自我反思(重新评估最初思路并及时修正)、自我验证(每一步检查推理链条)、动态策略调整(按问题特点切换推理方式),以及训练中期突然”开窍”、学会给复杂问题分配更多思考时间的”啊哈时刻”。

结果、意义与局限

实验结果覆盖竞赛级数学、代码生成与理解、复杂逻辑推理和科学问答,均取得前沿水平;这种推理导向的强化学习在大幅提升推理能力的同时,对用户偏好类基准测试的影响很小,模型在变聪明的同时不丢失原有亲和力。

科学意义有三:第一次用令人信服的证据证明纯强化学习可有效激发推理能力;大幅降低对大规模人类标注数据的依赖,让更多团队能探索先进推理模型;DeepSeek-R1 完全开源,把先进推理能力交给社区。实际应用上,训练成本显著降低、数据收集流程简化、迭代速度更快。

局限同样被论文明确列出:结构化输出和工具使用能力还有提升空间;某些特定场景下的推理质量仍可优化;计算资源需求相对较大,推理模型生成长思推链也带来了额外的推理时延。论文同时给出了未来方向:进一步优化强化学习框架以提升效率,探索更高效的推理策略,并将强大的推理能力与其他 AI 能力更好融合。正如论文所总结:解锁潜力的关键不在大规模人类标注,而在有挑战性的推理问题、可靠的验证器,以及足够的强化学习计算资源。相关延伸阅读:站内《DeepSeek Engram 分离知识存储》。

References


Related
Featured