By Unbug 
斯坦福大学研究团队的论文《ResearchCodeBench: Evaluating LLMs’ Ability to Execute ML Research Papers as Code》，用 212 个真实挑战评估大语言模型将机器学习论文转化为可执行代码的能力。
研究团队发现，当前大语言模型在将 ML 论文转化为可执行代码方面表现参差不齐。测试覆盖了从基础统计方法到复杂优化算法的不同难度，揭示了 AI 在研究自动化中的真实水平。
ResearchCodeBench 的核心设计
ResearchCodeBench 是一个专门针对 AI 研究自动化能力设计的 benchmark，包含 212 个真实挑战场景。每个挑战都源自实际的机器学习研究论文，要求 AI 读取论文理解算法，然后用代码实现该方法。
测试设计直接回应了一个核心问题：当研究人员面对新论文时，能否依赖 AI 来快速实现和复现算法。系统会自动验证生成的代码能否正确运行，结果是否与论文报告一致。
测试方法
研究团队精心挑选了 212 个挑战，覆盖了不同的研究领域和方法类型。每个挑战包含：
- 原始研究论文摘要
- 需要实现的算法描述
- 预期的输入输出示例
- 自动验证脚本
测试流程完全自动化：AI 接收论文内容生成代码，系统执行并比对结果。整个过程无需人工干预，确保了评估的客观性。
实证发现
测试结果表明，当前大语言模型在将 ML 论文转化为可执行代码方面能力有限。关键发现包括：
- 模型对基础统计方法实现成功率较高
- 涉及复杂优化算法时，错误率显著上升
- 模型能够理解数学符号，但转换过程中可能出现偏差
- 代码可运行性与正确性是不同维度的挑战
这些发现揭示了 AI 研究自动化能力的真实水平，也为未来研究指明了方向。
开源价值
ResearchCodeBench 的最大亮点在于其完全开源的性质。研究团队公开了所有测试数据、验证脚本和评估代码，任何人都可以复现实验或添加新挑战。
这一做法体现了开放科学的精神。通过提供标准化的评估框架，研究者可以更公平地比较不同模型的科研辅助能力，推动整个领域的发展。同时，开源也促进了社区的参与。
