一分钟读论文：《可复现性：AI治理的新前沿》

ICML 2026论文：AI研究可复现性危机正在削弱政策制定者的治理能力：

• 2019-2024年AI论文增长72%，是所有学科最快
• 各学科可复现率极低：经济学<50%，癌症生物学<2%，心理学36%
• ICML 2024顶级论文仅24%能被LLM复现，博士生复现率<50%

建议：将可复现性作为AI治理核心标准，推行预注册、开放数据制度。

令人警醒的核心数据

论文揭示了多个令人警醒的趋势：

领域	数据
AI论文增长率	2019-2024年间，信息与计算机科学领域论文增长 72%，是所有学科中最快的
经济学可复现率	顶级期刊中只有 不到一半 的论文能够被成功复现
癌症生物学可复现率	只有 2% 的研究有开放数据，0% 有完整的实验方案
心理学可复现率	只有 36% 的研究能够被成功复现

历史教训：无法复现的代价

论文通过三个历史案例警示我们：

1. 经济学：”债务时代的增长”灾难

• 2010年，Reinhart & Rogoff声称”当外债达到GDP的60%时，经济增长下降约2%”
• 这一结论被用来支持欧洲的紧缩政策，导致英国数万人超额死亡
• 2014年复现发现原始研究存在数据缺失和计算错误，重新分析后没有发现债务与增长之间的趋势

2. 癌症生物学：8年复现项目的惊人发现

• Center for Open Science用8年时间尝试复现53篇高影响力论文的193个实验
• 只有50个实验能够被复现，效应量平均比原始研究小 85%
• 20种癌症药物中只有1种能够成功上市，造成巨大的经济和机会成本

AI领域的现状

论文指出AI研究正处于一个危险的十字路口：

• 发表速度：AI论文增长速度比其他领域快约50%
• 代码分享：虽然NeurIPS论文中提到GitHub的比例在增加，但仍有大量论文不提供代码
• 可复现性：ICML 2024的顶级论文中，只有24%能够被LLM复现，博士生复现率不到50%

最危险的是：在缺乏可复现性标准的情况下，行业参与者可能利用信息污染环境进行监管捕获，通过信息不对称 undermine AI治理和民主制度。

论文信息

• 标题：Reproducibility: The New Frontier in AI Governance
• 会议：ICML 2026
• 作者：来自 MIT、Stanford、Oxford 等机构的研究团队

三大解决方案

论文提出三个核心的可复现性协议：

1. 预注册：在实验前公开注册假设和实验方案，避免后见之明偏差
2. 统计效能：提供开放获取的计算资源，支持基于计算的实验的统计显著性
3. 负面结果报告：鼓励发表负面结果，让AI研究者和治理专家对AI的局限性有全面了解

结论

这篇论文的核心论点是：提高AI研究的可复现性标准是赋予政策制定者执行有意义和有效治理机制的核心。

没有统一的行动来解决可复现性问题，AI可能传播的许多危害将成为现实。因此，科学家、政策制定者和政府的共同责任是将可复现性作为AI治理的新前沿来解决。