ai,

一分钟读论文：《Humanity's Last Exam：评估 AI 能力的专家级学术问题基准》

Unbug By Unbug Follow Mar 04, 2026 · 1 min read
一分钟读论文：《Humanity's Last Exam：评估 AI 能力的专家级学术问题基准》
Share this

你有没有发现：现在的 AI 在各种考试中表现得越来越好了？MMLU 基准上准确率超过 90%，似乎什么都懂。但问题是，这些测试真的能衡量 AI 的真正能力边界吗？

最新的研究给出了答案：当传统基准已经过时，我们需要一个更难、更深入的测试。这就是 Humanity’s Last Exam（HLE）—— 一个由近 1,000 名全球各领域专家共同打造的 2,500 道难题的基准测试。

Humanity's Last Exam

核心数据

HLE 的规模和深度令人印象深刻：

  1. 专家参与：近 1,000 名全球各领域研究者（不仅是计算机科学家，还有历史学家、物理学家、语言学家、医学研究者等）
  2. 题目规模：2,500 道专家级问题，覆盖数学、人文、自然科学、古代语言等数十个学科
  3. 设计理念：部分题目公开，大部分隐藏以防止模型记忆，确保长期有效性

AI 表现如何？

结果很明确：当前 AI 系统在 HLE 上表现极差，暴露了其在深度理解和专业知识上的局限。不过考虑到 AI 发展速度，研究人员预测模型可能在 2025 年底前在 HLE 上超过 50% 准确率。

这不是对抗 AI，而是理解 AI

HLE 的意义远超一个简单的基准测试：

  • 重新定义 AI 评估标准：从”为人类设计的考试”转向”真正测试专家级理解的基准”
  • 跨学科合作的典范：近 1,000 名各领域专家的合作，展示了人类集体智慧的力量
  • 政策与治理的参考：为科学家和政策制定者提供了评估 AI 能力的共同参考点
  • 人类价值的重申：尽管名字听起来很”末日”，但 HLE 实际上强调了人类专业知识的独特性和不可替代性

这篇论文发表在 Nature 2026 年 1 月 28 日，卷 649，页码 1139-1146。

论文信息

  • 标题：A benchmark of expert-level academic questions to assess AI capabilities
  • arXiv：2501.14249
  • DOI：10.1038/s41586-025-09962-4
  • 项目网站：https://lastexam.ai
AI Benchmark Evaluation

Releated

  1. 一分钟读论文：没有最后一英里，人类数据市场的持久性
    In Economics,
  2. AI 数学家诞生？Google DeepMind 的 Aletheia 自主解决 10 个数学难题中的 6 个
    In AI, 研究论文,
  3. SemVideo：从大脑 fMRI 直接重建视频！读心术真的来了？
    In AI, 脑机接口, 神经科学,
  4. 何恺明团队再出大招：Drifting Models 挑战扩散模型，单步生成高质量图像
    In AI, 论文, 生成模型,
  5. HRM 架构突破：用仅 2700 万参数和 1000 个训练样本超越最先进的大语言模型
    In AI,
  6. STAR 模型架构：Liquid AI 的模型架构自动合成新范式
    In AI Research, Architecture,
  7. MemMamba：重新思考状态空间模型中的记忆模式
    In paper,
  8. 世界模型统一框架：突破任务特定知识注入的局限性
    In AI Research, World Models,
  9. 突破传统：ReSU 神经网络单元——从果蝇大脑中获得的 AI 新灵感
    In AI, 神经科学, 机器学习,
  10. AI 共同研究员时代到来：当 Claude、Gemini 和 ChatGPT 成为真正的科研合作者
    In AI, 科学研究,
  11. ICLR 2025 杰出论文：一次训练就能计算数据价值——AI 版权和数据治理的新突破
    In AI,
  12. RWML：让 LLM 智能体学会预测未来
    In AI,
  13. AI原生粒子加速器：让大型科学设施学会自动驾驶
    In AI,
  14. 一分钟读论文：《GitHub Copilot 的代码生成稳健吗？》
    In AI, Software Engineering,
  15. 一分钟读论文：《ChatGPT 提示模式：提升代码质量、重构、需求获取和软件设计》
    In AI, Software Engineering,
  16. 一分钟读论文：Alien Science——让 AI 探索人类思维的盲区
    In AI,
  17. 一分钟读论文：洗车问题暴露大语言模型的根本缺陷？提示词架构决定推理质量
    In AI, 论文阅读,
  18. HumanOrbit：从一张照片生成 360° 环绕视频，让 AI 帮你「转」着看人
    In AI, 计算机视觉, 3D重建,
  19. LLM 去匿名化时代来临：你的匿名评论可能正在暴露你的真实身份
    In AI,
  20. Agent World Model：用 1000 个合成环境训练 AI 智能体，突破训练数据瓶颈
    In AI,
  21. 自言自语：让大语言模型告别灾难性遗忘
    In AI,
  22. LUCID Attention：给长上下文模型戴上降噪耳机
    In AI, Research, Transformer,
  23. ELM 架构突破：Modulate 用 100+ 个小模型打败 LLM，开启语音 AI 新时代
    In AI, 论文,
  24. DeepSeek-R1：用纯强化学习解锁大语言模型的推理能力
    In AI,
  25. HybridQuestion：人类-AI 协作发现 2025 年十大科学突破与 2026 年重大科学问题
    In AI,
  26. Google Nested Learning：突破AI灾难性遗忘的新范式
    In AI, 机器学习, 深度学习,
  27. MiroFlow：面向深度研究任务的高性能开源智能体框架
    In AI,
  28. GLM-5：从「氛围编程」到「智能体工程」的范式跃迁
    In AI,
  29. AlphaEvolve：AI 打破 56 年数学纪录，发现更快的矩阵乘法算法
    In AI,
  30. 三个AI走进酒吧：聪明的AI也会搞部落主义？
    In AI,
  31. PAN 世界模型炸场！MBZUAI 黑科技让 AI 学会脑补现实世界
    In AI,
  32. Google Titans + MIRAS：终结 AI 健忘症，让模型拥有真正的长期记忆
    In AI,
  33. DeepSeek-R1：用纯强化学习解锁大语言模型的推理能力
    In AI,
  34. 量子储层计算重大突破！在多体混沌边缘实现最佳性能，为量子AI开辟新道路！
    In AI,
  35. DeepSeek Engram：颠覆GPU内存瓶颈！把知识存储从计算中分离，O(1)查找效率！
    In AI,
  36. Agentic Reasoning：从被动推理到主动智能的完整路线图！
    In AI, 论文解读,
  37. ReSyn：自动生成1000个推理环境，让AI学会真正的思考！
    In AI, 论文解读,
  38. Agent World Model：1000 个合成环境，让 AI 智能体学习效率翻倍
    In AI, Agent,
  39. Agent World Model 研究：1000 个合成环境推动智能体训练革命
    In AI, Agent,
  40. DeepMind Genie 3 研究：实时交互式 3D 世界模型的重大突破
    In AI, deepmind,
  41. Genie 3: DeepMind 发布首个实时交互式世界模型
    In AI, 论文解读,
  42. 一分钟读论文：《当 Many-Shot Prompting 失败时：LLM 代码翻译的实证研究》
    In AI, LLM,
  43. 一分钟读论文：《基于代理的集成推理解决仓库级问题》
    In AI, 软件工程,
  44. Google Nested Learning：破解 AI 灾难性遗忘的革命性范式
    In AI, 深度学习,
  45. 一分钟读论文：《自然语言摘要实现微服务多仓库 Bug 定位》
    In AI, 软件工程,
  46. 生成式 AI 如何重塑软件开发：从代码助手到自主代理
    In AI, 软件工程,
  47. 一分钟读论文：《生成式AI在软件工程中的应用：变革软件开发流程》
    In AI, Software Engineering,
  48. 一分钟读论文：《Gated Attention：用一个小阀门让 LLM 性能飙升》
    In AI, 深度学习,
  49. 一分钟读论文：《MCP 一周年：从内部实验到行业标准》
    In AI, Agent,
  50. 一分钟读论文：《大语言模型代码生成的规格对齐》
    In AI, 软件工程,
  51. 一分钟读论文：《小语言模型作为评委提升代码生成》
    In AI, 软件工程,
  52. 一分钟读论文：《Scratch Copilot：用 AI 支持青少年创意编程》
    In AI, 编程教育,
  53. 一分钟读论文：《Chrome 〈!DOCTYPE aigc〉: 你的网页何必是 HTML》
    In AI, FrontEnd,
  54. 一分钟读论文：《ChatGPT for Robotics：设计原则和模型能力》
    In AI, Engineering,
  55. 一分钟读论文：《GPT-minify: All JS bundle size 97% off》
    In AI, FrontEnd,
  56. 一分钟读论文：《ChatGPT 提示模式：提高代码质量、重构、需求获取和软件设计》
    In AI, Engineering, Engineer,
  57. 一分钟读论文：《基于 ChatGPT、AR 和 Voicebots 的儿童外教软件设计框架》
    In AI, Engineering,
  58. 一分钟读论文：《ChatGPT：在线考试诚信的终结？》
    In AI,
一分钟读论文：没有最后一英里，人类数据市场的持久性