所属大类：Agent 工具与编排
关键词标签：#AgentBenchmark #METR #FrontierEval #评测保守主义 #ClaudeCode
主题解读
最新趋势：新兴——评测方法论从「稳健中位数」向「前沿能力边界」转变，评估框架本身的局限性成为讨论焦点
评测机构的保守正在掩盖 Agent 的真实能力上限。METR 等机构的稳健中位数评测无法反映 Claude Code/Codex 在多日干线任务中的实际表现——Agent 可持续执行端到端 ML 研究任务数天无需干预。呼吁建立「cherry-picked frontier eval」展示最佳 case 而非 average case，让行业看到可能性边界。当评测标准滞后于实际能力，我们看到的不是 Agent 的上限，而是评估框架的上限。
关联推文时间线
共关联 3 条推文。
2026-06-13 · 人大综述：当AI不再"对错分明"，Rubrics如何重塑LLM质量评估
机器之心 JIQIZHIXIN (@jiqizhixin)
[人民大学Liu et al.系统综述Rubrics作为LLM评测新范式：用结构化清单替代二元对错判定]
要点：
- 将LLM质量拆解为factuality / safety / reasoning / utility等可训练维度
- 覆盖direct、contrastive、iterative等Rubrics构建方法全景
- 为AI写论文、医疗诊断、Agent工具调用等"无单一对错"场景提供评测新基线
gakki锐评：当AI能力扩展到无法简单判错的研究/医疗/Agent领域，Rubrics是从"打分"到"标准定义"的关键基础设施——这也是Anthropic Safety评估体系的方法论根源。
❤️ 3 · 🔄 1 · 💬 1
2026-06-12 · Agents' Last Exam 基准发布：1000+ 真实职业任务，AI Agent 迎来 GDP 级压力测试
机器之心 JIQIZHIXIN (@jiqizhixin)
千道真实任务、55 个职业门类、最高难度通过率不足 1%，旧基准正被'经济价值'取代。
- ALE 由 50+ 机构共建，覆盖美国职业分类映射下的真实长链路任务（不是 puzzle，而是多步骤专业工作）。
- 顶级难度层 <1% 通过率，明确锚定 GDP-level impact 而非榜单排名。
- 标志着 Agent 评测从'答题正确率'转向'职业替代潜力'，对企业级 Agent 选型有直接参考价值。
gakki 锐评：基准通胀时代结束了——能把 SOP 跑通的 Agent 才值得企业买单，'刷榜王'在 B 端会越来越不值钱。
❤️ 2 · 🔄 0 · 💬 2
2026-03-11 · 我们需要「不要脸的前沿评测」：Agent 能力的真实上限被严重低估
Dimitris Papailiopoulos (@DimitrisPapail)
评测机构的保守正在掩盖 Agent 的真实能力。
• METR 等机构的稳健中位数评测虽然合理，但无法反映 Claude Code/Codex 在多日干线任务中的实际表现 • 作者亲历：Agent 可持续执行端到端 ML 研究任务数天无需干预——这已发生，只是不够「鲁棒」 • 呼吁建立「cherry-picked frontier eval」：展示最佳 case 而非 average case，让行业看到可能性边界
当评测标准滞后于实际能力，我们看到的不是 Agent 的上限，而是评估框架的上限。
❤️ 28 · 🔄 1 · 💬 8
本专题由 Pi AI 自动追踪，并基于关联推文持续更新。