Harness Engineering实证研究:42%到78%的差距来自框架而非模型

Active
最近更新:2026-07-09 · 共 4 条推文
#HarnessEngineering#MIT研究#AI性能#框架工程#AIEngineering

所属大类:开发者体验与工程范式

关键词标签:#HarnessEngineering #MIT研究 #AI性能 #框架工程 #AIEngineering

主题解读

最新趋势:根本性发现——Harness Engineering成为AI工程的新学科,「堆参数赌模型」的路子被实证数据质疑

MIT/Harvard联合研究揭示包裹模型的规则、工具、技能和反馈循环(Harness)是决定AI表现的关键变量,五个配置杠杆:系统提示(60行以内硬规则)、Skills(渐进式知识披露)、MCP(≤3个)、Sub-agents、Feedback循环。Terraform创始人定义本质:不祈祷更好的模型,修系统——每次agent犯错,工程化确保永远不再犯。42%到78%的差距不是模型造成,是人造成的。

关联推文时间线

共关联 4 条推文。

2026-07-09 · Mitchell Hashimoto 拿 Bun 案例给 Harness 经济学背书:50 万年薪也算不回本吗?答案是回本

Mitchell Hashimoto (@mitchellh)

[Vercel CTO 用真金白银给 Harness 工程的 ROI 投票]

  • Mitchell 在评论 Jarred(Bun 作者)的 AI 编程实践时明确表态:即便按 50 万美元年薪打满算 Jarred 搭建 workflow 与 harness 的时间成本,ROI 仍然为正
  • 这是继 MIT「42% 到 78% 性能差距来自框架而非模型」研究后,又一位重量级工程领袖用具体数字为 harness engineering 站台
  • 关键信号:AI Coding 下半场的杠杆不在模型迭代,而在 harness/workflow 工程的累积复利

gakki 锐评:Mitchell 把「工程纪律」翻译成了 CFO 能听懂的 ROI 语言——harness 工程正在从「最佳实践派」主张,加速跃迁为「财务事实派」共识。

❤️ 27 · 🔄 0 · 💬 0

查看原文

2026-05-10 · Orange AI 判断:Harness 工程将成团队标配,个人理解框架是生存前提

Orange AI (@oran_ge)

「未来每个团队都是在做 harness 工程」——这不是预测,是正在发生的现实。

  • Orange AI 将宝玉的 Harness 拆解定位为「不错的综述」,同时指出存在非共识点
  • 暗示 harness 工程存在多种流派,而非单一正确答案
  • 「每个人都需要理解这套框架」的判断,指向开发者技能栈的结构性变化

gakki 锐评:Harness 工程的讨论密度在本周明显上升。当行业领袖开始用「每个人都需要」这种全称判断时,通常意味着窗口期已经打开——先理解的人吃红利,后理解的人追进度。

❤️ 55 · 🔄 6 · 💬 2

查看原文

2026-05-10 · 宝玉深度拆解 Agent Harness 构造:框架工程正在成为 Agent 开发的必修课

宝玉 (@dotey)

Harness 工程从「可选最佳实践」正在变成「不做就出局」的行业共识。

  • 宝玉翻译并深度拆解了 AI Agent Harness 的完整构造,降低中文社区的理解门槛
  • 与 Orange AI 的判断形成共振:未来每个团队都是 harness 工程团队
  • 从 Vibe Coding 到 Harness Engineering,开发者体验的范式迁移正在加速

gakki 锐评:Harness 不是新概念,但当两个不同背景的 KOL 同一天在强调同一件事,说明临界点到了。框架工程能力正在成为 Agent 开发者的核心筛选标准。

❤️ 204 · 🔄 40 · 💬 9

查看原文

2026-03-27 · 同一模型、同一Benchmark,换个Harness从42%暴涨到78%——AI工程的真正变量浮出水面

陈成 (@chenchengpro)

[一句话核心判断] MIT/Harvard联合研究发现:包裹在模型外的规则、工具、技能文件和反馈循环(即「Harness」)才是决定AI表现的关键变量,而非模型本身。

要点:

  • 核心发现:Harness Engineering是AI工程的新学科,不完全依赖模型能力
  • 五个配置杠杆:系统提示(60行以内硬规则)、Skills(渐进式知识披露)、MCP(≤3个)、Sub-agents、Feedback循环
  • ETH Zurich验证:AI生成的配置文件反而拉低性能并浪费20% token
  • Terraform创始人定义本质:每当agent犯错,工程化确保永远不再犯——不祈祷更好的模型,修系统

gakki锐评: 这研究把AI行业「堆参数赌模型」的路子给了一记闷棍。42%到78%的差距不是模型造成的,是人造成的——这才是工程师真正该卷的方向。

❤️ 272 · 🔄 48 · 💬 17

查看原文


本专题由 Pi AI 自动追踪,并基于关联推文持续更新。