源
苦涩的教训摘要 · 与 Agent 工程的连接
核心论点 · 两类可扩展方法 · 对 harness engineering 的直接指导
70 年 AI 研究反复证实：利用通用计算的方法最终以巨大优势胜出。研究者反复试图把人类领域知识内建到系统中——短期有效且令人满足，长期会停滞甚至阻碍进展。突破来自相反方法：扩展计算的搜索和学习。
两类可无限扩展的方法
搜索 Search
象棋 · 围棋 · MCTS · 深度搜索
学习 Learning
自我对弈 · 深度学习 · scaling laws
关键警句
心智内容是不可还原地复杂的——不应试图建模空间、对象、对称性。应建入能找到和捕捉复杂性的元方法。
对 Agent 工程的直接指导
Managed Agents引用 Bitter Lesson 论证 harness 假设会过时——harness 中内建的”模型做不到什么”就是 Sutton 批评的领域知识内建
Harnessing三大模式（用已知工具 · 持续剥离假设 · 谨慎设边界）直接实践 Bitter Lesson
What can I stop?Harness Engineering 的核心反思方向
→ bitter-lesson · search-and-learning · harness-engineering · managed-agentswiki 摘要
The Bitter Lesson
- 来源:
sources/sutton-bitter-lesson.md - URL: http://www.incompleteideas.net/IncIdeas/BitterLesson.html
- 作者: Rich Sutton
- 发布: 2019-03-13
摘要
Rich Sutton 的标志性短文。核心论点：70 年 AI 研究的最大教训是，利用通用计算的方法最终总是以巨大优势胜出。研究者反复犯同样的错误——试图将人类领域知识内建到系统中。这在短期内有效且令研究者满足，但长期来看会停滞甚至阻碍进展。突破最终来自于相反的方法——通过搜索和学习来扩展计算。
关键要点
- 模式反复出现：国际象棋（1997 深度搜索胜 Kasparov）、围棋（AlphaGo 自我对弈学习）、语音识别（HMM/深度学习胜手工特征）、计算机视觉（CNN 胜手工边缘检测）——每个领域都经历了同样的”人类知识方法短期有效但最终被计算方法压倒”的循环
- 两类可无限扩展的方法：搜索和学习。只有这两类方法能随计算资源增长持续提升
- 不要内建发现，要内建发现过程：心智内容是不可还原地复杂的，不应试图建模。应建入能找到和捕捉复杂性的元方法
与其他 source 的关联
- Managed Agents 直接引用 Bitter Lesson 来论证 harness 假设会过时——harness 中内建的”模型做不到什么”的知识就是 Sutton 批评的”领域知识内建”
- Harness Engineering 中”What Can I Stop Doing?”原则是 Bitter Lesson 在 agent 工程中的具体体现
- Harnessing Claude’s Intelligence 中三大模式（用已知工具、持续剥离假设、谨慎设边界）直接实践 Bitter Lesson
References
sources/sutton-bitter-lesson.md