Augmented LLM（增强型 LLM）¶

图文

定义¶

Agentic 系统的基础构建块：一个 LLM 加上三项增强能力——检索（retrieval）、工具（tools）、记忆（memory）。当前模型已经能主动使用这些能力：自己生成搜索查询、选择合适的工具、决定保留哪些信息。

关键设计考量¶

Anthropic 强调两点： 1. 将增强能力针对具体用例裁剪，不是堆叠通用能力 2. 确保接口对 LLM 简单且文档完善

Model Context Protocol (MCP) 是标准化增强能力接口的一种方式。

在 agentic 系统中的位置¶

是所有 agentic systems 的基础。无论是简单的 prompt chaining 还是自主 agent，每次 LLM 调用都建立在这个增强基础之上。

从预检索到 Just-in-time Context¶

Effective Context Engineering 描述了增强型 LLM 的检索维度正在经历范式转移：

传统方式：预推理时通过 embedding 检索，将相关 context 一次性塞入
Just-in-time 方式：agent 维护轻量级引用（文件路径、查询、链接），运行时通过工具动态加载

最有效的 agent 采用混合策略。例如 Claude Code：CLAUDE.md 预加载到 context，glob/grep 提供按需检索，绕过陈旧索引和复杂语法树的问题。Just-in-time 检索镜像人类认知——我们不记忆全量信息，而是建立外部索引系统按需检索。

LLM = CPU：计算层的定位¶

Karpathy 的 LLM-OS 类比将 LLM 定位为 CPU——原始计算能力。在这个框架下，augmented LLM 对应的是 CPU + 协处理器/外设接口：检索是 DMA（直接内存访问），工具是 I/O 端口，记忆是缓存层级。关键区别在于 LLM 这颗"CPU"处理的数据单元是 token 而非 byte，行为是统计性的而非确定性的——这意味着增强层的设计不能假设底层调用的幂等性。

工具使用的早期愿景¶

Karpathy 2023 年演讲通过一个具体的 Scale AI 估值分析演示，展示了 LLM 工具使用的原型形态：浏览器搜索 → 计算器推算比率 → Python 绘图 → DALL-E 生成图像。他的核心论点：LLM 不再只是"在脑中工作"，而是编排计算工具解决问题——这与人类认知高度一致，我们也不靠纯粹心算来解决复杂问题。

这个 2023 年的演示预示了后续 Anthropic 和 OpenAI 在工具集成上的系统化工作——从"模型可以调用工具"到"增强型 LLM 是 agentic 系统的基础构建块"。

超越 Transformer 的基础架构¶

Augmented LLM 当前建立在 Transformer 之上，但底层架构正在演进。SSM 混合架构和世界模型代表了两个方向：前者改进推理效率和长序列处理，后者扩展模型对物理世界的理解能力。这些底层变化可能重塑增强层的设计假设。

References¶

sources/anthropic_official/building-effective-agents.md
sources/anthropic_official/effective-context-engineering-for-ai-agents.md
sources/karpathy-llm-cpu-agent-os-kernel.md
sources/karpathy-intro-to-large-language-models.md