心 智 七 篇 · Seven Mental Models
中 EN
← Knowledge Atlas · 概念

llms.txt

llms.txt：网站 LLM 友好文档约定，放在根路径 /llms.txt，提供 LLM 推理时的精选文档导航，与 robots.txt/sitemap.xml 互补
念
概念 · LLMS.TXT · ACI 基础设施层 · Jeremy Howard 2024

llms.txt

robots.txt 告诉爬虫可以爬什么；llms.txt 告诉 LLM 网站是什么

放置于网站 /llms.txt 的 Markdown 文件——主要用于推理时（用户向 LLM 询问时），而非训练时。网站主动提供 LLM 可解析格式，而非等待 LLM 自行抓取解析 HTML。

格式规范
必填H1项目或站点名称
可选Blockquote一句话摘要（理解其余内容所必需）
可选Markdown 段落补充背景，不含标题
可选H2 分节带说明的超链接列表
特殊Optional 节context 紧张时可跳过，放次要资源
与现有标准的关系
标准面向对象使用时机
robots.txt搜索爬虫索引时
sitemap.xml搜索引擎索引时
llms.txtLLM推理时（用户请求时）
配套约定
URL + .md 提供 Markdown 版内容，让 LLM 获取干净文档无需解析 HTML
→ ACI · Context Engineering · Agent Skills · MCPJeremy Howard (2024)

llms.txt

定义

llms.txt 是一个放置在网站根路径 /llms.txt 的 Markdown 文件，为 LLM 提供关于该网站的结构化、精简的文档导航。由 Jeremy Howard（Answer.AI）于 2024 年 9 月提出。

类比关系：robots.txt 告诉爬虫”可以爬什么”；llms.txt 告诉 LLM “这个网站是什么、重要内容在哪里”。

格式规范

文件内容为 Markdown，按顺序包含以下节（仅 H1 为必填）：

  1. H1：项目或站点名称
  2. Blockquote：一段简短摘要，包含理解其余内容所必需的关键信息
  3. 自由 Markdown 段落（零或多个，不含标题）：补充背景
  4. H2 分节（零或多个）：每节为一个”文件列表”，包含带说明的超链接
# 项目名

> 一句话描述项目

更详细的说明（可选）

## 文档

- [快速入门](https://example.com/docs/quickstart.md): 核心功能概览
- [API 参考](https://example.com/docs/api.md): 完整接口文档

## Optional

- [完整示例](https://example.com/examples/): 次要资源，context 紧张时可跳过

Optional 节有特殊语义：当 context window 有限时，该节的 URL 可以跳过，适合放次要资源。

配套约定：.md 页面

网站可在原 HTML 页面 URL 后加 .md 提供同内容的 Markdown 版，例如：

  • https://example.com/docs/api.html → https://example.com/docs/api.html.md
  • 无文件名的 URL → 加 index.html.md

这让 LLM 可以直接获取干净的文档内容，无需解析 HTML。

与现有标准的关系

标准目的面向对象使用时机
robots.txt爬取访问控制搜索爬虫索引时（训练前）
sitemap.xml全站页面索引搜索引擎索引时
llms.txt精选内容导航LLM推理时（用户请求时）

作者的期望：llms.txt 主要用于推理（inference）——当用户主动向 LLM 询问某个话题时（如”帮我用这个库写代码”），而非用于训练。

工具链

  • llms_txt2ctx：将 llms.txt 展开为 LLM context 文件的 CLI 工具；支持两种模式——不含 Optional 节的精简版和含所有链接的完整版
  • 各框架插件：VitePress、Docusaurus、Drupal、nbdev 等均有对应插件自动生成

在 ACI 框架中的位置

Karpathy 的”Meeting LLMs halfway”论断中，llms.txt 是 ACI 从单工具接口扩展到整个互联网基础设施的具体案例：网站主动提供 LLM 可解析格式，而非等待 LLM 自行抓取和解析 HTML。

见 ACI — 基础设施层的 ACI 一节。

相关概念

  • ACI — llms.txt 是基础设施层 ACI 的典型实践
  • Context engineering — llms.txt 提供的是外部文档的 just-in-time 访问入口
  • Agent skills — 两者都是”可组合的知识打包”，llms.txt 面向网站，agent skills 面向 agent 能力
  • MCP — MCP 是工具/服务的标准化协议；llms.txt 是文档/内容的标准化索引

References

  • sources/llmstxt-org-the-llms-txt-file.md