心 智 七 篇 · Seven Mental Models
← Knowledge Atlas · 实体

AIOS (LLM Agent Operating System)

AIOS:Rutgers University 的 LLM Agent 操作系统,LLM-OS 类比的最完整工程实现
实体 · AIOS · Rutgers 2024 · LLM Agent 操作系统 · 六大内核模块

AIOS

LLM Agent Operating System — 将传统 OS 资源管理映射到多 agent 并发场景

Rutgers University(Kai Mei、Yongfeng Zhang 等)开发,arXiv:2403.16971,发表于 COLM 2025。核心思想:将传统 OS 的调度、内存、存储、权限模块映射到 LLM agent 场景,为多 agent 并发提供系统级基础设施。AIOS 是 LLM-OS 类比的最完整工程实现,与 MemGPT 互补:MemGPT 聚焦单 agent 虚拟内存,AIOS 覆盖多 agent 完整内核。

六大内核模块
1LLM Core统一 LLM 实例接口,支持 OpenAI/Anthropic/Google/HuggingFace/vLLM/Ollama 等后端
2Scheduler集中式请求队列,FIFO 和 Round Robin 调度
3Context Manager推理中断时保存快照(文本级或 logits 级),支持精确恢复
4Memory Manageragent 对话历史的 RAM 管理,LRU-K 换页
5Storage Manager持久化存储,本地文件 + 向量数据库
6Access Manager基于权限组的 agent 间数据隔离
AIOS SDK
框架支持
ReAct · Reflexion · AutoGen · Open-Interpreter · MetaGPT 等通过 adapter 接入 AIOS kernel
harness 视角
AIOS 代表「向下」的解决方案:将 harness 层的调度/隔离/容错职责下沉到系统层
→ LLM-OS Analogy · Harness Engineering · MemGPTarXiv:2403.16971 (COLM 2025)

AIOS (LLM Agent Operating System)

概述

AIOS 是 Rutgers University 团队(Kai Mei、Yongfeng Zhang 等)开发的 LLM agent 操作系统。核心思想:将传统 OS 的资源管理模块(调度、内存、存储、权限)映射到 LLM agent 场景,为多 agent 并发提供系统级基础设施。

核心组件

AIOS 内核包含六大模块:

  1. LLM Core:统一 LLM 实例接口,支持 OpenAI/Anthropic/Google/HuggingFace/vLLM/Ollama 等后端
  2. Scheduler:集中式请求队列,FIFO 和 Round Robin 调度
  3. Context Manager:推理中断时保存快照(文本级或 logits 级),支持精确恢复
  4. Memory Manager:agent 对话历史的 RAM 管理,LRU-K 换页
  5. Storage Manager:持久化存储,本地文件 + 向量数据库
  6. Access Manager:基于权限组的 agent 间数据隔离

AIOS SDK

提供 API 层抽象和 adapter 层,支持 ReAct、Reflexion、AutoGen、Open-Interpreter、MetaGPT 等框架的 agent 接入 AIOS kernel。

在 Wiki 知识体系中的位置

AIOS 是 LLM-OS 类比 的最完整工程实现。它与 MemGPT 互补:MemGPT 聚焦单 agent 的虚拟内存管理,AIOS 覆盖多 agent 的完整内核。

harness engineering 的上下文中,AIOS 代表了一种”向下”的解决方案:将 harness 层的某些职责(调度、隔离、容错)下沉到系统层。

相关实体

  • MemGPT — OS 类比的另一方向(虚拟内存)
  • OpenAI — Codex 的 agent loop 在应用层解决类似问题
  • Anthropic — Claude Agent SDK 在应用层提供 context management

References

  • sources/arxiv_papers/2403.16971-aios-llm-agent-operating-system.md