Seven Mental · 心智七篇
中 EN
← Knowledge Atlas · Entity

AIOS (LLM Agent Operating System)

AIOS：Rutgers University 的 LLM Agent 操作系统，LLM-OS 类比的最完整工程实现
实
ENTITY · AIOS · Rutgers 2024 · LLM Agent OS · six kernel modules

AIOS

LLM Agent Operating System — mapping classical OS resource management to concurrent multi-agent workloads

Developed at Rutgers (Kai Mei, Yongfeng Zhang, et al.), arXiv:2403.16971, published at COLM 2025. Core idea: map the scheduling/memory/storage/permission modules of a traditional OS onto the LLM agent scenario, giving concurrent multi-agent workloads system-level infrastructure. AIOS is the most complete engineering realization of the LLM-OS analogy, complementary to MemGPT — which focuses on single-agent virtual memory while AIOS covers the full multi-agent kernel.

Six kernel modules
1LLM CoreUnified LLM instance interface — OpenAI / Anthropic / Google / HuggingFace / vLLM / Ollama backends
2SchedulerCentralized request queue with FIFO and Round Robin scheduling
3Context ManagerSnapshots on inference interrupt (text or logits level) for precise resumption
4Memory ManagerRAM management for agent dialogue histories with LRU-K paging
5Storage ManagerPersistent storage — local files + vector databases
6Access ManagerPermission-group-based data isolation between agents
AIOS SDK
Framework support
ReAct · Reflexion · AutoGen · Open-Interpreter · MetaGPT plug into the AIOS kernel via adapters
Harness view
AIOS is the “downward” solution: it pushes scheduling/isolation/fault-tolerance responsibilities from the harness layer down into the system layer
→ LLM-OS Analogy · Harness Engineering · MemGPTarXiv:2403.16971 (COLM 2025)

AIOS (LLM Agent Operating System)

概述

AIOS 是 Rutgers University 团队（Kai Mei、Yongfeng Zhang 等）开发的 LLM agent 操作系统。核心思想：将传统 OS 的资源管理模块（调度、内存、存储、权限）映射到 LLM agent 场景，为多 agent 并发提供系统级基础设施。

核心组件

AIOS 内核包含六大模块：

  1. LLM Core：统一 LLM 实例接口，支持 OpenAI/Anthropic/Google/HuggingFace/vLLM/Ollama 等后端
  2. Scheduler：集中式请求队列，FIFO 和 Round Robin 调度
  3. Context Manager：推理中断时保存快照（文本级或 logits 级），支持精确恢复
  4. Memory Manager：agent 对话历史的 RAM 管理，LRU-K 换页
  5. Storage Manager：持久化存储，本地文件 + 向量数据库
  6. Access Manager：基于权限组的 agent 间数据隔离

AIOS SDK

提供 API 层抽象和 adapter 层，支持 ReAct、Reflexion、AutoGen、Open-Interpreter、MetaGPT 等框架的 agent 接入 AIOS kernel。

在 Wiki 知识体系中的位置

AIOS 是 LLM-OS 类比 的最完整工程实现。它与 MemGPT 互补：MemGPT 聚焦单 agent 的虚拟内存管理，AIOS 覆盖多 agent 的完整内核。

在 harness engineering 的上下文中，AIOS 代表了一种”向下”的解决方案：将 harness 层的某些职责（调度、隔离、容错）下沉到系统层。

相关实体

  • MemGPT — OS 类比的另一方向（虚拟内存）
  • OpenAI — Codex 的 agent loop 在应用层解决类似问题
  • Anthropic — Claude Agent SDK 在应用层提供 context management

References

  • sources/arxiv_papers/2403.16971-aios-llm-agent-operating-system.md