实
OpenAI
AI 研究公司——「全 agent 开发」极端视角的实践者,Harness Engineering 方法论的主要来源
OpenAI 从「agent 是主要开发者」的极端立场出发,发展出独特的 harness engineering 洞见:Repository 即知识系统,为 agent 可读性(legibility)而非人类优化代码,隐式循环架构的 Codex 实现。2024 年 Structured Outputs 将格式错误率从 ~11.97% 降至 <0.1%。
Harness Engineering 核心洞见
Agent Legibility为 agent 可读性优化——代码、文档的组织应方便 agent 理解,而非仅方便人类
Repository as Knowledge代码仓库是 agent 的知识系统——结构和命名约定是 agent 导航的关键信号
Codex 隐式循环云端沙箱 + 双向 JSON-RPC——隐式循环架构在生产级编码 agent 的实现
Structured Outputs(2024) JSON Schema → CFG 将 JSON Schema 编译为上下文无关文法,推理时强制约束 token 采样 11.97% → 0.1% 格式错误率从 11.97%(JSON mode)降至 0.1%(Structured Outputs evals 达到 0%) CFG 而非 FSM 支持 JSON Schema 的递归嵌套结构——FSM 无法表达,需要上下文无关文法
→ Harness Engineering · Implicit Loop Architecture · Codex · Structured OutputsOpenAI (2024)
OpenAI
AI 研究公司,GPT 系列模型和 Codex agent 平台的开发者。
与本 wiki 的关联
OpenAI 是本项目 harness engineering 主题的重要参考来源。其实践从”全 agent 开发”的极端视角提供了独特洞察:
- Harness engineering 的定义和实践方法论
- Agent legibility 的概念——为 agent 可读性优化,而非仅为人类
- Repository 作为知识系统的架构模式
- 隐式循环架构 的另一种实现(Codex agent loop)
相关实体
Structured Outputs 与约束解码
2024 年 8 月,OpenAI 发布 Structured Outputs API 功能,将 JSON Schema 编译为上下文无关文法(CFG),并通过约束解码在推理时强制约束 token 采样。该功能将格式错误率从 ~11.97% 降至 <0.1%(evals 中达到 0%),是符号规则约束神经生成的工程化典范。技术上以 CFG 而非 FSM 实现,支持 JSON Schema 的递归结构。
References
sources/openai_official/harness-engineering.mdsources/openai_official/unlocking-codex-harness.mdsources/openai_official/unrolling-codex-agent-loop.mdsources/openai_official/practical-guide-building-agents.mdsources/openai_official/introducing-structured-outputs-in-the-api.md