心 智 七 篇 · Seven Mental Models
中 EN
← Knowledge Atlas · 概念

组合性（Compositionality）

组合性：复杂表达式的意义由部分意义和组合方式决定（Frege 原则），系统性的逻辑前提，联结主义的核心挑战
念
概念 · COMPOSITIONALITY · 语义学原则

组合性

Compositionality — Frege 原则与认知系统性

复杂表达式的意义是其组成部分的意义及组合方式的系统性函数。用有限词汇+有限规则生成无限理解——这就是人类语言能力的秘密，也是符号 AI 的核心诉求。

M(f(a, b)) = F(M(a), M(b), f)
可学习性
有限词汇+规则 → 理解无限新表达式——学会部分，就能组合出任意新表达
系统性
”John loves Mary”的表征包含 JOHN、LOVES、MARY → 保证理解”Mary loves John”的能力
可预测性
新表达的意义完全由已知的部分意义确定——这是神经网络难以保证的
LLM 的组合性挑战LLM 展示组合泛化但不如人类系统，且对长句柄不组合错误（compositional tail failures）敏感。神经符号混合架构（SCAN/COGS 基准测试）提供了修补路径。
→ 系统性 · 思维语言 · 神经符号 AIFrege (1892) · Fodor-Pylyshyn (1988)

组合性（Compositionality）

定义： Frege（1892）提出的语义原则：复杂表达式的意义是其组成部分的意义及其组合方式的系统性函数。这是语言哲学和认知科学中组织表征能力的核心原则。

原则的形式表述

Frege 原则（也称”组合性原则”）：

M(f(a, b)) = F(M(a), M(b), f)

其中 M 是意义函数，f 是句法结构，a、b 是组成部分，F 是语义组合规则。

意义的三个要素：

  1. 部分的意义：JOHN 表示约翰，LOVES 表示爱，MARY 表示玛丽
  2. 句法结构：LOVES(JOHN, MARY) 中，JOHN 是论元一，MARY 是论元二
  3. 组合规则：谓词-论元结构的语义解释规则

为什么组合性重要

可学习性论证

人类用有限的词汇和有限的规则，能理解和产生无限多从未见过的表达式。这只能通过组合性来解释——学会部分和规则，就能组合出任意新表达。

系统性论证

组合性是系统性的逻辑基础：若系统具有真正的组合表征，则”John loves Mary”的表征必然包含 JOHN、LOVES、MARY 作为组成部分，从而保证了理解”Mary loves John”的能力。

可预测性

组合性使语义行为可以从部分预测整体，是语言理解可解释性的基础。

组合性与联结主义的张力

标准分布式表征的问题

联结主义的分布式表征（激活向量）通常不具备组合性：

  • “John loves Mary”的激活模式中，没有可识别的 JOHN / LOVES / MARY 子部分
  • 向量叠加（superposition）改变了整个激活模式，无法析出组成部分
  • 语义组合无法通过对激活向量的代数运算来准确捕获

Fodor & Pylyshyn（1988）: 联结主义的”表征”是全局的，而非组合的；系统性因此成为偶然的训练结果，而非架构保证。

Smolensky 的张量积解答（1990）

通过张量积构造：

JOHN ⊗ role_agent + LOVES ⊗ role_verb + MARY ⊗ role_patient

这种”分布式、张量积的组合性”可以数学地分解出角色绑定的成分。批评：这实际上在联结主义底层重新实现了符号结构，可能只是另一种”实现经典架构”的形式。

功能性组合性 vs 结构性组合性

类型定义代表立场
结构性组合性表征在结构上由组成部分构成，句法操作可以操纵这些部分Fodor & Pylyshyn，经典 AI
功能性组合性系统在行为上表现出组合性，但不要求底层表征具有显式组成部分Smolensky，联结主义

争论的核心：功能性组合性是否足以解释认知的系统性？

Fodor & Pylyshyn 的立场：不足够。功能性组合性依赖训练分布，无法保证新颖案例上的系统性——而人类认知中的系统性是不依赖训练历史的必然属性。

LLM 时代的实证证据

Dhar & Søgaard 2024 对 LLM 组合能力的系统测试：

测试的三个维度

  • 可替换性（Substitutivity）：同义词替换不改变意义——等价于最弱的组合性要求
  • 系统性与全局性（PLANE）：已知组合模式在新语境中的泛化
  • 过度泛化（COMPCOMB）：区分组合性化合物与非组合性化合物（turncoat ≠ 一种 coat）

关键发现

  • 规模提升组合能力（与 Fodor & Pylyshyn 的预测部分相符——联结主义可以接近组合性）
  • 指令微调降低组合性（RLHF 优化目标与组合语义结构不对齐）
  • 形容词-名词组合（subsective adjectives）是持续的弱点——与儿童发展轨迹平行

工程层面的组合性

当代 LLM 工程中多处涉及组合性：

  • 结构化输出（structured-outputs）：JSON Schema 是一种规范组合性——复杂 JSON 对象的结构由其字段的类型和嵌套关系确定
  • 约束解码（constrained-decoding）：上下文无关文法（CFG）是组合性的标准形式化——产生式规则定义了如何从部分组合成整体
  • 轨迹偏差（trajectory-bias）：将符号组合约束施加于联结主义生成时，会产生语义偏移——这正是结构性组合性与功能性组合性之间摩擦的工程表现

关联概念

References