Seven Mental · 心智七篇
中 EN
← Knowledge Atlas · Concept

组合性（Compositionality）

组合性：复杂表达式的意义由部分意义和组合方式决定（Frege 原则），系统性的逻辑前提，联结主义的核心挑战
念
CONCEPT · COMPOSITIONALITY · SEMANTIC PRINCIPLE

Compositionality

Compositionality — Frege’s principle and cognitive systematicity

The meaning of a complex expression is a systematic function of its parts’ meanings and how they combine. Finite vocabulary + finite rules yield unbounded understanding — the secret of human language and the core demand of symbolic AI.

M(f(a, b)) = F(M(a), M(b), f)
learnability
finite vocabulary + rules → understand unbounded new expressions; learn the parts, combine into anything
systematicity
the representation of “John loves Mary” contains JOHN, LOVES, MARY → guarantees the capacity to understand “Mary loves John”
predictability
the meaning of a new expression is fully determined by known parts — a property neural nets struggle to guarantee
the LLM compositionality gapLLMs exhibit some compositional generalization but are less systematic than humans, and are prone to compositional tail failures on longer phrases. Neurosymbolic hybrids (SCAN / COGS benchmarks) offer a patching route.
→ Systematicity · Language of Thought · Neurosymbolic AIFrege (1892) · Fodor-Pylyshyn (1988)

组合性（Compositionality）

定义： Frege（1892）提出的语义原则：复杂表达式的意义是其组成部分的意义及其组合方式的系统性函数。这是语言哲学和认知科学中组织表征能力的核心原则。

原则的形式表述

Frege 原则（也称”组合性原则”）：

M(f(a, b)) = F(M(a), M(b), f)

其中 M 是意义函数，f 是句法结构，a、b 是组成部分，F 是语义组合规则。

意义的三个要素：

  1. 部分的意义：JOHN 表示约翰，LOVES 表示爱，MARY 表示玛丽
  2. 句法结构：LOVES(JOHN, MARY) 中，JOHN 是论元一，MARY 是论元二
  3. 组合规则：谓词-论元结构的语义解释规则

为什么组合性重要

可学习性论证

人类用有限的词汇和有限的规则，能理解和产生无限多从未见过的表达式。这只能通过组合性来解释——学会部分和规则，就能组合出任意新表达。

系统性论证

组合性是系统性的逻辑基础：若系统具有真正的组合表征，则”John loves Mary”的表征必然包含 JOHN、LOVES、MARY 作为组成部分，从而保证了理解”Mary loves John”的能力。

可预测性

组合性使语义行为可以从部分预测整体，是语言理解可解释性的基础。

组合性与联结主义的张力

标准分布式表征的问题

联结主义的分布式表征（激活向量）通常不具备组合性：

  • “John loves Mary”的激活模式中，没有可识别的 JOHN / LOVES / MARY 子部分
  • 向量叠加（superposition）改变了整个激活模式，无法析出组成部分
  • 语义组合无法通过对激活向量的代数运算来准确捕获

Fodor & Pylyshyn（1988）: 联结主义的”表征”是全局的，而非组合的；系统性因此成为偶然的训练结果，而非架构保证。

Smolensky 的张量积解答（1990）

通过张量积构造：

JOHN ⊗ role_agent + LOVES ⊗ role_verb + MARY ⊗ role_patient

这种”分布式、张量积的组合性”可以数学地分解出角色绑定的成分。批评：这实际上在联结主义底层重新实现了符号结构，可能只是另一种”实现经典架构”的形式。

功能性组合性 vs 结构性组合性

类型定义代表立场
结构性组合性表征在结构上由组成部分构成，句法操作可以操纵这些部分Fodor & Pylyshyn，经典 AI
功能性组合性系统在行为上表现出组合性，但不要求底层表征具有显式组成部分Smolensky，联结主义

争论的核心：功能性组合性是否足以解释认知的系统性？

Fodor & Pylyshyn 的立场：不足够。功能性组合性依赖训练分布，无法保证新颖案例上的系统性——而人类认知中的系统性是不依赖训练历史的必然属性。

LLM 时代的实证证据

Dhar & Søgaard 2024 对 LLM 组合能力的系统测试：

测试的三个维度

  • 可替换性（Substitutivity）：同义词替换不改变意义——等价于最弱的组合性要求
  • 系统性与全局性（PLANE）：已知组合模式在新语境中的泛化
  • 过度泛化（COMPCOMB）：区分组合性化合物与非组合性化合物（turncoat ≠ 一种 coat）

关键发现

  • 规模提升组合能力（与 Fodor & Pylyshyn 的预测部分相符——联结主义可以接近组合性）
  • 指令微调降低组合性（RLHF 优化目标与组合语义结构不对齐）
  • 形容词-名词组合（subsective adjectives）是持续的弱点——与儿童发展轨迹平行

工程层面的组合性

当代 LLM 工程中多处涉及组合性：

  • 结构化输出（structured-outputs）：JSON Schema 是一种规范组合性——复杂 JSON 对象的结构由其字段的类型和嵌套关系确定
  • 约束解码（constrained-decoding）：上下文无关文法（CFG）是组合性的标准形式化——产生式规则定义了如何从部分组合成整体
  • 轨迹偏差（trajectory-bias）：将符号组合约束施加于联结主义生成时，会产生语义偏移——这正是结构性组合性与功能性组合性之间摩擦的工程表现

关联概念

References