心 智 七 篇 · Seven Mental Models
← Knowledge Atlas · 概念

认知系统性(Systematicity)

认知系统性:能思考 P 就能思考其结构邻项的必然属性,Fodor & Pylyshyn 的核心论证,联结主义的决定性考验
概念 · SYSTEMATICITY · Fodor & Pylyshyn 1988 · 能力必然关联 · 架构决定性试验

认知系统性

Systematicity — 认知能力在结构上必然关联:能理解 P 者,必然能理解 P 的结构邻项

能理解「John loves Mary」的人,必然能理解「Mary loves John」——不是因为任务难度,而是拥有相关概念在构成上就足以赋予这种能力。Fodor & Pylyshyn(1988):「任何使系统性成为偶然的架构,都是错误的架构。」这把球抛给联结主义:若神经网络处理结构变体是训练的偶然结果,该架构就无法解释人类认知。

两种架构的解释能力
符号系统「John loves Mary」的心理表征包含可分离的 JOHN/LOVES/MARY 成分,组合性自动保证系统性结构保证
标准联结主义「John loves Mary」的分布式表征不必然包含可分离成分——能否处理「Mary loves John」依赖权重配置暴力偶然性
40 年后的实证验证(Dhar & Søgaard 2024)
规模提升系统性
大模型在系统性任务上表现更好,说明规模带来某种结构泛化
指令微调降低系统性
RLHF 的代理目标与组合结构对齐不一致,导致系统性退化
分布外仍是弱点
LLM 系统性远未达到人类认知程度,可靠性和分布外泛化仍是短板
→ Compositionality · Physical Symbol System · Neurosymbolic AIFodor & Pylyshyn (1988)

认知系统性(Systematicity)

定义: 认知能力在结构上相互关联的必然属性——能够思考 P 的生物,必然能够思考 P 的结构邻项。这种关联不是训练的偶然结果,而是认知架构的结构保证。


核心现象

正常成人的认知能力呈现特征性的系统性模式

  • 能理解”John loves Mary”的人,必然能理解”Mary loves John”
  • 能推理 R(a, b) 的人,必然能推理 R(b, a)
  • 能处理”大红球”的人,必然能处理”红的大球”

这种模式的关键性质是必然性:你无法让一个人学会某个命题却让他无法理解其结构变体——不是因为任务难,而是因为拥有相关概念在构成上就足以赋予这种能力。


为什么系统性重要

Fodor & Pylyshyn(1988)将系统性确立为区分认知架构的决定性试验

任何使系统性成为偶然的架构,都是错误的架构。

这把球抛给了联结主义:若一个神经网络训练于”John loves Mary”后,能否处理”Mary loves John”是偶然的(取决于训练数据和权重),那么该架构就无法解释人类认知的系统性。


经典架构如何解释系统性

物理符号系统 / 思维语言 架构通过组合句法结构自动解释系统性:

  • “John loves Mary”的心理表征包含 JOHN、LOVES、MARY 作为组成部分
  • 具备该表征就具备了形成”Mary loves John”所需的全部成分
  • 系统性是组合性结构性推论,不需要额外解释

联结主义的困难

标准联结主义网络中:

  • “John loves Mary”的分布式表征不必然包含可分离的 JOHN / LOVES / MARY 成分
  • 在该表征上训练后,能否处理”Mary loves John”依赖权重配置——是暴力偶然性(brute contingency)
  • 网络可能被训练成能处理一句却不能处理另一句,而这种情况在人类认知中不会发生

Fodor & Pylyshyn 将此称为:联结主义将一个非偶然的认知事实变成了偶然的工程事实


联结主义的应对策略

实现层应对(Smolensky 1988)

联结主义系统在行为层面表现出组合性(功能性组合性),即使底层没有显式的符号组成部分。系统性通过调和函数(harmony function)的全局优化涌现,不需要显式组合结构。

批评:功能性系统性依赖训练分布,不能保证在新颖案例上的一致性。

张量积表征(Smolensky 1990)

用向量张量积构造具有”真实”组成部分的分布式表征:JOHN ⊗ role_agent + LOVES ⊗ role_verb + MARY ⊗ role_patient。这是否满足 Fodor & Pylyshyn 的”真实组合性”要求仍有争议。


当代 LLM 中的系统性

Dhar & Søgaard 2024 对四个 LLM 家族的实证研究:

  • 规模提升组合能力:大模型在系统性任务上表现更好,说明规模确实带来某种结构泛化
  • 指令微调降低系统性:RLHF 优化的代理目标与组合结构对齐不一致,导致系统性退化
  • 系统性仍是部分的:LLM 的系统性远未达到人类认知的程度,且依赖训练分布

这些结果在 40 年后为 Fodor & Pylyshyn 的预测提供了定量验证:大型联结主义系统确实表现出一些系统性,但系统性的可靠性分布外泛化仍是弱点。


关联概念

  • 思维语言 — 系统性的架构解释基础
  • 组合性 — 系统性的逻辑前提:部分-整体的意义函数关系
  • 物理符号系统假说 — 经典架构对系统性的解释机制
  • 神经符号 AI — 试图在联结主义基础上恢复系统性的研究纲领
  • 命题固着 — 系统性失败的另一角度:联结主义无法表达完整命题
  • 轨迹偏差 — 实证案例:符号约束与联结生成的系统性摩擦
  • 线性表征假说 — LLM 内部的结构化表征,或为系统性的神经基础

References