Connectionism and Cognitive Architecture: A Critical Analysis
Connectionism and Cognitive Architecture · A Critical Analysis
Without symbol-level combinatorial syntax-semantics, connectionism cannot explain the systematicity of human cognition
Two-level distinction — connectionism cannot replace classical symbolic architecture at the cognitive-architecture level (the target of this critique); but it can serve at the implementation level, studying how classical computation is realized in the neural substrate.
If you can think “John loves Mary”, you must also be able to think “Mary loves John” — this connection is not accidental but necessary.
If systematicity is a non-accidental feature of cognition, any architecture that makes it accidental is the wrong architecture
Connectionism and Cognitive Architecture: A Critical Analysis
来源文件:sources/fodor-pylyshyn-1988-connectionism-cognitive-architecture.md
原始出处:Cognition, 28(1–2), 3–71, 1988
作者:Jerry A. Fodor, Zenon W. Pylyshyn
DOI:10.1016/0010-0277(88)90031-5
摘要概述
Fodor 与 Pylyshyn 的这篇论文是认知科学史上最具影响力的批判文献之一(4000+ 引用),直接挑战联结主义能否替代经典符号架构。论文核心论点:联结主义模型因缺乏符号级别的组合句法-语义结构,无法解释人类认知的系统性(systematicity)。
核心论点结构
1. 两个层次的区分
联结主义模型可以在两个层次上理解:
- 认知架构层:关于心理表征本质与计算过程的主张(Fodor & Pylyshyn 的批判对象)
- 实现层:关于经典架构如何在神经底层实现的主张(Fodor & Pylyshyn 不反对)
论文的全部论证针对的是第一个层次。
2. 思维语言假说(Language of Thought, LOT)
经典认知架构的核心承诺:
- 心理表征是句法结构化的符号表达式(Mentalese)
- 心理过程对表征的句法形式敏感(非统计属性)
- 表征系统是组合性的:复杂表征的语义内容是其部分语义内容与句法排列的系统性函数
3. 系统性论证(核心)
什么是系统性:正常成人的认知能力呈现特征性相互关联——能够思考 P 的生物,必然能够思考 P 的逻辑邻项。
关键例子:
- 能思考”John loves Mary”,就必然能思考”Mary loves John”
- 能思考关系 R(a, b),就必然能思考 R(b, a)
这种关联不是偶然的,而是必然的:你无法教会某人思考”John loves Mary”却使其无法思考”Mary loves John”——这不是因为任务困难,而是因为拥有这些概念在构成上就足以赋予这种能力。
经典架构为何能解释系统性:由于组合性,“John loves Mary”的心理表征包含 JOHN、LOVES、MARY 作为组成部分。具备该表征就自动具备了形成”Mary loves John”所需的全部成分。
联结主义为何无法解释系统性:标准联结主义网络:
- 对”John loves Mary”和”Mary loves John”的表征可能不共享任何单元、任何激活模式、任何结构要素
- 网络在某个句子上训练后,能否处理结构相关的句子完全依赖训练数据和权重配置——这是偶然的
论证结论:若系统性是认知的非偶然特征,任何使其成为偶然的架构就是错误的架构。联结主义使系统性成为暴力偶然性(brute contingency),因此它不能作为认知架构理论。
4. 组合性论证
Frege 的组合性原则:复杂表达式的意义是其部分意义及其组合方式的函数。
经典表征系统必然蕴含组合性。分布式联结主义表征的问题:
- 没有句法定义的”部分”
- “John loves Mary”的表征与 JOHN、LOVES、MARY 表征之间没有原则性的组合关系
- 向量叠加(superposition)≠ 组分关系(constituency)
5. 推理一致性论证(Inferential Coherence)
类似于表征层面的系统性,推理能力也具有系统性:能执行 P, (P→Q) ⊢ Q 的生物,必然能执行结构相关的推理。联结主义面临相同困难。
6. 评估联结主义的应对策略
“实现的组合性”应对:网络可以实现组合结构,即使本身没有组合结构。 Fodor & Pylyshyn 的回应:若网络实现了组合结构,就是经典架构通过联结主义底层实现——承认了经典架构在认知层面的地位,不是联结主义替代方案。
“功能性组合性”应对(关联 Smolensky):网络在行为上表现出组合性,即使表征在结构上非组合的。 Fodor & Pylyshyn 的回应:功能性组合性依赖训练分布,无法保证在新颖案例上的系统性——而后者正是需要解释的对象。
7. 实现解释
论文建议联结主义最佳理解为实现理论,研究经典符号计算如何在神经底层中实现——与经典 AI 不是竞争关系,而是神经实现理论。
关键术语
| 术语 | 释义 |
|---|---|
| 思维语言(LOT) | 心理表征是句法结构化的符号表达式 |
| 系统性(systematicity) | 认知能力的特征性相互关联——能思考 P 就能思考其结构邻项 |
| 生产力(productivity) | 有限系统生成无限多不同表征的能力 |
| 组合性(compositionality) | 复杂表达式的意义由部分意义及组合方式决定 |
| 推理一致性 | 推理能力的系统性关联,平行于表征层面的系统性 |
| 经典架构 | 符号表征+句法操作的认知模型(物理符号系统) |
| 联结主义架构 | 分布式表征+学习权重连接的模型,无显式符号操作 |
| 实现解释 | 联结主义作为经典计算的神经底层实现理论 |
| 暴力偶然性 | 系统性在联结主义中成为非必然的经验事实,而非架构保证 |
与现有 Wiki 概念的联系
- 物理符号系统假说:Fodor & Pylyshyn 的”经典架构”即 Newell & Simon 的 PSSH。系统性论证强化了为何符号结构不可或缺。
- 神经符号 AI:本论文提出的矛盾是神经符号 AI 第三波试图调和的核心对立。
- 命题固着:Fodor & Pylyshyn 的系统性论证与命题固着论点是同一枚硬币的两面——联结主义既无法表达完整命题结构,也无法保证系统性。
- 轨迹偏差:RANLP 2025 的实证证据(约束解码破坏语义推理)是系统性论证的当代实验支撑:符号约束在推理时叠加到神经系统上,产生的架构摩擦印证了两者不等价。
- 约束解码:工程层面强行加入符号规则的实践,与本论文的”实现解释”立场相呼应——约束解码是经典规则实现在神经底层的一种形式。
- 从词到世界(2407.13419):2024 年实证研究直接检验本论文的核心预测——LLM 是否真的展示了系统性组合能力?
在 ch-07(符号与联结主义)章节中的位置
Fodor & Pylyshyn 1988 是构成张力的原点:系统性论证划定了联结主义必须回答的核心问题。后续每篇文献(Smolensky 的理论回应、2024 年的实证研究、轨迹偏差的工程案例)都是这个张力的延伸。
References
- 原始来源:
sources/fodor-pylyshyn-1988-connectionism-cognitive-architecture.md - 直接对话:Smolensky 1988
- 当代实证:Dhar & Søgaard 2024
- 相关基础:Newell & Simon 1975 (sources)