实
Gerard de Melo
计算语言学与 NLP 研究者——轨迹偏差概念的命名者与实验揭示者
de Melo 与 Maximilian Schall 合作(RANLP 2025),系统性实验揭示约束解码对 LLM 推理质量的隐性代价,命名并量化了「轨迹偏差」现象:约束施加的累积扰动将解码路径系统性推离语义最优方向,即使输出在句法上完全合规。
研究贡献 轨迹偏差命名 系统性实验揭示约束解码的隐性语义代价——格式合规率不等于任务准确率 指令模型 vs 基础模型 11 个模型实验发现关键分歧:指令微调模型受轨迹偏差影响更强,因对话目标与文法约束产生摩擦 预测工具 基础模型在约束条件下的表现可预测其指令微调后的结构化输出能力 Draft-Conditioned 解法 arXiv:2603.03305(2025):草稿-格式分离缓解轨迹偏差——先推理再格式化
工程影响 训练时集成 仅推理时施加约束是根本性错位——将约束纳入训练阶段是长期方向 CRANE 理论连接 de Melo 的实证与 CRANE(Beurer-Kellner 2025)的理论证明互为佐证
→ Trajectory Bias · Structured OutputsSchall & de Melo (RANLP 2025)
Gerard de Melo
简介
Gerard de Melo,计算语言学与 NLP 领域研究者,研究方向涵盖语言理解、知识表示与 LLM 结构化生成。
主要贡献
- 轨迹偏差研究(RANLP 2025,与 Maximilian Schall 合作):系统性实验揭示约束解码对 LLM 推理质量的隐性代价,发现指令微调模型与基础模型在约束下的分歧,提出基础模型约束性能可作为指令微调后结构化输出能力的预测指标。
- Draft-Conditioned Constrained Decoding(arXiv:2603.03305, 2025):提出通过草稿-格式分离缓解轨迹偏差。
相关概念
References
- Schall & de Melo. “The Hidden Cost of Structure.” RANLP 2025.
sources/ranlp-2025-hidden-cost-constrained-decoding.md