实
Maximilian Schall
NLP 研究者——与 Gerard de Melo 合作,首次系统性证明约束解码的语义代价
Schall 与 de Melo 合作,通过对 11 个模型的跨基准实验,命名并实证了「轨迹偏差」——约束解码在保持句法合规的同时,系统性损害语义正确性。这是约束解码代价的首个大规模量化研究。
主要研究
2025The Hidden Cost of Structure(RANLP 2025)首次系统性证明约束解码句法合规 vs 语义正确的权衡——11 个模型,跨基准实验
2025Draft-Conditioned Constrained Decoding(arXiv:2603.03305)与 Castillo、de Melo 合作——两阶段分离(草稿生成 + 格式约束)缓解轨迹偏差的算法解
核心发现 基础模型 vs 指令微调模型 约束下两类模型行为分歧显著——指令微调模型更脆弱,约束对其语义损害更大 Draft-Conditioned 解法 先自由生成草稿(保持语义完整性),再用约束解码格式化——解耦语义生成与格式约束 理论意义 约束解码不是「免费的午餐」——格式合规的代价是可量化的语义偏差
→ Trajectory Bias · Constrained Decoding · Structured OutputsRANLP 2025 / arXiv:2603.03305
Maximilian Schall
简介
Maximilian Schall,NLP 研究者,与 Gerard de Melo 合作研究 LLM 约束解码与推理质量。
主要贡献
- 轨迹偏差(Trajectory Bias)命名与实证(RANLP 2025):首次系统性证明约束解码在保持句法合规的同时会损害语义正确性,通过对 11 个模型的跨基准实验识别了基础模型与指令微调模型在约束下的分歧行为。
- Draft-Conditioned Constrained Decoding(arXiv:2603.03305, 2025):与 Castillo、de Melo 合作提出通过草稿-格式两阶段分离来缓解轨迹偏差的算法解。
相关概念
References
- Schall & de Melo. “The Hidden Cost of Structure.” RANLP 2025.
sources/ranlp-2025-hidden-cost-constrained-decoding.md