← Knowledge Atlas · 源头
Energy-Based Diffusion Language Models for Text Generation
EDLM：能量扩散语言模型，非自回归文本生成
源
能量模型 × 扩散语言模型
在每个扩散步骤引入残差 EBM——修正近似误差 · 减步数不退化
主流Autoregressive
逐 token 串行 · 顺序依赖
挑战Diffusion + EBM
并行生成 · EBM 每步修正
核心创新
残差式 EBM在每个扩散步骤全序列级评估，修正底层近似误差——解决减步数时性能退化
参数来源从预训练 AR 模型获取，或通过噪声对比估计微调双向 Transformer
高效采样并行重要性采样 · 比现有扩散模型加速 1.3×
定位挑战「所有 LLM 都是自回归」假设——困惑度尚未追平 AR，但正在接近。代表 LLM 架构多元化的趋势。
→ diffusion-lm · autoregressive-models · energy-based-modelsresearch.nvidia.com
Energy-Based Diffusion Language Models for Text Generation
- 来源:
sources/nvidia-energy-based-diffusion-lm.md - URL: https://research.nvidia.com/publication/2025-01_energy-based-diffusion-language-models-text-generation
- 作者: Minkai Xu, Tomas Geffner, Karsten Kreis, Weili Nie 等 (Stanford / NVIDIA)
- 发布: 2025-01 (ICLR 2025)
摘要
提出 Energy-Based Diffusion Language Model (EDLM)，将能量模型引入离散扩散过程的每一步，在全序列级别进行评估。解决了离散扩散模型在减少采样步数时性能退化的问题。
核心思想
- 自回归之外的范式：与逐 token 生成的自回归模型不同，扩散模型支持并行生成
- 能量模型修正：在每个扩散步骤引入残差形式的 EBM，修正底层近似误差
- 参数来源：可从预训练自回归模型获取，或通过噪声对比估计微调双向 Transformer
- 高效采样：并行重要性采样算法，比现有扩散模型加速 1.3 倍
定位
这是对当前”所有 LLM 都是自回归”假设的挑战。虽然尚未达到自回归模型的困惑度，但正在接近。代表了 LLM 架构多元化的趋势。
与 Agent 工程的距离
目前与 agent 工程的直接关联有限。但如果非自回归生成范式成熟，可能根本改变 agent 系统的推理模式——例如从顺序 token 生成转向并行生成，影响 context management 和 prompt 设计的基本假设。
References
sources/nvidia-energy-based-diffusion-lm.md