资讯
论文《ELF-REG》：把连续扩散语言模型扩展到推理任务
一句话：9 月 arXiv 论文《ELF-REG》提出用表示对齐与纠缠（REPA+REG）把连续扩散语言模型（dLM）扩展到数学推理与代码生成，GSM8K pass@1 达 55.96%。
背景
- 扩散语言模型以并行去噪生成文本，推理能力此前弱于自回归模型；ELF-REG 尝试缩小这一差距。
核心要点
- ELF-REG 在 Embedded Language Flows（ELF）连续扩散语言模型上加入 REPA+REG。
- 由冻结的自回归教师监督中间去噪特征并提供全局表示。
- GSM8K pass@1 达 55.96%（64 NFE），HumanEval 22.56%（128 NFE）。
- 无需少步训练即可通过 early-stop 在 16 NFE 取得 41.21% HumanEval pass@10。
为什么重要
- 连续扩散 LM 具备并行生成的效率优势，推理能力的突破可能催生更低延迟、更省算力的生成范式。
关键事实速记
- 论文：arXiv 2609.29102（2026-09）
- 方法：REPA+REG（表示对齐 + 纠缠）
- 成绩：GSM8K 55.96% / HumanEval 22.56%
- 意义：扩散 LM 推理化
📂 原文链接：查看原文 →
← 返回资讯列表
AI8899 · 内容仅供学习参考