资讯
arXiv 2610.13672 UPTURN：在何处「插一句话」而非改 token 来纠正推理
一句话：10-9 论文 UPTURN 提出：相比内联 token 注入，把纠正指令作为「新用户轮次」插入，更能可靠重定向失败推理；只需训练一个 13 万参数 MLP 头选择插入位置，无需微调大模型。
背景
- arXiv 2610.13672（10-9，cs.CL）：大模型难以可靠识别并纠正自身推理错误。已有训练法微调模型生成修订，本文则学习「在何处介入、如何重定向」。
核心要点
- 作者训练一个 13 万参数 MLP 头（冻结编码器上），仅用最终答案对错选择介入位置。
- 重定向用「新用户轮次」注入指令，而非内联 token；在固定生成预算下内联注入往往无法可靠重定向。
- UPTURN 无需微调大模型：保留前缀、插入新轮次、再生后缀。
- 在 4 个推理模型、6 个数学基准上均优于 32-rollout 基线，并跨推理器、跨 GPQA-Diamond 迁移。
为什么重要
- 把「自纠错」从改模型权重变成「在何处提问」的可学习策略，成本低、可迁移。
- 对长推理链的自我校准提供了轻量、可解释的增强路径。
关键事实速记
- arXiv 2610.13672（10-09）UPTURN
- 13万参数 MLP 选介入位置
- 新用户轮次 vs 内联 token
- 无需微调大模型
- 4 推理器/6 数学基准超 32-rollout
📂 原文链接：查看原文 →
← 返回资讯列表
AI8899 · 内容仅供学习参考