资讯
OpenAI 上线 GPT-6.1 Sol「Ultrafast 模式」：首 token 延迟约 1/3、单位成本降约一半
一句话：10-10 OpenAI 在开发者文档上线 GPT-6.1 Sol 的「Ultrafast 模式」指南：在保持质量前提下将首 token 延迟压到约 1/3、单位成本降约一半，面向实时交互场景。
背景
- OpenAI 开发者文档 10-10 更新：GPT-6.1 Sol 推出 Ultrafast 模式，针对低延迟、高并发的实时应用优化推理路径。
核心要点
- Ultrafast 模式首 token 延迟约为标准模式的 1/3，适合语音、实时对话与游戏化交互。
- 单位 token 成本下降约 50%，通过更激进的投机解码与缓存实现。
- 质量在多数任务上保持持平；复杂长推理任务建议仍用标准模式。
- 通过 API 参数 `reasoning_effort=ultrafast` 开启，兼容现有调用。
- 配套推出流式「渐进式答案」：先给结论，再补细节。
为什么重要
- 把前沿模型推理延迟与成本进一步压低，利好实时语音与端侧边缘场景。
- 推理档位化（ultrafast / standard / deep）成为 API 服务新范式。
关键事实速记
- GPT-6.1 Sol Ultrafast（10-10）
- 首 token 延迟 ≈1/3
- 单位成本 ≈降 50%
- reasoning_effort=ultrafast
- 渐进式流式答案
📂 原文链接：查看原文 →
← 返回资讯列表
AI8899 · 内容仅供学习参考