资讯
Magnitude：Apache-2.0 本地自调优推理引擎，较 llama.cpp 快至 2×
一句话：9 月 30 日 Magnitude 在 HN 发布：用 Rust 编写的自调优本地推理引擎，较 llama.cpp 最高快 2×、M4 Pro 上 decode 提升 92%，内存少 27%，YC S25 项目。
背景
- 本地推理要普及，瓶颈在 kernel 效率与显存占用；Magnitude 以「自调优」试图在消费级硬件上逼近云端体验。
核心要点
- Magnitude 是 Apache-2.0 许可的本地推理引擎，采用 Rust 编写，内置自调优 kernel。
- 官方基准称较 llama.cpp 最高快 2×；在 Apple M4 Pro 上 decode 速度提升约 92%。
- 内存占用减少约 27%，更适配笔记本与边缘设备长期运行。
- 属 YC S25 项目，已支持 Pi、Codex、Claude Code 等工具链调用本地模型。
为什么重要
- 把「自调优 + 低显存」带进本地推理，降低隐私敏感场景与离线环境的部署成本，可能成为端侧 agent 的默认底座之一。
关键事实速记
- 发布：2026-09-30（HN）
- 许可：Apache-2.0；语言：Rust
- 速度：较 llama.cpp 最高 2×
- M4 Pro：decode +92%、内存 -27%
- 背景：YC S25
📂 原文链接：查看原文 →
← 返回资讯列表
AI8899 · 内容仅供学习参考