资讯
腾讯开源混元 Hy4 preview：770B MoE、49B 激活、百万上下文
一句话：腾讯于 8 月 28 日发布并开源混元 Hy4 preview：总参 770B、每 token 激活 49B、原生百万上下文，Apache 2.0 权重登陆 Hugging Face。
背景
- Hy4 preview 是腾讯混元六个月内第三次重大发布，面向编码、办公、科学、游戏、金融与安全等真实生产力场景，与内部 WorkBuddy 协同设计。
核心要点
- 架构：78 层 MoE，首层稠密 FFN，其余 77 层各 256 路由专家 + 1 共享专家，每 token 激活 8 个；内置多 token 预测层做推测解码。
- 上下文：原生 1,000,000 token；提供 BF16 与 FP8 权重，需 vLLM 0.29+ 或 SGLang 自编译 + FLASHMLA_SPARSE 后端。
- 注意力借鉴 DeepSeek 稀疏注意力与 GLM 的跨层索引复用（IndexCache），残差用恒等 Hyper-Connections。
- 基准：GPQA Diamond 92.3、SWE-bench Multilingual 82.9、Terminal-Bench 2.1 85.4（均为腾讯自报）。
为什么重要
- 这是继智谱 GLM-5.3、DeepSeek V4 之后中国大厂在开源前沿模型上的又一次出击，强化开源第一梯队。
- 百万上下文 + 稀疏注意力把长文档审计与 agent 工作流的成本压到可商用区间。
关键事实速记
- 开源：2026-08-28
- 规模：770B 总参 / 49B 激活 / 78 层
- 许可：Apache 2.0（HF 权重）
- API：腾讯云与 OpenRouter，输入约 ¥6/百万 token
📂 原文链接：查看原文 →
← 返回资讯列表
AI8899 · 内容仅供学习参考