Tencent Open-Sources Hy4 Preview: 770B MoE with 1M Context

核心信息

腾讯已开源混元 Hy4 预览版，这是一款旗舰级 MoE 模型，总参数 770B（每 token 激活 49B），支持 100 万上下文，采用 Apache 2.0 许可。腾讯称这是其迄今测得的最大代际跃升；在 203 个真实工程任务的内部盲测中，其得分略高于 GLM 5.3 和 Kimi K3。

要点

• 开源：Apache 2.0 许可，发布首日即可在 NVIDIA GPU 上通过 vLLM 运行。
• 架构：总参数 770B，每 token 激活 49B，256 个路由专家加 1 个共享专家；内置原生 MTP 层，开箱即用支持投机解码。
• 性能：163 位内部专家对 203 个真实工程任务进行盲评，Hy4 平均 2.99 分，优于 GLM 5.3（2.92）和 Kimi K3（2.94）。
• 训练重点：基于真实生产工作流训练，涵盖软件工程、办公和数据等任务。