Tencent Open-Sources Hy4 Preview: 770B-Parameter MoE with 1M Context

核心信息

腾讯开源了Hy4预览版，这是一款旗舰级MoE模型，总参数770B，每个token激活49B，支持100万上下文，采用Apache 2.0许可，据称是迄今最大的代际飞跃。

要点

• 模型规模：770B总参数，49B激活参数，原生支持MTP层用于投机解码。
• 评测表现：在163位内部专家对203个真实工程任务的盲评中，平均得分2.99，略胜GLM 5.3（2.92）和Kimi K3（2.94）。
• 训练数据：基于真实生产工作流（软件工程、办公、数据等）训练。