微软完成 MAI-Base-2 预训练,推进其自有基础模型管线

English

微软已完成 MAI-Base-2 的预训练,这是一个总参数达 2.8 万亿的 MoE 模型,目前正在进行后训练。此次披露详细介绍了训练效率与基础设施方面的工作,但成品能力与正式可用性仍有待公布。

微软于 10 月 15 日披露,已完成 MAI-Base-2 的预训练。这是一个混合专家基础模型,总参数为 2.8 万亿,每 token 激活 800 亿参数。目前后训练正在进行中。

此次公告详细展示了微软在同步开发模型与训练基础设施方面的努力,同时将成品的能力与可用性留待后续更新说明。

效率提升被用于训练更大的模型

微软表示,此次训练运行在 8 月和 9 月使用 16,000 块 NVIDIA GB200 GPU,历时 38 天。其报告称,效率提升来自数据准备、模型架构和基础设施方面的工作。

微软估计,在选定的预训练评测中,其训练配方要达到与 DeepSeek-V4-Pro-Base 相当的表现,所需计算量会少 4.2 至 12.3 倍。微软表示,这些节省被重新投入到训练一个更大的模型上。

这些是微软在其评测方法下作出的估计,不应被解读为运行成品助手的成本会有同等幅度的下降。

评测能告诉我们什么

这些比较使用了留出的代码、问答、数学和 STEM 材料。微软还指出,一些用于比较的模型是经过后训练的检查点,这可能会影响结果。

对读者而言,区分预测质量与任务完成能力很重要。模型可能在预训练期间学到强大的表征,但一个有用的助手还必须能够理解指令、恰当选择工具,并在尝试执行的操作失败时恢复。

这些行为需要单独评测。更低的预训练损失本身并不能证明智能体能够可靠地完成软件变更或分析业务文档。

下一个考验是产品

微软计划通过 Foundry 向可信合作伙伴提供模型权重,但尚未宣布正式发布日期。

AIYXL 观点:此次披露提供了微软底层训练管线取得进展的证据。下一阶段将展示这种进展如何转化为可用的模型:哪些任务得到改善、获取成本是多少,以及这些收益能否在客户的实际工作负载中持续存在。

来源