微软人工智能部门上月宣布，其MAI-Base-2基础模型已完成预训练。这是一款拥有2.8万亿参数的混合专家（MoE）视觉语言系统，在16,000块NVIDIA GB200 GPU上历时38天完成训练。据媒体报道，该模型在FLOPs效率上相当于DeepSeek-V4-Pro-Base的4.2至12.3倍，但这一数据基于缩放定律预测，并非实际算力支出的直接对比。
效率真相：理论预测而非算力节省
微软AI首席执行官Mustafa Suleyman引用的效率提升数据引发了广泛关注，但需厘清其定义。该效率比率源于拟合缩放定律——即预测模型性能随训练算力增加而改善的经验曲线。微软估算了其训练配方下，模型匹配DeepSeek-V4-Pro-Base基准分数所需的理论算力，并与DeepSeek实际消耗算力进行比较。
事实上，MAI-Base-2训练消耗的总算力高于DeepSeek-V4-Pro-Base。微软团队利用更高效算法节省下的算力预算，转而训练了一个规模更大的模型。此外，4.2倍至12.3倍的区间反映了不同基准领域的差异，且缩放定律拟合本身存在统计不确定性，微软并未公布置信区间。
四大技术支柱重构训练范式
MAI-Base-2的效率提升主要得益于四项关键的算法与基础设施创新：
Muon优化器替代AdamW：针对16,000块GPU的大规模训练，微软采用Muon优化器取代标准的AdamW。Muon通过对梯度动量矩阵进行正交化，实现更均匀的权重更新方向。为解决ZeRO分片技术与Muon需要完整权重矩阵之间的冲突，团队引入了连续的全到全集合操作，仅增加2.1%的平均迭代时间开销。
无丢弃MoE调度：传统MoE训练常因令牌溢出而丢弃数据或浪费内存。微软开发了多轮调度系统，将超出容量的令牌推迟至后续轮次处理而非丢弃。这一改进将MoE层的FLOPs利用率从24%提升至35%，使得全MoE层训练在成本上具备可行性，MAI-Base-2因此得以在每一层均使用MoE架构。
激活梯度裁剪：为解决大规模训练中的梯度尖峰问题，微软摒弃了全局梯度范数裁剪，转而在网络特定激活位置进行“手术级”裁剪。该方法不仅随模型规模扩大而增强稳定性，还充当数据质量传感器，帮助团队定位并修复了代码数据预处理中的错误。
源缩放策略：为确保小规模实验能准确预测全规模表现，微软实施“源缩放”，固定唯一令牌与模型参数之比，使小规模实验镜像全规模的数据重复动态。结合联合推导的学习率与权重衰减缩放定律，团队在运行前准确预测了模型基准行为。
无编码器视觉预训练与架构演进
与主流“插件式”视觉语言模型不同，MAI-Base-2采用无编码器架构，视觉与语言表示从预训练初期即联合学习。这种架构避免了离散视觉分词器的信息丢失及预训练编码器的归纳偏差，尽管对数据质量要求更高。凭借包含9万亿令牌的庞大视觉语料库，MAI-Base-2在这一路径上取得了实质性进展。
从MAI-Base-1到MAI-Base-2，微软在单代际内实现了显著跃升：训练语料库增长约67%，GPU数量近翻倍，总参数量接近三倍。微软估计，新配方在FLOPs效率上较前代提升6.3倍至12.7倍，验证了上述技术栈的复合作用。
商业化路径：专注企业级Foundry服务
微软明确MAI-Base-2定位为通过Microsoft Foundry提供的企业级产品，而非开源权重发布。此举旨在确保数据溯源及训练过程的可审计性，满足企业合规需求。目前，模型后训练工作仍在进行，通用可用性日期、定价及合作伙伴列表尚未公布。编码、代理能力及多模态任务的实际性能基准，将在后训练完成后披露。
与此同时，第三代模型MAI-Base-3的研发准备工作已经启动。微软AI团队表示，将继续秉持从第一性原理学习智能、可扩展简单方法及科学严谨性的原则，推动前沿性能与负责任发展的协同演进。