微软正式发布下一代Azure硬件Maia 300 AI芯片。这款新芯片专为“推理优先”场景打造，旨在支持微软将内部AI基础设施扩展至兆瓦级部署规模。
据微软介绍，Maia 300计划于2027年投入使用。在能效方面，其每兆瓦产生的令牌数预计比当前领先的基于GPU的系统高出40%。该芯片主要面向长上下文推理、响应式对话AI以及持续的多步骤智能体任务。
性能与架构升级
微软披露，由96个Maia 300加速器组成的机架，其令牌吞吐量将达到Maia 200机架的七倍。单个Maia 300机架功耗控制在167kW以内，拥有27.6TB HBM容量和每秒1.7PB的聚合HBM带宽，能够服务更多并发AI交互及更大工作负载。
Maia 300采用“推理优先架构”，通过减少数据移动并优化计算、内存和网络资源利用来提升性能。其软件定义的数据流架构结合AI辅助内核优化，确保数据保留在系统最需要的区域。
硬件规格方面，Maia 300搭载八堆HBM4内存，热设计功耗（TDP）为950W，峰值带宽达18TB/s。专用软件可将片上SRAM用作临时缓冲区，以缓解高负载下对HBM的压力。此外，该芯片采用多芯粒架构，分离计算、内存控制器和I/O功能，计算芯粒由台积电N2P工艺制造。对增强型MXFP4等低精度格式的支持，进一步降低了内存和带宽需求，有助于在同等功耗下运行更大的上下文窗口。
网络设计上，Maia 300将网络作为系统数据流的一部分，而非独立层级。加速器间通过高带宽连接实现张量并行，并基于以太网基础设施构建自定义AI传输协议，支持从单机架到数据中心级别的灵活扩展。
迭代与应用前景
此次发布建立在Maia 200的基础上。目前，Maia 200已投入生产环境，服务于Microsoft 365 Copilot及微软AI团队开发的模型。数据显示，在Teams、Copilot和Cowork等产品的内置AI功能中，Maia 200的每瓦特令牌产出比领先GPU基础设施高出多达1.7倍。GitHub Copilot和Microsoft Foundry预计将在今年年底前跟进部署Maia 200。
微软表示，Maia 300有望推动其产品和服务中新一代AI的发展，应用场景涵盖GitHub中的智能体编码，以及通过Microsoft Foundry进行的大规模模型服务，同时提升Copilot、Cowork和Microsoft Teams等具体产品的表现。