
微软发布的初步事后报告(PIR)显示,一个自今年7月起潜伏在云网关中的缺陷,是导致上周该公司历史上最大规模中断事件的主因。报告指出,该潜在漏洞、突发的流量变化以及服务器容量缩减共同作用,致使大部分 Microsoft 365 和 Exchange 基础设施在上周末离线。微软明确将该事件定性为“技术问题”,排除了网络攻击或 AI/智能体因素。
此次中断发生于协调世界时11月12日16:20至11月13日16:10,持续近24小时。针对受影响系统的额外监控持续至11月14日。事件迅速波及依赖微软云和邮件交换基础设施的企业及公共机构,对应事件编号为 EX1550543 和 MO1550821。
三重因素叠加引发“完美风暴”
微软将事故归因于三个关键因素。首先,今年7月部署至云网关的一项更改引入了漏洞,在特定条件下会导致 CPU 和内存资源耗尽且无响应。由于测试环境硬件性能低于部分生产环境系统,该缺陷未在发布前被发现;生产环境中更高核心的 CPU 反而加剧了锁定问题。
其次是服务器负载激增。在中断发生前约15小时,Teams 流量从备用网关切换至主网关,以维持 Exchange Online 访问。这一标准故障转移机制虽旨在确保弹性,却使主网关承受了更多流量及不同以往的请求组合。随着请求堆积,服务器容量耗尽并拒绝新连接。
第三个因素是基础设施容量不足。现有故障导致网关服务器集群运行状况比最优条件低14%。这部分缺失的余量本可吸收需求激增,但在与流量模式变化及底层缺陷结合后,引发了严重的锁争用。随着美国业务进入每日高峰,网关服务器开始冻结。备份系统虽尝试接管,但同样遭遇锁定,产生雪崩效应,导致超过80%的受影响网关服务器瘫痪。目前报告未解释区域隔离机制失效的具体原因。
修复受阻:重启与回滚均无效
恢复过程异常艰难。由于修复需进行有针对性的系统更新,简单的重启网关服务器无效:服务器重新上线后,积压的请求队列立即再次触发资源耗尽。虽然 Teams、OneDrive 等服务可路由避开受影响设施,但扩展限制使 Exchange Online 无法采取类似措施。
此外,由于7月引入的漏洞已深入系统,回滚至此前状态同样无效。微软不得不逐步为服务器打补丁并重新投入使用,同时增加额外容量和流量分配护栏以防复发。为防止延迟消息被退信,微软还延长了受影响邮件的投递超时时间。
微软预计将于11月20日发布完整的最终事件报告,进一步澄清区域隔离失效原因及未来纠正措施。截至周一上午,微软所有云服务已显示正常运行。