​微软披露Microsoft 365大规模故障根因:三项因素叠加 逾八成网关服务器失去响应

摘要:

微软公布11月12日至13日Microsoft 365大范围中断的初步调查结果,称故障由一项潜伏数月的Windows服务器缺陷、Teams流量切换以及网关可用容量减少共同引发。事故从协调世界时11月12日16时20分持续至次日16时10分,接近24小时。

微软称,缺陷源自今年7月为Microsoft 365网络网关服务器部署的一项修复。在特定负载下,Windows内部进程发生锁竞争,服务器的CPU和内存资源逐渐耗尽,最终停止响应。问题此前未被发现,部分原因是微软测试环境使用的硬件核心数较少;调查发现,在核心更多、较新的服务器上,锁竞争更容易加剧。微软强调,这项缺陷和相关修复只涉及Microsoft 365网关基础设施,不影响其他Windows部署。

故障发生前约15小时,Teams流量从备用网络网关切换到与Exchange Online共用的主网关,改变了流量模式并增加负载;与此同时,网关约14%的服务器容量因前一天发生的另一项问题暂时不可用。微软表示,这两项因素单独并未造成影响,但与潜伏缺陷叠加后,触发服务器过载。

服务器失去响应后,流量管理系统将请求转移到其他正常节点,反而让剩余服务器承受更大压力,故障随之逐台扩散。不到两小时,网关服务器中超过80%无法响应;原本用于隔离不同地区故障的防护措施也未能阻止问题跨区域蔓延。微软称,事故期间最严重的是Exchange Online,许多用户无法正常访问邮箱或收发邮件;Teams、Copilot、SharePoint、OneDrive等依赖Exchange功能的服务也受到不同程度影响,部分服务的聊天和会议等功能仍可使用。

恢复过程之所以拖长,是因为重启后的服务器一接收积压流量便可能再次失去响应,而缺陷早在数月前部署,常规回滚和功能开关无法快速撤销。工程师最终将连接处理代码恢复到此前稳定版本,再分批修复、重启服务器并逐步恢复流量。微软表示,11月13日14时17分全球网页邮箱服务恢复至预期水平,当天16时10分确认用户不再受到这起事故的直接影响;延迟邮件随后陆续处理完毕。

微软已增加服务器容量和监控,加入流量分配防护措施,并延长邮件投递等待时间,避免积压邮件被误判为投递失败。公司称目前没有迹象显示事故涉及恶意活动或人工智能代理,并计划在11月20日前发布最终事后报告,补充长期整改措施。

查看评论
created by ceallan