谷歌官方道歉揭示云故障根源,忽视DevOps方法导致70次服务中断

2025年6月16日,谷歌就6月12日发生的全球云中断事件发布官方道歉和事件报告。

这次中断导致 70 多个 Google 云服务关闭了 7 个小时,对 Gmail、YouTube、Spotify、Discord、OpenAI 和 Shopify 等数十项服务产生了连锁效应。

发现失败的根本原因是5月份推出的“配额策略检查”中的新功能。此功能在野外测试不充分,并且没有使用行业标准功能标志逐步淘汰。包含空白条目的格式错误的策略被分发到世界各地的数据中心,导致系统进入无限崩溃循环。

工程师在 10 分钟内发现了问题,但花了 7 个小时才完全恢复系统。谷歌云首席执行官 Thomas Kurian 正式道歉,并承诺实施架构变更、审核所有系统并改善沟通。这次失败凸显了当今依赖云的社会的脆弱性。

从: 谷歌在长达数小时的云中断后发布道歉和事件报告

【编辑部评论】

6月12日故障发生四天后,谷歌终于发布了详细的技术解释和未来的对策。6 月 13 日,该网站发布了一篇突发新闻文章。然而,最初的情况是“谷歌正在努力恢复,但没有表明修复它的预定时间。”这份事件报告揭示了故障的全部范围。

技术故障的严重程度

最值得注意的是,谷歌忽视了现代软件开发中常识性的保护措施。通过功能标志逐步部署是 Netflix、Facebook 和 Microsoft 等主要科技公司使用的标准做法,以最大限度地降低新功能的风险。

原本,5月29日推出的配额政策功能应该在一小群用户中进行测试,并确认没有问题后才推出。然而,它实际上是一次性部署的,并且包含空白字段的欺诈数据在全球范围内传播。

连锁故障的教训

这次故障特别严重的是,它甚至影响了不直接依赖于 Google Cloud 的服务。正如上一篇文章所报道的,看似不相关的服务同时被暂停:用于音乐流媒体的 Spotify、用于游戏社区的 Discord 以及用于人工智能开发的 OpenAI。

特别是,当 Cloudflare 发言人澄清“这是 Google Cloud 的失败”时,很明显,尽管两家公司表面上是竞争,但在实际的基础设施层面上存在着相互依赖的关系。这说明现代互联网是通过“隐形依赖”连接起来的。

对行业的连锁反应

谷歌的回应也可能会影响其他云提供商。亚马逊网络服务、微软Azure、IBM云和其他公司也将被鼓励重新考虑他们的灾难响应协议。

特别是,谷歌“改善自动化和人类通信”的承诺将在中断期间带来更大的透明度。到目前为止,在发生云故障的情况下,通常只提供诸如“恢复工作正在进行中”之类的模糊信息,而客户公司很难做出回应。

重新思考风险管理

此事件对企业云战略具有重要影响。尽管人们重新认识到多云战略的重要性,但完全冗余会带来技术复杂性和成本问题。

尤其是对于中小型企业来说,使用多个云提供商是不切实际的。相反,重要的是依赖关系的可视化以及发生故障时业务连续性计划(BCP)的制定。

托马斯·库里安的责任和未来

正如上一篇文章中提到的,Thomas Kurian 领导的谷歌云是近年来快速增长的细分市场,并受益于人工智能的需求。这次正式道歉可以说是他的领导力将受到考验的重要时刻。实施承诺的改进将是重新获得对 Google Cloud 信任的关键。

【术语解释】

配额政策检查
管理和监控云服务中用户的资源使用限制的功能。控制 API 请求的频率和数量。

特征标志
分阶段发布新功能的开发方法。仅向有限数量的用户提供新功能,以最大程度地减少出现问题时的影响。

503错误
HTTP 状态代码表示 Web 服务器暂时不可用。当服务器过载时发生。

单点故障
单个组件可能会导致整个系统停止工作。如果这个部分出现故障,整个系统都会受到影响。

[参考链接]

谷歌云平台(外部)
由谷歌提供的云计算服务。它提供人工智能/机器学习、数据管理和混合/多云解决方案。

云耀(外部)
一种 CDN 服务,可提高世界各地网站的安全性和性能。它保护大约 20% 的网站,平均每天阻止 247 亿个威胁。

开放人工智能(外部)
一家开发ChatGPT和GPT-4等大规模语言模型的AI研究公司。它通过 API 为许多应用程序提供 AI 功能。

购物(外部)
全球最大的电子商务平台之一。数以百万计的企业在超过 175 个国家/地区经营在线商店。

谷歌云服务健康状况(外部)
官方状态页面,您可以在其中查看 Google Cloud 服务的运行状态和事件历史记录。您可以实时监控服务状态。

[参考文章]

谷歌就长达数小时的云服务中断发表道歉和事件报告
谷歌周五发布的官方道歉和事件报告的详细信息。描述了由于多层有缺陷的更新导致全球 70 多项服务中断。

[编者后记]

谷歌云中断再次凸显了我们日常依赖的数字基础设施的漏洞。

您的公司或个人项目是否有任何部分依赖于云服务?如果您能借此机会回顾一下您偶尔使用的服务所建立的技术基础,我将非常高兴。

此外,您的组织在多云策略和备份系统方面采取了哪些措施?请通过SNS告知我们。

在 innovaTopia 上阅读更多云计算新闻