这个全球性的系统故障使得用户无法登录到他们的帐户并验证所有的云服务。

由于 Clop 勒索软件的攻击，12月14日，星期一，用户在将近一个小时的时间里无法访问 Gmail，

在宕机期间，用户无法通过 Gmail 移动应用程序发送电子邮件，也无法通过 POP3为桌面客户端接收电子邮件，而 YouTube 访问者看到的错误信息表明，“服务器出了问题(503)——点击重试。”

停机影响和根本原因

“2020年12月14日星期一，美国/太平洋时间3:46到4:33，所有谷歌用户账户的凭证发放和账户元数据查找失败，”谷歌解释说。”因此，我们无法验证用户请求是否经过身份验证，以及是否为几乎所有经过身份验证的通信量处理了5xx 错误。

“大多数认证服务都经历了类似的控制平面冲击: 所有 Google 云平台和 Google Workspace api 及控制台的错误率都有所提高。”

这次宕机的根本原因是由于一个 bug 影响了自动配额管理系统，导致谷歌中央身份管理系统的容量下降。 

这导致了验证 Google 用户请求是否经过身份验证的问题，从而导致在所有身份验证尝试中显示错误。

全球身份管理系统

谷歌用户识别服务是周一谷歌宕机事件的根源，它为所有谷歌账户存储唯一的标识符，并管理 OAuth 令牌和 cookies 的身份验证凭据。

它还将用户帐户数据存储在一个分布式数据库文件夹中，该文件夹利用 Paxos 协议协调身份验证期间的更新。

由于用户识别服务出于安全原因在检测到过时数据时会拒绝请求，所有需要 Google OAuth 访问的面向用户的谷歌服务在服务开始出现问题并开始发出过时的识别码后就无法使用。

“谷歌使用一套不断发展的自动化工具来管理分配给服务的各种资源的配额，”该公司在今天发布的一份摘要报告中表示。

发言人说: 「作为用户身份证服务向新配额制度过渡的一部分，我们在十月作出修订，将用户身份证服务登记为新配额制度，但原有配额制度的部分内容仍然保留，错误地将用户身份证服务的用量报为0。」

「现时有关实施配额限制的宽限期延缓了最终到期的影响，触发自动配额系统，减少用户身份证服务的配额，并引发这次事件。」

尽管设置了安全检查以防止计划外的配额更改，但是它们无法对零报告负载单个服务的场景做出正确的反应。

“结果是，账户数据库的配额减少了，这使得 Paxos 的领导人无法写作，” Google 补充道。”不久之后，大多数读取操作变得过时，导致身份验证查找出错。”

谷歌表示，这次大规模宕机还影响了公司的内部用户和工具，导致宕机调查和状态更新报告出现延迟。

在一天之内受到第二次宕机影响

在认证问题于周一得到解决后，Gmail 总共受到了大约7个小时的第二次宕机影响，这次宕机影响到了一部分有电子邮件传递问题的 Gmail 用户。

谷歌在今天发布的另一份报告中说: “错误信息表明邮件地址并不存在，因此受影响的邮件从未发送。”。”受影响的发件人可能收到了由中间 SMTP 服务产生的退回邮件。”

”在某些情况下，反弹邮件中引用了完整的 SMTP 错误消息。这些消息的行为取决于连接到 Google SMTP 服务的外部SMTP 客户端。”

第二次宕机的原因是为了更新 Gmail SMTP 入站服务的底层配置系统而进行的迁移。

“迁移过程中的一个配置更改改变了服务选项的格式化行为，导致它错误地向 Google SMTP 入站服务提供了一个无效域名，而不是预期的‘ gmail. com’域名，”谷歌表示。

“因此，该服务错误地将以"@gmail. com 结尾的某些电子邮件地址的查找转换为不存在的电子邮件地址。”。

“当 Gmail 用户账户服务检查每个不存在的电子邮件地址时，服务无法检测到一个有效用户，导致 SMTP 错误代码为550。”