美國勞動節(jié)（9月第一個星期一）周末，亞馬遜網(wǎng)絡(luò)服務(wù)中心的一個數(shù)據(jù)中心發(fā)生斷電，導(dǎo)致部分客戶數(shù)據(jù)丟失。

消息源來自IT外媒The Register，據(jù)其獲悉，電源停掉、備用發(fā)電機隨后又出現(xiàn)故障時，一些虛擬服務(wù)器實例如同人間蒸發(fā)，一些云托管的卷被破壞，不得不盡可能靠備份來恢復(fù)。

據(jù)一位注冊讀者透露，周六上午，亞馬遜的云業(yè)務(wù)開始在其us - east -1地區(qū)遭遇崩潰。

這位讀者稱，他們在AWS的云托管彈性塊存儲（EBS）中有超過1TB的數(shù)據(jù)，這些數(shù)據(jù)在故障期間銷聲匿跡：他們被告知“與您的EBS卷有關(guān)的底層硬件已出現(xiàn)故障，與該卷有關(guān)的數(shù)據(jù)恢復(fù)不了?！?

該讀者稱，靠大約8小時之前創(chuàng)建的EBS快照手動恢復(fù)的數(shù)據(jù)。若沒有這個備份，他們可能無法恢復(fù)任何丟失的信息：亞馬遜的工程師能夠使絕大多數(shù)宕機的系統(tǒng)起死回生，不過并非每個存儲卷都在硬件崩潰后幸免于難。

AWS的工作人員告訴數(shù)據(jù)存儲在宕機存儲系統(tǒng)上的不走運的客戶，盡管試圖恢復(fù)丟失的數(shù)據(jù)，但是部分?jǐn)?shù)據(jù)已被永久打亂：“少數(shù)卷托管在受停電不利影響的硬件上。然而，由于停電事件造成的損害，支撐這些卷的EBS服務(wù)器沒有恢復(fù)過來。”

“在進一步嘗試恢復(fù)這些卷之后，它們被查明無法恢復(fù)?！?

與此同時，一名客戶兼技術(shù)顧問Andy Hunt不僅在Twitter上吐槽他們的數(shù)據(jù)在停電時丟失殆盡，還聲稱AWS沒有迅速向用戶告知故障的根源：“AWS遇到了電源故障，它的備用發(fā)電機出了故障，結(jié)果EBS服務(wù)器因此崩潰，因此我們的所有數(shù)據(jù)一并遭殃。然后AWS花了四天的時間才查清楚這起事件，并告訴我們詳情?！?

“提醒：云只是位于Reston的一臺計算機，電源供應(yīng)很糟糕?！?

“受損”

雖然AWS的狀態(tài)頁面上公布了一些停機時間的細(xì)節(jié)，但El Reg看到了一系列更詳細(xì)的通知，這些通知向客戶解釋了這個錯誤。

就在 11：00 PDT之前，AWS指出，“在US-East-1地區(qū)的六個可用區(qū)域之一的十個數(shù)據(jù)中心中，有一個出現(xiàn)了公用電力故障。備用發(fā)電機立即啟動，但由于我們?nèi)栽谡{(diào)查的原因，在 06：00 PDT左右開始迅速失靈?！?

“這導(dǎo)致該可用性區(qū)域中7.5%的實例在 06：10 PDT之前失敗，”報告繼續(xù)說道?！霸谶^去幾個小時內(nèi)，我們已經(jīng)恢復(fù)了大多數(shù)實例，但在可用性區(qū)域內(nèi)仍有1.5%的實例有待恢復(fù)。EBS也存在類似的影響，我們將繼續(xù)恢復(fù)EBS中的卷。在該區(qū)域啟動新實例將繼續(xù)正常工作。”

大約幾小時后，在太平洋標(biāo)準(zhǔn)時間13：30分，AWS澄清并擴展了它的說明如下：

在 04：33 PDT，位于US-East-1地區(qū)六個可用區(qū)域之一的十個數(shù)據(jù)中心之一出現(xiàn)了公用電力故障。我們的備用發(fā)電機立即啟動，但在06：00 PDT左右開始失靈。這影響了可用性區(qū)域中7.5%的EC2實例和EBS卷。

在PDT為 07：45 時，受影響的數(shù)據(jù)中心已完全恢復(fù)供電。到 10：45 PDT時，除1%以外的所有實例都恢復(fù)了，到 12：30 PDT時，只有0.5%的實例仍然受損。自影響開始以來，我們一直在努力恢復(fù)剩余的實例和卷。少量剩余的實例和卷托管在硬件上，這些硬件受到斷電的不利影響。我們將繼續(xù)努力恢復(fù)所有受影響的實例和卷，并將通過個人健康儀表板與其余受影響的客戶進行通信。為了立即恢復(fù)，我們建議盡可能替換任何剩余的受影響的實例和卷。

因此，根據(jù)Amazon的說法，實際上，在美國西海岸時間周六凌晨，AWS數(shù)據(jù)中心斷電，一個半小時后，備份生成器發(fā)生故障，在可用性區(qū)域內(nèi)，每10臺EC2虛擬機和EBS卷中只有1臺宕機。

幾個小時后，99.5%的受影響系統(tǒng)已經(jīng)恢復(fù)，而在那些仍然“受損”的系統(tǒng)中，有些是不可恢復(fù)的，這迫使訂閱者取出備份——假設(shè)他們保留了備份。