我們知道,作為整個(gè)IT架構(gòu)最底層的關(guān)鍵基礎(chǔ)設(shè)施,數(shù)據(jù)中心的設(shè)計(jì)是一件非常嚴(yán)謹(jǐn)?shù)氖虑椤?/span>
冗余,這兩個(gè)字貫穿了數(shù)據(jù)中心每一個(gè)子系統(tǒng)的設(shè)計(jì)過(guò)程,是高頻關(guān)鍵詞。
得益于2N或N+m的完美冗余,數(shù)據(jù)中心像一個(gè)冷冰冰的鋼鐵巨人一般,變得日益健壯。
地震可以有,只要烈度不超8,能扛;斷電、停水,即便兩個(gè)一起來(lái),兩三天內(nèi),能扛;臺(tái)風(fēng),有預(yù)案,能扛;雷暴,有防雷接地系統(tǒng)呢,能扛……
至于設(shè)備級(jí)的故障,那更是數(shù)據(jù)中心設(shè)計(jì)中“并行維護(hù)”的起步要求,甚至允許多臺(tái)設(shè)備故障神奇地同時(shí)發(fā)生。
數(shù)據(jù)中心是具備自愈能力的
病毒進(jìn)入人體,就是考驗(yàn)人體自愈能力的時(shí)候。自愈能力不夠,又沒(méi)有特效藥幫助,只好選擇送人頭;自愈能力強(qiáng),病毒不知不覺(jué)就被干掉了。
那么,既然有這么強(qiáng)大的自愈能力,數(shù)據(jù)中心還怕什么呢?
當(dāng)然怕。最怕那種不在應(yīng)急預(yù)案覆蓋范圍內(nèi)的、起源于外部的不可抗力事件。
五年前發(fā)生在天津的812大爆炸,以及眼下的新冠病毒之戰(zhàn),就屬于這類(lèi)事件。
關(guān)于812事件詳情這里就不再贅述了,有興趣的同學(xué)可以通過(guò)《沒(méi)有觀(guān)眾的裸奔》重溫一下痛苦記憶。天津數(shù)據(jù)中心離爆炸核心不到1.5公里,受到極大破壞。
爆炸聲落,數(shù)據(jù)中心內(nèi)即發(fā)現(xiàn)8處故障點(diǎn),其中包括冷水機(jī)組停機(jī)、爆管、地下室水浸這樣的嚴(yán)重故障。
只要應(yīng)急預(yù)案能覆蓋的場(chǎng)景,處理起來(lái)就可以有條不紊。80分鐘后,8處故障全部處理完畢,各系統(tǒng)運(yùn)行平穩(wěn)。當(dāng)然,光有預(yù)案還不夠,就像我們?cè)谑潞蠓磸?fù)強(qiáng)調(diào)的,應(yīng)急預(yù)案和平時(shí)不折不扣的演習(xí),關(guān)鍵時(shí)候才是救命稻草。
第一時(shí)間處理好故障,是數(shù)據(jù)中心的本分,也是其自愈能力的展示舞臺(tái)。但第一天還遠(yuǎn)不是高潮,隨后發(fā)生的一系列事情,才讓這一天天的值守,變得特別漫長(zhǎng)。
絕大多數(shù)情況下,數(shù)據(jù)中心依靠自身的自愈能力來(lái)消除風(fēng)險(xiǎn),是不需要外部幫助的。但到了“大敵當(dāng)前大局為重”的關(guān)口,一旦事件升級(jí),當(dāng)政府不得不上門(mén)來(lái)“幫助”你時(shí),問(wèn)題就來(lái)了。
清場(chǎng)之后,偌大的天津數(shù)據(jù)中心沒(méi)有一個(gè)人影;我們經(jīng)常掛在口邊的“無(wú)人值守”,陡然一下成為了現(xiàn)實(shí)。
此情此景,如何自救?很顯然,有一個(gè)完整、精確、隨時(shí)隨地可登入、允許關(guān)鍵運(yùn)行參數(shù)遠(yuǎn)程修正的數(shù)據(jù)中心監(jiān)管控系統(tǒng),此時(shí)顯得多么的重要……此處省略666字。關(guān)于當(dāng)年天津是怎么做的,可參閱上述文章《沒(méi)有觀(guān)眾的裸奔》。
天津數(shù)據(jù)中心雖然扛過(guò)了812的考驗(yàn),但也暴露出若干問(wèn)題。尤其是無(wú)人值守的全面管控能力。
我們常說(shuō),教訓(xùn)比經(jīng)驗(yàn)更值得珍視。經(jīng)此一役,騰訊在數(shù)據(jù)中心自動(dòng)化系統(tǒng)方面加大投入,集中優(yōu)勢(shì)兵力很快推出了“騰訊智維”監(jiān)管控平臺(tái),并開(kāi)源共享給全行業(yè)。詳情請(qǐng)了解《助力產(chǎn)業(yè)互聯(lián)網(wǎng)升級(jí) 騰訊推出數(shù)據(jù)中心智慧運(yùn)維全棧解決方案》。
因此,在年前新冠病毒還沒(méi)有真正爆發(fā)的時(shí)候,我們?cè)谌珖?guó)每一個(gè)數(shù)據(jù)中心,已經(jīng)提前做好了無(wú)人值守的準(zhǔn)備。極端情況下政府干預(yù)清場(chǎng)后,可能會(huì)有一段不短的時(shí)間需要啟動(dòng)“無(wú)人預(yù)案”。
類(lèi)似的極端場(chǎng)景,可能還包括化工廠(chǎng)泄漏、監(jiān)獄暴動(dòng)等只能靠想象預(yù)判的不可抗力事件。
這一年的春節(jié),每個(gè)中國(guó)人都過(guò)得不凡。
丑陋的半獸人“新冠”攜病毒大軍兵臨城下,全國(guó)的數(shù)據(jù)中心和中土所有部落一起,都在打一場(chǎng)保衛(wèi)戰(zhàn)。
信息報(bào)備、100%跟蹤、無(wú)死角消殺、內(nèi)外物理隔離、一級(jí)無(wú)差別嚴(yán)控……只要能想到的,只要病毒有可乘之機(jī)的,一定可以做到極致的嚴(yán)防死守。
但也有些地方可能被我們忽視了。比如數(shù)據(jù)中心值守人員的心理狀態(tài)。我們說(shuō)數(shù)據(jù)中心的自救,除了無(wú)人值守能力,其實(shí)也包括心理干預(yù)。
尤其是時(shí)間越拖越長(zhǎng),保衛(wèi)戰(zhàn)變成巷戰(zhàn),甚至進(jìn)一步變成持久戰(zhàn)的情況下。外面謠言滿(mǎn)天飛,里面的人這一天天的,就會(huì)變得焦慮、敏感、消沉。
當(dāng)然,“咱們運(yùn)維團(tuán)隊(duì)心理素質(zhì)過(guò)硬著呢,請(qǐng)全國(guó)人民放心”。這是兩回事?!翱浮笔菦Q心,可對(duì)數(shù)據(jù)中心來(lái)說(shuō),主觀(guān)上要保證團(tuán)隊(duì)每一個(gè)人的健康完好,客觀(guān)上更要保障數(shù)據(jù)中心的安全運(yùn)行;畢竟,人在焦躁?duì)顟B(tài)下,很容易出現(xiàn)誤操作……
至于怎么做心理干預(yù),我黨我軍有很多行之有效的辦法,就不在這里班門(mén)弄斧了。該政委上場(chǎng)了。
戰(zhàn)疫之下的數(shù)據(jù)中心自救,自然是各有各的做法,各自各精彩。騰訊數(shù)據(jù)中心友情提醒各位同行:做好無(wú)人值守技術(shù)準(zhǔn)備;關(guān)注值守人員心理健康。