騰訊十年運維老兵：運維團隊的五個“殺手锏”

2018/2/27 9:43:55 來源：51CTO技術(shù)棧作者：分類：特別報道

回顧運維十年，如有一次重來的機會，什么才是最重要的？什么才是團隊需要優(yōu)先做的？才能在未來支撐我們更好的前行。

“十年"不茍且的運維之路

趙建春，騰訊社交網(wǎng)絡運營部助理總經(jīng)理、技術(shù)運營通道會長、專家工程師。04年加入騰訊，先后從事過研發(fā)、運維、數(shù)據(jù)方面的建設和管理工作，在海量技術(shù)運營方面積累了豐富的實戰(zhàn)經(jīng)驗。

加入騰訊已十年的運維老兵趙建春，回顧這十年：

· 2004年：加入騰訊，做賀卡開發(fā)；

· 2005年：加入QQ空間開發(fā)團隊，負責留言版模塊；

· 2006年~至今：公司組織架構(gòu)調(diào)整，接觸運維工作。

期間，他帶領(lǐng)運維團隊負責QQ延伸出來的各種社群的運維和維護，包括QQ空間、QQ音樂、QQ會員、QQ秀等一系列的QQ產(chǎn)品。團隊89個人，維護了10萬家服務器。經(jīng)歷的大事件有：

· 紅米在QQ空間首發(fā)時，90 秒賣出 10 萬臺設備，獲得1億點贊；

· 天津大爆炸事件，把天津 2 億多活躍用戶，從天津快速調(diào)到深圳以及上海；

· 春節(jié)紅包準備工作，2016年比2015年的紅包訪問量增長了10倍+，快速的擴充了 5000 臺設備，最高訪問量達到 477 萬次/秒。

不要讓自己變成一個救火隊員

作為運維，最重要的是先保證自己做的系統(tǒng)可靠、不會輕易出錯，不要讓自己變成一個救火隊員?？煽恐?，就要用更多時間去解決效率問題，讓工作變得更加高效，追求更高的目標。

對團隊工作幫助最大的是什么？

· 資源管理：把寫出來的程序和代碼，進行清晰劃分和分類，對每個資源采用不同形式進行搭建；

· 容錯方案：在維護海量服務、運維過程中出現(xiàn)故障時，確保不能影響項目服務，服務器要做到及時處理；

· 統(tǒng)一架構(gòu) CMDBA：把一個業(yè)務模塊上所有依賴資源全部登記進去；同時如果做快速決策和調(diào)度，還需要有效的監(jiān)控。

· DLP：內(nèi)部定義的一個非常關(guān)鍵的監(jiān)控，這個點發(fā)生后，可以知道哪里出現(xiàn)故障；

· 入口監(jiān)控：告知出現(xiàn)故障的根源在哪兒，容錯方案的 L5 是用來解決容錯、灰度，路由等。

運維團隊的五個“殺手锏”

L5 系統(tǒng)

世界上管理服務器最多的系統(tǒng)

運營管理系統(tǒng)管理了上億服務器，脈絡非常清晰，根本不會出現(xiàn)混亂。L5 系統(tǒng)（上圖）也類似于 DNS 系統(tǒng)，有一排能提供的服務模塊，從而解決的單點問題。

L5 如何做容錯？

L5－主機／接口級的容錯原理

L5 有由 L5、DNS 和 L5、agent 兩部分構(gòu)成。CGI 通過給模塊提 ID，根據(jù)模塊下設備的成功率和延遲情況，通過 IP+PROT 給 CGI 一個反饋，訪問之后，通過成功率和延遲情況，把數(shù)據(jù)上報給了 L5agent，然后做統(tǒng)計數(shù)據(jù)。

當發(fā)現(xiàn)失敗率特別低的時踢掉。當發(fā)現(xiàn)成功率和失敗率有一定下降，會把訪問權(quán)重降低，從而達到容錯和負載均衡的作用。

可以注冊一個模塊，加多臺設備，形成容錯效果。如發(fā)現(xiàn)一臺機器失敗率很高，就把它踢掉。它成功率恢復過來，還可以再加回來。

新加一臺服務器設計它的權(quán)重為 1，假如之前的是 100，可以逐漸上線。還可以給它一個得分，得分下降的時候，快速把它踢掉。L5 具有灰度、容錯、路由、負載均衡的能力。

L5 對運維團隊有哪些幫助？

· 減少了 80~90% 的日常故障；

· 不再需要頻繁的變更 ip+port（也是故障源）；

· 同過名字便利的服務上下線；

· 通過權(quán)重灰度上線；

· 模塊訪問關(guān)系可幫助定位根源故障；

· 接口的延遲和失敗率可用來監(jiān)控；

· 集容錯、負載均衡、路由、灰度、監(jiān)控能力于一身。

統(tǒng)一框架和架構(gòu)

團隊里有上千號開發(fā)同事，每年會有大量畢業(yè)生加入，也會有社交同事。進來以后，都希望為平臺做更多的代碼貢獻、展現(xiàn)自己的技術(shù)實力，亦或是提高自己。

那么，問題來了。在開發(fā)過程中，如下圖，有管道、消息隊列、信息文件鎖、記錄鎖、文件影射內(nèi)存、還有迭代服務器 Select poll Io 等，這些是用各種各樣技術(shù)組合生產(chǎn)出來的代碼，交給團隊維護，數(shù)以萬計不同性格的服務器，要掌握得非常好，了解它的工作機制和原理，更好的維護它基本上是不可能的。