王瑞雪：謝謝大家，其實(shí)沒有誤會，我今天會分享我們之前存在的小誤會。剛剛騰訊同學(xué)介紹他跟實(shí)驗(yàn)室的關(guān)系，先介紹一下中國移動數(shù)據(jù)中心的互聯(lián)方案，這是測試EVPN的背景，最后介紹一下我們產(chǎn)業(yè)的開放和中國移動在做的事情。

數(shù)據(jù)中心的網(wǎng)絡(luò)發(fā)展趨勢，目前隨著大規(guī)模的數(shù)據(jù)中心的部署，我們現(xiàn)在的數(shù)據(jù)中心的出口流量有三個變化，第一是流量流向的變化，數(shù)據(jù)中心的出口流量從南北向的流量轉(zhuǎn)向了現(xiàn)有的東西向+南北向，東西向的流量也會隨著數(shù)據(jù)中心的部署逐年增加，其次是流量的變化，目前數(shù)據(jù)中心的規(guī)模會越來越大，我們在單個資源池達(dá)到2萬臺數(shù)據(jù)中心規(guī)模，這樣我們出口???????流量會變得很大。第三是技術(shù)的變化，因?yàn)镾DN數(shù)據(jù)的變化，我們在數(shù)據(jù)中心內(nèi)引入了SDN技術(shù)使得我們數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)更加簡單化，業(yè)務(wù)部署更加靈活快速，對于數(shù)據(jù)中心間的網(wǎng)絡(luò)帶來了一些新的變化，多云互聯(lián)，現(xiàn)在的數(shù)據(jù)中心互聯(lián)已經(jīng)不再像原來一對一的互聯(lián)，所有數(shù)據(jù)中心間都會存在互聯(lián)的流量。隨著數(shù)據(jù)中心的部署，我們互聯(lián)的范圍會越來越大，原來是同城互聯(lián)，??在??能??跨廣域網(wǎng)甚至國際網(wǎng)絡(luò)來互聯(lián)。

低時延高可靠，我們部署在數(shù)據(jù)中心的業(yè)務(wù)越來越多，越來越公司愿意把他的核心業(yè)務(wù)放到我們的數(shù)據(jù)中心里，所以我們對數(shù)據(jù)中心的網(wǎng)絡(luò)提出了更高的要求。低成本和高效率，對原來做一個互聯(lián)的網(wǎng)絡(luò)來說我們需要做很多配置工作，拉一根光纖成本會很高，如果想做多對多的互聯(lián)，現(xiàn)有的方式不能滿足我們的需求。網(wǎng)隨云動，這是運(yùn)營商最關(guān)注的一點(diǎn)，原來我們對業(yè)務(wù)是不感知的，所以我們的管道就只是一個簡單的通道，未來我們想實(shí)現(xiàn)業(yè)務(wù)和網(wǎng)絡(luò)的聯(lián)動，可以讓我們的網(wǎng)絡(luò)更加智能化。

傳統(tǒng)的數(shù)據(jù)中心互聯(lián)技術(shù)，第一是專線互聯(lián)，專線互聯(lián)就是在兩個數(shù)據(jù)中心間拉個專線實(shí)現(xiàn)二層和三層的傳輸，這種方式優(yōu)點(diǎn)是比較安全，帶寬有保障，可以樹線數(shù)據(jù)中心間的大二層。但是劣勢是成本很高，比較昂貴，開通時間也會很慢。還有種方式是MPLS技術(shù)，MPLS技術(shù)是一種廣泛部署的技術(shù)，它是一個標(biāo)準(zhǔn)的協(xié)議，方便廠家的互通，可以基于隧道提出一些QS的????障，它的劣勢是因?yàn)樵趥鹘y(tǒng)陸游協(xié)議對底層網(wǎng)絡(luò)有些要求，比如它需要支持MPLS技術(shù)，開通的時候需要很多的人工配置，這個開通時間也是很長的。

底層的網(wǎng)絡(luò)技術(shù)依賴于底層的網(wǎng)絡(luò)，配置比較復(fù)雜，業(yè)務(wù)開通周期長，運(yùn)維成本高，只提供底層網(wǎng)絡(luò)支持，轉(zhuǎn)發(fā)設(shè)備并不能感知業(yè)務(wù)，所以無法實(shí)現(xiàn)業(yè)務(wù)和網(wǎng)絡(luò)的聯(lián)動，管道價值比較低。

基于現(xiàn)有的方案，我們在DCI之間引入了SDN技術(shù)，SDN技術(shù)網(wǎng)絡(luò)集中化控制、網(wǎng)絡(luò)虛擬化和開放化的特點(diǎn)，我們希望引入SDN技術(shù)來實(shí)現(xiàn)我們數(shù)據(jù)中心間的這張網(wǎng)絡(luò)，實(shí)現(xiàn)資源的集中管理和靈活的調(diào)度，可以讓我們的管道變得更加智能化?；赟DN技術(shù)中國移動提出了兩個步驟，階段一分別對應(yīng)的是overlay方案，階段二是underlay方案。階段一的overlay聚焦的是端到端的開通????力，我們現(xiàn)在已經(jīng)定制了一套標(biāo)準(zhǔn)接口對接各廠家的DC控制器。二階段我們提出了underlay方案，它的作用是聯(lián)動骨干網(wǎng)資源，實(shí)現(xiàn)真正的云網(wǎng)協(xié)同。對骨干網(wǎng)來說會引入WAN控制器。

EVPN協(xié)議用傳統(tǒng)的MP-BGP技術(shù)實(shí)現(xiàn)了對于VXLAN的控制面，它可以通過傳統(tǒng)路由協(xié)議為VXLAN網(wǎng)絡(luò)二層三層提供一個統(tǒng)一控制面，實(shí)現(xiàn)對主機(jī)路由信息的學(xué)習(xí)，EVPN比較標(biāo)準(zhǔn)，允許不同廠家的互通。為了驗(yàn)證方案的可行性和廠家設(shè)備的互通性，年初進(jìn)行了一次大規(guī)模EVPN測試，當(dāng)時邀請了華為、中興、思科、華三、上海貝爾、銳捷6家廠商。

這個測試第一種是單跳方案，第二種是多跳方案，DC之間引入一個新設(shè)備叫DCI GW，這兩個設(shè)備之間跑一個EVPN協(xié)議，這兩個設(shè)備通過一個VLAN做解耦，這個方案之所以提出來是因?yàn)橛行S家他沒有辦法實(shí)現(xiàn)一個VXLAN打到這再封一個VXLAN打出去，對于異構(gòu)的數(shù)據(jù)中心來說兩個DC內(nèi)的VNI是不一樣的，如果出現(xiàn)不一致的情況下路由會不通，我們當(dāng)時提出一個方案保證DC間的VNI能解耦。單跳方案是我們目標(biāo)的方案，目標(biāo)方案是LEAF節(jié)點(diǎn)本身支持分布式網(wǎng)關(guān)，要求DC GW之間跑真正互聯(lián)的EVPN協(xié)議，這種場景下我會分為同構(gòu)數(shù)據(jù)中心和異構(gòu)數(shù)據(jù)中心，同構(gòu)數(shù)據(jù)中心是這兩個DC內(nèi)部的VNI和網(wǎng)絡(luò)都是統(tǒng)一規(guī)劃的。如果對同一個網(wǎng)段左邊是10右邊是20，這種是異構(gòu)的數(shù)據(jù)中心。同構(gòu)的數(shù)據(jù)中心，這種方案下可以實(shí)現(xiàn)從LEAF到LUEF下的L1L2的互通。

測試結(jié)論是這樣的，對于單廠家的測試來說，基本可以滿足我的DCI的互動需求，但是現(xiàn)在有兩個問題，VXLAN的拼接，不支持VXLAN報文拼接，不支持Overlay而層面VXLAN隧道雙活。目前廠家對TYPE1路由支持得不是很好，目前我們通過underlay底層隧道實(shí)現(xiàn)不同隧道的負(fù)載分擔(dān)的情況。異廠家對接測試情況，各廠家L2互通場景全部測試通過，實(shí)現(xiàn)標(biāo)準(zhǔn)未統(tǒng)一。部分廠家L3互通存在問題，由于文稿中VRF的互通模型有3個Option，在標(biāo)準(zhǔn)尚未明確必選實(shí)現(xiàn)方式前，各廠家實(shí)現(xiàn)模型不通，導(dǎo)致各廠家發(fā)布的RT5路由存在差異。各廠家設(shè)備輪流充當(dāng)EVPN協(xié)議的RR反射器，全部通過測試。

這個測試中有一些小思考，這個測試是很簡單的，A廠家配置1個網(wǎng)段，B廠家配置三個網(wǎng)段，A廠家會綁在自己的VRF1內(nèi)，B廠家也會生成一個VRF，把這兩個網(wǎng)段綁在下面，測試10跟10通和10跟11通，測試中發(fā)現(xiàn)這三種場景，A廠家發(fā)tip5路由的時候沒有發(fā)出32位的主機(jī)路由，到路由到達(dá)B設(shè)備的時候，直接將它的路由丟掉，當(dāng)11網(wǎng)跟它互通的時候，流量不通。VNI值錯誤是因?yàn)樵诎l(fā)2類路由的時候會帶著A網(wǎng)段的ART表，我在ART表可以帶兩層VNI標(biāo)簽，有些廠家只帶一層，會導(dǎo)致其他廠家無法把他的二類路由提取到5類的ART表里，VNI值會錯誤，VNI值跳表。

這是兩個VTIP，左邊配置一個10網(wǎng)段，跟右邊VRF互通的時候就互通了。還有個場景，這種場景下當(dāng)總部配了一個VNI值，A公司也會配一個對應(yīng)的，B公司也得配上相同的VNI和RT跟它互通，A省有個市也會跟它互通的時候，我要在它對應(yīng)的下面配上VNI等于1，對后續(xù)的限制會很大，一個配了VNI等于1，導(dǎo)致很多全網(wǎng)互通的時候都會存在這樣的限制?？梢酝ㄟ^不同的RT標(biāo)識不同的VNI，有些人通過非對稱來做，跟它通用1跟它通用2，都不符合我的要求。

業(yè)內(nèi)的合作情況。第一是DCI的標(biāo)準(zhǔn)，目前架構(gòu)已經(jīng)統(tǒng)一了，如果先不考慮這邊，接口1做了一個標(biāo)準(zhǔn)化，這兩個接口用于下DAP配置信息，接口3就是DC控制器對本地DC的配置，通過Negtop（音）來做，下一些流量調(diào)優(yōu)的策略。我們這個架構(gòu)已經(jīng)比較標(biāo)準(zhǔn)了，業(yè)內(nèi)都比較認(rèn)可，但是接口對于北向來說我們可以定標(biāo)準(zhǔn)，實(shí)現(xiàn)各家的統(tǒng)一，但是南向接口目前私有化情況比較嚴(yán)重，目前比較難解耦。

最后做一個小廣告，我們網(wǎng)絡(luò)工作組推出了基于硬件交換機(jī)的Openflow的TPP模型，這是中國移動自研的控制器架構(gòu)，目前我們可以對接的產(chǎn)品有硬件的TOR、軟件的TOR、防火墻、LB、網(wǎng)管和NET設(shè)備。對于硬件交換機(jī)來說，目前控制器和轉(zhuǎn)發(fā)設(shè)備之間的接口是單廠家綁定的，很難解開，我們分析了一下EVPN、Openflow南向接口。目前我們已經(jīng)在實(shí)驗(yàn)室跟一些廠家正在對接中????目前L2和L3的功能基本對通了，我們希望有更多的交換機(jī)廠家可以過來跟我們對接，包括負(fù)載均衡、防火墻都可以，如果有的話可以聯(lián)系我們。這個白皮書會在ODCC的網(wǎng)絡(luò)工作組發(fā)布，大家有興趣的話可以關(guān)注。EVPN的測試規(guī)范，如果明天有機(jī)會想跟大家分享，希望郭總和我一起推動，希望更多的廠家參與到這個測試中來，謝謝。