數(shù)據(jù)中心網(wǎng)絡(luò)
     數(shù)據(jù)中心網(wǎng)絡(luò)（data center network）指的是連接數(shù)據(jù)中心內(nèi)部的海量服務(wù)器、連接分布式數(shù)據(jù)中心以及連接數(shù)據(jù)中心與終端用戶之間的網(wǎng)絡(luò)。數(shù)據(jù)中心網(wǎng)絡(luò)是伴隨著互聯(lián)網(wǎng)服務(wù)規(guī)模的增長、升級，以及云計算等新型服務(wù)模式的出現(xiàn)而形成的。對于一個互聯(lián)網(wǎng)公司而言，當(dāng)其提供的服務(wù)規(guī)模較小時，僅需一臺或幾臺服務(wù)器就足夠了，這時并不需要復(fù)雜的網(wǎng)絡(luò)技術(shù)；但當(dāng)其所提供的互聯(lián)網(wǎng)服務(wù)增加到很大的規(guī)模（如谷歌、亞馬遜、阿里巴巴、騰訊等公司）時，則需要幾十萬臺甚至數(shù)百萬臺服務(wù)器才能提供用戶所需的互聯(lián)網(wǎng)服務(wù)，這時就誕生了數(shù)據(jù)中心網(wǎng)絡(luò)。

數(shù)據(jù)中心網(wǎng)絡(luò)可以分為三個部分：
     1、數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)。主要是連接數(shù)據(jù)中心內(nèi)的海量服務(wù)器，支持數(shù)據(jù)中心服務(wù)器之間的通信需求。這部分網(wǎng)絡(luò)可以被視為一種“計算機局域網(wǎng)”，而這部分流量經(jīng)常被稱為數(shù)據(jù)中心的“東西流量”。
     2、分布式數(shù)據(jù)中心之間的網(wǎng)絡(luò)。一個互聯(lián)網(wǎng)業(yè)務(wù)提供商可能修建了多個數(shù)據(jù)中心（為了異地災(zāi)備、降低延遲等多種考慮），連接這些分布式數(shù)據(jù)中心之間的網(wǎng)絡(luò)，也是數(shù)據(jù)中心網(wǎng)絡(luò)的組成部分。這部分網(wǎng)絡(luò)一般是專線（自建或租用）連接，但也不排除使用電信運營商的公共互聯(lián)網(wǎng)。
     3、連接數(shù)據(jù)中心和終端用戶之間的網(wǎng)絡(luò)。大部分情況下，數(shù)據(jù)中心與終端用戶之間是通過電信運營商的接入網(wǎng)絡(luò)來互通的，但當(dāng)前許多互聯(lián)網(wǎng)公司所修建的數(shù)據(jù)中心已經(jīng)離用戶越來越近，部分互聯(lián)網(wǎng)公司甚至有過自建網(wǎng)絡(luò)直聯(lián)用戶的做法（比如谷歌公司曾經(jīng)的“谷歌光纖”項目）。數(shù)據(jù)中心與終端用戶之間的流量，經(jīng)常被稱為數(shù)據(jù)中心的“南北流量”。

數(shù)據(jù)中心網(wǎng)絡(luò)與互聯(lián)網(wǎng)的關(guān)系
     互聯(lián)網(wǎng)（Internet）是對“網(wǎng)絡(luò)”進行“互聯(lián)”的“網(wǎng)絡(luò)”。IP協(xié)議（Internet Protocol）是互聯(lián)網(wǎng)最核心的協(xié)議，圍繞互聯(lián)網(wǎng)“開放與互聯(lián)”的使命而設(shè)計，是互聯(lián)網(wǎng)取得巨大成功的重要原因之一。以IP協(xié)議為核心的互聯(lián)網(wǎng)技術(shù)，也將成為打通行業(yè)網(wǎng)絡(luò)“孤島”、連接不同行業(yè)網(wǎng)絡(luò)的關(guān)鍵技術(shù)，是貫通“新基建”中5G網(wǎng)絡(luò)、工業(yè)互聯(lián)網(wǎng)、衛(wèi)星互聯(lián)網(wǎng)、數(shù)據(jù)中心網(wǎng)絡(luò)等不同網(wǎng)絡(luò)的“血管”，是更“全局”、更“基礎(chǔ)”的基礎(chǔ)設(shè)施技術(shù)。
     世界上并不存在所謂的“互聯(lián)網(wǎng)運營商”，因為互聯(lián)網(wǎng)本身是一個完全分布式的架構(gòu)。我們常說的互聯(lián)網(wǎng)服務(wù)提供商（Internet Service Provider，ISP），其實是為不具備網(wǎng)絡(luò)部署能力的機構(gòu)或個人提供互聯(lián)網(wǎng)接入”服務(wù)的公司，一旦網(wǎng)絡(luò)部署完成，ISP并不能成為這些網(wǎng)絡(luò)的“管理者”或“運營者”（ISP可以協(xié)助運維）。從理論上講，任何一個“網(wǎng)絡(luò)”要想加入“互聯(lián)網(wǎng)”，只要申請到IP地址、AS號等基本互聯(lián)網(wǎng)資源就可以了，數(shù)據(jù)中心網(wǎng)絡(luò)也是一樣。如今，很多大型互聯(lián)網(wǎng)公司的數(shù)據(jù)中心網(wǎng)絡(luò)都有完全獨立的AS號、IP地址段等。
     數(shù)據(jù)中心網(wǎng)絡(luò)已經(jīng)成為互聯(lián)網(wǎng)基礎(chǔ)設(shè)施的重要組成部分。值得注意的是，數(shù)據(jù)中心網(wǎng)絡(luò)加入互聯(lián)網(wǎng)的部分，既包括傳統(tǒng)意義上的“計算機局域網(wǎng)”（即單個數(shù)據(jù)中心的內(nèi)部網(wǎng)絡(luò)），也包括傳統(tǒng)意義上的“廣域網(wǎng)”（即分布式數(shù)據(jù)中心之間的網(wǎng)絡(luò)）。如果互聯(lián)網(wǎng)公司直接提供光纖到戶服務(wù)，那就相當(dāng)于把電信運營商直接“旁路”了（這種做法并不經(jīng)濟，因此“谷歌光纖”項目被停掉了）。
     因為加入了互聯(lián)網(wǎng)，所以數(shù)據(jù)中心網(wǎng)絡(luò)的所有行規(guī)則與互聯(lián)網(wǎng)無異了，這些運行規(guī)則包括但不限于：（1）通過運行域間路由協(xié)議，向外發(fā)布數(shù)據(jù)中心網(wǎng)絡(luò)的IP地址前綴及路由；（2）數(shù)據(jù)中心網(wǎng)絡(luò)內(nèi)的每臺服務(wù)器都分配一個IP地址；（3）數(shù)據(jù)中心網(wǎng)絡(luò)中的每個節(jié)點運行TCP/IP協(xié)議棧，與互聯(lián)網(wǎng)其他部分交互的報文都要封裝一個IP頭部。當(dāng)然，數(shù)據(jù)中心網(wǎng)絡(luò)內(nèi)部服務(wù)器之間交互的流量，其協(xié)議棧的選擇相對靈活，比如可以采用“大二層網(wǎng)絡(luò)”（用MAC地址轉(zhuǎn)發(fā)），也可以采用RoCE（RDMA over Converged Ethernet）協(xié)議棧，但就算在這兩種情況下，一般也會給報文封裝PP頭部（但不一定用P地址來轉(zhuǎn)發(fā)）。

數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)與傳統(tǒng)局域網(wǎng)的區(qū)別
     數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)本質(zhì)上屬于計算機局域網(wǎng)，與園區(qū)網(wǎng)、企業(yè)辦公網(wǎng)絡(luò)等其他的傳統(tǒng)計算機局域網(wǎng)相比，存在以下特點：
     1、數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)的流量主要是機器產(chǎn)生的，而傳統(tǒng)的園區(qū)網(wǎng)、企業(yè)網(wǎng)的流量主要是人產(chǎn)生的。數(shù)據(jù)中心把大規(guī)模的服務(wù)器進行互聯(lián)通信，不管是數(shù)據(jù)中心網(wǎng)絡(luò)的內(nèi)部流量，還是數(shù)據(jù)中心與終端用戶之間的通信流量，都是機器產(chǎn)生的。因此數(shù)據(jù)中心網(wǎng)絡(luò)的流量往往具有突發(fā)性強、缺乏規(guī)律性的特點，流量的可預(yù)測性不強。
     2、數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)的鏈路密集、拓撲規(guī)整性強。與園區(qū)網(wǎng)、企業(yè)網(wǎng)等相比，數(shù)據(jù)中心網(wǎng)絡(luò)主要是把海量服務(wù)器進行互聯(lián)，這些服務(wù)器都被密集地放置，因此服務(wù)器之間的鏈路也非常密集。為了讓這些服務(wù)器進行更好的互聯(lián)通信，服務(wù)器之間的互聯(lián)拓撲也往往具有較強的規(guī)整性，比如fat-tree（胖樹）、VL2、BCube等拓撲。
     3、數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)的端到端帶寬極高、延遲極低。由于當(dāng)前的互聯(lián)網(wǎng)服務(wù)規(guī)模不斷增加，數(shù)據(jù)中心網(wǎng)絡(luò)產(chǎn)生的流量極高，服務(wù)器之間的端到帶寬當(dāng)前已經(jīng)達到100Gbps，未來還會繼續(xù)增長；而園區(qū)網(wǎng)、企業(yè)網(wǎng)的端到端帶寬大部分情況下是在MGBps級別。由于數(shù)據(jù)中心網(wǎng)絡(luò)連接的服務(wù)器之間距離很近，帶寬又極高，因此服務(wù)器之間的端到延遲極低，往往在微秒級別；而園區(qū)網(wǎng)、企業(yè)網(wǎng)的端到端延遲較高，一般在毫秒級別。

數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)與超級計算機內(nèi)部網(wǎng)絡(luò)的區(qū)別
     由于數(shù)據(jù)中心是把大量服務(wù)器（計算節(jié)點）相連，讓人很容易將其與超級計算機聯(lián)想到一起。但是，數(shù)據(jù)中心網(wǎng)絡(luò)與超級計算機的內(nèi)部網(wǎng)絡(luò)還存在以下區(qū)別：
     1、大部分數(shù)據(jù)中心是商業(yè)公司所擁有的，因此在技術(shù)選擇上更看重“性價比”，而非“絕對性能”。所以，數(shù)據(jù)中心網(wǎng)絡(luò)往往采用TCP/IP/Ethernet這樣的互聯(lián)網(wǎng)技術(shù)協(xié)議棧，因為這一類協(xié)議棧所對應(yīng)的硬件設(shè)備成本較低。而超級計算機的內(nèi)部網(wǎng)絡(luò)主要看重性能，采用的是InfiniBand這樣的通信協(xié)議棧。
    2、由于數(shù)據(jù)中心網(wǎng)絡(luò)側(cè)重于“性價比”的考慮，往往采用較為“廉價”的硬件設(shè)備，因此網(wǎng)絡(luò)協(xié)議的設(shè)計中需要考慮容錯性。這與數(shù)據(jù)中心MapReduce、HDFS等分布式計算或分布式存儲系統(tǒng)的設(shè)計思想一致，即通過軟件上的設(shè)計，在相對“低端”“不可靠”的硬件設(shè)備上實現(xiàn)高性能的系統(tǒng)性能。而超級計算機的內(nèi)部網(wǎng)絡(luò)往往通過硬件手段（比如備份硬件）來解決容錯問題。