如果把數(shù)據(jù)中心比作一個“人”，則服務(wù)器和存儲設(shè)備構(gòu)成了數(shù)據(jù)中心的“器官”，而網(wǎng)絡(luò)（交換機，路由器，防火墻）就是這個數(shù)據(jù)中心的“神經(jīng)脈絡(luò)”。本文就針對數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)和一般設(shè)計來說。

01

網(wǎng)絡(luò)分區(qū)與等保

    一般情況下，本著靈活、安全、易管理的設(shè)計原則，企業(yè)都會對數(shù)據(jù)中心網(wǎng)絡(luò)的物理設(shè)備進行分區(qū)。通常情況下，數(shù)據(jù)中心都會采用核心—匯聚—接入三層的網(wǎng)絡(luò)結(jié)構(gòu)，核心用于所有流量的快速轉(zhuǎn)發(fā)，而匯聚則是在每個網(wǎng)絡(luò)分區(qū)上，擔(dān)任網(wǎng)關(guān)的功能。
    一般來說，數(shù)據(jù)中心的網(wǎng)絡(luò)分區(qū)中，每一個區(qū)域會根據(jù)預(yù)期的流量和服務(wù)器的數(shù)量，分配不同的業(yè)務(wù)網(wǎng)段。同時，在一些等保要求較高的區(qū)域，還會設(shè)置防火墻這樣的安全設(shè)備，來控制進出這個區(qū)域的流量，如下圖所示：

    “等?！笔堑燃壉Ｗo的簡寫，在設(shè)置數(shù)據(jù)中心服務(wù)器區(qū)域的時候，不同業(yè)務(wù)的服務(wù)器的等級保護是不一樣的。比如后臺存儲，帶庫，數(shù)據(jù)庫這些服務(wù)器的等保和Web、前端、APP的等保就不一樣。而在數(shù)據(jù)中心網(wǎng)絡(luò)中，防火墻的功能，就是用來劃分“等保”，同時用來控制不同等保之間的互訪。
    那如何更好的來理解這個“等?！钡母拍钅兀?/span>

    在目前的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)中，要考慮到不同等保之間的流量控制，又要考慮到在設(shè)計路由的時候的簡便和快捷，目前數(shù)據(jù)中心的防火墻幾乎都會采用旁路的方式來部署，再配合匯聚交換機上的VRF來控制流量。

02

數(shù)據(jù)中心網(wǎng)絡(luò)分區(qū)的方式

    分區(qū)的劃分方式有以下三種，不同分區(qū)方式各有優(yōu)缺點，通常結(jié)合使用。

A.按照服務(wù)器類型分區(qū)

    比如x86服務(wù)器、小型機、刀片機、大型機、虛擬機進行分類。完全按照服務(wù)器型號分類的話，在實際應(yīng)用中，可能某個企業(yè)小型機被大量使用，而大型機幾乎沒用，就會導(dǎo)致小型機的網(wǎng)絡(luò)區(qū)域流量巨大而大型機這個區(qū)域閑置了。所以，現(xiàn)在的數(shù)據(jù)中心，幾乎看不見如此分配區(qū)域的情形了。

B.按照應(yīng)用層次分區(qū)

    比如Web、APP是前端服務(wù)器，而數(shù)據(jù)庫、存儲、NFS這些是后端服務(wù)器，所以把前端服務(wù)器放在一個區(qū)域，后端服務(wù)器放在一個區(qū)域。在有些企業(yè)的數(shù)據(jù)中心，也確實是這么分區(qū)的。比如，所有的Web服務(wù)器放在“綜合業(yè)務(wù)區(qū)”，把數(shù)據(jù)庫就放在“生產(chǎn)管理區(qū)”（你也看出來，連區(qū)域名字都起得那么“模糊” ）。如此分區(qū)的好處是便于管理，因為前端服務(wù)區(qū)域和后端服務(wù)區(qū)域不在一個等保內(nèi)，前端服務(wù)區(qū)域直接面對辦公，后端區(qū)域則為前端區(qū)域服務(wù)，如下圖所示：

    這種區(qū)域的設(shè)置方式的好處是便于分開管理，但是壞處也是運維起來屁事太多。比如，前端新上線了一個APP，后端需要相應(yīng)的數(shù)據(jù)庫支持，此時系統(tǒng)運維人員就要找網(wǎng)絡(luò)運維人員，請他們在后端區(qū)的防火墻上開通相應(yīng)的安全策略?？紤]到前端和后端對接也有諸多非網(wǎng)絡(luò)的問題，加上前端和后端之間又有防火墻的“阻礙”，所以一旦前端和后端的通信出了問題，網(wǎng)絡(luò)運維人員就很容易“被背鍋”了。

C.按照應(yīng)用類型劃分

    例如核心服務(wù)，公共服務(wù)，辦公區(qū)域，隔離區(qū)域，開發(fā)測試區(qū)域進行劃分。這種分區(qū)的好處就是，一個“功能業(yè)務(wù)”的前端服務(wù)器和后端服務(wù)器都在一個等保內(nèi)了，在前端和后端對接的時候，網(wǎng)絡(luò)運維人員不至于因為防火墻策略的原因而“背鍋”。但是這樣劃分又會顯得網(wǎng)絡(luò)規(guī)劃有點“混亂”。對于一些對前期IP地址規(guī)劃不太重視的管理員來說，可能會對前端服務(wù)器和后端服務(wù)器的IP地址規(guī)劃帶來些麻煩。比如，給核心服務(wù)器區(qū)的IP地址段是10.114.128.0/21，在這里有10.114.128.0/24---10.114.135.0/24，整整16個C段。但是對于不嚴謹?shù)墓芾韱T來說，可能會讓10.114.128.0/24做前端的IP地址，10.114.129.0/24做后端的IP地址，這樣的話，前端和后端的IP地址段就“交叉”了。
如果遇到一種極端的情況，在多級數(shù)據(jù)中心使用MPLS V.PN網(wǎng)絡(luò)對接，讓前端和后端的流量“分流”時，這種前端和后端IP地址段一“交叉”，分流就會顯得極其麻煩。
     綜上所述，每一種分區(qū)的方式，都有自己的優(yōu)點和缺點，所以也要按照實際情況進行分區(qū)。

03

數(shù)據(jù)中心常用網(wǎng)絡(luò)架構(gòu)

A.扁平化組網(wǎng)

    對于功能單一，服務(wù)器數(shù)量小于300臺的小型數(shù)據(jù)中心來說，通常情況下都會采用兩層式的扁平化組網(wǎng)。也就是匯聚設(shè)備擔(dān)任網(wǎng)關(guān)，接入設(shè)備就是一個二層設(shè)備，打通二層通道的功能。對于扁平化的組網(wǎng)，也分為比較傳統(tǒng)的VRRP+MSTP，和“堆疊+鏈路捆綁”兩種方式進行組網(wǎng)設(shè)計。
第一種就是VRRP+MSTP的結(jié)構(gòu)，如下圖所示：
圖片
相比起第一種非常傳統(tǒng)的MSTP+VRRP的架構(gòu)，第二種“胖樹”結(jié)構(gòu)，則是當(dāng)前數(shù)據(jù)中心扁平化組網(wǎng)的常用結(jié)構(gòu)。它的思路是：匯聚交換機必然堆疊，接入交換機按需堆疊，所有冗余鏈路必須捆綁，形成一個“胖樹”狀結(jié)構(gòu)。它的優(yōu)點就是，既保證了設(shè)備的冗余性，提升帶寬性能，也能從根本上防止二層環(huán)路。但是，要實現(xiàn)設(shè)備的堆疊，這個對硬件有要求，所以，這種“胖樹”狀結(jié)構(gòu)的組網(wǎng)，成本比起第一種來說要高不少。

圖片

B.三層組網(wǎng)架構(gòu)

    對于大型數(shù)據(jù)中心，功能多樣，且要進行功能分區(qū)的場合，就會采用標準的三層架構(gòu)。
     在這種組網(wǎng)方式中，交換核心區(qū)是整個數(shù)據(jù)中心網(wǎng)絡(luò)的樞紐，核心設(shè)備通常部署2-4臺大容量高端框式交換機，可以是獨立部署，也可以通過堆疊技術(shù)后成組部署（但是考慮到核心和匯聚之間都是三層連接，且堆疊有一定裂開風(fēng)險，所以一般核心都會采用獨立部署的方式，即核心之間只和匯聚之間有互聯(lián)，核心之間無互聯(lián)）
     分區(qū)內(nèi)的匯聚層和接入層通過堆疊實現(xiàn)二層破環(huán)。
下圖為大家展示了一個當(dāng)前主流的數(shù)據(jù)中心三層組網(wǎng)架構(gòu)圖：

     剛才的拓撲圖中，各個大區(qū)域之間的防火墻采用了旁路的連接方式。防火墻采用旁路連接的目的，也是為了提升可擴展性，并且可以兼容動態(tài)路由。而這種結(jié)構(gòu)，要想實現(xiàn)核心—匯聚—接入之間的流量進入防火墻，就需要使用VRF在匯聚交換機上隔離路由了。所以，VRF在這個地方，起到的作用是隔離路由，起到一個“化旁路為串聯(lián)”的作用。
     本文的難點，也正好是匯聚交換機上使用VRF時，這個業(yè)務(wù)流的邏輯圖如何畫出。實際上，我本人在剛接到這個項目的時候，也是花了一段時間來理解這個VRF和旁路防火墻之間的關(guān)系的。下面我可以簡單為大家說一下劃業(yè)務(wù)流的方法。
所謂“單一等保”，實際上就是匯聚下方的所有業(yè)務(wù)網(wǎng)段可以直接訪問，流量無需經(jīng)過防火墻控制。在這種情況下，就只需要一個VRF，把匯聚—核心和匯聚—防火墻之間的流量隔離開即可。
物理連接圖如下：
 

    由于匯聚、接入，包括防火墻做了雙機或者堆疊，所以在此時可以將匯聚、接入先暫時畫成單個設(shè)備，這樣物理結(jié)構(gòu)就不會太復(fù)雜了。
 

    然后，去掉匯聚層設(shè)備的圖標，用一個方框來代替。在方框內(nèi)部添加兩個小方框，代表兩個擁有獨立三層路由的虛擬設(shè)備，與核心連接的是全局路由，與接入連接的是VRF路由。然后，防火墻上“畫出”兩條線，分別與“全局路由”小框和“VRF”小框互聯(lián)。防火墻與匯聚連接的兩條線，可以是不同的物理接口，也可以是不同的子接口。如下圖所示：
 

     最后，去掉匯聚層設(shè)備位置的大方塊，將防火墻“塞”在“全局路由”小框和“VRF”小框之間，這樣，一個單一等保級別的，化旁路為串聯(lián)的流量圖就完成了。
 
     兩個等保級別，這就要求了兩個等保級別內(nèi)的業(yè)務(wù)在互訪時，流量需要經(jīng)過防火墻。這里你就要記住：一個等保一個VRF，不同等保級別的流量要放在不同的VRF內(nèi)。
     在畫雙等保邏輯流量的時候，采用的方式和單一等保邏輯流量的方式是一樣的。第一步，仍然是把雙機結(jié)構(gòu)改成單機結(jié)構(gòu)，所不同的是，防火墻和匯聚之間，需要畫三條線。總之，匯聚下面有N個等保，匯聚和防火墻之間就畫N+1條線。
 

    然后，去掉匯聚層設(shè)備的圖標，用一個方框來代替。在方框內(nèi)部添加三個小方框，代表三個擁有獨立三層路由的虛擬設(shè)備，接入層交換機換成兩個，分別代表等保1的接入和等保2的接入。

      然后，去掉大方框，將防火墻“塞”在“全局路由”小方框和“VRF-1”、“VRF-2”小方塊之間，先形成如下圖所示的結(jié)構(gòu)：

    最后，將兩個等?！癡RF”的小方塊，分別連接在防火墻的兩邊，這樣，一個雙等保的化旁路為串聯(lián)的業(yè)務(wù)流邏輯圖就畫好了，根據(jù)標注的接口編號和規(guī)劃的IP地址，就可以寫配置腳本了。而且串聯(lián)的邏輯圖畫好以后，也立刻能夠知道靜態(tài)路由該如何規(guī)劃了。
記住一點：“全局”、“VRF-1”、“VRF-2”上標注的接口，其實全是匯聚交換機的。

    記住這個方式，以后遇到旁路防火墻，下面有N多個等保的業(yè)務(wù)流，也可以按照這個方式去照葫蘆畫瓢了。

04

數(shù)據(jù)中心未來的發(fā)展
     隨著大數(shù)據(jù)時代的到來，企業(yè)數(shù)據(jù)中心承載的業(yè)務(wù)越來越多，新業(yè)務(wù)上線越來越快。為了滿足業(yè)務(wù)的需要，傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)將逐漸向具備彈性、簡單和開放特征的新一代數(shù)據(jù)中心網(wǎng)絡(luò)演進。
A.彈性
     彈性是指網(wǎng)絡(luò)能夠?qū)崿F(xiàn)靈活、平滑擴展以適應(yīng)業(yè)務(wù)不斷發(fā)展的需要。彈性擴展包括設(shè)備級、系統(tǒng)級和數(shù)據(jù)中心級的擴展。
     設(shè)備級彈性擴展：網(wǎng)絡(luò)設(shè)備需要具備持續(xù)的平滑擴容能力。例如接入交換機可以提供25GE/40GE的接入能力，核心交換機能提供百T以上的交換容量，高密度的100GE/400GE接口等。
     系統(tǒng)級彈性擴展：數(shù)據(jù)中心網(wǎng)絡(luò)需要支持更大規(guī)模的二層網(wǎng)絡(luò)。例如提供X萬臺10GE服務(wù)器接入的能力。
     數(shù)據(jù)中心級彈性擴展：數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)要能夠支持多個數(shù)據(jù)中心的資源整合，實現(xiàn)更大規(guī)模虛擬機跨數(shù)據(jù)中心遷移。
B.簡單
     簡單就在于要能夠讓網(wǎng)絡(luò)更好的為業(yè)務(wù)服務(wù)，能夠根據(jù)業(yè)務(wù)來調(diào)度網(wǎng)絡(luò)資源，例如要能夠?qū)崿F(xiàn)網(wǎng)絡(luò)資源和IT資源的統(tǒng)一呈現(xiàn)與管理，能夠?qū)崿F(xiàn)從業(yè)務(wù)到邏輯網(wǎng)絡(luò)再到物理網(wǎng)絡(luò)的平滑轉(zhuǎn)換等。
C.開放
     傳統(tǒng)網(wǎng)絡(luò)的管理維護是封閉的，獨立于計算、存儲等IT資源。網(wǎng)絡(luò)開放以后，可以打破原有的封閉環(huán)境，使網(wǎng)絡(luò)設(shè)備可以與更多的SDN控制器、第三方管理插件、虛擬化平臺等協(xié)同工作，從而打造更靈活的端到端數(shù)據(jù)中心解決方案。