service
通信服務(wù)
您現(xiàn)在的位置：服務(wù)詳情
數(shù)據(jù)中心
數(shù)據(jù)中心網(wǎng)絡(luò)起著承上啟下的作用，將計算和存儲資源連接在一起，并以服務(wù)的形式對內(nèi)部及外部的用戶提供數(shù)據(jù)訪問能力。雖說網(wǎng)絡(luò)建設(shè)和運維投入遠比機房基礎(chǔ)建設(shè)、服務(wù)器設(shè)備、存儲設(shè)備、應(yīng)用開發(fā)及運維小，但大家最怕它出現(xiàn)性能問題或故障長時間不能恢復(fù)，因為網(wǎng)絡(luò)一旦不可用，意味著一切服務(wù)都將停止。因此，設(shè)計運維一張高性能、高可靠的網(wǎng)絡(luò)是網(wǎng)絡(luò)架構(gòu)及運維團隊的首要目標。
結(jié)合我在銳捷網(wǎng)絡(luò)服務(wù)互聯(lián)網(wǎng)企業(yè)的實踐經(jīng)驗，分享幾個典型的網(wǎng)絡(luò)架構(gòu)設(shè)計，供大家參考。
數(shù)據(jù)中心10G/40G網(wǎng)絡(luò)架構(gòu)
主要設(shè)計理念：
a 核心設(shè)備全線速高性能轉(zhuǎn)發(fā)，核心之間不互聯(lián)，采用Fabric架構(gòu)，隔離核心故障，
******程度降低核心故障影響；
b 三層路由組網(wǎng)，通過ECMP提高冗余度，降低故障風(fēng)險；
c 通過TOR上的服務(wù)器接入數(shù)量和上聯(lián)40G鏈路數(shù)量控制單TOR收斂比，通過提高核心設(shè)備接口密度擴展單集群服務(wù)器規(guī)模。
注：千兆網(wǎng)絡(luò)已跟不上業(yè)務(wù)發(fā)展，本文不再涉及。
適用網(wǎng)絡(luò)
架構(gòu)設(shè)計
架構(gòu)特性
中小型
（集群規(guī)模300-1000臺）
每臺TOR 2*40GE上聯(lián)2核心，OSPF組網(wǎng)；
IDC內(nèi)收斂比6:1，集群帶寬1.5Tbps ；
上聯(lián)帶寬根據(jù)集群規(guī)模靈活配置。
中型
（集群規(guī)模1000-10000臺）
? 每臺TOR 4*40GE上聯(lián)2核心，OSPF或BGP組網(wǎng)；
? IDC內(nèi)收斂比3:1，集群帶寬30Tbps ；
? 上聯(lián)帶寬根據(jù)集群規(guī)模靈活配置。
大型
（集群規(guī)模5000-20000臺）
W 每臺TOR 4*40GE上聯(lián)4核心，BGP組網(wǎng)；
W IDC內(nèi)收斂比3:1，集群帶寬60Tbps；
W 上聯(lián)帶寬根據(jù)集群規(guī)模靈活配置。
超大型
（集群規(guī)模20000+臺）
案 單POD集群規(guī)模300-1000臺，數(shù)據(jù)中心集群規(guī)模20000+，BGP組網(wǎng)；
案 POD內(nèi)收斂比6:1或3:1，單POD集群帶寬1.5Tbps；
案 上聯(lián)帶寬根據(jù)集群規(guī)模靈活配置。
數(shù)據(jù)中心25G/100G網(wǎng)絡(luò)架構(gòu)
與10G/40G網(wǎng)絡(luò)一致，主要變化在于：
a 下行鏈路由10G變?yōu)?5G，提升至2.5倍；
b 上行鏈路每端口由40G變?yōu)?00G，提升至2.5倍；
c 下一代主流芯片方案實現(xiàn)為48*25GE+8*100GE（Broadcom TD3），上行收斂比提升為1.5:1。
下面僅以大型數(shù)據(jù)中心為例做組網(wǎng)說明：
適用網(wǎng)絡(luò)
架構(gòu)設(shè)計
架構(gòu)特性
大型
（集群規(guī)模5000-10000臺）
CLOS網(wǎng)絡(luò)架構(gòu)
最后，想與大家分享的是今年國內(nèi)不少互聯(lián)網(wǎng)企業(yè)考慮使用的新架構(gòu)設(shè)計。
從上述架構(gòu)設(shè)計說明中，不難看出數(shù)據(jù)中心集群規(guī)模和收斂比，主要受限于機框式核心設(shè)備的端口密度，而業(yè)界核心設(shè)備的更新?lián)Q代都是以數(shù)年為單位進行的，大大阻礙了數(shù)據(jù)中心規(guī)模和發(fā)展。另外，動輒數(shù)百個40GE接口或者100GE接口的核心設(shè)備單臺運行功率已達20KW，而國內(nèi)大部分IDC機房的平均功率只有5KW~6.5KW/機柜，這給機房供電系統(tǒng)的維護管理帶來了極大的挑戰(zhàn)。如何擺脫核心設(shè)備端口密度的限制？如何擺脫核心設(shè)備對IDC機房供電系統(tǒng)的挑戰(zhàn)？
此時，CLOS架構(gòu)誕生了。
25G /100G CLOS網(wǎng)絡(luò)架構(gòu)圖
架構(gòu)特性：
Leaf、Fabric、Spine交換機選用中低端盒式交換機48*25GE+8*100GE/32*100GE；
每臺Leaf，下聯(lián)32個25GE做Server接入，8個100GE用于向上連接的上行鏈路；每個POD 16臺Leaf交換機；
每臺Fabric交換機， 有32個100GE，16個下連16臺Leaf，16個上連至16組Spine；每個POD 8臺Fabric交換機，共32個POD；
每臺Spine交換機，有32個100GE，全部用于下連32個POD Fabric交換機；
每組8臺，共16組Spine交換機；
通過Edge PODs連接外網(wǎng)，單POD集群帶寬12.8Tbps，整數(shù)據(jù)中心集群帶寬超過400Tbps。
隨著智能時代的來臨，大數(shù)據(jù)、人工智能等新技術(shù)的應(yīng)用，對數(shù)據(jù)中心網(wǎng)絡(luò)提出了新的挑戰(zhàn)。如何更好地支撐Hadoop、RDMA等技術(shù)應(yīng)用，成為網(wǎng)絡(luò)運維團隊關(guān)注和思考的問題。高性能、低時延、無損網(wǎng)絡(luò)已然成為數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計和運維的主流思路。
