【第二十九期】互联网数据中心网络25G组网架构设计
发布时间: 2019-04-17

背 景

 

为什么升级到25G以太网络?

过去的一年里,我?#24378;?#20197;看到很多互联网数据中心的服务器接入已经从10G以太网升级到25G以太网,大家为什么要升级到25G以太网呢?

• 支撑高性能业务:主要配合业务的快速扩张和应用系统性能的提升,例如基于AI、大数据的互联网应用推动业务流量成倍增长;

• 支撑业务突发:存在业务突发的应用热点使得业务方需要基础架构做到全力支撑;
匹配服务器性能的升级:服务器CPU及存储I/O的性能升级,使得每台服务器网络吞吐性能增加,10G组网无法满足带宽需求;

• 单比特成本?#26723;停?/strong>对于公有云类业务,25G以太网实现网络单比特成本下降,?#26723;?#36816;营成本;
技术红利:新一代的25G以太网交换机?#37202;?#25552;供了丰富的技术特性,如Telemetry、RDMA(Remote Direct Memory Access,远程直接数据存取)等,大大提升了基础网络运维的效率,?#26723;?#20102;成本。

在互联网数据中心中,25G以太网相比10G以太网在组网架构层面有什么变化?接下来就让我们?#40644;?#26469;了解25G组网架构。

 

是什么决定了25G组网架构?

在部署建设25G数据中心网络?#20445;?#20026;更好地进行产品选型和架构方案的确定,我?#24378;梢园?#24433;响因素归纳到两个方面:

• 服务器规模:指预期单集群中服务器的数量;

• 业务应用需求:指不同业务类型对网络收敛比、服务器单上联/双上联等方面的要求。

最常见的网络架构模型为二级网络架构和三级网络架构,下面将为大家分析这两种架构与服务器规模、适用业务应用需求之间的对应关系。

 

25G网络架构设计方案

 

二级网络架构

 

▲图1:二级网络架构拓扑图

 

如上图1中的两种二级网络架构拓扑图,我们针对服务器单上联/双上联方式、规模、设备选型、收敛比等方面进行分析如下:

▲表1:二级网络架构对比表

 

当单集群服务器规模在1000~2000台?#20445;?#21487;以采用基于盒式(BOX)多核心二级架构即可满足需求,由于该架构中采用同系列单?#37202;?#20132;换机方案,对于PFC(Priority-based Flow Control,基于优先级的流量控制)+ECN(Explicit Congestion Notification,显?#25509;等?#36890;知)+MMU(Memory Management Unit,内存管理单元)管理,?#37202;?#27700;线设置一致性高、协调性好,同时转发时延低、吞吐率高,整网可部署RDMA业务和网络可视化方案。

当单集群服务器规模在5000~20000台?#20445;?#21487;以采用基于Chassis多核心二级架构,该架构Spine层核心设备有两种类型核心板卡可以选择,分别如下:

• CB类板卡,满足业务常出现多打一的场景,通过大缓存机制?#34892;?#20943;少多打一场景下的丢包;

• DB类板卡,满足业务对于RDMA组网和网络可视化要求较高场景,同?#22791;?#26550;构继承了基于BOX多核心二级架构的优势。

在二级组网架构中,我?#24378;?#20197;基于单集群服务器规模和业务需求决定采用哪种架构,在组网中路由协议部分, 在Spine-Leaf之间可采用EBGP(External Border Gateway Protocol,外部边界网关协议)协议,所有Leaf设备部署相同AS 号(Autonomous System number,自治域系统号),Spine层?#37038;誏eaf层路由后进行AS号替换,解决EBGP水平分割问题。当业务需要服务器双上联?#20445;?#24314;议采用去?#35757;?#26041;案进行Leaf层部署,具体细节详见《【第六期】如?#38382;?#29616;数据中心网络架构“去”?#35757;貳?/p>

 

三级网络架构

 

▲图2:三级架构拓扑图

 

对于单集群服务器规模超过2万台的超大型数据中心,Spine+Leaf的二级组网已经不能满足需求,且扩展性也变差。这时建议采用基于POD(Point Of Delivery,数据中心最小单元)横向扩展(Scale-out)的三级架构。

如上图2,每个POD内是Spine+Leaf的二级组网,服务器数量和网络设备数量标准化固定,多个POD之间再通过核心设备进行互联,从而实现更大规模的组网,解决灵活扩展的问题。我们通过POD数量、服务器规模、设备选型和收敛比来进行呈现如下表2:

 

▲表2:三级架构对比表

 

在三级组网架构中,同样也是相同的架构下两种设备选?#20572;?#20854;中POD内部即为标准的Spine+Leaf二级架构,设备选型一致。在核心层进行区分选择,该选择如二级架构中的Chassis(CB类板卡)多核心二级架构和Chassis(DB类板卡)多核心二级架构的选择,在此不再赘述。但这里需要注意当业务需求部署RDMA业务?#20445;?#24314;议将RDMA域的部署?#27573;?#25511;制在POD内部,因为更大规模的RDMA部署,PFC和ECN报文的控制难度将极具增大,同时?#31561;?#21453;压影响更为?#29616;亍?#22914;果要规划更大规模的数据中心,在单集群实现超过10万台服务器,就需要升级Spine层交换机设备,采用可提供128口100G的BOX设备,这样POD内可实现服务器规模翻倍。

 

下一代数据中心架构展望

 

据IDC(International Data Corporation,国际数据公司)预测,2025年数据中心要处理的数据量将达到175ZB,是2018年的5倍之多,且中国增长最为迅速,从2018年的7.6ZB预计到2025年增长到48.6ZB。在快速增长的数据面前,基础网络需要多方面的努力,例如从网络带宽的迭代升级和1:1网络收敛比的IP CLOS架构上进行改进,那么下一代组网架构在IP CLOS网络架构中是否还会采用Chassis设备,以及未来服务器接入将演进升级到什么形态以满足业务需求分析将在下?#40644;?#25991;章详细解读。

 

 


本期作者?#21644;?#30922;
锐捷网络互联网系统部行业咨询

 

往期精彩回顾  

中甲射手榜最新排名
彩宝双色球连号走势图 内蒙古时时彩玩法说明 欢乐斗地主下载 任我发六肖中特 2024期南国彩票论坛 体彩胜平负任选9场 极速11选5怎么操作 天重庆时时彩开奖历史 加拿大快乐8预测开奖结果 二分彩玩法 曹操六肖中特码046 天津快乐十分玩法 2019六合宝典官方下载六合图库 内蒙古11选5一定牛遗漏 天津十一选五助手下载