新闻中心

【综合布线国际标准研究报告】沃特布线总结SAN发展趋势

1、光纤通道发展路线图

存储网是一种专门用于数据存储和备份的网络系统,它通过铜缆或者光缆将存储阵列(固态硬盘、机械硬盘、磁带)与主机(Unix小型机、Linux 服务器、PC服务器)连接起来。存储网按照协议来分可以分为基于IP协议的IP-SAN,基于以太网的Ethernet-SAN,基于光纤通道的FC-SAN。FC-SAN以“块”的级别进行存储,读写速度更快,可用性和可靠性更高,延迟更低,更容易扩展。根据光纤通道行业协会(FCIA)2017年发布的市场报告,目前数据中心市场上基于光纤通道的存储网占了80%的市场份额。

【综合布线国际标准研究报告】SAN发展趋势


信息技术标准国际委员(INCITS)隶属于美国国家标准协会(ANSI),T11技术委员会负责制定光纤通道的技术标准, INCITS T11技术委员会自1997年发布了第一代 1G的光纤通道(Fiber Chanel)协议以来,以平均每三到五年速率翻一番的速度发布新的光纤通道(FC)技术标准。

光纤通道行业协会(FCIA)是一个非盈利的国际组织,该组织负责光纤通道市场的教育和推广工作,根据光纤通道行业协会(FCIA)2017年的市场研究报告,目前市场上90%的企业用户正在采用第五代16GFC或者第六代32GFC的光纤通道设备。

光纤通道存储网可以分为两个部分,一部分是主机或存储阵列和交换机的互连,另外一部分是核心交换机(Core)和边缘(Edge)交换机的之间互连,又称为交换机互连(Inter-Switch Link)。总的来说,有三种技术可以提高网络传输速率,一种是增加物理通道数量也就是光纤芯数,另外一种是采用更高级的编码方式,第三种是在一根物理光纤上传输更多的波长。

第六代 128GFC于2016年推出市场,采用并行传输技术,4个通道收,4通道发,每个通道传输28.05Gb/s。第七代64GFC于2019年推出市场,采用更高级的PAM4编码方式,PAM4编码方式能够在同样的信号载波上实现更高速的传输,每个通道传输57.8Gb/s,因此可以降低对光纤物理芯数的需求。

未来更有可能根据市场需要开发出更少通道的128GFC和256GFC,甚至更高的速率。



为了实现主机和存储阵列之间无阻塞的数据传输,核心(Core)交换机到边缘(Core)交换机之间互连(ISL)必须采用更高的传输速率。如果主机及存储阵列采用32GFC,核心(Core)交换机到边缘(Core)交换机互连(ISL)则采128G FC;如果主机及存储阵列采用64GFC,核心(Core)交换机到边缘(Core)交换机互连(ISL)则采用256G FC;如果主机及存储阵列采用10GFCoE, 核心(Core)交换机到边缘(Core)交换机互连(ISL)则采用40G FCoE; 如果主机及存储阵列采用25G FCoE, 核心(Core)交换机到边缘(Core)交换机互连(ISL)则采用100G FCoE。



2、FCOE发展路线图

为了在数据中心内部整合计算网络和存储网络,国际电子电气工程师委员会(IEEE)于2002年发布了第一个FCoE标准, FCoE发展路线图和以太网的发展路线图类似,目前市场上主机和存储阵列主要采用10GFCoE,交换机互连(ISL)主要采用40GFCoE。未来几年,主机和存储阵列会演变到25G/50G,交换机互连(ISL)会演变到100G/200G/400G。



3、数据存储介质发展

随着CPU计算速度和内存存取速度的不断提高,一直以来数据存储介质成为数据中心存储网的瓶颈。数据存储介质经历了从磁带、硬盘(HDD)到闪存的不同发展阶段。闪存(包括固态硬盘SSD)具有高速度,高可靠性的特点,根据FCIA2017年的市场研究报告,目前市场上60%的存储网采用固态硬盘(SSD),FCIA预计未来固态硬盘(SSD)会逐渐取代机械硬盘(HDD),数据中心存储网将进入“全闪存”(All Flash Arrays)的时代"。目前市场上SATA接口或者SAS接口的硬盘所采用的高级主机控制器接口协议(Advanced Host ControllerInterface, AHCI),然而AHCI协议是针对传统的机械硬盘而设计,AHCI协议大大地限制了闪存的性能包括读写速度、造成延迟增加。



为了解决闪存包含固态硬盘(SSD)的传输瓶颈,2011年业界开发出了非易失存储器(Non-Volatile Memory Express, NVMe)协议,NVMe协议基于PCIe总线。NVMe具有以下的优点:

1) 更快的存取速度;

2) 更低的延迟(降低55%);

3) 更低的功耗;

4) 更好的扩展能力(NVMe-OF支持Ethernet,FC,InfiniBand 网络矩阵);

5) 更多的驱动支持(Windows, Linux, Unix, VMWae, Solaris ,UEFI)。

为了在数据中心内部支持更多的NVMe存储设备和支持更远的传输距离,2014年业界内开发出了NVMe-oF网络矩阵(NVMe over Fabric),目前主要有两种类型的NVMe网络矩阵(NVMe-oF)正在开发中,一种是使用远程直接内存访问(Remote Direct Memory Acess)的NVMe-oRDMA网络矩阵,另外一种是使用光纤通道(FC)的NVMe-oFC网络矩阵。基于光纤通道(FC)的NVMe网络矩阵继承了传统光纤通道(FC)的优点,包括高性能、低延迟、高可用性、易扩展,光纤通道行业协会(FCIA)于2017年发布的市场研究报告显示目前市场上大约80-90%的“全闪存”存储网采用基于光纤通道(FC)的网络矩阵。



4、存储网布线介质选择

大型的金融机构通常在两个城市拥有三个数据中心,一个是主数据中心,另外两个是灾备数据中心,两地三个数据中心之间通过FCIP交换机形成点对点的连接,三个数据中心互为容错。每发生一次交易,数据会同时写入到三个数据中心,当任何一个数据中心出现故障,数据存储和备份会自动切换到另外两个数据中心。

数据中心互连布线介质选择


为了降低光纤布线的芯数,对于距离通常在10km内,主数据中心和灾备数据中心之间通常采用波分复用(包含CWDM和DWDM)技术,数据中心互连建议采用OS2室外单模光缆,对于距离在500m内,建议采用OS1a室内/室外单模光缆。不同类型的光模块,采用的技术传输距离也不同,以128G 光纤通道(FC)为例,128GFC-PSM4光模块采用并行传输方式,4芯单模光纤收,4芯单模光纤发,每芯光纤传输28.05Gbps,传输距离500m;128GFC-CWDM4光模块采用粗波分复用(CWDM)技术, 1芯单模光纤收,1芯单模光纤发,每芯光纤传输4个波长,每个波长传输28.05Gbps, 传输距离2km。

  


数据中心机柜互连布线介质选择

基于总体成本的考虑,数据中心机柜互连通常采用多模光纤, 2017年6月最新发布的ANSI/TIA-942-B推荐最低采用OM4多模光纤,OM4多模光纤能够支持16G FC到125m,支持32/64/128/256G光纤通道到100m。128GFC-SW4的光模块需要至少采用8芯光纤布线,而且距离只有100m。为了满足大型数据中心更远的距离需求,同时降低光纤的物理芯数,光纤通道未来会借鉴100/200/400G以太网的经验,采用短波分复用(SWDM)技术,对于短波分复用(SWDM)技术的光模块,OM5多模光纤能够以两芯光纤支持128GFC和256GFC更远的距离。



光模块和连接器的选择

从光模块的角度来看,4GFC光模块采用SFP接口,8GFC,16GFC,10G FCoE光模块采用SFP+接口,32GFC、64GFC,25G FCoE、50G FCoE光模块采用SFP28接口光模块,SFP,SFP+,SFP28光纤连接器采用双工LC光纤连接器。QSFP+模块支持40G FCoE, QSFP28模块支持100GFCoE,128G FC,200G FCoE和256FGFC光模块采用QSFP56光模块.



5、损耗预算

交换机的功率预算(Power Budget)是指的交换机发送端的输出功率和接收端接收功率的差值,交换机传输距离取决于交换机的功率预算(power budget),交换机功率预算=光纤链路损耗预算 + 信号失真(包括色散、抖动)+ 噪音 + 余量,光纤链路损耗预算(Loss Budget)=连接器插入损耗+光纤衰减,光纤链路损耗预算(Loss Budget)占交换机功率预算很大的比重,光纤链路损耗预算值越小,交换机功率预算余量越大,支持的网络连接越多,传输距离越远。

  


由于数据中心机柜之间的距离通常在100m以内,光纤本身的衰减基本可以忽略不计,所以光纤链路损耗主要由光纤器件包括光纤模块盒和连接器的插入损耗造成的。如下图所示,随着光纤通道网络速率的提升,光纤链路损耗预算(Loss Budget)越来越低。另外,大型的存储网网络矩阵(Fabric)通常采用双层甚至三层矩阵,因此在光纤链路中会存在多个网络连接。综上所述,越来越高的网络速率及越来越复杂的网络矩阵对于光纤器件的性能要求越来越高。



目前市场上的光纤布线器件分为有三个等级,标准损耗,低损耗和超低损耗。ISO/IEC 11801-1-2017 规定耦合器的最大插入损耗0.75dB,接合器的最大插入损耗0.3dB, OM4多模光缆的最大衰减3.5dB/km, OS1a单模光缆和OS2单模光缆的最大衰减分别是1.0dB/km和0.4dB/km。在某些复杂的存储网络拓扑结构中,多连接点的线路必须采用低损耗甚至超低损耗的器件来实现整体光纤链路的损耗预算满足应用的要求。