信息技术 存储网络 基于以太网的设备发现与交互要求 征求意见稿

1GB/TXXXXX—XXXX信息技术存储网络基于以太网的设备发现与交互要求本文件规定了基于以太网的存储网络中设备发现机制，包括网络组成、工作流程、接口协议等内本文件适用于基于以太网的存储网络的设计、建设、验收。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。YD/T4072—2022基于远程直接内存访问的高速以太存储网络交换设备技术要求3术语和定义下列术语和定义适用于本文件。3.1存储网络storagenetwork构建在现有网络基础设施之上，主要用于计算机和存储设备之间数据交换的独立子网络。3.2业务域servicezone按物理或逻辑关系连接成一组的计算和存储资源的集合，只有同一个域内的计算机和存储设备之间才能够建立业务连接。3.3类型长度值typelengthvalue一种高效率，扩展性好的协议报文编码方式，即type+length+value的格式，type表示TLV的类型，length是以字节为单位的TLV的长度，value是该TLV的值。3.4设备发现devicediscovery处于同一业务域内计算机自动获取和更新存储设备基本信息、状态信息、故障信息的过程。3.5设备注册与更新deviceregistrationandupdate计算机侧自动获取和更新存储设备基本信息的过程。3.6设备删除devicedeletion计算机侧自动获取存储设备离线状态信息的过程。3.72GB/TXXXXX—XXXX设备网络故障发现devicenetworkfaultdiscovery计算机侧自动获取存储设备网络故障状态信息的过程。4缩略语下列缩略语适用于本文件。ACK应答消息AcknowledgeBFD双向转发检测BidirectionalForwardingDetectionIP互联网协议InternetProtocoliSCSI互联网小型计算机系统接口InternetSmallComputerSystemInterfaceiWARP互联网广域远程直接内存访问协议InternetWideAreaRDMAProtocolLLDP链路层发现协议LinkLayerDiscoveryProtocolMAC媒体存取控制位MediaAccessControlNQNNVMe限定名称NVMeQualifiedNameNVM非易失性内存Non-VolatileMemoryNVMe非易失性内存计算机控制器接口规范NVMExpressOUI组织唯一标识符OrganizationallyUniqueIdentifierPFC基于优先级的流量控制Priority-basedFlowControlRDMA远程直接内存访问RemoteDirectMemoryAccessRFC请求评论RequestForCommentsRoCE聚合以太网的RDMARDMAoverConvergedEthernetSNSD存储网络智能发现StorageNetworkSmartDiscoveryTCP传输控制协议TransmissionControlProtocolTLV类型长度值TypeLengthValueUDP用户数据报协议UserDatagramProtocolVLAN虚拟局域网VirtualLocalAreaNetwork5存储网络组成图1给出了存储网络的拓扑示意图，分为核心层、汇聚层、接入层三个层次。接入设备（计算机、存储设备）与接入层的一个或多个接入交换机连接，接入层的接入交换机与一个或多个接入设备连接。考虑到存储业务高可靠性的要求，计算机和存储设备之间通常有多个网络路径，通过以太网络连接。当某一以太网络路径发生故障时，可快速切换到其它路径。3GB/TXXXXX—XXXX注：图中核心交换机、汇聚交换机、接入交换机均为以太网交换机。图1基于以太存储网络典型拓扑示意图6工作流程6.1设备注册和更新图2给出了设备注册和更新的流程。存储设备接入存储网络后，应按照周期性发送信息注册，将本设备注册信息上报给直连的接入交换机，接入交换机解析注册信息，检测是否有新设备注册或有配置变更。如有上述情况，则将信息经过汇聚层同步给核心层，继而核心层将信息经过汇聚层同步给计算机侧接入交换机；计算机侧接入交换机收到同步消息后，通过状态通知消息通知给其直连的计算机。计算机收到来自接入交换机的通知消息后识别出存储设备信息，即可做出相应的业务处理判断。图2设备注册与更新流程示意图6.2设备删除图3给出了设备删除业务的流程。存储侧接入交换机如超过设定时间未接收存储设备注册消息，应删除该设备信息，经过汇聚层同步删除信息给核心层，继而核心层将信息经过汇聚层同步给计算机侧接入交换机；计算机侧接入交换机发送状态通知消息通知业务域内计算机有设备离线，计算机收到通知消息后则可做出相应的业务处理。4GB/TXXXXX—XXXX图3设备删除业务流程示意图6.3设备网络故障发现图4给出了设备网络故障的发现流程。存储侧接入交换机检测到存储设备网络故障时，经过汇聚层同步故障信息给核心网络层，继而核心层将信息经过汇聚层同步给计算机侧接入交换机；计算机侧接入交换机发送通知消息给业务域内计算机，通知有存储设备网络故障。计算机收到来自接入交换机的故障状态通知消息后即可做出相应的业务处理。图4设备网络故障发现流程示意图7接口协议7.1注册7.1.1说明如表1所示，基于以太网链路层LLDP协议，采用扩展TLV结构，定义了LLDP信息注册消息的数据格式，通过OUI和子类型来标识。注册接口消息由存储设备周期性发送给接入交换机，实现了接入存储设备对交换机的信息注册上报功能。7.1.2功能要求基于以太网的存储网络中，设备发现机制中的注册应满足如下要求：a)应按照周期性发送信息注册；b)IP地址删除或VLAN配置删除后应停止发送信息注册；c)网络故障恢复后应重新发送信息注册；d)每个提供服务的IP均应发送信息注册；5GB/TXXXXX—XXXXe)聚合端口的每个成员端口都应发送信息注册；f)应通过信息注册报文订阅状态通知消息；g)信息注册中设备信息更新时应更新设备信息。7.1.3消息格式定义消息格式应符合YD/T4072—2022中6.3.1的规定。存储设备与交换机信息注册的LLDP关键索引信息由2部分构成：a)chassisID：chassisID采用端口的MAC地址；b)portID构成采用2部分：前缀+IP对应的端口名称，前缀采用特定字符：snsd_，表示用于设备自动发现的名称。交换机LLDP老化时间、接入存储设备发送LLDP报文周期可根据业务需求设置。LLDP信息注册消息格式如下所示：表1LLDP信息注册消息格式31设备基础属性(交换机需要进行解析，用于识别1bit7:是否订阅网络信息变化消息，对于订阅的节点交换机bit6/bit5/bit4:reserved，未2设备附属换机不解析字段内容，在通1TGT(1),INI(2),bothTGT&INI(3)，TGT表存储设备服务，INI表示作为计算机端，使用存储设备端服务；both1协议类型，1：NVMeoverRoCE；2：NVMeoverTCP；3：NV说明：1）自定义RoCE服务指基于标准R的方式;22协议服务端使用的端口号，如果协议采用知名端口号则16GB/TXXXXX—XXXX符可变长字段：0-255，与协议类型相对应的定义，NVMeo协议定义为NQN,注意：标识符没有字符串最7.2同步7.2.1说明同步信息包括业务域信息，接入存储设备信息和状态。该消息为基于TCP的协议消息。7.2.2功能要求基于以太网的存储网络中，设备发现机制中的同步应满足如下要求：a)同步的信息应包括业务域、设备信息和状态；b)接入交换机应支持检测网络故障和配置变更，并应将设备状态变化信息同步给核心网络层；c)接入交换机故障恢复后，能重新同步信息给核心网络层，与故障前一致；d)接入交换机接收到同步消息不转发，应做发送通知消息准备；e)超过设定时间未接收注册消息，应删除该设备，并同步删除信息到网络中其他交换机；通知业务域内计算机，有设备离线；Client/Server方式建立同步协议连接，避免全网络连接。7.2.3消息格式定义消息头同步消息通过TCP连接发送。最小消息由不带数据部分的报头（19个八位位组）组成。消息头固定大小，格式如下表：表2同步消息头格式4213)KEEPALIVE消息可以定期发送4)NOTIFICATION消息是针对错误或特殊情况发送的。如NEGOTIATE7GB/TXXXXX—XXXXNEGOTIATE是TCP连接建立后发出的第一个消息，如果NEGOTIATE消息被对端接收，马上返回一个KEEPALIVE消息，在固定长度的Header消息后，NEGOTIATE消息包含如下表：表3同步NEGOTIATE消息格式11代表自身的角色，连接的对等体向对端发送Negative报文时，需标记自身的角色Client或Relfector[RFC4456]。该角色发送updat2此2-octet无符号整数表示发送方建议保留计时Negotiate消息后，会话接收方必须使用其配置的保持时Negotiate消息中接收到的保持时间中的较小者来计算保持计时41UPDATE如图5所示，Update消息用于在会话双方之间同步传输数据。数据类型包括配置数据与动态数据，数据的操作包括新增、修改、删除。具体的格式定义见表4：图5UPDATE流程表4update消息格式128GB/TXXXXX—XXXX.1全局数据全局数据是所有交换机都需要的信息，包括但不限于BFD使能状态及动态建立，缺省域使能、域间是否隔离等信息。表5全局数据消息格式121121121121当Client从Reflector收到一条接入存储设备信息时，会触发和该设备信息中所标记的AccessIP（该设备连接的Client设备）的动态BFD会.2业务域动态数据TLV业务域动态数据包括域名称、域内包含的接入设备IP地址。业务域动态数据消息格式应符合表6的规定。表6业务域动态数据消息格式1219GB/TXXXXX—XXXX.3接入设备动态数据TLV接入设备动态数据包括接入设备IP，接入交换机设备IP，接入设备故障原因，存储消息等。具体的格式定义应符合表7的规定。表7接入设备动态数据消息格式121表8Subtype消息格式11接入设备类型：0INVALID，1NOTIFICATION当发生错误时，如图6所示，发送NOTIFICATION报文，接收端接收到NOTIFICATION后，立即关闭TCP连接，释放数据。消息包含字段格式应符合表9的规定。GB/TXXXXX—XXXX图6NOTIFICATION流程表9NOTIFICATION消息格式12KEEPALIVEKEEPALIVE定期发送，以确保连接处于活动状态。消息只包含消息头，长度为19字节。7.3通知7.3.1说明如图7所示，通知接口消息由接入交换机发送给计算机和存储设备，完成存储网络对存储设备信息和状态的通知功能。通知消息为二层扩展消息。图7通知流程7.3.2功能要求基于以太网的存储网络中，设备发现机制中的通知应满足如下要求：a)通知消息应只发送给变更的设备所在域内的订阅消息的计算机；b)状态通知消息发送后需要等待计算机回复确认消息；收到状态通知后应回复响应ACK；GB/TXXXXX—XXXXc)交换机在未收到确认消息时，应支持重试发送通知消息；重试次数可为3次，重试间隔可为100ms、1s、10s；d)交换机在网络故障后，应在500ms以内将网络状态消息通知到订阅消息的设备；e)应支持对通知消息去重，避免对重复消息进行处理。7.3.3消息格式定义消息格式应符合YD/T4072-2022中6.4.1的规定。网络状态变化通知消息由多条TLV组成，一个状态通知消息可以有1条或多条状态通知。状态通知消息由接入交换机产生，发送到接入计算机，交换机之间不转发此消息。订阅消息的接入设备在收到状态通知消息后应回复ACK。如图8：消息格式所有的字段均按网络字节序。状态通知消息使用通用结构型TLV和通用基础型TLV消息，通用结构型TLV嵌套通用基础型TLV，通用结构型TLV消息定义该消息是状态通知消息还是状态通知的响应消息ACK，通用基础型TLV消息定义状态变化的设备和原因。状态通知消息格式状态通知消息格式应符合表10中的规定。表10状态通知消息格式6621当前版号:1124GB/TXXXXX—XXXX2通用结构型消息格式通用结构型TLV消息格式应符合表11中的规定。表11通用结构型TLV消息格式1TLV消息长度2如果是IPv6,包括subTLV：3,4,5,6,1TLV消息长度2通用基础型消息格式通用基础型TLV消息格式应符合表12中的规定。表1