交流文档RDMA层

1、RDMA技术交流讨论RDMA层详解1主要内容RDMA技术简介RDMA工作过程协议分层 RDMA对下层功能的调用数据操作方法信息封装RDMA与上层协议的交互2RDMA技术简介RDMA（Remote Direct Memory Access）远程直接数据存取。这是一种网卡技术，它使一台计算机直接将信息放入另一台计算机的内存中。最小化处理过程的CPU开销和带宽，减少了延迟时间。通过两种途径来实现这一目标：将可靠传输协议固化于硬件支持绕过内核的零拷贝网络3RDMA 工作过程1、应用执行RDMA 读或写请求时，不执行数据复制。在不需要内核内存参与下， RDMA 请求从用户空间应用中发送到本地NIC。2、

2、 NIC 读取缓冲内容，通过网络传送到远程NIC。3、 网络上传输的RDMA 信息包含目标虚拟地址、内存钥匙和数据。请求完成既可以完全在用户空间中处理，或在应用一直睡眠到请求完成时通过内核内存处理。RDMA 操作使应用可以从一个远程应用的内存中读数据或向内存写数据。4、目标NIC 确认内存钥匙，直接将数据写入应用缓存。4RDMA协议分层上层协议RDMA协议DDP 协议MPASCTPTCP5RDMA对下层功能的调用6RDMA对下层功能的调用7DDP层的重要功能DDP是RDMA的下层负责将ULP分组和重装DDP使用两种基本缓冲器模型来放置ULP有效载荷：标记缓冲器模型、无标记缓冲器模型标记缓冲器模

3、型：数据源使用Stag来识别收端的标记缓冲器，数据偏置(TO)用来识别ULP有效载荷的标记缓冲器内的偏移量，偏移位置由RDMA头部的TO决定无标记缓冲器模型：DDP队列号用来把ULP报文分为不同队列接收缓冲器，偏移位置为0RDMAP可以传输的报文，含有0232-1个字节的有效载荷，之后ULP被DDP分段，在收端被重组。8RDMA数据操作方法RDMA 协议提供7 种类型的控制操作，名称和信息对等层的信息交互如下：发送发送无效发送请求事件发送请求事件无效RDMA写RDMA读终止9RDMA数据操作方法（一）Send 发送使用DDP无标记缓冲区数据传递模型10RDMA数据操作方法（二）Send wit

4、h Invalidate 发送无效注：无效指该过程接收方不允许发送方介入该缓冲区，直到重新声明后。11RDMA数据操作方法（三）Send with Solicited Event 发送请求事件12RDMA数据操作方法（四）Send with Solicited Event and Incalidate 发送请求事件无效13RDMA数据操作方法（五）RDMA Write RDMA写使用DDP带标记缓冲区数据传递模型14RDMA数据操作方法（六）RDMA Read RDMA 读15RDMA数据操作方法（七）Teminate 终止将本地错误信息通知给对端应用，以终止当前操作。使用DDP的无标记缓冲模

5、型。16信息封装（一）RDMA读请求消息携带一个RDMA读请求头，它描述了RDMA读操作所使用的接收器和数据源缓冲下面是RDMA读请求格式001234567891012345678920123456789301数据接收器STag (SinkSTag) 数据接收器标记偏移(SinkTO) RDMA读消息大小(RDMARDSZ)数据源STag (SrcSTag)数据源标记偏移(SrcTO)17信息封装（二）RDMA写消息不包括RDMA协议头部，它完全由DDP头字段描述。RDMA写的DDP字段格式001234567891012345678920123456789301DDP控制RDMA控制数据接收器

6、STag 数据接收器标记偏移（TO）RDMA写ULP净荷18信息封装（三）同样，RDMA读响应、发送、发送请求事件、发送无效、发送请求事件无效头部都是和RDMA写消息一样，完全由DDP 头字段描述。19信息封装（四）终止消息携带终止头，这里面包含了与终止原因相关的信息。RDMA终止头格式如下001234567891012345678920123456789301终止控制 保留DDP字段长度 (如果有的话) 终止DDP头部 (如果有的话)终止DDP头部 (如果有的话) 终止RDMA 头部(如果有的话)20RDMA与上层协议交互（一） 发送操作在数据源端：ULP传给RDMA协议层的信息如下：ULP

7、消息长度ULP消息发送操作类型说明（发送、发送请求事件、发送无效、请求事件发送无效）无效Stag（发送操作类型是无效发送或请求事件无效发送）发送操作完成后，显示一个完成结果21RDMA与上层协议交互（一） 发送操作发送操作在数据接收端：RDMA传给ULP协议层的信息如下：ULP消息长度ULP消息一个事件（如果数据接收器配置生成事件）无效Stag（发送操作类型是无效发送或请求事件无效发送）如果发送操作错误，RDMA会向ULP传输错误信息，并传输一个终止消息22RDMA与上层协议交互（二）写操作在数据源端：ULP传给RDMA协议层的信息如下：ULP消息长度ULP消息数据接收器Stag数据接收器标记偏移（TO）RDMA 写操作完成时，显示一个完成结果在数据接收器端：RDMA 写成功情况下，将ULP消息写入ULP缓冲区中。RDMA写错误情况下，将错误信息给ULP数据接收器，并发送一条终止信息。23RDMA与上层协议交互（三）读操作数据接收器端：ULP传给RDMA协议层的信息如下：ULP消息长度数据源Stag数据接收器