3 RDMA 操作类型 具备RNIC（RDMA-aware network interface controller）网卡的设备，不论是目标设备还是源设备的主机处理器都不会涉及到数据传输操作，RNIC网卡负责产生RDMA数据包和接收输入的RDMA数据包，从而消除传统操作中多余的内存复制操作。 RDMA协议提供以下4种数据传输操作，除了RDMA读操作不会产生RDMA消息，其他操作都会产生一条RDMA消息。 RDMA Send操作；
Send operation；
Send with invalidate operation；
Send with solicited event；
Send with solicited event and invalidate；
RDMA Write操作；
RDMA Read操作；
Terminate操作。 4 RDMA over TCP 以太网凭借其低投入、后向兼容、易升级、低运营成本优势在目前网络互连领域内占据统治地位，目前主流以太网速率是100 Mb/s和1000 Mb/s，下一代以太网速率将会升级到10 Gb/s。将RDMA特性增加到以太网中，将会降低主机处理器利用率，增加以太网升级到10 Gb/s的优点，消除由于升级到10 Gb/s而引入巨大开销的弊端，允许数据中心在不影响整体性能的前提下拓展机构，为未来扩展需求提供足够的灵活性。 RDMA over TCP协议将数据直接在两个系统的应用内存之间进行交互，对操作系统内核几乎没有影响，并且不需要临时复制到系统内存的操作，数据流如图4.1所示。 
图4.1 RDMA over TCP (Ethernet)数据流示意图
RDMA over TCP协议能够工作在标准的基于TCP/IP协议的网络，如目前在各个数据中心广泛使用的以太网。注意：RDMA over TCP并没有指定物理层信息，能够工作在任何使用TCP/IP协议的网络上层。RDMA over TCP允许很多传输类型来共享相同的物理连接，如网络、I/O、文件系统、块存储和处理器之间的消息通讯。
图4.2 RDMA over TCP (Ethernet)协议栈
图4.2是RDMA over TCP (Ethernet)的协议栈，最上面三层构成iWARP协议族，用来保证高速网络的互操作性。 RDMA层协议负责根据RDMA写操作、RDMA读操作转换成RDMA消息，并将RDMA消息传向Direct Data Placement (DDP)层。DDP层协议负责将过长的RDMA消息分段封装成DDP数据包继续向下转发到Marker-based, Protocol-data-unit-Aligned (MPA)层。MPA层在DDP数据段的固定间隔位置增加一个后向标志、长度以及CRC校验数据，构成MPA数据段。TCP层负责对TCP数据段进行调度，确保发包能够顺利到达目标位置。IP层则在数据包中增加必要的网络路由数据信息。 DDP层的PDU段的长度是固定的，DDP层含有一个成帧机制来分段和组合数据包，将过长的RDMA消息分段封装为DDP消息，处理过程如图4.3所示。 
图4.3 DDP层拆分RDMA消息示意图
DDP数据段是DDP协议数据传输的最小数据单元，包含DDP协议头和ULP载荷。DDP协议头包含ULP数据的最终目的地址的位置和相关控制信息。DDP层将ULP数据分段的原因之一就是TCP载荷的最大长度限制。DDP的数据传输模式分为2种：tagged buffer方式和untagged buffer方式。tagged buffer方式一般应用于大数据量传输，例如磁盘I/O、大数据结构等；而untagged buffer方式一般应用于小的控制信息传输，例如：控制消息、I/O状态信息等。 MPA层在DDP层传递下来的DDP消息中，MPA层通过增加MPA协议头、标志数据以及CRC校验数据构成FPDU(framed PDU )数据段，处理过程如图4.4所示。 MPA层便于对端网络适配器设备能够快速定位DDP协议头数据，根据DDP协议头内设置的控制信息将数据直接置入相应的应用内存区域。MPA层具备错序校正能力，通过使能DDP，MPA避免内存复制的开销，减少处理乱序数据包和丢失数据包时对内存的需求。MPA将FPDU数据段传送给TCP层处理。 
图4.4 MPA层拆分DDP消息示意图
TCP层将FPDU数据段拆放置在TCP数据段中，确保每个TCP数据段中都包含1个单独的FDPU。MPA接收端重新组装为完整的FPDU，验证数据完整性，将无用的信息段去除，然后将完整的DDP消息发送到DDP层进行处理。DDP 允许DDP数据段中的ULP协议（Upper Layer Protocol）数据，例如应用消息或磁盘I/O数据，不需要经过ULP的处理而直接放置在目的地址的内存中，即使DDP数据段乱序也不影响这种操作。 5 RDMA标准组织 2001年10月，Adaptec、Broadcom、Cisco、Dell、EMC、HP、IBM、Intel、Microsoft和NetApp公司宣布成立"远程直接内存访问（RDMA）联盟"。RDMA联盟是个独立的开放组织，其制定实施能提供TCP/IP RDMA技术的产品所需的体系结构规范，鼓励其它技术公司积极参与新规范的制定。该联盟将负责为整个RDMA解决方案制定规范，包括RDMA、DDP（直接数据放置）和TCP/IP分帧协议。 RDMA联盟是Internet工程任务组（IETF）的补充，IETF是由网络设计师、运营商、厂商和研究公司组成的大型国际组织。其目的是推动Internet体系结构的发展，并使Internet的运作更加顺畅。RDMA联盟的成员公司和个人都是IETF的积极参与者。另外，IETF还认识到了RDMA在可行网络方案中的重要性，并计划在以后几个月里成立"Internet协议套件RDMA"工作组。RDMA联盟协议规定，联盟将向相应的IETF工作组提交规范草案，供IETF考虑。 TCP/IP RDMA体系结构规范的1.0版本于2002年10月由RDMA联盟成员发布， TCP/IP RDMA的最终规范将由RDMA联盟的业界合作伙伴及相应的业界标准组织派出的代表共同确定。RDMA联盟官方网址：http://www.rdmaconsortium.org 。 6 结论 相比较于TOE（TCP Offload Engine），RDMA-over-TCP技术能够实现更高的网络传输性能。TOE通过网卡上专用处理器来完成一些或所有数据包的相关协议计算任务，以减轻系统负载，包括TCP在内的四层处理请示都可以从主机处理器转移到网卡，其最终的结果就是在加速网络响应的同时提高服务器的性能，但TOE需要配合理想环境才能取得更好的效果，还达不到高性能网络应用的要求。 RDMA是一种能够支持发送系统将网络数据包的数据有效负载放在目的系统的指定位置的技术，通过使用目前普遍使用的网络，需要传输两端的RDMA专用网卡（RNIC）进行协调。由于数据被发送系统直接放在其最终内存位置上，因此在接收系统中移动网络分组数据所需的处理器时间减少了。硬件连接速度加快会把众多低价位的服务器集结成性能更强大的数据库，而不必购置昂贵的机器。对很注重占地空间和功耗的系统而言，就千兆位以太网满载传输这一任务而言，RNIC所需功耗仅为相应网卡和微处理器的一小部分。 但是采用RDMA技术也存在几个问题：这是一种高级协议堆栈，需要可靠的传输层（如TCP）。它是一种点对点协议，要求数据中心人员在每台服务器上安装专用网卡（NIC）。此外，由于RDMA能够将数据置于另一系统的内存空间，这可能会造成安全风险。因此，尽管RDMA能够帮助减少网络数据包占用的内存性能，但其限制因素使RDMA局限于特殊部署环境。 以太网技术通过RDMA over TCP技术将完美体现其低投入、通用性和高性能的特点。如今一些顶级系统开发商、操作系统及设备厂商正合力将这一理想变成现实。未来，RDMA over TCP技术在高性能企业应用中能否成为高速集群和服务器区域网的一种基本特性，还是让我们拭目以待。 |
最新文章
