本文主要是介绍RDMA vs InfiniBand 网卡接口如何区分?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
(该架构图来源于参考文献)
- 高性能计算网络,RoCE vs. InfiniBand该怎么选?
新 RoCEv2 标准可实现 RDMA 路由在第三层以太网网络中的传输。RoCEv2 规范将用以太网链路层上的 IP 报头和 UDP 报头替代 InfiniBand 网络层。这样,就可以在基于 IP 的传统路由器之间路由 RoCE。
- RoCE v1协议:基于以太网承载 RDMA,只能部署于二层网络,它的报文结构是在原有的 IB架构的报文上增加二层以太网的报文头,通过 Ethertype 0x8915 标识 RoCE 报文。
- RoCE v2协议:基于 UDP/IP 协议承载 RDMA,可部署于三层网络,它的报文结构是在原有的 IB 架构的报文上增加UDP头、IP 头和二层以太网报文头,通过 UDP 目的端口号 4791 标 识 RoCE 报文。RoCE v2 支持基于源端口号 hash,采用 ECMP 实现负载分担,提高了网络的利用率。
由架构图可轻松区分出:
- 链路层是InfiniBand时,我们将其称之为IB网卡
- 链路层是Ethernet时,则我们将其称之为RoCE或WARP网卡
- 当传输层为IB时,(即 transport: InfiniBand ), 我们称其为RoCE网卡
- 当传输层为iWARP时,我们称其为iWARP网卡
ibv_devinfo命令查看Link Layer包含Ethernet
InfiniBand传输模式 - 例子
RoCE传输模式 - 例子
ibv_devinfo -v命令查看GID包含RoCE
RoCE传输模式 - 例子
show_gids命令查看KVM内部端口的GID, 传输模式RoCE V1 or RoCE V2
这篇关于RDMA vs InfiniBand 网卡接口如何区分?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!