【硬件相关】IB网/以太网基础介绍及部署实践

2024-03-03 00:20

本文主要是介绍【硬件相关】IB网/以太网基础介绍及部署实践,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

    • 一、前言
      • 1、Infiniband网络
      • 1.1、网络类型
      • 1.2、网络拓扑
      • 1.3、硬件设备
        • 1.3.1、网卡
        • 1.3.2、连接线缆
          • a、光模块
          • b、线缆
        • 1.3.4、交换机
      • 2、Ethernet网络
    • 二、部署实践(以太网)
      • 1、Intel E810-XXVDA2
        • 1.1、网卡信息
        • 1.2、检查命令
        • 1.2、驱动编译
      • 2、Mellanox MCX456A-ECAT [ConnectX-4]
        • 2.1、网卡信息
        • 1.2、检查命令
        • 1.2、驱动安装

一、前言

1、Infiniband网络

What is InfiniBand Network and the Difference with Ethernet?

Infiniband是一种高带宽、低延迟、高可靠性的开放标准网络互连技术,这项技术是由 IBTA (InfiniBand Trade Association)定义的,该技术在超级计算机集群领域得到了广泛的应用。

1.1、网络类型

Infiniband在物理层定义了多种链路速度,如x1链路、x4链路、x12链路,每个单独的链路都是四线串行差分连接(每个方向两根线),目前大多采用x4链路,当前Infiniband主流常见网络类型参考如下:

在这里插入图片描述

网络类型信号速率编码方式x1链路速率x4链路速率x12链路速率
SDR(Single Data Rate)2.5Gb/s8b/10b2Gb/s8Gb/s24Gb/s
DDR(Double Data Rate)5Gb/s8b/10b4Gb/s16Gb/s48Gb/s
QDR(Quad Data Rate)10Gb/s8b/10b8Gb/s32Gb/s96Gb/s
FDR(Fourteen Data Rate)14.0625Gb/s64b/66b13.64Gb/s54.54Gb/s163.64Gb/s
EDR(Ehanced Data Rate)25.78125Gb/s64b/66b25Gb/s100Gb/s300Gb/s
HDR(High Data Rate)50Gb/s64b/66b50Gb/s200Gb/s600Gb/s
NDR(Next Data Rate)100Gb/s64b/66b100Gb/s400Gb/s1200Gb/s

1.2、网络拓扑

Infiniband是处理器和I/O设备之间数据流的通信链路,支持多达64,000个可寻址设备。IBA(InfiniBand Architecture)是一个行业标准规范,它定义了一个点对点交换输入/输出框架,用于互连服务器、通信基础设施、存储设备和嵌入式系统。

Infiniband具有广泛性、低时延、高带宽和低管理成本等优点,是将多个数据流(集群、通信、存储、管理)在一个连接中连接数千个节点的理想选择。最小的IBA完整单元是一个子网(单个子网最大可由6万多个节点组成),多个子网通过路由器相互连接,形成一个大的IBA网络。子网内部使用交换机进行二层处理,子网之间使用路由器或网桥进行连接。

在这里插入图片描述

Infiniband是一种基于通道的结构,通道适配器就是搭建Infiniband通道使用的,所有传输均以通道适配器开始或结束,以确保安全或在给定的QoS(服务质量)级别下工作。其组成单元可以分为以下四类:

  • HCA(Host Channel Adapters):主机通道适配器
  • TCA(Target Channel Adapters):目标通道适配器
  • IB Link(Infiniband Link):Infiniband连接通道,包括连接头和线缆两部分,其中线缆可以是电缆或光纤
  • Switch/Router:Infiniband组网设备

infiniband architecture

1.3、硬件设备

1.3.1、网卡

高端网卡通常支持IB RDMA和ROCE两种,可以接入IB交换机或以太网交换机,具体支持情况需要根据产品规格进行确定。
网卡按照速率可分为QDR(40Gb)、EDR(100Gb)、HDR(200Gb)及NDR(400Gb)

1.3.2、连接线缆

连接线缆包括光模块和线缆两部分

a、光模块

The Big Differences Between SFP, SFP+, SFP28, QSFP+, QSFP28, QSFP-DD, and OSFP
Quickview about SFP, SFP+, SFP28, QSFP+, QSFP28, QSFP-DD and OSFP
sfp-vs-sfp-vs-sfp28-vs-qsfp-vs-qsfp28-vs-qsfp-dd-vs-osfp-differences

光模块在数据通信行业中起着关键的作用,SFP、SFP+、SFP28、QSFP+、QSFP28、QSFP56、QSFP-DD和OSFP是不同类型的光收发器。
它们都是可热插拔的网络接口模块,用于连接网络交换机和其他网络设备(如服务器)的数据传输,常见光模块类型参考如下:

光模块类型支持速率大小(mm2)兼容性线缆类型连接头
SFP100 Mb/s
1 Gb/s
113.9100 Mb/s SFP+Fiber、Twisted PairLC、RJ45
SFP+10 Gb/s113.91 Gb/s SFPFiber、Twisted Pair、DACLC、RJ45
SFP2825 Gb/s113.910 Gb/s SFP+Fiber、DACLC
SFP5650 Gb/s113.9SFP、SFP+、SFP28Fiber、DACLC
QSFP4 Gb/s156none
QSFP+40 Gb/s156noneFiber、DACLC、MTP/MPO
QSFP2850 Gb/s156QSFP+Fiber、DACLC
QSFP28100 Gb/s156noneFiber、DACLC、MTP/MPO-12
QSFP56200 Gb/s156noneFiber、DACLC、MTP/MPO-12
QSFP-DD400 Gb/s156QSFP+、QSFP28Fiber、DACLC、MTP/MPO-16
OSFP400 Gb/s
800 Gb/s
比QSFP略大noneFiber、DACLC、MTP/MPO-12
b、线缆

Infiniband网络中,使用的线缆区别于传统的以太网线缆和光纤线缆。针对不同的连接场景,需使用专用的InfiniBand线缆,可分为DAC高速铜缆、AOC有源线缆两种,两者材质不一(前者使用铜缆、后者使用光纤),AOC有源线缆价格要高于DAC高速铜缆
注:针对不同网络速率,QDR(40Gb)、EDR(100Gb)、HDR(200Gb)及NDR(400Gb)对应线缆有所不同,需要根据选定的IB交换机及网卡适配

1.3.4、交换机

Infiniband网络需使用专用的IB交换机

2、Ethernet网络

以太网(Ethernet)是由Xerox主导,并由Xerox、Intel、DEC联合开发的基带局域网规范标准,于1980年9月30日发布,是现有局域网所采用最通用的通信协议标准,通过电缆传输和接收数据。
以太网用于创建局域网并连接多台计算机或其他设备(如打印机、扫描仪等),在有线网络中通过光纤电缆完成,在无线网络中通过无线网络技术完成。
目前由IEEE主导的IEEE 802.3已发布100GE、200GE、400GE的以太网接口标准,常用的网络类型有以下几种

网络名称IEEE标准传输速率网络类型
Ethernet802.310 Mbps10Base-T
Fast Ethernet802.3u100 Mbps100Base-TX
100Base-FX
Gigabit Ethernet802.3z1000 Mbps1000Base-T
1000Base-SX
1000Base-LX
10 Gigabit EthernetIEEE 802.3ae10 Gbps10GBase-SR
10GBase-LX4
10GBase-LR/ER
10GBase-SW/LW/EW

二、部署实践(以太网)

1、Intel E810-XXVDA2

1.1、网卡信息

网卡介绍:英特尔® 以太网网络适配器 E810-XXVDA2

  • 网卡端口:双口(Dual-Port)
  • 网卡速率:25/10/1GbE
  • PCIe版本:16 GT/s(PCIe 4.0)
  • 插槽宽度:x8 lanes
  • 网卡控制器:Intel Ethernet Controller E810
  • 网卡驱动:ice
1.2、检查命令
  • 查看当前PCIe网卡列表:lspci | grep Eth
[root@node155 ~]# lspci | grep Eth
18:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
18:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
60:00.0 Ethernet controller: Intel Corporation Ethernet Connection X722 for 1GbE (rev 09)
60:00.1 Ethernet controller: Intel Corporation Ethernet Connection X722 for 1GbE (rev 09)
61:00.0 Ethernet controller: Intel Corporation Device 159b (rev 02)
61:00.1 Ethernet controller: Intel Corporation Device 159b (rev 02)
  • 查看当前PCIe网卡产品型号:lspci -vvv -s <pci-device-num> | grep "Product Name"
[root@node155 ~]# lspci -vvv -s 61:00.0 | grep "Product Name"Product Name: Intel(R) Ethernet Network Adapter E810-XXVDA2
  • 查看当前PCIe网卡速率:lspci -vvv -s<pci-device-num> | grep -E '(LnkCap:|LnkSta:)'
    注:LnkCap表示网卡理论的传输速率,LnkSta表示网卡实际的传输速率,当出现LnkSta < LnkCap情况时,网卡速率会大幅下降,通常为服务器PCIe插槽和网卡存在兼容性问题,尝试更换网卡或PCIe插槽解决
[root@node8 ~]# lspci -vvv -s 61:00.0 | grep -E '(LnkCap:|LnkSta:)'LnkCap: Port #0, Speed 16GT/s, Width x8, ASPM not supported, Exit Latency L0s unlimited, L1 <4usLnkSta: Speed 8GT/s, Width x4, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
1.2、驱动编译

驱动下载:Intel® Network Adapter Driver for E810 Series Devices under Linux*

  • 下载驱动程序(下载地址:适用于 Linux* 下的 E810 系列装置的 Intel® 网络适配器驱动程序)
wget https://downloadmirror.intel.com/789309/ice-1.12.7.tar.gz
  • 源码编译安装,加载ice网卡驱动模块
tar -zxvf ice-1.12.7.tar.gz
cd ice-1.12.7/src/
make install
modprobe ice
  • 查看网卡速率信息
[root@node8 src]# ethtool enp97s0f0
Settings for enp97s0f0:Supported ports: [ FIBRE ]Supported link modes:   1000baseT/Full25000baseCR/Full25000baseSR/Full1000baseX/Full10000baseCR/Full10000baseSR/Full10000baseLR/FullSupported pause frame use: SymmetricSupports auto-negotiation: NoSupported FEC modes: NoneAdvertised link modes:  25000baseSR/Full10000baseSR/FullAdvertised pause frame use: NoAdvertised auto-negotiation: NoAdvertised FEC modes: None BaseR RSSpeed: 25000Mb/sDuplex: FullPort: FIBREPHYAD: 0Transceiver: internalAuto-negotiation: offSupports Wake-on: dWake-on: dCurrent message level: 0x00000007 (7)drv probe linkLink detected: yes

2、Mellanox MCX456A-ECAT [ConnectX-4]

环境信息
100G双口网卡 Mellanox MCX456A-ECAT
100G以太网DAC线缆(3米) Mellanox MCP1600-C003

2.1、网卡信息

NVIDIA ConnectX InfiniBand网卡介绍
NVIDIA ConnectX-4 InfiniBand/Ethernet Adapter Cards User Manual

  • 网卡端口:双口(Dual-port QSFP28)
  • 网卡速率:InfiniBand: SDR/DDR/QDR/FDR/EDREthernet: 10/25/40/50/100 Gb/s
  • PCIe版本:8.0GT/s(PCIe 3.0)
  • 插槽宽度:x16 lanes
  • 网卡驱动:mlx5_core
1.2、检查命令
  • 查看当前PCIe网卡列表:lspci | grep Eth
[root@node176 ~]# lspci | grep Eth
0000:01:00.0 Ethernet controller: Mellanox Technologies MT27700 Family [ConnectX-4]
0000:01:00.1 Ethernet controller: Mellanox Technologies MT27700 Family [ConnectX-4]
0001:06:00.0 Ethernet controller: Beijing Wangxun Technology Co., Ltd. WX1860A2 Gigabit Ethernet Controller (rev 01)
0001:06:00.1 Ethernet controller: Beijing Wangxun Technology Co., Ltd. WX1860A2 Gigabit Ethernet Controller (rev 01)
  • 查看当前PCIe网卡速率:lspci -vvv -s<pci-device-num> | grep -E '(LnkCap:|LnkSta:)'
    注:LnkCap表示网卡理论的传输速率,LnkSta表示网卡实际的传输速率,当出现LnkSta < LnkCap情况时,网卡速率会大幅下降,通常为服务器PCIe插槽和网卡存在兼容性问题,尝试更换网卡或PCIe插槽解决
[root@node176 ~]# lspci -vvv -s 0000:01:00.0 | grep -E '(LnkCap:|LnkSta:)'LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM not supportedLnkSta: Speed 8GT/s, Width x16
1.2、驱动安装

驱动下载:Intel® Network Adapter Driver for E810 Series Devices under Linux*

  • 根据当前操作系统版本及硬件架构,选择下载对应驱动软件包(MLNX_OFED_LINUX-5.8-4.1.5.0-rhel8.2-aarch64.tgz)

在这里插入图片描述

  • 对于主流发行系统版本,在不升级默认内核版本情况下,mlnx_ofed提供了预构建RPM包,直接执行驱动软件安装即可
tar -zxvf MLNX_OFED_LINUX-5.8-4.1.5.0-rhel8.2-aarch64.tgz
cd MLNX_OFED_LINUX-5.8-4.1.5.0-rhel8.2-aarch64/
./mlnxofedinstall

这篇关于【硬件相关】IB网/以太网基础介绍及部署实践的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/767871

相关文章

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录,测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的

SpringBoot配置Ollama实现本地部署DeepSeek

《SpringBoot配置Ollama实现本地部署DeepSeek》本文主要介绍了在本地环境中使用Ollama配置DeepSeek模型,并在IntelliJIDEA中创建一个Sprin... 目录前言详细步骤一、本地配置DeepSeek二、SpringBoot项目调用本地DeepSeek前言随着人工智能技

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

C#基础之委托详解(Delegate)

《C#基础之委托详解(Delegate)》:本文主要介绍C#基础之委托(Delegate),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 委托定义2. 委托实例化3. 多播委托(Multicast Delegates)4. 委托的用途事件处理回调函数LINQ

JavaScript Array.from及其相关用法详解(示例演示)

《JavaScriptArray.from及其相关用法详解(示例演示)》Array.from方法是ES6引入的一个静态方法,用于从类数组对象或可迭代对象创建一个新的数组实例,本文将详细介绍Array... 目录一、Array.from 方法概述1. 方法介绍2. 示例演示二、结合实际场景的使用1. 初始化二

通过Docker Compose部署MySQL的详细教程

《通过DockerCompose部署MySQL的详细教程》DockerCompose作为Docker官方的容器编排工具,为MySQL数据库部署带来了显著优势,下面小编就来为大家详细介绍一... 目录一、docker Compose 部署 mysql 的优势二、环境准备与基础配置2.1 项目目录结构2.2 基

MySQL中慢SQL优化的不同方式介绍

《MySQL中慢SQL优化的不同方式介绍》慢SQL的优化,主要从两个方面考虑,SQL语句本身的优化,以及数据库设计的优化,下面小编就来给大家介绍一下有哪些方式可以优化慢SQL吧... 目录避免不必要的列分页优化索引优化JOIN 的优化排序优化UNION 优化慢 SQL 的优化,主要从两个方面考虑,SQL 语

springboot集成Deepseek4j的项目实践

《springboot集成Deepseek4j的项目实践》本文主要介绍了springboot集成Deepseek4j的项目实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价... 目录Deepseek4j快速开始Maven 依js赖基础配置基础使用示例1. 流式返回示例2. 进阶

CentOS 7部署主域名服务器 DNS的方法

《CentOS7部署主域名服务器DNS的方法》文章详细介绍了在CentOS7上部署主域名服务器DNS的步骤,包括安装BIND服务、配置DNS服务、添加域名区域、创建区域文件、配置反向解析、检查配置... 目录1. 安装 BIND 服务和工具2.  配置 BIND 服务3 . 添加你的域名区域配置4.创建区域