本文主要是介绍100GB Mellanox InfiniBand 网卡虚拟化技术调研,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
调研目的
验证 Mellanox InfiniBand 100GB网卡和SR650 Server能兼容
ThinkSystem SR650 | Power On (Booting OS or in undetected OS) |
Machine Type/Model | 7X05CTO1WW |
验证 SR-IOV虚拟话技术在BIOS/Firmware/Kernel/QEMU/Libvirt能被支持
4.18.0-305.19.1.el8_4.x86_64
验证 Virtual Function PCI设备在KVM能支持passthough
物理硬件
ThinkSystem Mellanox ConnectX-6 HDR100/100GbE QSFP56 2-port PCIe VPI Adapter
lspci
|
网口直连(无IB交换机)
无 InfiniBand Switch,如果将100GB IB卡接10GB 交换机纯属暴殄天物,直接IB两口直连,可使网速最大化
BIOS设置
-
SR-IOV(Single Root I/O Virtualization)
- 必须开启:SR-IOV是一种硬件虚拟化技术,用于在共享物理网络适配器的环境中创建多个虚拟网络适配器。SR-IOV 允许多个虚拟机 (VM) 直接访问物理适配器的硬件资源,从而提高了网络性能和可靠性。
-
Intel VT-d(Virtualization Technology for Directed I/O)
-
Intel VT-d 是一种硬件级别的 I/O 虚拟化技术,用于提供更安全和更高效的 I/O 访问控制和虚拟化。包括以下几个方面:
-
DMA 保护:DMA (Direct Memory Access) 是一种设备与内存之间直接传输数据的方式。Intel VT-d 技术可以保护系统内核和用户空间的内存不被非授权设备读写,从而提高系统的安全性。
-
SR-IOV:SR-IOV (Single Root I/O Virtualization) 是一种硬件级别的虚拟化技术,用于在共享物理网络适配器的环境中创建多个虚拟网络适配器。Intel VT-d 技术可以支持 SR-IOV,并通过硬件分离和隔离来保护虚拟适配器的安全性。
-
PCI Express 隔离:Intel VT-d 技术可以在 PCIe (Peripheral Component Interconnect Express) 总线上执行 I/O 隔离和分区,从而避免了物理设备之间的干扰和冲突,提高了 I/O 性能和可靠性。
-
-
网卡驱动升级
注意:100GB IB的网口模式不支持端口PF-VF的虚拟化技术,2个网口不够用,网卡驱动必须升级
第一步:打开Mellanox官网下载驱动 Linux InfiniBand Drivers
第二步:解压缩执行 ./mlnxofedinstall 会发现缺少依赖,按提示反复执行mlnxofedinstall直到依赖全部装上
./mlnxofedinstall
|
第三步:报错kernel版本不支持时,需要执行驱动自带的脚本
./mlnxofedinstall
|
如上述命令报错,缺少kernel-devel依赖,则继续安装依赖,直到报错消失
再次执行下述命令
./mlnxofedinstall
|
第四步:修改opensm配置文件, 则opensm服务无法重启
vi /etc/infiniband/openib.conf
|
Firmware升级
Slot No. | Device Name | Status | Version | Manufacturer | Release Date |
---|---|---|---|---|---|
1 | ThinkSystem Mellanox ConnectX-6 HDR100/100GbE QSFP56 2-port PCIe VPI Adapter | Active | 20.30.1004 | Mellanox Technologies | 2021/03/29 |
Kernel启动参数修改
grub启动界面点击e进入command模式
|
-
intel_iommu=on
:该参数用于启用 Intel VT-d(Virtualization Technology for Directed I/O)。Intel VT-d 提供硬件级别的 I/O 虚拟化支持,可以增强系统的安全性和性能。启用该选项后,操作系统可以访问和管理 IOMMU(I/O Memory Management Unit),以支持设备的直接内存访问 (DMA) 和虚拟机的 I/O 虚拟化。 -
iommu=pt
:该参数设置 IOMMU 使用的页表类型为 “passthrough”。IOMMU 的页表用于映射设备的物理地址和虚拟地址之间的转换。通过设置iommu=pt
,IOMMU 将直接传递虚拟地址给设备,而不进行额外的转换或修改。这种模式通常用于需要最低延迟和最高性能的应用场景。
uname -a
|
官网参考:
- Adapter IB Driver Linux Download
- Red Hat Configuring InfiniBand and RDMA networks
- Open subnet Manager (OpenSM)
这篇关于100GB Mellanox InfiniBand 网卡虚拟化技术调研的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!