本文主要是介绍GPU系列(五)-nvidia-smi 基本使用，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1 什么是 nvidia-smi？
nvidia-smi 全称是 NVIDIA System Management Interface，是 NVIDIA 提供的管理和监控 GPU 的接口。
nvidia-smi 调用的是 NVML。NVML 全称是 NVIDIA Management Library，提供了一组 C API，用于 NVIDIA GPU 监控和管理的库。
1.1 可查询的状态
- ECC 错误计数
- GPU 利用率
- 活动计算进程
- 时钟和 PState
- 温度和风扇速度
- 电源管理
- 硬件识别
1.2 可修改的状态
- ECC 模式
- ECC 复位
- 计算模式
- 持久模式
2 nvidia-smi 字段含义
nvidia-smi+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.129.03 Driver Version: 535.129.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA A100-SXM4-80GB On | 00000000:27:00.0 Off | 0 |
| N/A 32C P0 65W / 400W | 4MiB / 81920MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+----------------------+----------------------+
| 1 NVIDIA A100-SXM4-80GB On | 00000000:2A:00.0 Off | 0 |
| N/A 29C P0 63W / 400W | 4MiB / 81920MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+----------------------+----------------------+
| 2 NVIDIA A100-SXM4-80GB On | 00000000:51:00.0 Off | 0 |
| N/A 31C P0 74W / 400W | 34221MiB / 81920MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+----------------------+----------------------+
| 3 NVIDIA A100-SXM4-80GB On | 00000000:57:00.0 Off | 0 |
| N/A 33C P0 66W / 400W | 4MiB / 81920MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+----------------------+----------------------+
| 4 NVIDIA A100-SXM4-80GB On | 00000000:9E:00.0 Off | 0 |
| N/A 31C P0 60W / 400W | 4MiB / 81920MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+----------------------+----------------------+
| 5 NVIDIA A100-SXM4-80GB On | 00000000:A4:00.0 Off | 0 |
| N/A 29C P0 62W / 400W | 4MiB / 81920MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+----------------------+----------------------+
| 6 NVIDIA A100-SXM4-80GB On | 00000000:C7:00.0 Off | 0 |
| N/A 28C P0 64W / 400W | 4MiB / 81920MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+----------------------+----------------------+
| 7 NVIDIA A100-SXM4-80GB On | 00000000:CA:00.0 Off | 0 |
| N/A 33C P0 92W / 400W | 7MiB / 81920MiB | 72% Default |
| | | Disabled |
+-----------------------------------------+----------------------+----------------------++---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 2 N/A N/A 3085965 C /home/xxx/.conda/envs/chat/bin/python 34208MiB |
+---------------------------------------------------------------------------------------+
| 字段 | 说明 |
|---|---|
| NVIDIA-SMI | nvidia-smi 的版本号 |
| Driver Version | 驱动版本号 |
| CUDA Version | CUDA 版本号 |
| GPU | GPU 卡序号 |
| GPU Name | GPU 的名称和内存容量 |
| Persistence-M | 持久模式是否启用。On 表示启用, Off 表示关闭。启用时 GPU 将保持最大性能状态 |
| Bus-Id | GPU 所在的 PCIe 总线地址 |
| Disp.A | 显示器是否连接到 GPU 的输出端口。On 表示连接,Off 表示没有连接 |
| Volatile Uncorr. ECC | 未 corrected 错误的易失性 ECC 内存错误计数。用于检测内存错误 |
| Fan | 风扇速度, N/A 表示没有风扇或风扇速度读数 |
| Temp | GPU 温度 |
| Perf | 性能状态。P0 是最大性能状态, P8 是最小性能状态 |
| Pwr | Usage/Cap: 当前功耗和功耗上限 |
| Memory-Usage | 已用 GPU 显存/总 GPU 显存 |
| GPU-Util | GPU 利用率 |
| Compute M. | 计算模式。Default 是默认模式 |
| MIG M. | MIG(Multi-Instance GPU) 模式, 将一个物理 GPU 分成多个独立、隔离的实例。Disabled 表示未启用 |
| 字段 | 说明 |
|---|---|
| GPU | GPU 设备的 ID |
| GI | Global ID, 针对多 GPU 系统, 一个进程所有的 cuda context 的统一 ID |
| CI | Compute Instance ID, 属于同一个 GPU 进程内, 区分不同 cuda context 的 ID |
| PID | 进程 ID |
| Type | 进程类型, C 表示 CUDA 进程, G 表示 Graphics 进程 |
| Process name | 进程名称 |
| GPU Memory Usage | 该进程当前在 GPU 上占用的内存大小 |
3 常用参数
-l：定时刷新状态
每隔 5 秒刷新一次
nvidia-smi -l 5-L：查看显卡型号
nvidia-smi -LGPU 0: NVIDIA A100-SXM4-80GB (UUID: GPU-x-8bff-5236-2111-x)
GPU 1: NVIDIA A100-SXM4-80GB (UUID: GPU-x-2a64-20a8-8c5b-x)
...-q：查看 GPU 的状态详情
-i 参数指定 GPU 序号
如果不指定，默认查询全部。
nvidia-smi -q -i 0==============NVSMI LOG==============
Driver Version : 535.129.03
CUDA Version : 12.2Attached GPUs : 8
GPU 00000000:27:00.0Product Name : NVIDIA A100-SXM4-80GBProduct Brand : NVIDIAProduct Architecture : AmpereDisplay Mode : EnabledDisplay Active : DisabledPersistence Mode : EnabledAddressing Mode : NoneMIG ModeCurrent : DisabledPending : Disabled-x：查询信息输出为 XML 格式
nvidia-smi -q -i 0 -x
<?xml version="1.0" ?>
<!DOCTYPE nvidia_smi_log SYSTEM "nvsmi_device_v12.dtd">
<nvidia_smi_log><driver_version>535.129.03</driver_version><cuda_version>12.2</cuda_version><attached_gpus>8</attached_gpus>...
</nvidia_smi_log>-d SUPPORTED_CLOCKS 查看 GPU 的时钟频率
通过 -i 参数指定 GPU 序号，如果不指定，则默认查询全部 GPU 的时钟频率。
nvidia-smi -q -d SUPPORTED_CLOCKS -i 0==============NVSMI LOG==============Timestamp : Thu Feb 1 14:33:03 2024
Driver Version : 535.129.03
CUDA Version : 12.2Attached GPUs : 8
GPU 00000000:27:00.0Supported ClocksMemory : 1593 MHzGraphics : 1410 MHzGraphics : 1395 MHzGraphics : 1380 MHzGraphics : 1365 MHzGraphics : 1350 MHzGraphics : 1335 MHzGraphics : 1320 MHz--query-gpu=gpu_name --format=csv 查询指定字段信息
--query-gpu 参数可以指定要查询的信息
--format 参数可以指定输出格式。
nvidia-smi --query-gpu=temperature.gpu,utilization.gpu,utilization.memory,memory.total --format=csv,noheader32, 0 %, 0 %, 81920 MiB
30, 0 %, 0 %, 81920 MiB
31, 0 %, 0 %, 81920 MiB
49, 72 %, 47 %, 81920 MiB
31, 0 %, 0 %, 81920 MiB
28, 0 %, 0 %, 81920 MiB
28, 0 %, 0 %, 81920 MiB
30, 0 %, 0 %, 81920 MiB4 常用子命令
nvidia-smi nvlink -s 查看 NVLink 网络状态
nvidia-smi nvlink -sGPU 0: NVIDIA A100-SXM4-80GB (UUID: GPU-d604695a-8bff-5236-2111-59cae59c2a48)Link 0: 25 GB/sLink 1: 25 GB/sLink 2: 25 GB/sLink 3: 25 GB/sLink 4: 25 GB/sLink 5: 25 GB/sLink 6: 25 GB/sLink 7: 25 GB/sLink 8: 25 GB/sLink 9: 25 GB/sLink 10: 25 GB/sLink 11: 25 GB/snvidia-smi topo -m 查看连接拓扑
nvidia-smi topo -mGPU0 GPU1 GPU2 GPU3 GPU4 GPU5 GPU6 GPU7 NIC0 CPU Affinity NUMA Affinity GPU NUMA ID
GPU0 X NV12 NV12 NV12 NV12 NV12 NV12 NV12 SYS 0-31,64-95 0 N/A
GPU1 NV12 X NV12 NV12 NV12 NV12 NV12 NV12 SYS 0-31,64-95 0 N/A
GPU2 NV12 NV12 X NV12 NV12 NV12 NV12 NV12 SYS 0-31,64-95 0 N/A
GPU3 NV12 NV12 NV12 X NV12 NV12 NV12 NV12 SYS 0-31,64-95 0 N/A
GPU4 NV12 NV12 NV12 NV12 X NV12 NV12 NV12 SYS 32-63,96-127 1 N/A
GPU5 NV12 NV12 NV12 NV12 NV12 X NV12 NV12 SYS 32-63,96-127 1 N/A
GPU6 NV12 NV12 NV12 NV12 NV12 NV12 X NV12 SYS 32-63,96-127 1 N/A
GPU7 NV12 NV12 NV12 NV12 NV12 NV12 NV12 X SYS 32-63,96-127 1 N/A
NIC0 SYS SYS SYS SYS SYS SYS SYS SYS XLegend:X = SelfSYS = Connection traversing PCIe as well as the SMP interconnect between NUMA nodes (e.g., QPI/UPI)NODE = Connection traversing PCIe as well as the interconnect between PCIe Host Bridges within a NUMA nodePHB = Connection traversing PCIe as well as a PCIe Host Bridge (typically the CPU)PXB = Connection traversing multiple PCIe bridges (without traversing the PCIe Host Bridge)PIX = Connection traversing at most a single PCIe bridgeNV# = Connection traversing a bonded set of # NVLinksNIC Legend:NIC0: mlx5_bond_0NV12 表示有 12 根 NVLink，以每个 25 GB/s 的速率计算，这里 GPU 与 GPU 之间的互联速度达 300 GB/s。
5 常用配置命令
开启持久模式
已经被 nvidia-persistenced 守护进程替代。
可以通过 -i 参数指定 GPU 序号。
nvidia-smi -pm 1持久模式 persistence mode，即在没有应用使用 GPU 时，驱动也处于加载状态。
持久模式比较耗电，但如果有短生命周期的任务，使用持久模式能够缩短 GPU 程序的启动延时。
开启 ECC 模式，重启生效
可以通过 -i 参数指定 GPU 序号。
nvidia-smi -e 1如果关闭，使用 -e 0，需要重启才能生效。
需要注意的是开启 ECC 之后，虽然能够避免内存错误，但是会损失 15-25% 的性能，同时显存也会减少一部分。
设置计算模式
一共有三种计算模式：
- 0/Default 多个进程共享，会有竞争和等待
- 2/Prohibited 禁用显卡
- 3/Exclusive 进程独占。
nvidia-smi -c 06 常见异常处理
容器中执行 nvidia-smi 报错
错误信息：
CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 36: API call is not supported in the installed CUDA driver解决方式：
设置环境变量：
LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/lib/x86_64-linux-gnu:/usr/local/nvidia/lib原因
容器中的 cuda 版本比较旧，cuda.so 匹配不上驱动，通过上面的 LD_LIBRARY_PATH 环境变量绕过旧版本的驱动。
这篇关于GPU系列(五)-nvidia-smi 基本使用的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
