Pytorch安装 CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN解释与辨析

2024-09-03 20:20

本文主要是介绍Pytorch安装 CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN解释与辨析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Pytorch的CPU版本与GPU版本

Pytorch的CPU版本

  • 仅在 CPU 上运行,适用于没有显卡或仅使用 CPU 的机器。
  • 安装方式相对简单,无需额外配置 CUDA 或 GPU 驱动程序。
  • 使用方式与 GPU 版相同,唯一不同的是计算将自动在 CPU 上进行。

Pytorch的GPU版本

  • 在 NVIDIA GPU 上运行,充分利用 CUDA(Compute Unified Device Architecture)进行加速。
  • 安装时需要确保 NVIDIA 的 CUDA 和 cuDNN 版本兼容。

如何确定使用哪个版本?

在电脑中使用快捷键windows+X,选择设备管理器查看,如果有NVIDIA的显卡,则可以使用GPU版本。

有NVIDIA显卡的情况下也可以使用CPU版本,但是没有NVIDIA显卡则只能使用CPU版本,如果可以使用GPU版本的话,推荐优先使用GPU版本,因为具有更好的性能与更快的速度。

CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN解释与辨析

在电脑拥有NVIDIA显卡的情况下,安装GPU版本之前,可以先查看自己的CUDA版本。

通过命令行窗口输入nvidia-smi可以查看。

现在显示出的CUDA Version,具体来说其实是CUDA Driver Version即CUDA驱动的版本,与其对应的还有CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN,这几个概念之间有以下的关系。

CUDA Driver

CUDA Driver(CUDA驱动程序)管理CUDA应用程序在GPU上的执行,它使CUDA应用程序与GPU硬件之间进行交互。

CUDA Runtime

CUDA Runtime是NVIDIA提供的一个软件层,它为开发人员提供了一个高层次的接口,以便更方便地使用CUDA进行GPU编程。CUDA Runtime封装了许多底层的CUDA驱动程序功能,使得开发者可以更加专注于算法和应用程序的开发,而不必深入底层的硬件细节。

CUDA Toolkit

CUDA Toolkit是NVIDIA提供的一套开发工具和库,旨在帮助开发人员创建和优化基于CUDA的应用程序。它包括了包括NVIDIA的CUDA编译器(nvcc)、CUDA程序库、CUDA开发工具。安装CUDA Toolkit时,通常也会携带安装CUDA Driver。

nvcc

nvcc(NVIDIA CUDA Compiler)是NVIDIA提供的CUDA编译器,用于将CUDA代码编译成可在NVIDIA GPU上运行的二进制文件。它是CUDA Toolkit的一部分,专门设计用于处理CUDA C/C++代码,并将其与常规C/C++代码结合编译。

cuDNN

cuDNN(CUDA Deep Neural Network library)是NVIDIA提供的一个高性能深度学习库,专门为深度神经网络(DNN)的训练和推理优化,旨在利用NVIDIA GPU的计算能力来加速深度学习任务。

他们之间有什么联系?

在有Nvidia显卡的电脑上,通常会直接自带有CUDA Driver,因为显卡的正常使用就依赖于CUDA Driver,且通过nvidia-smi命令查询到的CUDA Version就是指的CUDA Driver的版本。但是在对原始电脑不做其他操作的情况下,通过nvcc -V命令是会执行报错的,因为电脑中只有CUDA Driver,并没有安装CUDA Runtime的环境,此条命令查询是CUDA编译器nvcc的版本信息,由于nvcc是被包括在CUDA Runtime中的,没有CUDA Runtime自然也就查询不到nvcc的信息。如果要对CUDA Runtime的环境进行安装,就需要安装CUDA Toolkit, 安装CUDA Toolkit时选择的版本就对应了CUDA Runtime的版本,因为CUDA Toolkit的版本和CUDA Runtime的版本是一致的,同时安装CUDA Toolkit时也会携带安装一个与当前版本最佳兼容的一个版本的CUDA Driver,如果安装时检测到系统已有CUDA Driver,安装程序可能会检测到现有版本并提示保留或更新。在使用深度学习框架需要进行加速训练时,可以使用到cuDNN,它是一个独立的库,不随CUDA Toolkit安装需要单独下载,但需要配合CUDA Toolkit使用,所以使用cuDNN前需要先安装好CUDA Toolkit,当然如果不使用cuDNN也是可以正常使用Pytorch的。

在安装Pytorch时很多博客中首先记录了对CUDA Toolkit的安装,但这一步是必须的吗?

下面针对CUDA Toolkit与Pytorch的安装关系进行一些说明。

下载Pytorch时通常会附带下载CUDA Toolkit,该CUDA Toolkit作为附带下载的并不带有完整的功能,只有支持Pytorch工作的部分。具体而言,下载Pytroch时附带下载的CUDA Toolkit没有携带驱动程序(CUDA Driver)也没有携带编译工具(nvcc),但它会有供Pytorch功能使用的已经编译好的CUDA函数库,这些编译完成的库函数可以不用再进行编译而直接运行,其CUDA版本号表示的是编译这些CUDA函数库时使用的CUDA Runtime版本,与电脑本机具体使用的CUDA Runtime版本无关,因此本地电脑安装Pytorch时其实不安装CUDA编译工具(nvcc)也可以正常使用,只要保证CUDA Driver存在(nvidia-smi能够查看到)且版本大于大于下载Pytorch时选择的CUDA版本(即附带的CUDA Toolkit中携带的已编译的函数库在编译时的CUDA Runtime版本)。当使用到nvcc编译器的编译功能时,Pytorch附带的CUDA Toolkit功能不够用了,此时才需要对完整的CUDA Toolkit进行下载。

综上所述,可以得出以下结论:

在电脑自带有CUDA Driver的情况下,如果不编写自定义的CUDA扩展或修改PyTorch的底层实现,只使用Pytorch的预编译版本,那么可以不需要去对CUDA Toolkit进行安装,只需要选择与自己电脑上的CUDA Driver版本匹配的Pytorch版本即可。

当使用Pytorch的过程中需要用到cnDNN进行加速时,或是需要编写自定义的CUDA扩展或修改PyTorch的底层实现时,则必须要安装CUDA Toolkit

以上概念辨析参考 图文并茂讲解CUDA, CUDA Toolkit, CUDA Driver, CUDA Runtime, nvcc之间的关系及其版本兼容性-CSDN博客

CUDA版本说明

图文来源 23. GPU版本-GPU与CUDA准备工作_哔哩哔哩_bilibili

在安装Pytorch的GPU版本时,必须要选择的就是对应的CUDA版本,而这个CUDA版本指的就是CUDA Runtime Version,即CUDA运行时的版本,这个版本必须要低于或等于本机的CUDA驱动的版本,即CUDA Driver Version,也即通过nvidia-smi命令查询得到的版本,否则会出现低版本无法兼容高版本的情况。

在确定好本机的CUDA Driver Version后,即可安装对应的CUDA Runtime Version的Pytorch版本。若要安装的Pytorch版本对于CUDA Runtime Version的要求高于本机的CUDA Driver Version,可以选择对本机的CUDA Driver Version进行升级,即下载高版本的驱动来更新本机的驱动版本,或是直接安装CUDA Toolkit来顺带更新驱动。

对于更新驱动与CUDA Toolkit安装的操作可以参考 NVIDIA驱动程序(NVIDIA Driver)和CUDA Toolkit安装_nvidia cuda toolkit-CSDN博客

Pytorch安装

明确了CUDA中的各个概念与版本选择,下面可以自信地安装自己合适版本的Pyorch了。

前往官网 PyTorch

当前展示的是最新版本,如果需要早期版本的可以点击下方的标签查看。

由于我需要下载的是1.13.0的版本,所以翻到了这个地方。

此时查看本机的CUDA Driver版本为11.7.

根据前文描述的版本选择要求,可以选择其中的pytorch-cuda=11.7的版本,将命令复制后输入到命令行中即可开始下载。

安装完成后可以查看是否成功安装。

当能够import不报错时表示安装成功了,当查询torch.cuda.is_available()为true时表示能够使用GPU。

需要注意的是,当前安装Pytorch的过程中我都是没有去另外安装CUDA Toolkit的,本机只存在CUDA Driver,而没有CUDA Runtime,所以当前的Pytorch功能的使用都是基于其自带的预编译好的CUDA程序,如果有编写自定义的CUDA扩展或修改PyTorch的底层实现的需求,或是需要使用cuDNN,则需要去安装CUDA Toolkit。

CUDA Toolkit安装

按上文所述,如果没有使用cuDNN的需求,Pytorch此时就可以直接进行使用了。但如果要使用cuDNN,则需要去先安装CUDA Toolkit,因为cuDNN的使用依赖于CUDA Toolkit。所以首先进行CUDA Toolkit的下载安装。

各版本下载地址 CUDA Toolkit Archive | NVIDIA Developer

对于版本的选择,只要比本机的CUDA Driver版本低即可,可以和要安装的Pytorch对应的CUDA版本一致,我的电脑中CUDA Driver为11.7(通过nvidia-smi查询),所以选择安装11.6的版本。

以上操作细节参考 CUDA与cuDNN安装教程(超详细)-CSDN博客

cuDNN安装

前往官网下载 cuDNN Archive | NVIDIA Developer 可以挑选自己的cuda对应的版本下载

通常需要注册,直接注册即可。

 具体操作细节参考 CUDA与cuDNN安装教程(超详细)-CSDN博客

这篇关于Pytorch安装 CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN解释与辨析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1133945

相关文章

pytorch自动求梯度autograd的实现

《pytorch自动求梯度autograd的实现》autograd是一个自动微分引擎,它可以自动计算张量的梯度,本文主要介绍了pytorch自动求梯度autograd的实现,具有一定的参考价值,感兴趣... autograd是pytorch构建神经网络的核心。在 PyTorch 中,结合以下代码例子,当你

如何在Mac上安装并配置JDK环境变量详细步骤

《如何在Mac上安装并配置JDK环境变量详细步骤》:本文主要介绍如何在Mac上安装并配置JDK环境变量详细步骤,包括下载JDK、安装JDK、配置环境变量、验证JDK配置以及可选地设置PowerSh... 目录步骤 1:下载JDK步骤 2:安装JDK步骤 3:配置环境变量1. 编辑~/.zshrc(对于zsh

如何在pycharm安装torch包

《如何在pycharm安装torch包》:本文主要介绍如何在pycharm安装torch包方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录在pycharm安装torch包适http://www.chinasem.cn配于我电脑的指令为适用的torch包为总结在p

在PyCharm中安装PyTorch、torchvision和OpenCV详解

《在PyCharm中安装PyTorch、torchvision和OpenCV详解》:本文主要介绍在PyCharm中安装PyTorch、torchvision和OpenCV方式,具有很好的参考价值,... 目录PyCharm安装PyTorch、torchvision和OpenCV安装python安装PyTor

Python Transformer 库安装配置及使用方法

《PythonTransformer库安装配置及使用方法》HuggingFaceTransformers是自然语言处理(NLP)领域最流行的开源库之一,支持基于Transformer架构的预训练模... 目录python 中的 Transformer 库及使用方法一、库的概述二、安装与配置三、基础使用:Pi

pytorch之torch.flatten()和torch.nn.Flatten()的用法

《pytorch之torch.flatten()和torch.nn.Flatten()的用法》:本文主要介绍pytorch之torch.flatten()和torch.nn.Flatten()的用... 目录torch.flatten()和torch.nn.Flatten()的用法下面举例说明总结torch

如何解决mmcv无法安装或安装之后报错问题

《如何解决mmcv无法安装或安装之后报错问题》:本文主要介绍如何解决mmcv无法安装或安装之后报错问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mmcv无法安装或安装之后报错问题1.当我们运行YOwww.chinasem.cnLO时遇到2.找到下图所示这里3.

Python 安装和配置flask, flask_cors的图文教程

《Python安装和配置flask,flask_cors的图文教程》:本文主要介绍Python安装和配置flask,flask_cors的图文教程,本文通过图文并茂的形式给大家介绍的非常详细,... 目录一.python安装:二,配置环境变量,三:检查Python安装和环境变量,四:安装flask和flas

Win11安装PostgreSQL数据库的两种方式详细步骤

《Win11安装PostgreSQL数据库的两种方式详细步骤》PostgreSQL是备受业界青睐的关系型数据库,尤其是在地理空间和移动领域,:本文主要介绍Win11安装PostgreSQL数据库的... 目录一、exe文件安装 (推荐)下载安装包1. 选择操作系统2. 跳转到EDB(PostgreSQL 的

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1