Pytorch安装 CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN解释与辨析

2024-09-03 20:20

本文主要是介绍Pytorch安装 CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN解释与辨析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Pytorch的CPU版本与GPU版本

Pytorch的CPU版本

  • 仅在 CPU 上运行,适用于没有显卡或仅使用 CPU 的机器。
  • 安装方式相对简单,无需额外配置 CUDA 或 GPU 驱动程序。
  • 使用方式与 GPU 版相同,唯一不同的是计算将自动在 CPU 上进行。

Pytorch的GPU版本

  • 在 NVIDIA GPU 上运行,充分利用 CUDA(Compute Unified Device Architecture)进行加速。
  • 安装时需要确保 NVIDIA 的 CUDA 和 cuDNN 版本兼容。

如何确定使用哪个版本?

在电脑中使用快捷键windows+X,选择设备管理器查看,如果有NVIDIA的显卡,则可以使用GPU版本。

有NVIDIA显卡的情况下也可以使用CPU版本,但是没有NVIDIA显卡则只能使用CPU版本,如果可以使用GPU版本的话,推荐优先使用GPU版本,因为具有更好的性能与更快的速度。

CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN解释与辨析

在电脑拥有NVIDIA显卡的情况下,安装GPU版本之前,可以先查看自己的CUDA版本。

通过命令行窗口输入nvidia-smi可以查看。

现在显示出的CUDA Version,具体来说其实是CUDA Driver Version即CUDA驱动的版本,与其对应的还有CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN,这几个概念之间有以下的关系。

CUDA Driver

CUDA Driver(CUDA驱动程序)管理CUDA应用程序在GPU上的执行,它使CUDA应用程序与GPU硬件之间进行交互。

CUDA Runtime

CUDA Runtime是NVIDIA提供的一个软件层,它为开发人员提供了一个高层次的接口,以便更方便地使用CUDA进行GPU编程。CUDA Runtime封装了许多底层的CUDA驱动程序功能,使得开发者可以更加专注于算法和应用程序的开发,而不必深入底层的硬件细节。

CUDA Toolkit

CUDA Toolkit是NVIDIA提供的一套开发工具和库,旨在帮助开发人员创建和优化基于CUDA的应用程序。它包括了包括NVIDIA的CUDA编译器(nvcc)、CUDA程序库、CUDA开发工具。安装CUDA Toolkit时,通常也会携带安装CUDA Driver。

nvcc

nvcc(NVIDIA CUDA Compiler)是NVIDIA提供的CUDA编译器,用于将CUDA代码编译成可在NVIDIA GPU上运行的二进制文件。它是CUDA Toolkit的一部分,专门设计用于处理CUDA C/C++代码,并将其与常规C/C++代码结合编译。

cuDNN

cuDNN(CUDA Deep Neural Network library)是NVIDIA提供的一个高性能深度学习库,专门为深度神经网络(DNN)的训练和推理优化,旨在利用NVIDIA GPU的计算能力来加速深度学习任务。

他们之间有什么联系?

在有Nvidia显卡的电脑上,通常会直接自带有CUDA Driver,因为显卡的正常使用就依赖于CUDA Driver,且通过nvidia-smi命令查询到的CUDA Version就是指的CUDA Driver的版本。但是在对原始电脑不做其他操作的情况下,通过nvcc -V命令是会执行报错的,因为电脑中只有CUDA Driver,并没有安装CUDA Runtime的环境,此条命令查询是CUDA编译器nvcc的版本信息,由于nvcc是被包括在CUDA Runtime中的,没有CUDA Runtime自然也就查询不到nvcc的信息。如果要对CUDA Runtime的环境进行安装,就需要安装CUDA Toolkit, 安装CUDA Toolkit时选择的版本就对应了CUDA Runtime的版本,因为CUDA Toolkit的版本和CUDA Runtime的版本是一致的,同时安装CUDA Toolkit时也会携带安装一个与当前版本最佳兼容的一个版本的CUDA Driver,如果安装时检测到系统已有CUDA Driver,安装程序可能会检测到现有版本并提示保留或更新。在使用深度学习框架需要进行加速训练时,可以使用到cuDNN,它是一个独立的库,不随CUDA Toolkit安装需要单独下载,但需要配合CUDA Toolkit使用,所以使用cuDNN前需要先安装好CUDA Toolkit,当然如果不使用cuDNN也是可以正常使用Pytorch的。

在安装Pytorch时很多博客中首先记录了对CUDA Toolkit的安装,但这一步是必须的吗?

下面针对CUDA Toolkit与Pytorch的安装关系进行一些说明。

下载Pytorch时通常会附带下载CUDA Toolkit,该CUDA Toolkit作为附带下载的并不带有完整的功能,只有支持Pytorch工作的部分。具体而言,下载Pytroch时附带下载的CUDA Toolkit没有携带驱动程序(CUDA Driver)也没有携带编译工具(nvcc),但它会有供Pytorch功能使用的已经编译好的CUDA函数库,这些编译完成的库函数可以不用再进行编译而直接运行,其CUDA版本号表示的是编译这些CUDA函数库时使用的CUDA Runtime版本,与电脑本机具体使用的CUDA Runtime版本无关,因此本地电脑安装Pytorch时其实不安装CUDA编译工具(nvcc)也可以正常使用,只要保证CUDA Driver存在(nvidia-smi能够查看到)且版本大于大于下载Pytorch时选择的CUDA版本(即附带的CUDA Toolkit中携带的已编译的函数库在编译时的CUDA Runtime版本)。当使用到nvcc编译器的编译功能时,Pytorch附带的CUDA Toolkit功能不够用了,此时才需要对完整的CUDA Toolkit进行下载。

综上所述,可以得出以下结论:

在电脑自带有CUDA Driver的情况下,如果不编写自定义的CUDA扩展或修改PyTorch的底层实现,只使用Pytorch的预编译版本,那么可以不需要去对CUDA Toolkit进行安装,只需要选择与自己电脑上的CUDA Driver版本匹配的Pytorch版本即可。

当使用Pytorch的过程中需要用到cnDNN进行加速时,或是需要编写自定义的CUDA扩展或修改PyTorch的底层实现时,则必须要安装CUDA Toolkit

以上概念辨析参考 图文并茂讲解CUDA, CUDA Toolkit, CUDA Driver, CUDA Runtime, nvcc之间的关系及其版本兼容性-CSDN博客

CUDA版本说明

图文来源 23. GPU版本-GPU与CUDA准备工作_哔哩哔哩_bilibili

在安装Pytorch的GPU版本时,必须要选择的就是对应的CUDA版本,而这个CUDA版本指的就是CUDA Runtime Version,即CUDA运行时的版本,这个版本必须要低于或等于本机的CUDA驱动的版本,即CUDA Driver Version,也即通过nvidia-smi命令查询得到的版本,否则会出现低版本无法兼容高版本的情况。

在确定好本机的CUDA Driver Version后,即可安装对应的CUDA Runtime Version的Pytorch版本。若要安装的Pytorch版本对于CUDA Runtime Version的要求高于本机的CUDA Driver Version,可以选择对本机的CUDA Driver Version进行升级,即下载高版本的驱动来更新本机的驱动版本,或是直接安装CUDA Toolkit来顺带更新驱动。

对于更新驱动与CUDA Toolkit安装的操作可以参考 NVIDIA驱动程序(NVIDIA Driver)和CUDA Toolkit安装_nvidia cuda toolkit-CSDN博客

Pytorch安装

明确了CUDA中的各个概念与版本选择,下面可以自信地安装自己合适版本的Pyorch了。

前往官网 PyTorch

当前展示的是最新版本,如果需要早期版本的可以点击下方的标签查看。

由于我需要下载的是1.13.0的版本,所以翻到了这个地方。

此时查看本机的CUDA Driver版本为11.7.

根据前文描述的版本选择要求,可以选择其中的pytorch-cuda=11.7的版本,将命令复制后输入到命令行中即可开始下载。

安装完成后可以查看是否成功安装。

当能够import不报错时表示安装成功了,当查询torch.cuda.is_available()为true时表示能够使用GPU。

需要注意的是,当前安装Pytorch的过程中我都是没有去另外安装CUDA Toolkit的,本机只存在CUDA Driver,而没有CUDA Runtime,所以当前的Pytorch功能的使用都是基于其自带的预编译好的CUDA程序,如果有编写自定义的CUDA扩展或修改PyTorch的底层实现的需求,或是需要使用cuDNN,则需要去安装CUDA Toolkit。

CUDA Toolkit安装

按上文所述,如果没有使用cuDNN的需求,Pytorch此时就可以直接进行使用了。但如果要使用cuDNN,则需要去先安装CUDA Toolkit,因为cuDNN的使用依赖于CUDA Toolkit。所以首先进行CUDA Toolkit的下载安装。

各版本下载地址 CUDA Toolkit Archive | NVIDIA Developer

对于版本的选择,只要比本机的CUDA Driver版本低即可,可以和要安装的Pytorch对应的CUDA版本一致,我的电脑中CUDA Driver为11.7(通过nvidia-smi查询),所以选择安装11.6的版本。

以上操作细节参考 CUDA与cuDNN安装教程(超详细)-CSDN博客

cuDNN安装

前往官网下载 cuDNN Archive | NVIDIA Developer 可以挑选自己的cuda对应的版本下载

通常需要注册,直接注册即可。

 具体操作细节参考 CUDA与cuDNN安装教程(超详细)-CSDN博客

这篇关于Pytorch安装 CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN解释与辨析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1133945

相关文章

MySQL Workbench 安装教程(保姆级)

《MySQLWorkbench安装教程(保姆级)》MySQLWorkbench是一款强大的数据库设计和管理工具,本文主要介绍了MySQLWorkbench安装教程,文中通过图文介绍的非常详细,对大... 目录前言:详细步骤:一、检查安装的数据库版本二、在官网下载对应的mysql Workbench版本,要是

Linux安装MySQL的教程

《Linux安装MySQL的教程》:本文主要介绍Linux安装MySQL的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux安装mysql1.Mysql官网2.我的存放路径3.解压mysql文件到当前目录4.重命名一下5.创建mysql用户组和用户并修

pip无法安装osgeo失败的问题解决

《pip无法安装osgeo失败的问题解决》本文主要介绍了pip无法安装osgeo失败的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 进入官方提供的扩展包下载网站寻找版本适配的whl文件注意:要选择cp(python版本)和你py

使用PyTorch实现手写数字识别功能

《使用PyTorch实现手写数字识别功能》在人工智能的世界里,计算机视觉是最具魅力的领域之一,通过PyTorch这一强大的深度学习框架,我们将在经典的MNIST数据集上,见证一个神经网络从零开始学会识... 目录当计算机学会“看”数字搭建开发环境MNIST数据集解析1. 认识手写数字数据库2. 数据预处理的

Android App安装列表获取方法(实践方案)

《AndroidApp安装列表获取方法(实践方案)》文章介绍了Android11及以上版本获取应用列表的方案调整,包括权限配置、白名单配置和action配置三种方式,并提供了相应的Java和Kotl... 目录前言实现方案         方案概述一、 androidManifest 三种配置方式

Pytorch微调BERT实现命名实体识别

《Pytorch微调BERT实现命名实体识别》命名实体识别(NER)是自然语言处理(NLP)中的一项关键任务,它涉及识别和分类文本中的关键实体,BERT是一种强大的语言表示模型,在各种NLP任务中显著... 目录环境准备加载预训练BERT模型准备数据集标记与对齐微调 BERT最后总结环境准备在继续之前,确

Python解析器安装指南分享(Mac/Windows/Linux)

《Python解析器安装指南分享(Mac/Windows/Linux)》:本文主要介绍Python解析器安装指南(Mac/Windows/Linux),具有很好的参考价值,希望对大家有所帮助,如有... 目NMNkN录1js. 安装包下载1.1 python 下载官网2.核心安装方式3. MACOS 系统安

Pycharm安装报错:Cannot detect a launch configuration解决办法

《Pycharm安装报错:Cannotdetectalaunchconfiguration解决办法》本文主要介绍了Pycharm安装报错:Cannotdetectalaunchconfigur... 本文主要介绍了Pycharm安装报错:Cannot detect a launch configuratio

pytorch+torchvision+python版本对应及环境安装

《pytorch+torchvision+python版本对应及环境安装》本文主要介绍了pytorch+torchvision+python版本对应及环境安装,安装过程中需要注意Numpy版本的降级,... 目录一、版本对应二、安装命令(pip)1. 版本2. 安装全过程3. 命令相关解释参考文章一、版本对

Windows系统下如何查找JDK的安装路径

《Windows系统下如何查找JDK的安装路径》:本文主要介绍Windows系统下如何查找JDK的安装路径,文中介绍了三种方法,分别是通过命令行检查、使用verbose选项查找jre目录、以及查看... 目录一、确认是否安装了JDK二、查找路径三、另外一种方式如果很久之前安装了JDK,或者在别人的电脑上,想