Pytorch安装 CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN解释与辨析

2024-09-03 20:20

本文主要是介绍Pytorch安装 CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN解释与辨析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Pytorch的CPU版本与GPU版本

Pytorch的CPU版本

  • 仅在 CPU 上运行,适用于没有显卡或仅使用 CPU 的机器。
  • 安装方式相对简单,无需额外配置 CUDA 或 GPU 驱动程序。
  • 使用方式与 GPU 版相同,唯一不同的是计算将自动在 CPU 上进行。

Pytorch的GPU版本

  • 在 NVIDIA GPU 上运行,充分利用 CUDA(Compute Unified Device Architecture)进行加速。
  • 安装时需要确保 NVIDIA 的 CUDA 和 cuDNN 版本兼容。

如何确定使用哪个版本?

在电脑中使用快捷键windows+X,选择设备管理器查看,如果有NVIDIA的显卡,则可以使用GPU版本。

有NVIDIA显卡的情况下也可以使用CPU版本,但是没有NVIDIA显卡则只能使用CPU版本,如果可以使用GPU版本的话,推荐优先使用GPU版本,因为具有更好的性能与更快的速度。

CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN解释与辨析

在电脑拥有NVIDIA显卡的情况下,安装GPU版本之前,可以先查看自己的CUDA版本。

通过命令行窗口输入nvidia-smi可以查看。

现在显示出的CUDA Version,具体来说其实是CUDA Driver Version即CUDA驱动的版本,与其对应的还有CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN,这几个概念之间有以下的关系。

CUDA Driver

CUDA Driver(CUDA驱动程序)管理CUDA应用程序在GPU上的执行,它使CUDA应用程序与GPU硬件之间进行交互。

CUDA Runtime

CUDA Runtime是NVIDIA提供的一个软件层,它为开发人员提供了一个高层次的接口,以便更方便地使用CUDA进行GPU编程。CUDA Runtime封装了许多底层的CUDA驱动程序功能,使得开发者可以更加专注于算法和应用程序的开发,而不必深入底层的硬件细节。

CUDA Toolkit

CUDA Toolkit是NVIDIA提供的一套开发工具和库,旨在帮助开发人员创建和优化基于CUDA的应用程序。它包括了包括NVIDIA的CUDA编译器(nvcc)、CUDA程序库、CUDA开发工具。安装CUDA Toolkit时,通常也会携带安装CUDA Driver。

nvcc

nvcc(NVIDIA CUDA Compiler)是NVIDIA提供的CUDA编译器,用于将CUDA代码编译成可在NVIDIA GPU上运行的二进制文件。它是CUDA Toolkit的一部分,专门设计用于处理CUDA C/C++代码,并将其与常规C/C++代码结合编译。

cuDNN

cuDNN(CUDA Deep Neural Network library)是NVIDIA提供的一个高性能深度学习库,专门为深度神经网络(DNN)的训练和推理优化,旨在利用NVIDIA GPU的计算能力来加速深度学习任务。

他们之间有什么联系?

在有Nvidia显卡的电脑上,通常会直接自带有CUDA Driver,因为显卡的正常使用就依赖于CUDA Driver,且通过nvidia-smi命令查询到的CUDA Version就是指的CUDA Driver的版本。但是在对原始电脑不做其他操作的情况下,通过nvcc -V命令是会执行报错的,因为电脑中只有CUDA Driver,并没有安装CUDA Runtime的环境,此条命令查询是CUDA编译器nvcc的版本信息,由于nvcc是被包括在CUDA Runtime中的,没有CUDA Runtime自然也就查询不到nvcc的信息。如果要对CUDA Runtime的环境进行安装,就需要安装CUDA Toolkit, 安装CUDA Toolkit时选择的版本就对应了CUDA Runtime的版本,因为CUDA Toolkit的版本和CUDA Runtime的版本是一致的,同时安装CUDA Toolkit时也会携带安装一个与当前版本最佳兼容的一个版本的CUDA Driver,如果安装时检测到系统已有CUDA Driver,安装程序可能会检测到现有版本并提示保留或更新。在使用深度学习框架需要进行加速训练时,可以使用到cuDNN,它是一个独立的库,不随CUDA Toolkit安装需要单独下载,但需要配合CUDA Toolkit使用,所以使用cuDNN前需要先安装好CUDA Toolkit,当然如果不使用cuDNN也是可以正常使用Pytorch的。

在安装Pytorch时很多博客中首先记录了对CUDA Toolkit的安装,但这一步是必须的吗?

下面针对CUDA Toolkit与Pytorch的安装关系进行一些说明。

下载Pytorch时通常会附带下载CUDA Toolkit,该CUDA Toolkit作为附带下载的并不带有完整的功能,只有支持Pytorch工作的部分。具体而言,下载Pytroch时附带下载的CUDA Toolkit没有携带驱动程序(CUDA Driver)也没有携带编译工具(nvcc),但它会有供Pytorch功能使用的已经编译好的CUDA函数库,这些编译完成的库函数可以不用再进行编译而直接运行,其CUDA版本号表示的是编译这些CUDA函数库时使用的CUDA Runtime版本,与电脑本机具体使用的CUDA Runtime版本无关,因此本地电脑安装Pytorch时其实不安装CUDA编译工具(nvcc)也可以正常使用,只要保证CUDA Driver存在(nvidia-smi能够查看到)且版本大于大于下载Pytorch时选择的CUDA版本(即附带的CUDA Toolkit中携带的已编译的函数库在编译时的CUDA Runtime版本)。当使用到nvcc编译器的编译功能时,Pytorch附带的CUDA Toolkit功能不够用了,此时才需要对完整的CUDA Toolkit进行下载。

综上所述,可以得出以下结论:

在电脑自带有CUDA Driver的情况下,如果不编写自定义的CUDA扩展或修改PyTorch的底层实现,只使用Pytorch的预编译版本,那么可以不需要去对CUDA Toolkit进行安装,只需要选择与自己电脑上的CUDA Driver版本匹配的Pytorch版本即可。

当使用Pytorch的过程中需要用到cnDNN进行加速时,或是需要编写自定义的CUDA扩展或修改PyTorch的底层实现时,则必须要安装CUDA Toolkit

以上概念辨析参考 图文并茂讲解CUDA, CUDA Toolkit, CUDA Driver, CUDA Runtime, nvcc之间的关系及其版本兼容性-CSDN博客

CUDA版本说明

图文来源 23. GPU版本-GPU与CUDA准备工作_哔哩哔哩_bilibili

在安装Pytorch的GPU版本时,必须要选择的就是对应的CUDA版本,而这个CUDA版本指的就是CUDA Runtime Version,即CUDA运行时的版本,这个版本必须要低于或等于本机的CUDA驱动的版本,即CUDA Driver Version,也即通过nvidia-smi命令查询得到的版本,否则会出现低版本无法兼容高版本的情况。

在确定好本机的CUDA Driver Version后,即可安装对应的CUDA Runtime Version的Pytorch版本。若要安装的Pytorch版本对于CUDA Runtime Version的要求高于本机的CUDA Driver Version,可以选择对本机的CUDA Driver Version进行升级,即下载高版本的驱动来更新本机的驱动版本,或是直接安装CUDA Toolkit来顺带更新驱动。

对于更新驱动与CUDA Toolkit安装的操作可以参考 NVIDIA驱动程序(NVIDIA Driver)和CUDA Toolkit安装_nvidia cuda toolkit-CSDN博客

Pytorch安装

明确了CUDA中的各个概念与版本选择,下面可以自信地安装自己合适版本的Pyorch了。

前往官网 PyTorch

当前展示的是最新版本,如果需要早期版本的可以点击下方的标签查看。

由于我需要下载的是1.13.0的版本,所以翻到了这个地方。

此时查看本机的CUDA Driver版本为11.7.

根据前文描述的版本选择要求,可以选择其中的pytorch-cuda=11.7的版本,将命令复制后输入到命令行中即可开始下载。

安装完成后可以查看是否成功安装。

当能够import不报错时表示安装成功了,当查询torch.cuda.is_available()为true时表示能够使用GPU。

需要注意的是,当前安装Pytorch的过程中我都是没有去另外安装CUDA Toolkit的,本机只存在CUDA Driver,而没有CUDA Runtime,所以当前的Pytorch功能的使用都是基于其自带的预编译好的CUDA程序,如果有编写自定义的CUDA扩展或修改PyTorch的底层实现的需求,或是需要使用cuDNN,则需要去安装CUDA Toolkit。

CUDA Toolkit安装

按上文所述,如果没有使用cuDNN的需求,Pytorch此时就可以直接进行使用了。但如果要使用cuDNN,则需要去先安装CUDA Toolkit,因为cuDNN的使用依赖于CUDA Toolkit。所以首先进行CUDA Toolkit的下载安装。

各版本下载地址 CUDA Toolkit Archive | NVIDIA Developer

对于版本的选择,只要比本机的CUDA Driver版本低即可,可以和要安装的Pytorch对应的CUDA版本一致,我的电脑中CUDA Driver为11.7(通过nvidia-smi查询),所以选择安装11.6的版本。

以上操作细节参考 CUDA与cuDNN安装教程(超详细)-CSDN博客

cuDNN安装

前往官网下载 cuDNN Archive | NVIDIA Developer 可以挑选自己的cuda对应的版本下载

通常需要注册,直接注册即可。

 具体操作细节参考 CUDA与cuDNN安装教程(超详细)-CSDN博客

这篇关于Pytorch安装 CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN解释与辨析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1133945

相关文章

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

Centos7安装Mongodb4

1、下载源码包 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.1.tgz 2、解压 放到 /usr/local/ 目录下 tar -zxvf mongodb-linux-x86_64-rhel70-4.2.1.tgzmv mongodb-linux-x86_64-rhel70-4.2.1/

wolfSSL参数设置或配置项解释

1. wolfCrypt Only 解释:wolfCrypt是一个开源的、轻量级的、可移植的加密库,支持多种加密算法和协议。选择“wolfCrypt Only”意味着系统或应用将仅使用wolfCrypt库进行加密操作,而不依赖其他加密库。 2. DTLS Support 解释:DTLS(Datagram Transport Layer Security)是一种基于UDP的安全协议,提供类似于

Centos7安装JDK1.8保姆版

工欲善其事,必先利其器。这句话同样适用于学习Java编程。在开始Java的学习旅程之前,我们必须首先配置好适合的开发环境。 通过事先准备好这些工具和配置,我们可以避免在学习过程中遇到因环境问题导致的代码异常或错误。一个稳定、高效的开发环境能够让我们更加专注于代码的学习和编写,提升学习效率,减少不必要的困扰和挫折感。因此,在学习Java之初,投入一些时间和精力来配置好开发环境是非常值得的。这将为我

安装nodejs环境

本文介绍了如何通过nvm(NodeVersionManager)安装和管理Node.js及npm的不同版本,包括下载安装脚本、检查版本并安装特定版本的方法。 1、安装nvm curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash 2、查看nvm版本 nvm --version 3、安装

AI Toolkit + H100 GPU,一小时内微调最新热门文生图模型 FLUX

上个月,FLUX 席卷了互联网,这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型,而这一点已被证明是有依据的。随着越来越多的流行图像生成工具(如 Stable Diffusion Web UI Forge 和 ComyUI)开始支持这些模型,FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU

计算机毕业设计 大学志愿填报系统 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试

🍊作者:计算机编程-吉哥 🍊简介:专业从事JavaWeb程序开发,微信小程序开发,定制化项目、 源码、代码讲解、文档撰写、ppt制作。做自己喜欢的事,生活就是快乐的。 🍊心愿:点赞 👍 收藏 ⭐评论 📝 🍅 文末获取源码联系 👇🏻 精彩专栏推荐订阅 👇🏻 不然下次找不到哟~Java毕业设计项目~热门选题推荐《1000套》 目录 1.技术选型 2.开发工具 3.功能

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者

K8S(Kubernetes)开源的容器编排平台安装步骤详解

K8S(Kubernetes)是一个开源的容器编排平台,用于自动化部署、扩展和管理容器化应用程序。以下是K8S容器编排平台的安装步骤、使用方式及特点的概述: 安装步骤: 安装Docker:K8S需要基于Docker来运行容器化应用程序。首先要在所有节点上安装Docker引擎。 安装Kubernetes Master:在集群中选择一台主机作为Master节点,安装K8S的控制平面组件,如AP