Anaconda中 conda install / Solving environment 速度慢问题其中一些可能的方法

2023-10-12 01:59
文章标签 anaconda conda 问题 方法 install 可能 environment solving 速度慢

本文主要是介绍Anaconda中 conda install / Solving environment 速度慢问题其中一些可能的方法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Anaconda中 conda install / Solving environment 速度慢问题其中一些可能的方法

问题

今天在用实验室的Linux主机创建新的conda环境的时候遇到了一个问题，在使用Anaconda中的conda install来安装包的时候会卡在Solving environment这一步,有时候还会多次失败重试
在这里插入图片描述

原因

Conda中包含的软件越来越多，而且软件的不同版本都保留了下来，软件的索引文件越来越大，安装一个新软件时搜索满足环境中所有软件依赖的软件的搜索空间也会越来越大，导致solving environment越来越慢，确定待安装包的依赖包之间的兼容和已安装软件之间的兼容，获得需要下载的包和对应版本这个过程非常耗时

解决方法

方法一：用pip install而不是conda install

先别急，这是我最近想明白的一点，也是我目前试过的唯一有用的一种方法，虽然很蠢但是有用（本人小白且愚钝，大佬们见笑）：

不用conda install，直接用pip install或者pip3 install

原理

与其说原理不如说我脑袋宕机的原因，我自己的电脑上Windows系统拥有本地的原装Python环境和Anaconda的base中的环境，所以直接调用python的话可能会调用到本地没有配置好的环境，相应地，pip指令也会写入对应的本地环境
但是可以通过上移conda的环境变量或者删除本地环境实现

但是当你进入你设置好的Anaconda环境时，无论是conda install还是pip install都会在对应的conda虚拟环境里安装，因此只需要考虑其中一种安装方式即可

很多地方说conda的速度比pip快之类的，所以都推荐用conda，但是在设置了镜像之后，其实原生的pip方法速度也很快
先放几个国内的镜像源：

#中科大源、清华源、豆瓣源
https://pypi.mirrors.ustc.edu.cn/simple/
https://pypi.tuna.tsinghua.edu.cn/simple
https//pypi.doubanio.com/simple/

如果看到这里能帮到你，恭喜你！如果不了解具体操作请继续往下看！

方法二：用mamba安装

mamba是用于管理环境的 CLI 工具，相比于conda 对包和环境的管理，安装过程中对包和依赖的检查过程是最耗时的，mamba可以实现并行运算，速度比较快

安装mamba

 conda install mamba -n base -c conda-forge

通过mamba安装的方式和conda一样

mamba install package

但是安装mamba的过程也需要conda install然后又会卡在Solving environment那里，逻辑闭环了属于是

方法三：更换镜像源

这也是很多博客里面提到的方法之一，我认为是治标不治本甚至也不治标，因为速度瓶颈主要在检查包和依赖，跟网速关系不大，关于设置和更换镜像源的方法，我在后面部分介绍了，有需要的可以往后看！

方法四：更新conda

conda update -n env_name conda

这个方法没有验证过，但是在更新的时候可能会遇到更新失败的情况，有些时候是因为更新的是miniconda，可以尝试把conda改成anaconda：

conda update -n env_name anaconda

conda常见虚拟环境操作

创建虚拟环境

conda  create  --name  env_name python=version

其中-n后面的是你自己的虚拟环境的名称，version部分是你指定的Python版本，注意，Python版本在设定之后基本就不能变了，不然很多相关的依赖版本也会变
但是自己新建之后的环境中是不会有Anaconda原生的base环境中那么多丰富的包的（不知道是不是我的问题），所以我选择直接克隆base环境，这样的好处很多必要的包不用重新下载，坏处是Python版本就定死了

克隆虚拟环境

conda  create  -n  new_env_name  --clone  old_env_name

其中new_env_name是你新建的环境的名称，old_env_name是你要克隆的环境，如果是base的话就是：

conda  create  -n  new_env_name  --clone  base

进入虚拟环境

conda activate env_name

退出虚拟环境

conda deactivate

删除虚拟环境

conda remove  --name  env_name  --all

查看虚拟环境

conda env list

或者

conda info -e

添加镜像源

使用pip添加镜像源路径

在使用pip的时候可以通过直接在路径前面加-i实现，也即在命令后面添加：

#中科大源、清华源、豆瓣源
-i https://pypi.mirrors.ustc.edu.cn/simple/
-i https://pypi.tuna.tsinghua.edu.cn/simple
-i https//pypi.doubanio.com/simple/

使用conda添加镜像源配置

使用conda的时候一般要先配置镜像源而不是直接在命令后面添加指令

查看镜像源的指令

conda config --show channels

也可以通过以下命令：

conda config --show-sources

在这里插入图片描述

图中的- defaults就是默认源，即使不设置也会有一些国内镜像源，比如我在安装PyTorch的时候就是从阿里云的镜像源下载的：

Collecting nvidia-cudnn-cu11==8.5.0.96Downloading https://mirrors.aliyun.com/pypi/packages/dc/30/66d4347d6e864334da5bb1c7571305e501dcb11b9155971421bb7bb5315f/nvidia_cudnn_cu11-8.5.0.96-2-py3-none-manylinux1_x86_64.whl (557.1 MB)

添加镜像源的指令

conda config --add channels mirror_url

其中的mirror_url是镜像源的网址

# 清华源
conda config --add channels https://pypi.tuna.tsinghua.edu.cn/simple# 阿里源
conda config --add channels https://mirrors.aliyun.com/pypi/simple/#豆瓣源
conda config --add channels https://pypi.doubanio.com/simple/ #中科大源
conda config --add channels https://pypi.mirrors.ustc.edu.cn/simple/

在这里插入图片描述

删除镜像源的指令

conda config --remove channels https://pypi.tuna.tsinghua.edu.cn/simple

有时候会遇到镜像源失效的情况，这时候可以通过以上指令删除对应镜像源

实例

安装PyTorch和TensorFlow的过程我都没来得及记录，以下是后面更改PyTorch版本的情况
在安装PyTorch的时候安装了11.6版本，但是和显卡驱动不适配，可以通过以下命令查看CUDA版本：

nvidia-smi

在这里插入图片描述
可以在右上角看到CUDA版本是10.1
由于PyTorch版本是和CUDA版本严格绑定的，所以如果用高版本的PyTorch强行调用就会显示CUDA和显卡驱动版本太老。由于更改显卡驱动和CUDA版本很麻烦，所以我退而求次，试图安装10.1版本的PyTorch
官网目前的版本只有11.6和11.7，但是可以通过下面的链接找到之前的版本：
PyTorch官网老版本链接
包含10.1版本的最高PyTorch版本只到1.7.1：

# CUDA 9.2
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=9.2 -c pytorch# CUDA 10.1
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.1 -c pytorch# CUDA 10.2
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.2 -c pytorch# CUDA 11.0
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch# CPU Only
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cpuonly -c pytorch

但是以上命令除了依旧会遇到conda install的问题之外，还会遇到有些镜像源找不到对应版本的情况，因此采用下面的方式：

# CUDA 11.0
pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html# CUDA 10.2
pip install torch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2# CUDA 10.1
pip install torch==1.7.1+cu101 torchvision==0.8.2+cu101 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html# CUDA 9.2
pip install torch==1.7.1+cu92 torchvision==0.8.2+cu92 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html# CPU only
pip install torch==1.7.1+cpu torchvision==0.8.2+cpu torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

我安装的是1.6.0版本PyTorch的10.1CUDA，但是又遇到了torchaudio版本不匹配的问题：
在这里插入图片描述

ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
torchaudio 0.13.1 requires torch==1.13.1, but you have torch 1.6.0+cu101 which is incompatible.

无所谓，我会出手，更新torchaudio到指定版本就可以，通过查阅 torchaudio官方文档
可以知道1.6.0版本的PyTorch对应的是0.6.0版本的torchaudio，python版本是3.6~3.8
torch和torchaudio的版本对应

成功安装0.6.0版本torchaudio之后
测试一下：
测试

全部可以正常运行！

这篇关于Anaconda中 conda install / Solving environment 速度慢问题其中一些可能的方法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/192440。

相关文章

好题——hdu2522（小数问题：求1/n的第一个循环节）

好题——hdu2522（小数问题：求1/n的第一个循环节）

好喜欢这题，第一次做小数问题，一开始真心没思路，然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数，不能写作两整数之比*****************************（一开始没想到，小学没学好） 此题1/n肯定是一个有限循环小数，了解这些后就能做此题了。 按照除法的机制，用一个函数表示出来就可以了，代码如下
阅读更多...
hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
浅谈主机加固，六种有效的主机加固方法

浅谈主机加固，六种有效的主机加固方法

在数字化时代，数据的价值不言而喻，但随之而来的安全威胁也日益严峻。从勒索病毒到内部泄露，企业的数据安全面临着前所未有的挑战。为了应对这些挑战，一种全新的主机加固解决方案应运而生。 MCK主机加固解决方案，采用先进的安全容器中间件技术，构建起一套内核级的纵深立体防护体系。这一体系突破了传统安全防护的局限，即使在管理员权限被恶意利用的情况下，也能确保服务器的安全稳定运行。 普适主机加固措施：
阅读更多...
购买磨轮平衡机时应该注意什么问题和技巧

购买磨轮平衡机时应该注意什么问题和技巧

在购买磨轮平衡机时，您应该注意以下几个关键点： 平衡精度 平衡精度是衡量平衡机性能的核心指标，直接影响到不平衡量的检测与校准的准确性，从而决定磨轮的振动和噪声水平。高精度的平衡机能显著减少振动和噪声，提高磨削加工的精度。 转速范围 宽广的转速范围意味着平衡机能够处理更多种类的磨轮，适应不同的工作条件和规格要求。 振动监测能力 振动监测能力是评估平衡机性能的重要因素。通过传感器实时监
阅读更多...
webm怎么转换成mp4？这几种方法超多人在用！

webm怎么转换成mp4？这几种方法超多人在用！

webm怎么转换成mp4？WebM作为一种新兴的视频编码格式，近年来逐渐进入大众视野，其背后承载着诸多优势，但同时也伴随着不容忽视的局限性，首要挑战在于其兼容性边界，尽管WebM已广泛适应于众多网站与软件平台，但在特定应用环境或老旧设备上，其兼容难题依旧凸显，为用户体验带来不便，再者，WebM格式的非普适性也体现在编辑流程上，由于它并非行业内的通用标准，编辑过程中可能会遭遇格式不兼容的障碍，导致操
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...
缓存雪崩问题

缓存雪崩问题

缓存雪崩是缓存中大量key失效后当高并发到来时导致大量请求到数据库，瞬间耗尽数据库资源，导致数据库无法使用。 解决方案： 1、使用锁进行控制 2、对同一类型信息的key设置不同的过期时间 3、缓存预热 1. 什么是缓存雪崩 缓存雪崩是指在短时间内，大量缓存数据同时失效，导致所有请求直接涌向数据库，瞬间增加数据库的负载压力，可能导致数据库性能下降甚至崩溃。这种情况往往发生在缓存中大量 k
阅读更多...
6.1.数据结构-c/c++堆详解下篇（堆排序，TopK问题）

6.1.数据结构-c/c++堆详解下篇（堆排序，TopK问题）

上篇：6.1.数据结构-c/c++模拟实现堆上篇（向下，上调整算法，建堆，增删数据）-CSDN博客 本章重点 1.使用堆来完成堆排序 2.使用堆解决TopK问题 目录 一.堆排序 1.1 思路 1.2 代码 1.3 简单测试 二.TopK问题 2.1 思路(求最小)： 2.2 C语言代码（手写堆） 2.3 C++代码（使用优先级队列 priority_queue）
阅读更多...
【北交大信息所AI-Max2】使用方法

【北交大信息所AI-Max2】使用方法

BJTU信息所集群AI_MAX2使用方法 使用的前提是预约到相应的算力卡，拥有登录权限的账号密码，一般为导师组共用一个。 有浏览器、ssh工具就可以。 1.新建集群Terminal 浏览器登陆10.126.62.75 （如果是1集群把75改成66） 交互式开发 执行器选Terminal 密码随便设一个（需记住） 工作空间：私有数据、全部文件 加速器选GeForce_RTX_2080_Ti
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2