wenet环境部署

2024-01-06 08:04
文章标签 部署 环境 wenet

本文主要是介绍wenet环境部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

  1. 下载镜像、生成container

原始nvidia 提供镜像的网站（包含kaldi）：

  • https://docs.nvidia.com/deeplearning/frameworks/kaldi-release-notes/rel_20-03.html#rel_20-03

  • 本次采用的是21.02版本，包含如下内容：

    Ubuntu 20.04 including Python 3.8
    NVIDIA CUDA 11.2.0 including cuBLAS 11.3.1
    NVIDIA cuDNN 8.1.0
    NVIDIA NCCL 2.8.4 (optimized for NVLink™)
    MLNX_OFED 5.1
    OpenMPI 4.0.5
    Nsight Compute 2020.3.0.18
    Nsight Systems 2020.4.3.7
    TensorRT 7.2.2

  • 130服务器更新为 22.01 版本

Ubuntu 20.04 including Python 3.8
NVIDIA CUDA 11.6.0
cuBLAS 11.8.1.74
NVIDIA cuDNN 8.3.2.44
NVIDIA NCCL 2.11.4 (optimized for NVLink™)
rdma-core 36.0
NVIDIA HPC-X 2.10
OpenMPI 4.1.2rc4+
OpenUCX 1.12.0
GDRCopy 2.3
Nsight Systems 2021.5.2.53
TensorRT 8.2.2
SHARP 2.5
DALI 1.9

  • 下载命令：docker pull nvcr.io/nvidia/kaldi:22.01-py3

    下载之后，docker images就可以看到这个镜像了。

  • 使用如下命令创建容器：

      NV_GPU=0,1 nvidia-docker run -itd -P \--name wyr_wenet_kaldi_cuda11.2 \--mount type=bind,source=/home/work/wangyaru05,target=/home/work/wangyaru05 \-v /opt/wfs1/aivoice:/opt/wfs1/aivoice \--net host \--shm-size 8G \nvcr.io/nvidia/kaldi:21.02-py3 bashNV_GPU=0,1,2,3,4,5,6,7 nvidia-docker run -itd -P \--name wyr_wenet_kaldi_cuda11.2 \--mount type=bind,source=/home/work/wangyaru05,target=/home/work/wangyaru05 \-v /opt/wfs1/aivoice:/opt/wfs1/aivoice \--net host \--shm-size 8G \nvcr.io/nvidia/kaldi:21.02-py3 bash

NV_GPU=0,1,2,3,4,5,6,7 nvidia-docker run -itd -P
–name wyr_wenet_kaldi_cuda11.6
–mount type=bind,source=/home/work/wangyaru05,target=/home/work/wangyaru05
-v /opt/wfs1/aivoice:/opt/wfs1/aivoice
–net host
–shm-size 8G
nvcr.io/nvidia/kaldi:22.01-py3 bash

  • 启动容器：

      docker container start wyr_wenet_kaldi_cuda11.6

  • 进入容器：

      nvidia-docker exec -it wyr_wenet_kaldi_cuda11.6 bash

  • 进入容器快捷命令：

    vim ～/.bashrc

      alias wyr_docker_connect='nvidia-docker exec -it wyr_wenet_kaldi_cuda11.6 bash'

  • 查看ubantu版本

      cat /etc/issue

  1. 配置pip镜像

    vim ~/.pip/pip.conf
    添加如下内容

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=mirrors.aliyun.com

  1. 配置conda镜像

vim ~/.condarc

channels:- defaults
show_channel_urls: true
default_channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmsys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudbioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmenpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudpytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudsimpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

  1. 下载wenet代码

     git clone --branch v1.0.0 https://github.com/wenet-e2e/wenet.gitgit clone https://github.com/wenet-e2e/wenet.git

  2. 创建conda虚拟环境

    下载conda

     wget https://repo.anaconda.com/archive/Anaconda3-2021.05-Linux-x86_64.sh

    安装conda

     bash Anaconda3-2021.05-Linux-x86_64.sh

    添加anaconda3环境变量

     vim ~/.bashrc添加： export PATH=$PATH:/root/anaconda3/bin

    安装wenet虚拟环境

     conda create -n wenet python=3.8source activateconda activate wenet

  3. 安装依赖 pytorch torchvision torchaudio cudatoolkit

     pip install -r requirements.txtconda install pytorch torchvision torchaudio cudatoolkit=11.2 -c pytorch -c conda-forgeconda install pytorch torchvision torchaudio cudatoolkit=11.6 -c pytorch -c conda-forge

  • 问题是：nvcc 版本是11.2 但是官方pytorch安装例子里只有11.1，使用以上命令安装11.2对应版本的时候总是装CPU版本的

    • 尝试解决方法：据说安装11.1也是可以的，只能试一下
      conda install pytorch=1.8.1 torchvision torchaudio cudatoolkit=11.1 -c pytorch -c conda-forge

        conda install pytorch=1.8.1 torchvision torchaudio cudatoolkit=11.6 -c pytorch -c conda-forge

conda install pytorch torchvision torchaudio cudatoolkit=11.5 -c pytorch -c conda-forge

	成功了✅

conda install pytorch=1.12.1 torchvision torchaudio cudatoolkit=11.3 -c pytorch -c conda-forge

  1. 下载1.0.0代码

git clone --branch v1.0.0 https://github.com/wenet-e2e/wenet.git

  1. conda环境配置

  • conda create -n wenet python=3.8

  • conda activate wenet

    报错 需要conda init：解决方法 source activate

  • pip install -r requirements.txt

  • conda install pytorch torchvision torchaudio cudatoolkit=10.1 -c pytorch -c conda-forge

    本来cudatoolkit的版本是11.1， 这里本地的是10.1，所以改为了10.1.

    通过安装命令可以看到，pytorch的版本是1.8.1， torchaudio的版本是0.8.1, cudatoolkit的版本是10.1.243，都没有问题。唯一有问题的有两个地方：一个是网上有cuda和pytorhc版本的对应关系，总是显示pytorch版本1.7.0需要11.0的cuda版本。可能是cuda不能装太低版本的pytorch，能装比较高的pytorch。

    安装时间非常长，于是改了conda的镜像。

    channels:

    • defaults
      show_channel_urls: true
      default_channels:

    • https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

    • https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r

    • https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
      custom_channels:
      conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

      安装会很快。

      另外查了一下官网的是在哪下载的，通过conda info找到了下载包的临时存放地址，通过查看urls.txt看到了下载地址：https://conda.anaconda.org/pytorch/linux-64/torchaudio-0.8.1-py38.tar.bz2

  1. pip镜像源配置文件

vim ~/.pip/pip.conf
添加如下内容

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=mirrors.aliyun.com

这篇关于wenet环境部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/575720。

相关文章

Python如何自动生成环境依赖包requirements

Python如何自动生成环境依赖包requirements

《Python如何自动生成环境依赖包requirements》：本文主要介绍Python如何自动生成环境依赖包requirements问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录生成当前 python 环境 安装的所有依赖包1、命令2、常见问题只生成当前 项目 的所有依赖包1、
阅读更多...
Redis在windows环境下如何启动

Redis在windows环境下如何启动

《Redis在windows环境下如何启动》：本文主要介绍Redis在windows环境下如何启动的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Redis在Windows环境下启动1.在redis的安装目录下2.输入·redis-server.exe
阅读更多...
Pytest多环境切换的常见方法介绍

Pytest多环境切换的常见方法介绍

《Pytest多环境切换的常见方法介绍》Pytest作为自动化测试的主力框架,如何实现本地、测试、预发、生产环境的灵活切换,本文总结了通过pytest框架实现自由环境切换的几种方法,大家可以根据需要进... 目录1.pytest-base-url2.hooks函数3.yml和fixture结论你是否也遇到过
阅读更多...
Spring Boot项目部署命令java -jar的各种参数及作用详解

Spring Boot项目部署命令java -jar的各种参数及作用详解

《SpringBoot项目部署命令java-jar的各种参数及作用详解》：本文主要介绍SpringBoot项目部署命令java-jar的各种参数及作用的相关资料,包括设置内存大小、垃圾回收... 目录前言一、基础命令结构二、常见的 Java 命令参数1. 设置内存大小2. 配置垃圾回收器3. 配置线程栈大小
阅读更多...
浅谈配置MMCV环境,解决报错,版本不匹配问题

浅谈配置MMCV环境,解决报错,版本不匹配问题

《浅谈配置MMCV环境,解决报错,版本不匹配问题》：本文主要介绍浅谈配置MMCV环境,解决报错,版本不匹配问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录配置MMCV环境,解决报错,版本不匹配错误示例正确示例总结配置MMCV环境,解决报错,版本不匹配在col
阅读更多...
tomcat多实例部署的项目实践

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录，测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的
阅读更多...
SpringBoot配置Ollama实现本地部署DeepSeek

SpringBoot配置Ollama实现本地部署DeepSeek

《SpringBoot配置Ollama实现本地部署DeepSeek》本文主要介绍了在本地环境中使用Ollama配置DeepSeek模型,并在IntelliJIDEA中创建一个Sprin... 目录前言详细步骤一、本地配置DeepSeek二、SpringBoot项目调用本地DeepSeek前言随着人工智能技
阅读更多...
通过Docker Compose部署MySQL的详细教程

通过Docker Compose部署MySQL的详细教程

《通过DockerCompose部署MySQL的详细教程》DockerCompose作为Docker官方的容器编排工具,为MySQL数据库部署带来了显著优势,下面小编就来为大家详细介绍一... 目录一、docker Compose 部署 mysql 的优势二、环境准备与基础配置2.1 项目目录结构2.2 基
阅读更多...
CentOS 7部署主域名服务器 DNS的方法

CentOS 7部署主域名服务器 DNS的方法

《CentOS7部署主域名服务器DNS的方法》文章详细介绍了在CentOS7上部署主域名服务器DNS的步骤,包括安装BIND服务、配置DNS服务、添加域名区域、创建区域文件、配置反向解析、检查配置... 目录1. 安装 BIND 服务和工具2.  配置 BIND 服务3 . 添加你的域名区域配置4.创建区域
阅读更多...
Centos环境下Tomcat虚拟主机配置详细教程

Centos环境下Tomcat虚拟主机配置详细教程

《Centos环境下Tomcat虚拟主机配置详细教程》这篇文章主要讲的是在CentOS系统上,如何一步步配置Tomcat的虚拟主机,内容很简单,从目录准备到配置文件修改,再到重启和测试,手把手带你搞定... 目录1. 准备虚拟主机的目录和内容创建目录添加测试文件2. 修改 Tomcat 的 server.X
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2