wenet环境部署

2024-01-06 08:04
文章标签 部署 环境 wenet

本文主要是介绍wenet环境部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

  1. 下载镜像、生成container

原始nvidia 提供镜像的网站（包含kaldi）：

  • https://docs.nvidia.com/deeplearning/frameworks/kaldi-release-notes/rel_20-03.html#rel_20-03

  • 本次采用的是21.02版本，包含如下内容：

    Ubuntu 20.04 including Python 3.8
    NVIDIA CUDA 11.2.0 including cuBLAS 11.3.1
    NVIDIA cuDNN 8.1.0
    NVIDIA NCCL 2.8.4 (optimized for NVLink™)
    MLNX_OFED 5.1
    OpenMPI 4.0.5
    Nsight Compute 2020.3.0.18
    Nsight Systems 2020.4.3.7
    TensorRT 7.2.2

  • 130服务器更新为 22.01 版本

Ubuntu 20.04 including Python 3.8
NVIDIA CUDA 11.6.0
cuBLAS 11.8.1.74
NVIDIA cuDNN 8.3.2.44
NVIDIA NCCL 2.11.4 (optimized for NVLink™)
rdma-core 36.0
NVIDIA HPC-X 2.10
OpenMPI 4.1.2rc4+
OpenUCX 1.12.0
GDRCopy 2.3
Nsight Systems 2021.5.2.53
TensorRT 8.2.2
SHARP 2.5
DALI 1.9

  • 下载命令：docker pull nvcr.io/nvidia/kaldi:22.01-py3

    下载之后，docker images就可以看到这个镜像了。

  • 使用如下命令创建容器：

      NV_GPU=0,1 nvidia-docker run -itd -P \--name wyr_wenet_kaldi_cuda11.2 \--mount type=bind,source=/home/work/wangyaru05,target=/home/work/wangyaru05 \-v /opt/wfs1/aivoice:/opt/wfs1/aivoice \--net host \--shm-size 8G \nvcr.io/nvidia/kaldi:21.02-py3 bashNV_GPU=0,1,2,3,4,5,6,7 nvidia-docker run -itd -P \--name wyr_wenet_kaldi_cuda11.2 \--mount type=bind,source=/home/work/wangyaru05,target=/home/work/wangyaru05 \-v /opt/wfs1/aivoice:/opt/wfs1/aivoice \--net host \--shm-size 8G \nvcr.io/nvidia/kaldi:21.02-py3 bash

NV_GPU=0,1,2,3,4,5,6,7 nvidia-docker run -itd -P
–name wyr_wenet_kaldi_cuda11.6
–mount type=bind,source=/home/work/wangyaru05,target=/home/work/wangyaru05
-v /opt/wfs1/aivoice:/opt/wfs1/aivoice
–net host
–shm-size 8G
nvcr.io/nvidia/kaldi:22.01-py3 bash

  • 启动容器：

      docker container start wyr_wenet_kaldi_cuda11.6

  • 进入容器：

      nvidia-docker exec -it wyr_wenet_kaldi_cuda11.6 bash

  • 进入容器快捷命令：

    vim ～/.bashrc

      alias wyr_docker_connect='nvidia-docker exec -it wyr_wenet_kaldi_cuda11.6 bash'

  • 查看ubantu版本

      cat /etc/issue

  1. 配置pip镜像

    vim ~/.pip/pip.conf
    添加如下内容

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=mirrors.aliyun.com

  1. 配置conda镜像

vim ~/.condarc

channels:- defaults
show_channel_urls: true
default_channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmsys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudbioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmenpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudpytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudsimpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

  1. 下载wenet代码

     git clone --branch v1.0.0 https://github.com/wenet-e2e/wenet.gitgit clone https://github.com/wenet-e2e/wenet.git

  2. 创建conda虚拟环境

    下载conda

     wget https://repo.anaconda.com/archive/Anaconda3-2021.05-Linux-x86_64.sh

    安装conda

     bash Anaconda3-2021.05-Linux-x86_64.sh

    添加anaconda3环境变量

     vim ~/.bashrc添加： export PATH=$PATH:/root/anaconda3/bin

    安装wenet虚拟环境

     conda create -n wenet python=3.8source activateconda activate wenet

  3. 安装依赖 pytorch torchvision torchaudio cudatoolkit

     pip install -r requirements.txtconda install pytorch torchvision torchaudio cudatoolkit=11.2 -c pytorch -c conda-forgeconda install pytorch torchvision torchaudio cudatoolkit=11.6 -c pytorch -c conda-forge

  • 问题是：nvcc 版本是11.2 但是官方pytorch安装例子里只有11.1，使用以上命令安装11.2对应版本的时候总是装CPU版本的

    • 尝试解决方法：据说安装11.1也是可以的，只能试一下
      conda install pytorch=1.8.1 torchvision torchaudio cudatoolkit=11.1 -c pytorch -c conda-forge

        conda install pytorch=1.8.1 torchvision torchaudio cudatoolkit=11.6 -c pytorch -c conda-forge

conda install pytorch torchvision torchaudio cudatoolkit=11.5 -c pytorch -c conda-forge

	成功了✅

conda install pytorch=1.12.1 torchvision torchaudio cudatoolkit=11.3 -c pytorch -c conda-forge

  1. 下载1.0.0代码

git clone --branch v1.0.0 https://github.com/wenet-e2e/wenet.git

  1. conda环境配置

  • conda create -n wenet python=3.8

  • conda activate wenet

    报错 需要conda init：解决方法 source activate

  • pip install -r requirements.txt

  • conda install pytorch torchvision torchaudio cudatoolkit=10.1 -c pytorch -c conda-forge

    本来cudatoolkit的版本是11.1， 这里本地的是10.1，所以改为了10.1.

    通过安装命令可以看到，pytorch的版本是1.8.1， torchaudio的版本是0.8.1, cudatoolkit的版本是10.1.243，都没有问题。唯一有问题的有两个地方：一个是网上有cuda和pytorhc版本的对应关系，总是显示pytorch版本1.7.0需要11.0的cuda版本。可能是cuda不能装太低版本的pytorch，能装比较高的pytorch。

    安装时间非常长，于是改了conda的镜像。

    channels:

    • defaults
      show_channel_urls: true
      default_channels:

    • https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

    • https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r

    • https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
      custom_channels:
      conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

      安装会很快。

      另外查了一下官网的是在哪下载的，通过conda info找到了下载包的临时存放地址，通过查看urls.txt看到了下载地址：https://conda.anaconda.org/pytorch/linux-64/torchaudio-0.8.1-py38.tar.bz2

  1. pip镜像源配置文件

vim ~/.pip/pip.conf
添加如下内容

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=mirrors.aliyun.com

这篇关于wenet环境部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/575720。

相关文章

在Ubuntu上部署SpringBoot应用的操作步骤

在Ubuntu上部署SpringBoot应用的操作步骤

《在Ubuntu上部署SpringBoot应用的操作步骤》随着云计算和容器化技术的普及,Linux服务器已成为部署Web应用程序的主流平台之一,Java作为一种跨平台的编程语言,具有广泛的应用场景,本... 目录一、部署准备二、安装 Java 环境1. 安装 JDK2. 验证 Java 安装三、安装 mys
阅读更多...
Java汇编源码如何查看环境搭建

Java汇编源码如何查看环境搭建

《Java汇编源码如何查看环境搭建》：本文主要介绍如何在IntelliJIDEA开发环境中搭建字节码和汇编环境,以便更好地进行代码调优和JVM学习,首先,介绍了如何配置IntelliJIDEA以方... 目录一、简介二、在IDEA开发环境中搭建汇编环境2.1 在IDEA中搭建字节码查看环境2.1.1 搭建步
阅读更多...
Jenkins中自动化部署Spring Boot项目的全过程

Jenkins中自动化部署Spring Boot项目的全过程

《Jenkins中自动化部署SpringBoot项目的全过程》：本文主要介绍如何使用Jenkins从Git仓库拉取SpringBoot项目并进行自动化部署,通过配置Jenkins任务,实现项目的... 目录准备工作启动 Jenkins配置 Jenkins创建及配置任务源码管理构建触发器构建构建后操作构建任务
阅读更多...
在 VSCode 中配置 C++ 开发环境的详细教程

在 VSCode 中配置 C++ 开发环境的详细教程

《在VSCode中配置C++开发环境的详细教程》本文详细介绍了如何在VisualStudioCode（VSCode）中配置C++开发环境,包括安装必要的工具、配置编译器、设置调试环境等步骤,通... 目录如何在 VSCode 中配置 C++ 开发环境：详细教程1. 什么是 VSCode？2. 安装 VSCo
阅读更多...
若依部署Nginx和Tomcat全过程

若依部署Nginx和Tomcat全过程

《若依部署Nginx和Tomcat全过程》文章总结了两种部署方法：Nginx部署和Tomcat部署,Nginx部署包括打包、将dist文件拉到指定目录、配置nginx.conf等步骤,Tomcat部署... 目录Nginx部署后端部署Tomcat部署出现问题：点击刷新404总结Nginx部署第一步：打包
阅读更多...
Nginx、Tomcat等项目部署问题以及解决流程

Nginx、Tomcat等项目部署问题以及解决流程

《Nginx、Tomcat等项目部署问题以及解决流程》本文总结了项目部署中常见的four类问题及其解决方法：Nginx未按预期显示结果、端口未开启、日志分析的重要性以及开发环境与生产环境运行结果不一致... 目录前言1. Nginx部署后未按预期显示结果1.1 查看Nginx的启动情况1.2 解决启动失败的
阅读更多...
鸿蒙开发搭建flutter适配的开发环境

鸿蒙开发搭建flutter适配的开发环境

《鸿蒙开发搭建flutter适配的开发环境》文章详细介绍了在Windows系统上如何创建和运行鸿蒙Flutter项目,包括使用flutterdoctor检测环境、创建项目、编译HAP包以及在真机上运... 目录环境搭建创建运行项目打包项目总结环境搭建1.安装 DevEco Studio NEXT IDE
阅读更多...
闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
安装nodejs环境

安装nodejs环境

本文介绍了如何通过nvm(NodeVersionManager)安装和管理Node.js及npm的不同版本，包括下载安装脚本、检查版本并安装特定版本的方法。 1、安装nvm curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash 2、查看nvm版本 nvm --version 3、安装
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2