Jetson Orin安装riva以及llamaspeak，使用 Riva ASR/TTS 与 Llama 进行实时交谈，大语言模型成功运行笔记

2023-12-30 01:20
文章标签 语言 进行 安装 使用 运行 笔记 模型 实时 llama 成功 jetson orin asr tts 交谈 riva llamaspeak

本文主要是介绍Jetson Orin安装riva以及llamaspeak，使用 Riva ASR/TTS 与 Llama 进行实时交谈，大语言模型成功运行笔记，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

NVIDIA 的综合语音 AI 工具包 RIVA 可以处理这种情况。此外，RIVA 可以构建应用程序，在本地设备（如 NVIDIA Jetson）上处理所有这些内容。

RIVA 是一个综合性库，包括：

  • 自动语音识别 （ASR）
  • 文本转语音合成 （TTS）
  • 神经机器翻译 （NMT）（语言到语言的翻译，例如英语到西班牙语）
  • 自然语言处理 （NLP） 服务的集合，例如命名实体识别 （NER）、标点符号和意图分类。

RIVA 在运行 JetPack 5 及更高版本的 Jetson Orin 和 Xavier 系列处理器上运行。在视频中，我们使用的是Jetson Orin模组和国产载板,usb免驱声卡和麦克风耳机。

riva和ngc的安装和测试

安装

通常，我们不涵盖演练安装。然而，这已经足够具有挑战性了，值得写这篇文章。RIVA 目前处于 Jetsons 的测试阶段（表示为 ARM64 或嵌入在 NVIDIA 文档中的多个位置）。您可能会发现，随着时间的流逝，某些方向会发生变化。

话虽如此，如果您是初学者，这可能有点困难。我们假设您正在关注视频。所以我尽可能的多写一些步骤。

RIVA 快速入门指南

您需要遵循 RIVA 快速入门指南。您应该能够按照操作，从“嵌入式”部分开始。您需要访问 NVIDIA NGC。NVIDIA NGC 是 NVIDIA AI 的仓库。NGC 需要一个免费的开发者帐户。NVIDIA有几个关于设置帐户和获取开发者密钥的视频：

  • 注册 NGC 并生成 API 密钥
  • NGC 配置集演练

NGC CLI 入门 — ngc-cli documentation (nvidia.com)

ARM64 Linux Install
The NGC CLI binary for ARM64 is supported on Ubuntu 18.04 and later distributions.Click Download CLI to download the zip file that contains the binary, then transfer the zip file to a directory where you have permissions and then unzip and execute the binary. You can also download, unzip, and install from the command line by moving to a directory where you have execute permissions and then running the following command:wget --content-disposition https://api.ngc.nvidia.com/v2/resources/nvidia/ngc-apps/ngc_cli/versions/3.35.0/files/ngccli_arm64.zip -O ngccli_arm64.zip && unzip ngccli_arm64.zip
Check the binary's md5 hash to ensure the file wasn't corrupted during download:find ngc-cli/ -type f -exec md5sum {} + | LC_ALL=C sort | md5sum -c ngc-cli.md5
Check the binary's SHA256 hash to ensure the file wasn't corrupted during download. Run the following commandsha256sum ngccli_arm64.zip
Compare with the following value, which can also be found in the Release Notes of the Resource:9f67759be0397d3b25eca09aeb2d3b4b7077e0c924a3198351ea75965bdec22f
After verifying value, make the NGC CLI binary executable and add your current directory to path:chmod u+x ngc-cli/ngc
$ echo "export PATH=\"\$PATH:$(pwd)/ngc-cli\"" >> ~/.bash_profile && source ~/.bash_profile
You must configure NGC CLI for your use so that you can run the commands.Enter the following command, including your API key when prompted:ngc config set
ARM64 Uninstall:
Warning: If you choose to have a custom path for your installation, or move the CLI Binary, these instructions may not be safe.For CLI versions 3.0.0 and up:Check .dirname `which ngc`
If this directory can be deleted, move to the next step. If not, move to step 3.Delete the NGC CLI directory:
Enter the following command.dirname `which ngc` | xargs rm -r
Delete the NGC CLI Binary. Enter the following command.
which ngc | xargs rm
This does not delete all files downloaded from the initial NGC CLI installation. Please go to the original installation folder and delete it.

具体而言，本快速入门指南使您能够在本地工作站上部署预训练模型并运行示例客户端。

Riva Speech AI Skills 支持两种架构，Linux x86_64 和 Linux ARM64。在本文档中，它们被称为数据中心 （x86_64） 和嵌入式 （ARM64）。

有关更多信息和问题，请访问 NVIDIA Riva 开发者论坛。

先决条件

在使用 Riva Speech AI 之前，请确保您满足以下先决条件：

数据中心

  1. 您有权访问并登录 NVIDIA NGC。有关分步说明，请参阅 NGC 入门指南。

  2. 您可以访问 NVIDIA Volta™、NVIDIA Turing™ 或基于 NVIDIA Ampere 架构的 A100 GPU。有关详细信息，请参阅支持矩阵。

  3. 您已安装 Docker 并支持 NVIDIA GPU。有关详细信息，请参阅支持矩阵。

嵌入式

  1. 您有权访问并登录 NVIDIA NGC。有关分步说明，请参阅 NGC 入门指南。

  2. 您可以访问 NVIDIA Jetson Orin、NVIDIA Jetson AGX Xavier 或 NVIDIA Jetson NX Xavier™。有关详细信息，请参阅支持矩阵。

  3. 您已在 Jetson 平台上安装了 NVIDIA JetPack™ 版本 5.1 或 5.1.1。有关详细信息，请参阅支持矩阵。

  4. Jetson 上有 ~15 GB 的可用磁盘空间，这是默认容器和模型所要求的。如果要部署任何 Riva 模型中间表示 （RMIR） 模型，则所需的额外磁盘空间为 ~14 GB 加上 RMIR 模型的大小。

  5. 您已在 Jetson 平台上启用以下电源模式。这些模式激活所有 CPU 内核，并以最大频率为 CPU/GPU 提供时钟，以实现最佳性能。

    sudo nvpmodel -m 0 (Jetson Orin AGX, mode MAXN)
sudo nvpmodel -m 0 (Jetson Xavier AGX, mode MAXN)
sudo nvpmodel -m 2 (Jetson Xavier NX, mode MODE_15W_6CORE)

  6. 您已通过在文件中添加以下行将默认运行时设置为在 Jetson 平台上。编辑文件后，使用重新启动 Docker 服务。nvidia/etc/docker/daemon.jsonsudo systemctl restart docker

    "default-runtime": "nvidia"

启用最大性能

如果您想要访问NVIDIA Jetson AGX Orin的全部性能，可以启用最大性能模式：这将在增加电力消耗的情况下最大化应用程序性能。

sudo nvpmodel -m 0

将CPU、GPU和EMC时钟的静态最大频率设置为最大

sudo jetson_clocks

禁用桌面图形用户界面(GUI)

我们可以禁用桌面环境以节省RAM上的内存。

sudo systemctl set-default multi-user.target

然后重启

sudo reboot

利用下列命令再启用GUI

sudo systemctl set-default graphical.target

然后重启Jetson板子

sudo reboot

性能监控工具 - jtop

Jetson Stats是由Raffaello Bonghi开发的一个具有漂亮界面的实用工具。
您可以使用以下命令进行安装：

sudo -H pip install -U jetson-stats

然后运行

jtop

运行截屏：

可供部署的模型

有两个按钮式部署选项可用于部署 Riva 语音 AI，它们使用 NGC 目录中提供的预训练模型：

本地 Docker：您可以使用快速入门脚本设置本地工作站并使用 Docker 部署 Riva 服务。继续阅读本指南以使用快速入门脚本。

Kubernetes 接口：Riva Helm Chart 旨在自动执行一键部署到 Kubernetes 集群的步骤。有关详细信息，请参阅 Kubernetes 部署。嵌入不支持此选项。

除了使用预训练模型外，Riva Speech AI 还可以使用 NVIDIA NeMo 与微调的自定义模型一起运行。有关使用 NVIDIA NeMo 创建模型存储库的高级选项的详细信息，请参阅“使用 NeMo 进行模型开发”部分。

使用快速启动脚本进行本地部署#

Riva 包含快速入门脚本，可帮助您开始使用 Riva 语音 AI 技能。这些脚本用于在本地部署服务、测试和运行示例应用程序。

  1. 下载脚本。转到 Riva Data center 或 Embedded 快速入门，具体取决于您使用的平台。选择“文件浏览器”选项卡以下载脚本，或使用 NGC CLI 工具从命令行下载。

    数据中心

    ngc registry resource download-version nvidia/riva/riva_quickstart:2.14.0

    嵌入式Jetson

    ngc registry resource download-version nvidia/riva/riva_quickstart_arm64:2.14.0

注意：本教程使用 riva_quickstart_arm64_v2.12.1，最新版镜像拉不起来一直，本人遇到的第一个坑，小白就要多被坑。

2.初始化并启动 Riva。初始化步骤下载并准备 Docker 映像和模型。启动脚本将启动服务器。

注意

在平均互联网连接上，此过程可能需要长达一个小时。在数据中心，每个模型在下载后都会针对目标 GPU 进行单独优化。在嵌入式平台上，会下载 NVIDIA Jetson 上 GPU 的预优化模型。

自选：使用首选配置修改目录中的文件。选项包括：config.shquickstart

  • 要启用哪些服务

  • 从NGC检索哪些型号

  • 将它们存放在哪里

  • 如果系统上安装了多个 GPU，则使用哪个 GPU（有关详细信息，请参阅本地 （Docker））

  • SSL/TLS 证书的位置

  • 密钥文件（如果使用安全连接）

切换到 riva_quickstart 目录并修改 config.sh 以满足您的需求。完成此操作后，您就可以初始化服务器并下载模型了。注意这里需要使用 sudo，这与文档不同：

 

 sudo bash riva_init.sh

要在 Docker 容器中启动 RIVA 服务器，有一个方便的脚本：

bash riva_start.sh

安装 RIVA Python 客户端

RIVA Python 客户端位于 Github 上。在开始安装之前，请确保已安装 pip。它在 Ubuntu 存储库中被命名为 python3-pip。

注意：您应该为自己的开发过程修改它。例如，您可能希望使用 Python 虚拟环境。

您还需要安装 testresources 和 portaudio 库。然后将用户添加到关联的组：

pip3 install testresourcessudo apt install portaudio19-devpip3 install pyaudiosudo adduser $USER audiosudo adduser $USER pulse-accessnewgrp pulse-access

然后安装 python-clients 存储库。按照 README 文件中的说明进行操作。这是我们在视频中遵循的一个序列，以供参考。在执行此操作之前，请确保您位于顶级目录中。 

 git clone https://github.com/nvidia-riva/python-clients.git
$ cd python-clients
$ git submodule init
$ git submodule update --remote --recursive
$ pip install -r requirements.txt
$ python3 setup.py bdist_wheel
$ pip install --force-reinstall dist/*.whl
$ pip install nvidia-riva-client

 测试RIVA客户端是否正常使用：

python3 talk.py --play-audio --text 'Speech is now the component of many different applications. Sometimes speech is integrated into devices, like Apple’s SIRI or Google. Speech may be also be placed in devices like the Amazon Alexa. These devices work in much the same way. First there is a wake-up word processed locally, like “Hey Siri!”. Subsequent voice commands are round tripped to a server. The server processes the voice commands (Automatic Speech Recognition or ASR) then returns a response.' --voice English-US.Female-1

 usb声卡提前插好，热插拔不支持的话会无法识别，本人遇到的第二坑

ERROR:Failed to load the extension "openai". Not loading the API on nVidia Jetson Orin AGX · Issue #4779 · oobabooga/text-generation-webui · GitHub

Llamaspeak - 使用NVIDIA Riva ASR和TTS进行实时语音对话 

根据这里的指导（https://github.com/dusty-nv/jetson-containers/tree/master/packages/llm/llamaspeak）去安装 llamaspeak.

自己找可能会找错，我就找错了。遇到的第三坑

https://github.com/dusty-nv/jetson-containers/tree/master/packages/llm/llamaspeak

在进一步操作之前，请确保从Hugging Face下载了模型。Meta的LLaMA是当今最受欢迎的开源LLM（大型语言模型）之一。因此，我们可以下载LLaMA2的量化70B模型。
一旦Riva服务器状态为运行中，请打开另一个终端并执行以下命令： 

手动指定要加载的模型，而无需使用 Web UI：

./run.sh --workdir /opt/text-generation-webui $(./autotag text-generation-webui:1.7) \python3 server.py --listen --verbose --api \--model-dir=/data/models/text-generation-webui \--model=llama-2-13b-chat.Q4_K_M.gguf \--loader=llamacpp \--n-gpu-layers=128 \--n_ctx=4096 \--n_batch=4096 \--threads=$(($(nproc) - 2))

 末端运行下面提示就成功了：

llm_load_print_meta: model params     = 68.98 B
llm_load_print_meta: model size       = 38.58 GiB (4.80 BPW)
llm_load_print_meta: general.name   = LLaMA v2
llm_load_print_meta: BOS token = 1 '<s>'
llm_load_print_meta: EOS token = 2 '</s>'
llm_load_print_meta: UNK token = 0 '<unk>'
llm_load_print_meta: LF token  = 13 '<0x0A>'
llm_load_tensors: ggml ctx size =    0.26 MiB
llm_load_tensors: using CUDA for GPU acceleration
llm_load_tensors: mem required  =  140.89 MiB
llm_load_tensors: offloading 80 repeating layers to GPU
llm_load_tensors: offloading non-repeating layers to GPU
llm_load_tensors: offloaded 83/83 layers to GPU
llm_load_tensors: VRAM used: 39362.61 MiB
....................................................................................................
llama_new_context_with_model: n_ctx      = 4096
llama_new_context_with_model: freq_base  = 10000.0
llama_new_context_with_model: freq_scale = 1
llama_kv_cache_init: offloading v cache to GPU
llama_kv_cache_init: offloading k cache to GPU
llama_kv_cache_init: VRAM kv self = 1280.00 MiB
llama_new_context_with_model: kv self size  = 1280.00 MiB
llama_build_graph: non-view tensors processed: 1844/1844
llama_new_context_with_model: compute buffer total size = 4547.09 MiB
llama_new_context_with_model: VRAM scratch buffer: 4544.03 MiB
llama_new_context_with_model: total VRAM used: 45186.64 MiB (model: 39362.61 MiB, context: 5824.03 MiB)
AVX = 0 | AVX2 = 0 | AVX512 = 0 | AVX512_VBMI = 0 | AVX512_VNNI = 0 | FMA = 0 | NEON = 1 | ARM_FMA = 1 | F16C = 0 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 1 | SSE3 = 0 | SSSE3 = 0 | VSX = 0 |
2023-12-29 09:22:20 INFO:Loaded the model in 74.01 seconds.Starting streaming server at ws://0.0.0.0:5005/api/v1/stream
2023-12-29 09:22:20 INFO:Loading the extension "gallery"...
Starting API at http://0.0.0.0:5000/api
Running on local URL:  http://0.0.0.0:7860To create a public link, set `share=True` in `launch()`.

 内存基本用光，最好关闭图形界面。

启用 HTTPS/SSL

浏览器需要使用 HTTPS 才能访问客户端的麦克风。因此，您需要创建自签名 SSL 证书和密钥：

$ cd /path/to/your/jetson-containers/data
$ openssl req -x509 -newkey rsa:4096 -keyout key.pem -out cert.pem -sha256 -days 365 -nodes -subj '/CN=localhost'

您需要将它们放在 jetson-containers/data 目录中，因为它会自动挂载到 下的容器中，并使您的 SSL 证书在容器运行中保持持久性。当您第一次将浏览器导航到使用这些自签名证书的页面时，它将向您发出警告，因为它们不是来自受信任的颁发机构：/data

您可以选择覆盖此功能，在您更改证书或设备的主机名/IP 更改之前，它不会再次出现

运行 Llamaspeak

要使用其默认参数和您生成的 SSL 密钥运行 llamaspeak 聊天服务器，请按如下方式启动它：

有关可更改的命令行选项，请参阅 chat.py。例如，要启用或日志记录：--verbose--debug

./run.sh --workdir=/opt/llamaspeak \--env SSL_CERT=/data/cert.pem \--env SSL_KEY=/data/key.pem \$(./autotag llamaspeak) \python3 chat.py --verbose --debug

如果在从 Web 客户端获取音频或响应时遇到问题，请启用调试日志记录以检查消息流量。 

加上debug后音频正常。后续有待查验，还安装了一个未知的音频库看起来并未起到效果也发出来把也许你们能用到。

这里的错误nvidia说JETPACK5.1.1修复了,重新刷机更新系统尴尬不你们，遇到这个问题现在只能重启可能是内存不够引起的。 

演示一下效果，新年快乐明年见；

llamaspeak

这篇关于Jetson Orin安装riva以及llamaspeak，使用 Riva ASR/TTS 与 Llama 进行实时交谈，大语言模型成功运行笔记的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/551285。

相关文章

Windows系统下如何查找JDK的安装路径

Windows系统下如何查找JDK的安装路径

《Windows系统下如何查找JDK的安装路径》：本文主要介绍Windows系统下如何查找JDK的安装路径,文中介绍了三种方法,分别是通过命令行检查、使用verbose选项查找jre目录、以及查看... 目录一、确认是否安装了JDK二、查找路径三、另外一种方式如果很久之前安装了JDK，或者在别人的电脑上，想
阅读更多...
Spring Cloud之注册中心Nacos的使用详解

Spring Cloud之注册中心Nacos的使用详解

《SpringCloud之注册中心Nacos的使用详解》本文介绍SpringCloudAlibaba中的Nacos组件,对比了Nacos与Eureka的区别,展示了如何在项目中引入SpringClo... 目录Naacos服务注册/服务发现引⼊Spring Cloud Alibaba依赖引入Naco编程s依
阅读更多...
Java springBoot初步使用websocket的代码示例

Java springBoot初步使用websocket的代码示例

《JavaspringBoot初步使用websocket的代码示例》：本文主要介绍JavaspringBoot初步使用websocket的相关资料,WebSocket是一种实现实时双向通信的协... 目录一、什么是websocket二、依赖坐标地址1.springBoot父级依赖2.springBoot依赖
阅读更多...
C语言中的浮点数存储详解

C语言中的浮点数存储详解

《C语言中的浮点数存储详解》：本文主要介绍C语言中的浮点数存储详解,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、首先明确一个概念2、接下来，讲解C语言中浮点型数存储的规则2.1、可以将上述公式分为两部分来看2.2、问：十进制小数0.5该如何存储？2.3 浮点
阅读更多...
大数据spark3.5安装部署之local模式详解

大数据spark3.5安装部署之local模式详解

《大数据spark3.5安装部署之local模式详解》本文介绍了如何在本地模式下安装和配置Spark,并展示了如何使用SparkShell进行基本的数据处理操作,同时,还介绍了如何通过Spark-su... 目录下载上传解压配置jdk解压配置环境变量启动查看交互操作命令行提交应用spark，一个数据处理框架
阅读更多...
Java使用Mail构建邮件功能的完整指南

Java使用Mail构建邮件功能的完整指南

《Java使用Mail构建邮件功能的完整指南》JavaMailAPI是一个功能强大的工具,它可以帮助开发者轻松实现邮件的发送与接收功能,本文将介绍如何使用JavaMail发送和接收邮件,希望对大家有所... 目录1、简述2、主要特点3、发送样例3.1 发送纯文本邮件3.2 发送 html 邮件3.3 发送带
阅读更多...
Nginx如何进行流量按比例转发

Nginx如何进行流量按比例转发

《Nginx如何进行流量按比例转发》Nginx可以借助split_clients指令或通过weight参数以及Lua脚本实现流量按比例转发,下面小编就为大家介绍一下两种方式具体的操作步骤吧... 目录方式一：借助split_clients指令1. 配置split_clients2. 配置后端服务器组3. 配
阅读更多...
使用DeepSeek搭建个人知识库(在笔记本电脑上)

使用DeepSeek搭建个人知识库(在笔记本电脑上)

《使用DeepSeek搭建个人知识库(在笔记本电脑上)》本文介绍了如何在笔记本电脑上使用DeepSeek和开源工具搭建个人知识库,通过安装DeepSeek和RAGFlow,并使用CherryStudi... 目录部署环境软件清单安装DeepSeek安装Cherry Studio安装RAGFlow设置知识库总
阅读更多...
Python FastAPI入门安装使用

Python FastAPI入门安装使用

《PythonFastAPI入门安装使用》FastAPI是一个现代、快速的PythonWeb框架,用于构建API,它基于Python3.6+的类型提示特性,使得代码更加简洁且易于绶护,这篇文章主要介... 目录第一节：FastAPI入门一、FastAPI框架介绍什么是ASGI服务（WSGI）二、FastAP
阅读更多...
Spring-AOP-ProceedingJoinPoint的使用详解

Spring-AOP-ProceedingJoinPoint的使用详解

《Spring-AOP-ProceedingJoinPoint的使用详解》：本文主要介绍Spring-AOP-ProceedingJoinPoint的使用方式,具有很好的参考价值,希望对大家有所帮... 目录ProceedingJoinPoijsnt简介获取环绕通知方法的相关信息1.proceed()2.g
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2