聆思CSK6大模型语音视觉开发板接入AIUI技能实操(语音控制灯的开关)

本文主要是介绍聆思CSK6大模型语音视觉开发板接入AIUI技能实操(语音控制灯的开关),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文以大模型语音控制灯的开关为例,讲解如何通过LSPlatform的云端编排功能在大模型语音交互流程中加入AIUI技能,实现更丰富的产品功能。

大模型语音控灯

大模型语音模板加入AIUI技能节点后的数据流程如下图所示:

大模型语音接入AIUI实现灯控功能的云端配置

一.创建应用

登录LSplatform,创建新应用

创建成功后在弹出的界面进入应用编排服务

示例工程文件下载地址:大模型语音灯控.json

点击之后选择”导入节点文件”,导入下载的”大模型语音灯控.json“示例工程文件

二.示例工程讲解

流程分为主要两个部分,第一部分为进行语音交互,将用户的语音输入识别为文字后利用第一个提示词节点(分类提示词),将用户的语音命令进行意图分类。

第二部分是根据前面的意图识别结果进行多分支处理。画图(第一个分支)的分支是调用星火大模型的文生图功能生成图片。灯控(第二个分支)的分支是再次利用提示词(灯控提示词)调用星火大模型从用户的语音内容中提取关键的控制信息,如“打开/关闭灯光”控制GPIO高低电平来实现控制rgb灯的状态,最后一个分支是闲聊分支是用于完成语音的基本问答功能。

三.关键节点讲解

第一部分

第一部分主要讲解提示词语义改写落域结果判断部分

提示词(分类提示词)

按照提示词的一般设计原则,首先要对大模型进行角色设定(“你是一个分类专家”)。然后对其进行任务设定(“你需要将用户的句子归为“灯控”、“画画”、“闲聊”中的一类”)。接下来就是给大模型一些例子进行学习理解以提高分类的准确性。

语义改写

语义改写可以帮我们改写用户的问题,当有多轮提问的时候,使用语义改写可以将用户的多个问题改写成一个完整的问题,提高流程的处理效果。

当判断到有历史对话时,语义改写节点会整合用户的多个问题为一个完整问题,再传到提示词节点进行分类。

当判断到没有历史对话时,直接会传到提示词节点进行分类。

落域结果判断

这里有三个落域,分别是画画灯控闲聊三个落域,它会通过前面的分类提示词来判断是哪个落域,每个落域对应不同的分支,如要再增添落域,点击左下角”添加“即可

第二部分

前置处理函数、后置处理函数都是使用function节点来编写javascript代码,其主要作用

前置处理:主要用来提取上一个节点的输出参数转换或组装成下一个节点的输入参数

后置处理:主要用来提取上一个节点的输出参数生成语音播放内容以及NLP结果推送给端侧,会比前置处理单纯提取参数复杂一些。

第二部分我们只看第二条分支(灯控分支),前置处理与”闲聊”的前置处理相同,直接照抄即可。这里关键讲解“提示词”与“后置处理”节点

灯控提示词

风扇控制的提示词的作用是从用户的命令中提取关键信息(打开/关闭)来调整开关状态并响应rgb灯的十六进制值,打开即为“1”,关闭即为“0”,采用自然语言处理(NLP)比采用通配符匹配有更好的识别效果

灯控后置处理节点

它的作用是接收和解析用户的自然语言指令,根据解析结果构建一个意图模板,如果成功匹配指令,则生成成功的语音提示和控制指令消息发送给端侧设备;如果未匹配到指令,则生成失败或异常的语音提示消息,仅发送语音播报而没有控制指令。

聆思CSK6大模型开发板端侧新增灯控意图配置

准备工作

部署开发环境以及SDK工程拉取到本地目录,可以参考聆思文档中心环境搭建 | 聆思文档中心获取大模型套件SDK | 聆思文档中心

SDK下载完成后,通过VScode打开LLM-pic示例模板 D:\LISTENAI\duomotai_ap\apps\LLM-pic)根据自己的SDK保存路径打开

然后打开LLM-pic目录下的src\app_chat\app_music_ctrl.c文件

代码修改

我们需要修改的有三个部分

  1. 新增头文件
    #include <zephyr/drivers/gpio.h>

          新增宏定义

#define LED_G_NODE DT_ALIAS(led_rgb_green)static const struct gpio_dt_spec led_g = GPIO_DT_SPEC_GET(LED_G_NODE, gpios);

  1. 定义led_ret变量

 int led_ret;app_chat_evt_msg_t msg;if (!gpio_is_ready_dt(&led_g)) {return 0;}led_ret = gpio_pin_configure_dt(&led_g, GPIO_OUTPUT_ACTIVE);if (led_ret < 0) {return 0;}LOG_INF("Mumu------app_player_ctrl_thread");

  1. 新增灯控的控制意图
    } else if (!strcmp(aiui_ctrl_strings, "1")) { // 开灯LOG_INF("Open LED!");led_ret = gpio_pin_set_dt(&led_g,1);} else if (!strcmp(aiui_ctrl_strings, "0")) { // 关灯LOG_INF("Close LED!");  led_ret = gpio_pin_set_dt(&led_g,0);

至此,端侧部分配置完成

编译与烧录

  1. 打开 windows powershell/cmd

2、在LISTENAI\duomotai_ap路径下输入,开始编译固件

lisa zep build -b csk6_duomotai_devkit apps\LLM-pic -p

3、固件编译成功之后,输入进行烧录

lisa zep exec cskburn -s \\.\COM串口号 -C 6 -b 1500000 0x000000 --verify-all .\build\zephyr\zephyr.bin

开发板对接LSPlatform云端应用绑定

一.创建产品

产品管理模块点击新建产品按钮,并按要求填写你的产品名称。

二.云端应用和云端产品信息绑定

配置刚才创建的应用,完成配置后,用户即可体验大模型语音控制rgb灯。在此我们仅需在配置应用勾对文章第一步创建的应用(大模型灯控)即可。

三.云端应用设备列表加入硬件设备ID

读取设备id

设备ID是一个产品下的唯一设备标识,我们需要获取当前设备ID方便后续在云端配置,才能让设备鉴权通过实现端云交互。

读取方式:

cskburn desktop是一款聆思推出的桌面烧录工具,下载地址(cskburn桌面烧录工具 | 聆思文档中心)打开软件后

1.点击串口下拉框,选择连接开发套件后识别到的串口编号;

2.点击获取信息

3.得到设备ID

加入设备列表

聆思平台只会对列表中的设备鉴权提供交互服务,因此需要将前面读取到的设备ID在设备管理页面进行导入才能实现设备正常交互。

四.CSK6开发板设备端写入云端产品服务配置

云端配置设备id后,还需将产品ID写入开发板固件中,才能让设备在运行时找到正确的云端产品服务完进行鉴权,鉴权完成就可以进行大模型语音交互了

写入方式:

使用数据线连接开发板 DAP_USB 接口后,打开聆思在线串口终端,选择对应的串口设 备进行连接,波特率默认115200,完成配置后点击连接按钮。

通过 set product_id set secret_id指令可以分别配置开发板接入的大模型应用 product ID 及其密钥,示例如下:

set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f

set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218

product_idproduct_secret 可在对应产品的产品信息中获取,请将指令中的参数替换为产品信息中的 id 与 secret 信息。

至此,所有配置均以完成。本文使用的聆思CSK6大模型开发板,详细信息可参考线上文档套件简介 | 聆思文档中心

这篇关于聆思CSK6大模型语音视觉开发板接入AIUI技能实操(语音控制灯的开关)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1093647

相关文章

SpringBoot请求参数接收控制指南分享

《SpringBoot请求参数接收控制指南分享》:本文主要介绍SpringBoot请求参数接收控制指南,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Spring Boot 请求参数接收控制指南1. 概述2. 有注解时参数接收方式对比3. 无注解时接收参数默认位置

Spring Security+JWT如何实现前后端分离权限控制

《SpringSecurity+JWT如何实现前后端分离权限控制》本篇将手把手教你用SpringSecurity+JWT搭建一套完整的登录认证与权限控制体系,具有很好的参考价值,希望对大家... 目录Spring Security+JWT实现前后端分离权限控制实战一、为什么要用 JWT?二、JWT 基本结构

Android实现两台手机屏幕共享和远程控制功能

《Android实现两台手机屏幕共享和远程控制功能》在远程协助、在线教学、技术支持等多种场景下,实时获得另一部移动设备的屏幕画面,并对其进行操作,具有极高的应用价值,本项目旨在实现两台Android手... 目录一、项目概述二、相关知识2.1 MediaProjection API2.2 Socket 网络

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

用js控制视频播放进度基本示例代码

《用js控制视频播放进度基本示例代码》写前端的时候,很多的时候是需要支持要网页视频播放的功能,下面这篇文章主要给大家介绍了关于用js控制视频播放进度的相关资料,文中通过代码介绍的非常详细,需要的朋友可... 目录前言html部分:JavaScript部分:注意:总结前言在javascript中控制视频播放

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

使用Python实现文本转语音(TTS)并播放音频

《使用Python实现文本转语音(TTS)并播放音频》在开发涉及语音交互或需要语音提示的应用时,文本转语音(TTS)技术是一个非常实用的工具,下面我们来看看如何使用gTTS和playsound库将文本... 目录什么是 gTTS 和 playsound安装依赖库实现步骤 1. 导入库2. 定义文本和语言 3

Python异步编程中asyncio.gather的并发控制详解

《Python异步编程中asyncio.gather的并发控制详解》在Python异步编程生态中,asyncio.gather是并发任务调度的核心工具,本文将通过实际场景和代码示例,展示如何结合信号量... 目录一、asyncio.gather的原始行为解析二、信号量控制法:给并发装上"节流阀"三、进阶控制

使用DrissionPage控制360浏览器的完美解决方案

《使用DrissionPage控制360浏览器的完美解决方案》在网页自动化领域,经常遇到需要保持登录状态、保留Cookie等场景,今天要分享的方案可以完美解决这个问题:使用DrissionPage直接... 目录完整代码引言为什么要使用已有用户数据?核心代码实现1. 导入必要模块2. 关键配置(重点!)3.