聆思CSK6大模型语音视觉开发板接入AIUI技能实操（语音控制灯的开关）

本文主要是介绍聆思CSK6大模型语音视觉开发板接入AIUI技能实操（语音控制灯的开关），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本文以大模型语音控制灯的开关为例,讲解如何通过LSPlatform的云端编排功能在大模型语音交互流程中加入AIUI技能，实现更丰富的产品功能。

大模型语音控灯

大模型语音模板加入AIUI技能节点后的数据流程如下图所示：

大模型语音接入AIUI实现灯控功能的云端配置

一.创建应用

登录LSplatform，创建新应用

创建成功后在弹出的界面进入应用编排服务

示例工程文件下载地址：大模型语音灯控.json

点击之后选择”导入节点文件”，导入下载的”大模型语音灯控.json“示例工程文件

二.示例工程讲解

流程分为主要两个部分，第一部分为进行语音交互，将用户的语音输入识别为文字后利用第一个提示词节点（分类提示词），将用户的语音命令进行意图分类。

第二部分是根据前面的意图识别结果进行多分支处理。画图(第一个分支）的分支是调用星火大模型的文生图功能生成图片。灯控（第二个分支）的分支是再次利用提示词（灯控提示词）调用星火大模型从用户的语音内容中提取关键的控制信息，如“打开/关闭灯光”控制GPIO高低电平来实现控制rgb灯的状态，最后一个分支是闲聊分支是用于完成语音的基本问答功能。

三.关键节点讲解

第一部分

第一部分主要讲解提示词、语义改写、落域结果判断部分

提示词（分类提示词）

按照提示词的一般设计原则，首先要对大模型进行角色设定（“你是一个分类专家”）。然后对其进行任务设定（“你需要将用户的句子归为“灯控”、“画画”、“闲聊”中的一类”）。接下来就是给大模型一些例子进行学习理解以提高分类的准确性。

语义改写

语义改写可以帮我们改写用户的问题，当有多轮提问的时候，使用语义改写可以将用户的多个问题改写成一个完整的问题，提高流程的处理效果。

当判断到有历史对话时，语义改写节点会整合用户的多个问题为一个完整问题，再传到提示词节点进行分类。

当判断到没有历史对话时，直接会传到提示词节点进行分类。

落域结果判断

这里有三个落域，分别是画画、灯控、闲聊三个落域，它会通过前面的分类提示词来判断是哪个落域，每个落域对应不同的分支，如要再增添落域，点击左下角”添加“即可

第二部分

前置处理函数、后置处理函数都是使用function节点来编写javascript代码，其主要作用

前置处理：主要用来提取上一个节点的输出参数转换或组装成下一个节点的输入参数

后置处理：主要用来提取上一个节点的输出参数生成语音播放内容以及NLP结果推送给端侧，会比前置处理单纯提取参数复杂一些。

第二部分我们只看第二条分支（灯控分支），前置处理与”闲聊”的前置处理相同，直接照抄即可。这里关键讲解“提示词”与“后置处理”节点

灯控提示词

风扇控制的提示词的作用是从用户的命令中提取关键信息（打开/关闭）来调整开关状态并响应rgb灯的十六进制值，打开即为“1”，关闭即为“0”，采用自然语言处理（NLP)比采用通配符匹配有更好的识别效果

灯控后置处理节点

它的作用是接收和解析用户的自然语言指令，根据解析结果构建一个意图模板，如果成功匹配指令，则生成成功的语音提示和控制指令消息发送给端侧设备；如果未匹配到指令，则生成失败或异常的语音提示消息，仅发送语音播报而没有控制指令。

聆思CSK6大模型开发板端侧新增灯控意图配置

准备工作

部署开发环境以及SDK工程拉取到本地目录，可以参考聆思文档中心环境搭建 | 聆思文档中心与获取大模型套件SDK | 聆思文档中心。

SDK下载完成后，通过VScode打开LLM-pic示例模板（D:\LISTENAI\duomotai_ap\apps\LLM-pic）根据自己的SDK保存路径打开

然后打开LLM-pic目录下的src\app_chat\app_music_ctrl.c文件

代码修改

我们需要修改的有三个部分

新增头文件
```
#include <zephyr/drivers/gpio.h>
```

新增宏定义

#define LED_G_NODE DT_ALIAS(led_rgb_green)static const struct gpio_dt_spec led_g = GPIO_DT_SPEC_GET(LED_G_NODE, gpios);

定义led_ret变量

 int led_ret;app_chat_evt_msg_t msg;if (!gpio_is_ready_dt(&led_g)) {return 0;}led_ret = gpio_pin_configure_dt(&led_g, GPIO_OUTPUT_ACTIVE);if (led_ret < 0) {return 0;}LOG_INF("Mumu------app_player_ctrl_thread");

新增灯控的控制意图

    } else if (!strcmp(aiui_ctrl_strings, "1")) { // 开灯LOG_INF("Open LED!");led_ret = gpio_pin_set_dt(&led_g,1);} else if (!strcmp(aiui_ctrl_strings, "0")) { // 关灯LOG_INF("Close LED!");  led_ret = gpio_pin_set_dt(&led_g,0);