Elasticsearch:虚拟形象辅助和对话驱动的语音到 RAG 搜索

2024-03-26 11:44

本文主要是介绍Elasticsearch:虚拟形象辅助和对话驱动的语音到 RAG 搜索,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

作者:来自 Elastic Sunile Manjee

搜索的演变

搜索已经从产生简单结果的简单文本查询发展成为容纳文本、图像、视频和问题等各种格式的复杂系统。

如今的搜索结果通过生成式人工智能、机器学习和交互式聊天功能得到增强,提供更丰富、更动态且与上下文相关的用户体验。 不久前的搜索由文本查询和相关结果组成。

与你的数据对话,这是自然的

在对话支撑每一次互动的领域中,无论是与人类还是机器人,我们的搜索体验难道不应该反映这一基本方面吗? 想象一下企业内存在大量的公司文档。 自然地,这种环境会激发好奇心和大量问题,从而引发后续询问。 这种与生俱来的人类特质驱使我们寻求答案,根据最初的反应进行更深入的研究,并不断探索。 然而,传统的问答机制存在缺陷,因为它们经常忽视先前交流的背景,导致整个过程脱节且费力,感觉不自然,并促使用户过早退出。

超越问答

考虑使用电视搜索内容的行为,例如搜索尼古拉斯·凯奇主演的动作电影。 虽然大多数当前系统都能熟练地提供相关结果,但查询很少就此结束。 后续的问题,例如询问这些电影的运行时间或上映日期,是我们寻求信息的自然过程。 然而,标准搜索应用程序并不是为了促进持续对话而设计的; 它们是围绕孤立的问答格式构建的,这限制了交互和探索的深度。

与虚拟形象对话

这就是虚拟形象辅助搜索体验的概念发挥作用的地方,特别是在用户(包括我自己)更喜欢直接答案而无需筛选信息的情况下。 有时,我们希望能够方便地获得答案,而无需费力阅读内容。 开发用于生成响应的化身可以进一步使这种交互现代化,提供更具吸引力、更高效和更自然的用户体验。

Live Demo

在 Elasticsearch 中使用向量搜索驱动的机器学习动态分面

整合详情

语音转搜索

高级搜索体验始于用户语音交互,这些交互通过 Azure Speech to Text 转换为文本,形成搜索查询的基础。 然后,使用 ELSER 通过 Elasticsearch 处理该查询,以检索相关文档,例如列出 “action movies featuring Nicolas Cage - 尼古拉斯·凯奇主演的动作电影” 的电视指南。 这确保了搜索结果的准确性和相关性。

RAG 和缓存

在增强的搜索框架中,仅仅获取文档是不够的。 Azure OpenAI 的 GPT-4 将原始数据提炼为可理解的响应,确保对话流程顺畅。 此外,Elasticsearch 作为 GenAI 缓存层提高了效率,回收相关查询的答案,从而节省资源。 例如,如果有 “action movies featuring Nicolas Cage - 尼古拉斯·凯奇主演的动作电影” 的缓存响应,缓存 API 将迅速将其用于 “Nicolas Cage high-intensity movies - 尼古拉斯·凯奇高强度电影” 等类似问题,从而加速搜索体验。

虚拟形象响应生成

由 Azure Synthesizer 提供支持的虚拟形象响应功能进一步丰富了体验,添加了超越传统基于文本的界面的视觉和审核维度。 这创造了更具吸引力和交互性的用户体验,集成了各种先进技术以提供动态、直观和引人注目的搜索体验。

概括

从传统的 Google 搜索到 ChatGPT 等平台来回答查询的转变说明了一个更广泛的趋势:我们更喜欢对话而不是静态信息检索。 这种偏好强调了企业在搜索功能中采用更直观和对话式方法的重要性。 通过采用这种范式,企业可以更好地适应人类对话的自然倾向,从而增强其数据生态系统内的整体搜索和发现过程。

演示资源

仍然好奇,这是源代码的链接。

这篇关于Elasticsearch:虚拟形象辅助和对话驱动的语音到 RAG 搜索的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/848398

相关文章

关于C++中的虚拟继承的一些总结(虚拟继承,覆盖,派生,隐藏)

1.为什么要引入虚拟继承 虚拟继承是多重继承中特有的概念。虚拟基类是为解决多重继承而出现的。如:类D继承自类B1、B2,而类B1、B2都继承自类A,因此在类D中两次出现类A中的变量和函数。为了节省内存空间,可以将B1、B2对A的继承定义为虚拟继承,而A就成了虚拟基类。实现的代码如下: class A class B1:public virtual A; class B2:pu

人工和AI大语言模型成本对比 ai语音模型

这里既有AI,又有生活大道理,无数渺小的思考填满了一生。 上一专题搭建了一套GMM-HMM系统,来识别连续0123456789的英文语音。 但若不是仅针对数字,而是所有普通词汇,可能达到十几万个词,解码过程将非常复杂,识别结果组合太多,识别结果不会理想。因此只有声学模型是完全不够的,需要引入语言模型来约束识别结果。让“今天天气很好”的概率高于“今天天汽很好”的概率,得到声学模型概率高,又符合表达

VirtualBox中,虚拟系统文件VDI移动或者复制

在安装virtualbox以后有时需要复制,移动虚拟磁盘等操作,这些操作在vmware的虚拟机下面可以直接操作虚拟磁盘即可使用,但是在virtualbox环境 下每个VDI 文件都有一个唯一的uuid,而VirtualBox 不允许注册重复的uuid,所以直接复制的VDI文件是不能拿来使用的,我们就需要使用到virtualbox自带的管理命令来克隆一个VDI,这样通过命令克隆的VDI文件会重

WDF驱动开发-WDF总线枚举(一)

支持在总线驱动程序中进行 PnP 和电源管理 某些设备永久插入系统,而其他设备可以在系统运行时插入和拔出电源。 总线驱动 必须识别并报告连接到其总线的设备,并且他们必须发现并报告系统中设备的到达和离开情况。 总线驱动程序标识和报告的设备称为总线的 子设备。 标识和报告子设备的过程称为 总线枚举。 在总线枚举期间,总线驱动程序会为其子 设备创建设备对象 。  总线驱动程序本质上是同时处理总线枚

【青龙面板辅助】JD商品自动给好评获取京豆脚本

1.打开链接 开下面的链接进入待评价商品页面 https://club.jd.com/myJdcomments/myJdcomments.action?sort=0 2.登陆后执行脚本 登陆后,按F12键,选择console,复制粘贴以下代码,先运行脚本1,再运行脚本2 脚本1代码 可以自行修改评价内容。 var content = '材质很好,质量也不错,到货也很快物流满分,包装快递满

【文末附gpt升级秘笈】腾讯元宝AI搜索解析能力升级:千万字超长文处理的新里程碑

腾讯元宝AI搜索解析能力升级:千万字超长文处理的新里程碑 一、引言 随着人工智能技术的飞速发展,自然语言处理(NLP)和机器学习(ML)在各行各业的应用日益广泛。其中,AI搜索解析能力作为信息检索和知识抽取的核心技术,受到了广泛的关注和研究。腾讯作为互联网行业的领军企业,其在AI领域的探索和创新一直走在前列。近日,腾讯旗下的AI大模型应用——腾讯元宝,迎来了1.1.7版本的升级,新版本在AI搜

关于文章“python+百度语音识别+星火大模型+讯飞语音合成的语音助手”报错的修改

前言 关于我的文章:python+百度语音识别+星火大模型+讯飞语音合成的语音助手,运行不起来的问题 文章地址: https://blog.csdn.net/Phillip_xian/article/details/138195725?spm=1001.2014.3001.5501 1.报错问题 如果运行中报错,且报错位置在Xufi_Voice.py文件中的pcm_2_wav,如下图所示

WDF驱动开发-特定于KMDF的技术(一)

这部分的技术是一些零散的记录知识点,它们主要是在WDF框架中特定于KMDF的部分。 将内核模式驱动程序框架和非 PnP 驱动程序配合使用 如果要为不支持 即插即用 (PnP) 的设备编写驱动程序,则驱动程序必须: 在 WDF_DRIVER_CONFIG 结构的 DriverInitFlags 成员中设置 WdfDriverInitNonPnpDriver 标志;提供 EvtDriverUnl

ADD属性驱动架构设计(一)

目录 一、架构设计过程 1.1、架构设计过程 1.1.1、设计目的 1.1.2、质量属性(非功能需求) 1.1.3、核心功能(功能需求) 1.1.4、架构关注 1.1.5、约束条件 1.2、基于设计过程 二、什么是ADD? 三、为什么选择ADD? 四、作用 五、ADD实现步骤 5.1、架构设计目标 5.1.1、系统类型确定  5.1.2、系统阶段确定 5.2、建

代码随想录算法训练营第三十九天|62.不同路径 63. 不同路径 II 343.整数拆分 96.不同的二叉搜索树

LeetCode 62.不同路径 题目链接:62.不同路径 踩坑:二维的vector数组需要初始化,否则会报错访问空指针 思路: 确定动态数组的含义:dp[i][j]:到达(i,j)有多少条路经递推公式:dp[i][j] = dp[i-1][j] + dp[i][j-1]初始化动态数组:dp[0][0] = 1遍历顺序:从左到右,从上到下 代码: class Solution {pu