智能助力:大模型自动填写工单准确率达95%

2024-04-12 23:28

本文主要是介绍智能助力:大模型自动填写工单准确率达95%,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

基于大模型优秀的问答、总结和话术生成能力,主流联络中心纷纷接入大模型升级智能知识库、智能工单、智能陪练等应用。

图片

以智能填单为例,借助大模型能够轻松从对话中提取出实体信息、判定对话意图、识别情绪、生成沟通摘要等。通过简单的Prompt,完成工单字段的提取任务更是轻而易举。

然而在初期效果测试中,大模型获取的工单填单结果对比客服的真实填写结果准确率不足30%,且大模型的处理速度也达不到业务方提出2秒内返回结果的要求。

大模型并非传统的NLP技术,无法依靠业务标注数据进行自主优化,那么大模型的调用方在业务应用中,该如何进行使用效果优化成为了现实考题。

现实考题,五大因素影响填单可用率

提不准

众所周知,工单填写对字段有着明确的格式要求,尤其是选项或统计类的字段,需要大模型严格按照格式输出指定结果。

图片

幻觉问题

例如,若需要判断客户的注册渠道,大模型必须严格返回“支付宝”三个字段。而现实情景中,大模型往往返回连篇累牍的描述,导致工单系统无法收到准确的结果。

此外大模型不仅“啰嗦”,还容易“胡编乱造”,返回的结果是经过“理解”、“联想”加工的,这在对容错性有着严格要求的现实业务场景中是不能被接受的。

缺乏业务背景

在真实业务场景中,客户和坐席之间的对话内容往往无法清晰、明确地对照工单中所需记录、填写的信息标准发生。例如,坐席能够根据消费者的模糊描述,“使用的是一款能够进行AI画脸的产品”精准匹配出对应的产品。而大模型则难以做出正确的判断,无法胜任绝大多数的工单填写任务。

缺乏判断能力

更大的挑战是,在退订业务等双方存在复杂拉扯的对话场景中,大模型容易按照任意一方的“片面之词”判定最终结果,而不是根据业务逻辑得出准确结论。例如,客户申请退回三个月的费用金额,客服表示只能退回一个月。

如果客户同意,那实际双方达成一致的退回金额为一个月的费用,而非三个月。如果客户表示不同意,则实际退回费用为0。如果大模型没有“理解”这一判定标准,则最终退回的金额会在一个月或三个月中随机生成。

填太慢

实际业务中,坐席的工作节奏非常快,需要在通话进行中,2秒内完成工单内容的填写,通话结束后5秒内完成通话小结的填写。如果大模型不能比坐席的填写速度更快,那么大模型应用的意义与价值将大打折扣。

图片

实时场景的时延问题

坐席辅助场景要求低时延,而智能填单旨在自动帮助人工填写工单,如果填单时间超过2秒,便基本失去了帮助坐席提率的可能。坐席不可能在对话过程中,等待大模型输出结果后再询问客户下一个问题。但即使只调用一次大模型进行小结,平均时延也在5秒左右。

而通话会话小结的评价指标为:要素完备性、要素准确率、业务接受率。若对会话小结中的细分场景、业务细则、专有名词等方面有更高的要求,便需要在通用格式的会话小结中再补充业务要素。这就需要多次调用大模型,智能小结的时延将会达到10秒左右。

连接调用不稳定产生漏损

大模型调用会有失败的情况,就像有时会遇到偶发的不响应情况,这在C端应用中用户尚可容忍,但是在企业服务应用中,尤其是嵌入核心作业流程的场景下,业务对于偶发的漏损情况则较为敏感,小结的漏损率会在5%左右。

四大路径,巧妙解决准确率与时效性问题

作为领先的对话式AI解决方案提供商,中关村科金【会话洞察产研组】始终致力于打破技术应用瓶颈,为用户带来更加卓越、智能的体验。经过一年的研究和内部测试,我们有了一些新的解决方案,或许正是众多企业苦苦找寻的答案。

考题一:大模型应用的准确率与延时如何改善?

路径一:小模型对输出结果进行验证以解决幻觉问题

最初,大多技术专家通过JSON对大模型的输出进行限制,以确保大模型每次输出的结果都尽可能满足业务要求,但仍存在一定概率的幻觉问题。为此,中关村科金另辟蹊径,在大模型输出结果后,叠加一层相似度判定模型,让大模型的输出结果对齐到预设的选项中。

图片

在此基础上,中关村科金还增加了对大模型输出结果的各类格式转化,以满足将大模型输出内容转化为工单所需的数值、百分比、日期、时间等各类字段类型的需求。

路径二:让运营人员便捷地将业务背景“录入”大模型

中关村科金利用不同行业的客户数据,对Prompt进行了针对性的优化,并在自研的模型上进行了微调,以确保大模型在不同行业、不同场景中,拥有通用的“领域知识”。与此同时,我们还通过对常见的智能填单场景进行抽象,让用户可以便捷地输入企业专属知识。通过将运营人员输入的信息与经过验证的Prompt进行拼接后,大模型的数据准确率最高提升到了95%以上。

图片

在复杂的对话场景中,通过对每一轮的分析结果进行修正,大模型不仅能够从对话中区分出渠道,还能够准确判断出前述举例中,最终需要退还给客户的正确金额。此类需要一定逻辑推理的场景,大模型智能填单的准确率也能稳定在85%。

图片

此外,借助预设的字段,不仅能够准确判定返回退款的金额,还能够根据实际对话内容确定返回退款的比例、退回多少个月的费用等,覆盖对话总结、业务办理情况收集、用户反馈问题收集、用户需求收集、用户信息收集5大类型的智能填单需求。

考题二:大模型应用时效性怎么保障?

路径一:分布式分析实现“抢跑”

面对通话结束后才填写的会话小结,中关村科金进行分步拆解,在通话开始后先执行不依赖全部通话内容分析的任务,每进行几轮对话,就进行一次分析,从而将分析拆解到对话进行中“悄悄”完成。通话结束后,只需执行剩余需要依赖全部通话内容的分析任务,从而将会话小结的智能填单时间从10秒缩减到了平均3秒内。

路径二:更小的领域大模型带来更快的速度

在时效性要求更高的工单场景,中关村科金使用了自研的得助大模型,针对电销、客服等更聚焦的场景训练的领域大模型,实现了更小的参数、更高的准确率。同时,由于训练时已具备了对领域的通用知识,无需多次调用大模型完成业务录入,便可实现1~2秒内稳定返回结果的应用成效。

智能助力,得助智能填单降本增效显著

目前,中关村科金智能填单系统已正式上线得助智能联络中心,并向广大客户开放使用,帮助客户提升坐席的填单效率,并更详细的记录通话中的信息。

图片

在多个项目应用中,得助智能填单都取得了预期效果,在帮助运营人员提升工作效率、节省企业运营成本等方面展现出明显优势。

显著提高会话工单的准确率

由于客服日常的工作强度高,尤其是在线坐席常常需要同时处理多通对话,难免出现信息错填、漏填的情况。而得助智能填单不仅能够帮助坐席减轻工作负担,还能够对填写有误的地方进行提醒、矫正。

帮助运营人员获取更丰富的信息

过往为了不给客服增加不必要的负担,会话小结字段只要求客服填写关键的几项信息,坐席填写的内容也不够详细。使用得助智能填单后,系统可以帮助运营人员更全面地收集信息、更完整地记录信息。

节省出海业务的运营成本

对于出海客户而言,大模型具备多语种理解和翻译能力,客户使用智能小结功能对英文邮件进行字段提取,不仅准确率高达93%以上,还能大幅节省人工翻译成本。

大模型智能填单作为一种新兴的技术应用,未来随着应用边界不断拓展,将进一步改变企业的运营方式和效率。而中关村科金一直坚持探索前沿人工智能技术与千行百业应用场景的落地融合,力求打破技术应用瓶颈,为客户提供最优质、最智能的解决方案。

随着技术逐步成熟和实践不断积累,中关村科金将持续优化和完善得助智能填单系统,以满足不同行业、不同场景下的多样化需求,为千行百业的数字化转型贡献更多力量。

这篇关于智能助力:大模型自动填写工单准确率达95%的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/898532

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

客户案例:安全海外中继助力知名家电企业化解海外通邮困境

1、客户背景 广东格兰仕集团有限公司(以下简称“格兰仕”),成立于1978年,是中国家电行业的领军企业之一。作为全球最大的微波炉生产基地,格兰仕拥有多项国际领先的家电制造技术,连续多年位列中国家电出口前列。格兰仕不仅注重业务的全球拓展,更重视业务流程的高效与顺畅,以确保在国际舞台上的竞争力。 2、需求痛点 随着格兰仕全球化战略的深入实施,其海外业务快速增长,电子邮件成为了关键的沟通工具。

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言