LLM应用架构 LLM application architectures

2023-10-16 18:30

本文主要是介绍LLM应用架构 LLM application architectures,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在本课程的最后一部分,您将探讨构建基于LLM的应用程序的一些额外考虑因素。首先,让我们把迄今为止在本课程中所见的一切汇总起来,看看创建LLM驱动应用程序的基本组成部分。您需要几个关键组件来创建端到端的应用程序解决方案,从基础设施层开始。该层提供了计算、存储和网络,以提供LLMs,并托管应用程序组件。您可以利用您的本地基础设施,或者通过按需和按使用量计费的云服务提供此基础设施。
在这里插入图片描述

接下来,您将包括您希望在应用程序中使用的大型语言模型。这些可能包括基础模型,以及您根据特定任务进行了自定义的模型。这些模型部署在适合您推理需求的基础设施上。考虑到您是否需要与模型进行实时或准实时交互。
在这里插入图片描述

您还可能需要从外部来源检索信息,例如在检索增强生成部分讨论的那些。
在这里插入图片描述

您的应用程序将从大型语言模型返回完成内容给用户或消费应用程序。根据您的用例,您可能需要实现一种机制来捕获和存储输出。例如,您可以构建在会话期间存储用户完成内容以增加LLM的固定上下文窗口大小的容量。
在这里插入图片描述

您还可以从用户那里收集反馈,这可能对进一步的微调、调整或评估在应用程序成熟时很有用。
在这里插入图片描述

接下来,您可能需要使用大型语言模型的其他工具和框架,以帮助您轻松实施本课程中讨论的某些技术。例如,您可以使用Len Chains内置库来实施PowReact或思维链提示等技术。您还可以利用模型中心来集中管理和共享模型,以供应用程序使用。
在这里插入图片描述

在最后一层,通常会有某种用户界面,应用程序将通过该界面进行访问,例如网站或REST API。这一层还包括与应用程序交互所需的安全组件。
在这里插入图片描述

从高层次来看,这个架构堆栈代表了构建生成式AI应用程序的各种组成部分。无论是人类最终用户还是通过其API访问您的应用程序的其他系统,您的用户都将与整个堆栈进行交互。正如您所看到的,模型通常只是构建端到端生成式AI应用程序的一部分。
在这里插入图片描述

恭喜您完成了完整的生成式AI项目生命周期。希望您感到已经形成了一些关于在构建LLM应用程序时需要考虑的重要问题的直觉。

  1. 本周,您了解了如何通过使用一种名为“强化学习与人类反馈”的技术,或简称RLHF,微调模型,以使其与人类偏好(如帮助、无害和诚实)保持一致。
  2. 鉴于RLHF的流行,存在许多现有的RL奖励模型和人类对齐数据集,使您能够快速开始对模型进行对齐。在实践中,RLHF是一种非常有效的机制,可用于改善模型的对齐性,降低其响应的毒性,并让您更安全地将模型用于生产。
  3. 您还学会了通过压缩、量化或修剪模型来优化模型以用于推理的重要技术。这可以减小为在生产环境中提供LLMs所需的硬件资源的数量。
  4. 最后,您还探讨了通过结构化提示和与外部数据源和应用程序的连接来帮助模型在部署中表现更好的方法。

LLMs可以在应用程序中充当理性引擎的精彩角色,充分利用它们的智能来支持令人兴奋和实用的应用程序。像Lang Chain这样的框架正在使快速构建、部署和测试LLM驱动的应用程序成为可能,对于开发人员来说是一个非常令人兴奋的时刻。

在TEA的课程结尾,我们将探讨一些正在积极研究的领域,这些领域可能会在未来几个月和年份中塑造该领域的发展轨迹。

Reference

https://www.coursera.org/learn/generative-ai-with-llms/lecture/LLhcT/llm-application-architectures

这篇关于LLM应用架构 LLM application architectures的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/220355

相关文章

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Java异常架构Exception(异常)详解

《Java异常架构Exception(异常)详解》:本文主要介绍Java异常架构Exception(异常),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. Exception 类的概述Exception的分类2. 受检异常(Checked Exception)

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Android Kotlin 高阶函数详解及其在协程中的应用小结

《AndroidKotlin高阶函数详解及其在协程中的应用小结》高阶函数是Kotlin中的一个重要特性,它能够将函数作为一等公民(First-ClassCitizen),使得代码更加简洁、灵活和可... 目录1. 引言2. 什么是高阶函数?3. 高阶函数的基础用法3.1 传递函数作为参数3.2 Lambda

Java中&和&&以及|和||的区别、应用场景和代码示例

《Java中&和&&以及|和||的区别、应用场景和代码示例》:本文主要介绍Java中的逻辑运算符&、&&、|和||的区别,包括它们在布尔和整数类型上的应用,文中通过代码介绍的非常详细,需要的朋友可... 目录前言1. & 和 &&代码示例2. | 和 ||代码示例3. 为什么要使用 & 和 | 而不是总是使

Python循环缓冲区的应用详解

《Python循环缓冲区的应用详解》循环缓冲区是一个线性缓冲区,逻辑上被视为一个循环的结构,本文主要为大家介绍了Python中循环缓冲区的相关应用,有兴趣的小伙伴可以了解一下... 目录什么是循环缓冲区循环缓冲区的结构python中的循环缓冲区实现运行循环缓冲区循环缓冲区的优势应用案例Python中的实现库

SpringBoot整合MybatisPlus的基本应用指南

《SpringBoot整合MybatisPlus的基本应用指南》MyBatis-Plus,简称MP,是一个MyBatis的增强工具,在MyBatis的基础上只做增强不做改变,下面小编就来和大家介绍一下... 目录一、MyBATisPlus简介二、SpringBoot整合MybatisPlus1、创建数据库和

python中time模块的常用方法及应用详解

《python中time模块的常用方法及应用详解》在Python开发中,时间处理是绕不开的刚需场景,从性能计时到定时任务,从日志记录到数据同步,时间模块始终是开发者最得力的工具之一,本文将通过真实案例... 目录一、时间基石:time.time()典型场景:程序性能分析进阶技巧:结合上下文管理器实现自动计时

Java逻辑运算符之&&、|| 与&、 |的区别及应用

《Java逻辑运算符之&&、||与&、|的区别及应用》:本文主要介绍Java逻辑运算符之&&、||与&、|的区别及应用的相关资料,分别是&&、||与&、|,并探讨了它们在不同应用场景中... 目录前言一、基本概念与运算符介绍二、短路与与非短路与:&& 与 & 的区别1. &&:短路与(AND)2. &:非短

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2