【论文观点】全华班LLM战队:图灵完备的RAG堆栈框架

2024-08-21 12:04

本文主要是介绍【论文观点】全华班LLM战队:图灵完备的RAG堆栈框架,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前天出差来到曾经的那个小渔村里的那个街道办,参观并了解到曾经的以街道办一己之力构建对抗如今整个大国竞争的历史发展进程,昨夜也关注到近期在aigc浪潮下我们全华班发表的这篇paper以及所代表的针对复杂医学领域(也与自己当前的工作领域相关)rag方法,真的很让人兴奋。

dc1b510ab4fa45bbba693a41518dd69e.jpg

针对这篇paper有一些自己的想法和观点也同步分享给大家,希望未来全华班们来的更猛烈一些~:

Ⅰ. 论文中的push和pop堆栈操作设计也许对于当下能力稍欠佳的llm或不太善于长文本处理的llm来说,确实能够有效屏蔽或噪声,但未来如果(只是如果哈)涉及到的更复杂的生物医学推理决策以及多样化的外部工具调用上,并采用更擅长长文本llm或更强大规划推理的llm后,结合真实世界中更复杂的医学推理与决策空间,其中pop掉的一些过程是否会造成对最终的推理过程再到最终结果的一些信息损失,也许在无法保证足够完美的通识与领域llm下,隐含在“噪声”之下的某些过程信息会对最终推理与决策结果带来某种空间探索与洞察的增益。

Ⅱ. 上述“Ⅰ”提及的如果领域推理问题扩展到更加复杂的多样化外部工具或函数的调用,那么结合基于llm隐含的参数化知识的充分计算与利用是否会为文中设计的图灵完备堆栈带来复杂性的提升,并或许进而带来文中图灵完备性理论证明的复杂度,感觉这样的话就不是面对的一个内存堆栈设计了,而是更类似于某种图灵完备的程序设计语言的复杂性。

Ⅲ. 在原作者某书上的笔记留言中,看到有人问到传统基于黑盒的llm隐参数化知识模型自身机理的状态与文中tc-rag堆栈显性状态是否有做过对比分析的问题,我其实感觉:作者是已经利用将llm隐层参数化知识显性而图灵完备的加载到tc堆栈中并统一计算历史状态了(通过条件困惑度cppl和tokens输出概率分布熵uct来评估状态St并进行与σ的判断),不过倒也可以对比分析下下head激活或各层激活状态,甚至扩展到更广泛的模型可解释性理论的探索当中来~

dc958ae64d0b433cb603183ac190a6ac.jpg

 

这篇关于【论文观点】全华班LLM战队:图灵完备的RAG堆栈框架的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1093110

相关文章

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

cross-plateform 跨平台应用程序-03-如果只选择一个框架,应该选择哪一个?

跨平台系列 cross-plateform 跨平台应用程序-01-概览 cross-plateform 跨平台应用程序-02-有哪些主流技术栈? cross-plateform 跨平台应用程序-03-如果只选择一个框架,应该选择哪一个? cross-plateform 跨平台应用程序-04-React Native 介绍 cross-plateform 跨平台应用程序-05-Flutte

Spring框架5 - 容器的扩展功能 (ApplicationContext)

private static ApplicationContext applicationContext;static {applicationContext = new ClassPathXmlApplicationContext("bean.xml");} BeanFactory的功能扩展类ApplicationContext进行深度的分析。ApplicationConext与 BeanF

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

数据治理框架-ISO数据治理标准

引言 "数据治理"并不是一个新的概念,国内外有很多组织专注于数据治理理论和实践的研究。目前国际上,主要的数据治理框架有ISO数据治理标准、GDI数据治理框架、DAMA数据治理管理框架等。 ISO数据治理标准 改标准阐述了数据治理的标准、基本原则和数据治理模型,是一套完整的数据治理方法论。 ISO/IEC 38505标准的数据治理方法论的核心内容如下: 数据治理的目标:促进组织高效、合理地

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

ZooKeeper 中的 Curator 框架解析

Apache ZooKeeper 是一个为分布式应用提供一致性服务的软件。它提供了诸如配置管理、分布式同步、组服务等功能。在使用 ZooKeeper 时,Curator 是一个非常流行的客户端库,它简化了 ZooKeeper 的使用,提供了高级的抽象和丰富的工具。本文将详细介绍 Curator 框架,包括它的设计哲学、核心组件以及如何使用 Curator 来简化 ZooKeeper 的操作。 1

【Kubernetes】K8s 的安全框架和用户认证

K8s 的安全框架和用户认证 1.Kubernetes 的安全框架1.1 认证:Authentication1.2 鉴权:Authorization1.3 准入控制:Admission Control 2.Kubernetes 的用户认证2.1 Kubernetes 的用户认证方式2.2 配置 Kubernetes 集群使用密码认证 Kubernetes 作为一个分布式的虚拟

Spring Framework系统框架

序号表示的是学习顺序 IoC(控制反转)/DI(依赖注入): ioc:思想上是控制反转,spring提供了一个容器,称为IOC容器,用它来充当IOC思想中的外部。 我的理解就是spring把这些对象集中管理,放在容器中,这个容器就叫Ioc这些对象统称为Bean 用对象的时候不用new,直接外部提供(bean) 当外部的对象有关系的时候,IOC给它俩绑好(DI) DI和IO

Sentinel 高可用流量管理框架

Sentinel 是面向分布式服务架构的高可用流量防护组件,主要以流量为切入点,从限流、流量整形、熔断降级、系统负载保护、热点防护等多个维度来帮助开发者保障微服务的稳定性。 Sentinel 具有以下特性: 丰富的应用场景:Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景,例如秒杀(即突发流量控制在系统容量可以承受的范围)、消息削峰填谷、集群流量控制、实时熔断下游不可用应